DE102017127600A1 - Method for automatic parking for a motor vehicle with a driving support system - Google Patents

Method for automatic parking for a motor vehicle with a driving support system Download PDF

Info

Publication number
DE102017127600A1
DE102017127600A1 DE102017127600.9A DE102017127600A DE102017127600A1 DE 102017127600 A1 DE102017127600 A1 DE 102017127600A1 DE 102017127600 A DE102017127600 A DE 102017127600A DE 102017127600 A1 DE102017127600 A1 DE 102017127600A1
Authority
DE
Germany
Prior art keywords
rnn
neural network
motor vehicle
detectors
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017127600.9A
Other languages
German (de)
Inventor
Joseph Fernandez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102017127600.9A priority Critical patent/DE102017127600A1/en
Publication of DE102017127600A1 publication Critical patent/DE102017127600A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum automatischen Parken für ein Kraftfahrzeug, das ein Fahrunterstützungssystem aufweist, mit den Schritten:- Bereitstellen von Merkmalen eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren (3);- Zuführen der Merkmale als Eingabesequenzen zu einem tiefen neuronalen Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, zum Lernen einer Zeitfolge von Fahrsignalen; und- Bereitstellen des Lernergebnisses als eine Ausgabesequenz.The invention relates to a method for automatic parking for a motor vehicle, having a driving support system, comprising the steps of: providing features of a previously detected parking lot using one or more detectors (3) feeding the features as input sequences to a deep neural one Network (DNN) having a recurrent neural network (RNN) for learning a time series of driving signals; and providing the learning result as an output sequence.

Description

Die Erfindung betrifft ein Verfahren zum automatischen Parken für ein Kraftfahrzeug, das ein Fahrunterstützungssystem aufweist, mit den Schritten:

  • - Bereitstellen von Merkmalen eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren,
  • - Zuführen der Merkmale als Eingabesequenzen zu einem tiefen neuronalen Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, zum Lernen einer zeitlichen Abfolge von Fahrsignalen, und
  • - Bereitstellen des Lernergebnisses als eine Ausgabesequenz.
The invention relates to a method for automatic parking for a motor vehicle having a driving support system, comprising the steps of:
  • Providing features of a pre-registered parking lot using one or more detectors,
  • Supplying the features as input sequences to a deep neural network (DNN) having a recurrent neural network (RNN) for learning a time sequence of driving signals, and
  • Providing the learning result as an output sequence.

Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme, sind Systeme, die entwickelt wurden, um Fahrzeugsysteme für Sicherheit und verbessertes Fahren zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bieten, die den Fahrer vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Kontrolle über das Fahrzeug vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme aufweisen, basieren häufig auf Eingaben von mehreren Datenquellen, z.B. Fahrzeug-Bildgebung (Automotive Imaging), Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und andere Quellen. Kürzlich sind neuronale Netzwerke in einer Verarbeitung derartiger Eingaben von Daten in Fahrerassistenzsystemen oder allgemein in Fahrunterstützungssystemen integriert worden.Driving assistance systems, such as driver assistance systems, are systems that have been developed to automate, customize, and improve vehicle systems for safety and enhanced driving. Security features are designed to prevent collisions and accidents by providing technologies that warn the driver of potential problems or avoid collisions by implementing security measures and taking control of the vehicle. In autonomous vehicles, the driving assistance systems provide inputs for performing control of the vehicle. Adaptive features can automate the lighting, provide adaptive cruise control, automate the braking process, integrate traffic alerts, communicate with smartphones, e.g. Warn the driver about other cars or various dangers, keep the vehicle in the correct lane, or indicate what is in blind spots. Driving assistance systems having the aforementioned driver assistance systems are often based on inputs from multiple data sources, e.g. Automotive imaging, image processing, radar sensors, LiDAR, ultrasonic sensors and other sources. Recently, neural networks have been integrated into processing such inputs of data in driver assistance systems or generally in driving support systems.

In jüngster Zeit hat es einen Forschungsschub bezüglich tiefen neuronalen Netzwerken (DNNs) gegeben. Ihre Konstruktion ist durch die Erhöhung der Rechenleistung in Computerarchitekturen und die Verfügbarkeit großer annotierter Datensätze unterstützt worden.Recently, there has been a research boost on deep neural networks (DNNs). Their construction has been supported by increasing computational power in computer architectures and the availability of large annotated datasets.

In dieser Hinsicht offenbart die US 2017/293837 A1 ein computerimplementiertes Verfahren zum Trainieren eines tiefen neuronalen Netzwerks zum Erkennen von Verkehrsszenen von multimodalen Sensoren und Wissensdaten. Die Verkehrsszenen können z.B. Information enthalten, die mit anderen Fahrzeugen in Beziehung steht, die in der Umgebung eines Fahrzeugs fahren, oder Parkplatzinformation zum Anzeigen, ob sich ein Parkplatz in der Umgebung des Fahrzeugs befindet oder nicht. Das computerimplementierte Verfahren weist das Empfangen von Daten von den multimodalen Sensoren und der Wissensdaten und das Extrahieren von Merkmalskarten von den multimodalen Sensoren und den Wissensdaten unter Verwendung eines Verkehrsteilnehmer-Extraktors zum Erzeugen eines ersten Datensatzes, Verwenden eines Extraktors für statische Objekte zum Erzeugen eines zweiten Datensatzes und Verwenden eines zusätzlichen Informations-Extraktors auf. Das computerimplementierte Verfahren weist ferner das Trainieren des tiefen neuronalen Netzwerks mit Trainingsdaten zum Erkennen der Verkehrsszene vom Standpunkt eines Fahrzeugs auf.In this regard, the US 2017/293837 A1 a computer-implemented method for training a deep neural network to detect traffic scenes from multimodal sensors and knowledge data. For example, the traffic scenes may include information related to other vehicles driving in the vicinity of a vehicle, or parking lot information for indicating whether or not there is a parking lot in the vicinity of the vehicle. The computer-implemented method comprises receiving data from the multimodal sensors and the knowledge data and extracting feature maps from the multimodal sensors and the knowledge data using a road user extractor to generate a first data set, using a static object extractor to generate a second data set and using an additional information extractor. The computer-implemented method further comprises training the deep neural network with training data to detect the traffic scene from a vehicle's viewpoint.

Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme, sind eines der am schnellsten wachsenden Segmente in der Automobilelektronik, und es besteht ein Bedarf an verbesserten Verfahren und Systemen für automatisches Parken für Kraftfahrzeuge, die Fahrunterstützungssysteme aufweisen.Driving assistance systems, such as driver assistance systems, are one of the fastest growing segments in automotive electronics, and there is a need for improved automatic parking methods and systems for motor vehicles having drive assist systems.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum automatischen Parken für Kraftfahrzeuge anzugeben, die ein Fahrunterstützungssystem aufweisen, das in der Lage ist, automatisches Parken genauer als herkömmliche Verfahren auszuführen, und das automatisches Parken auf eine bessere Art und Weise ausführen kann, um das Erfordernis einer Sammlung von Regeln zu eliminieren, die in Grenzfällen nicht funktionieren.The present invention has for its object to provide a method for automatic parking for motor vehicles, having a driving support system that is able to perform automatic parking more accurate than conventional methods, and that can perform automatic parking in a better manner to eliminate the requirement of a collection of rules that do not work in borderline cases.

Die Lösung dieser Aufgabe erfolgt durch den Gegenstand der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.The solution of this object is achieved by the subject matter of the independent claims. Advantageous embodiments are specified in the subclaims.

Durch die Erfindung ist ein Verfahren zum automatischen Parken für ein Kraftfahrzeug angegeben, das ein Fahrunterstützungssystem aufweist, mit den Schritten:

  • - Bereitstellen von Merkmalen eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren,
  • - Zuführen der Merkmale als Eingabesequenzen zu einem tiefen neuronalen Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, zum Lernen einer zeitlichen Abfolge von Fahrsignalen, und
  • - Bereitstellen des Lernergebnisses als Ausgabesequenz.
The invention provides a method for automatic parking for a motor vehicle, which has a driving support system, with the following steps:
  • Providing features of a pre-registered parking lot using one or more detectors,
  • Supplying the features as input sequences to a deep neural network (DNN) having a recurrent neural network (RNN) for learning a time sequence of driving signals, and
  • - Provide the learning outcome as an output sequence.

Somit ist es eine wesentliche Idee dieser Ausführungsform der Erfindung, die folgenden drei Hauptschritte auf eine einzigartige Art und Weise zu kombinieren: Bereitstellen von Merkmalen eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren, z.B. einer oder mehrerer Kameras, Zuführen der bereitgestellten Merkmale als Eingabesequenzen zu einem tiefen neuronalen Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, zum Lernen einer zeitlichen Abfolge von Fahrsignalen, und Bereitstellen des Lernergebnisses als eine Ausgabesequenz. Thus, it is an essential idea of this embodiment of the invention to combine the following three main steps in a unique way: providing features of a pre-registered parking lot using one or more detectors, eg one or more cameras, supplying the provided features as Deep neural network (DNN) input sequences comprising a recurrent neural network (RNN) for learning a time sequence of driving signals, and providing the learning result as an output sequence.

Erfindungsgemäß kann ein Satz von Parkmanövern als eine Zeitsequenz modelliert werden, um das RNN damit zu trainieren, so dass das RNN lernen kann, wie in verschiedenen Parkszenarien geparkt werden soll. Ein solches Modell ist naturgemäß zum Lernen einer Folge von Schritten geeignet, z.B. der einem Parkmanöver entsprechenden Fahrsignale. Dem Modell wird eine Eingabesequenz zugeführt, wie beispielsweise die Merkmale, die durch die eine oder die mehreren Kameras erfasst werden (d.h. kamerabasierte Merkmale), wenn das Kraftfahrzeug über den beabsichtigten Parkplatz (d.h. den im Voraus erfassten Parkplatz) hinaus bis zu dem Punkt fährt, an dem das Einparkmanöver beginnen soll. According to the invention, a set of parking maneuvers may be modeled as a time sequence to train the RNN so that the RNN can learn how to park in different parking scenarios. Such a model is naturally suitable for learning a sequence of steps, e.g. the driving signals corresponding to a parking maneuver. The model is supplied with an input sequence, such as the features detected by the one or more cameras (ie, camera-based features) as the motor vehicle passes over the intended parking lot (ie, the pre-registered parking lot) to the point, at which the parking maneuver should begin.

Somit wird durch die Erfindung ein Verfahren zum automatischen Parken für ein Kraftfahrzeug angegeben, das ein Fahrunterstützungssystem aufweist, wobei ein tiefes neuronales Netzwerk (DNN), das ein rekurrentes neutrales Netzwerk (RNN) aufweist, ein Parkmanöver lernt. Ein Typ eines RNN ist ein Long Short Term Memory (LSTM). RNNs haben sich als außerordentlich vorteilhaft beim Lernen von Zeitfolgen erwiesen (z.B. für Finanzprognosen, Modellierung menschlicher Bewegung unter Verwendung von Gelenkwinkeldarstellungen). Das erfindungsgemäße Verfahren modelliert den Satz von Parkmanövern als eine Zeitfolge und trainiert ein RNN (beispielsweise einen LSTM) damit, so dass das RNN lernen kann, wie in verschiedenen Szenarien geparkt werden soll (z.B. rechtwinkliges Parken, paralleles Parken, Parken an engen Stellen).Thus, the invention provides a method for automatic parking for a motor vehicle having a driving support system, wherein a deep neural network (DNN) having a recurrent neutral network (RNN) learns a parking maneuver. One type of RNN is a Long Short Term Memory (LSTM). RNNs have proven to be extremely beneficial in learning timing (e.g., for financial forecasting, modeling human motion using joint angle representations). The inventive method models the set of park maneuvers as a time series and trains an RNN (eg, an LSTM) therewith so that the RNN can learn how to park in different scenarios (e.g., right-angle parking, parallel parking, parking in tight spots).

Das erfindungsgemäße Verfahren verwendet ein tiefes neuronales Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, das eine oder mehrere Long-Short-Term-Memory-Zellen (LSTMs) in einer Codierer-Decodierer- (auch als Sequenz-Sequenz bezeichnet) Architektur aufweisen kann, und eine Zeitfolge von Merkmalen, z.B. kamerabasierte Merkmale, als Eingabe empfängt und eine Zeitfolge von Fahrsignalen lernt, die im Wesentlichen das Einparkmanöver bilden.The inventive method uses a deep neural network (DNN) having a recurrent neural network (RNN) comprising one or more long-short-term memory cells (LSTMs) in an encoder-decoder (also called a sequence sequence designated) architecture, and a time series of features, eg camera-based features, receives as input and learns a timetable of driving signals that essentially constitute the parking maneuver.

Somit kann erfindungsgemäß ein tiefes neuronales Netzwerk (DNN), das eine oder mehrere Long-Short-Term-Memory- (LSTM) Zellen als Teil einer Codierer-Decodierer-Architektur aufweist, eine Zeitfolge von Merkmalen (z.B. kamerabasierte Merkmale) als Eingabe empfangen und anschließend eine Zeitfolge von Fahrsignalen lernen, die im Wesentlichen das Einparkmanöver bilden. Die Eingabe kann insbesondere eine Folge vorheriger Zustände sein, um zu lernen, wie die Eingabe dargestellt und dann auf die Folge von Ausgabezuständen abgebildet werden kann.Thus, in accordance with the invention, a deep neural network (DNN) having one or more long-short-term memory (LSTM) cells as part of an encoder-decoder architecture may receive as input a sequence of features (eg, camera-based features) and then learn a time sequence of driving signals that essentially constitute the parking maneuver. In particular, the input may be a consequence of previous states to learn how to represent the input and then map it to the sequence of output states.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass sich rekurrente neuronale Netze (RNNs) bei der Modellierung von Zeitfolgen bewährt haben. Sie sind von Natur aus besser für diese Art von Problem geeignet. Mit diesem Verfahren lernt das tiefe neuronale Netzwerk das für das jeweilige Szenario am besten geeignete Parkmanöver, was besser ist als ein System einer Sammlung von Regeln, das schwer aufrechtzuerhalten ist und in Grenzfällen nicht funktioniert, was im Nachhinein zu noch mehr Regeln führt, die oben drauf gepackt werden müssen. Anstelle eines Geflechts von Regeln zum Ausführen eines Parkmanövers, lernt das erfindungsgemäße Verfahren daher das in Verbindung mit der spezifischen Situation beste und effizienteste Parkmanöver. Das erfindungsgemäße Verfahren zum automatischen Parken ist genauer, flexibler und robuster als herkömmliche Verfahren. Es wird erwartet, dass das erfindungsgemäße Verfahren im Vergleich zu herkömmlichen Verfahren robuster und flexibler ist, da die erhaltene Ausgabesequenz (d.h. die mit dem Parkmanöver in Beziehung stehende Folge von Lenksignalen, Bremssignalen und/oder Fahrpedalsignalen) auf mehr als nur dem vorherigen Zustand basiert. Das bedeutet, dass die Ausgabesequenz eine Folge von Zuständen berücksichtigen kann, die dem aktuellen Zustand vorausgehen. Mit der Ausgabesequenz, die den Satz von Parkmanövern enthält, kann das Fahrzeug in verschiedenen Situationen nach dem Training geparkt werden.An essential advantage of the method according to the invention is that recurrent neural networks (RNNs) have proved useful in the modeling of time sequences. They are inherently better suited to this type of problem. With this technique, the deep neural network learns the most appropriate parking maneuver for each scenario, which is better than a system of rules collection that is difficult to maintain and does not work in borderline cases, which in retrospect leads to even more rules, above have to be packed on it. Instead of a network of rules for executing a parking maneuver, the method according to the invention therefore learns the best and most efficient parking maneuver in connection with the specific situation. The automatic parking method according to the invention is more accurate, more flexible and more robust than conventional methods. The inventive method is expected to be more robust and flexible as the resulting output sequence (i.e., the park maneuver sequence of steering signals, brake signals, and / or accelerator pedal signals) is based on more than just the previous state. This means that the output sequence can take into account a sequence of states that precede the current state. With the output sequence containing the set of parking maneuvers, the vehicle can be parked in various post-workout situations.

Rekurrente neuronale Netzwerke (RNNs) sind eine Familie neuronaler Netzwerke zum Verarbeiten sequentieller Daten. So wie ein konvolutionelles Netzwerk ein neuronales Netzwerk ist, das auf die Verarbeitung eines Gitters von Werten X, wie beispielsweise eines Bildes, spezialisiert ist, ist ein rekurrentes neuronales Netzwerk ein neuronales Netzwerk, das auf die Verarbeitung einer Folge von Werten x(1), ... , x(r) spezialisiert ist. Lernen ist die Verwendung von Backpropagation Through Time (BPTT)), d.h. Entfalten des neuronalen Netzwerks über die Zeit, wobei die Gewichte über die Zeitschritte gleich bleiben. RNNs können als gerichtete grafische Modelle interpretiert werden. Die Ausgabe des RNN wird normalerweise als eine Wahrscheinlichkeitsverteilung interpretiert, und die Kreuz-Entropie wird normalerweise mit dieser Verteilung in Beziehung gesetzt, um den Verlust zu definieren. RNNs sind nützlich, wenn man annimmt, dass die Verteilung über y(t) von einem Wert von y(i) aus der fernen Vergangenheit in einer Weise abhängen kann, die nicht durch die Wirkung von y(i) auf y(t-1) erfasst wird.Recurrent neural networks (RNNs) are a family of neural networks for processing sequential data. Just as a convolutional network is a neural network that specializes in processing a grid of values X, such as an image, a recurrent neural network is a neural network based on processing a sequence of values x (1) , ..., x (r) is specialized. Learning is the use of Back Propagation Through Time (BPTT)), ie unfolding the neural network over time, with the weights remaining the same over time increments. RNNs can be interpreted as directed graphical models. The output of the RNN is normally interpreted as a probability distribution, and the cross-entropy is normally related to this distribution to define the loss. RNNs are useful, assuming that the distribution over y (t) may depend on a value of y (i) from the far past in a manner that does not detect by the action of y (i) on y (t-1) becomes.

Die Merkmale, die durch den einen oder die mehreren Detektoren bereitgestellt werden, können Zeitfolgen mit variabler Länge eines im Voraus erfassten Parkplatzes sein, der der Parkplatz sein soll, wo das Kraftfahrzeug geparkt werden soll. Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens weisen die Merkmale des im Voraus erfassten Parkplatzes, die durch den einen oder die mehreren Detektoren bereitgestellt werden, i) den Ort und die Ausrichtung des im Voraus erfassten Parkplatzes und/oder ii) 3D-Objektpunktwolken auf. Die Zeitfolge derartiger Merkmale kann dem tiefen neuronalen Netzwerk (DNN) zugeführt werden, das ein RNN aufweist, das eine oder mehrere LSTM-Zellen aufweist.The features provided by the one or more detectors may be variable length time sequences of a pre-registered parking lot, which is to be the parking lot where the vehicle is to be parked. According to a preferred embodiment of the method according to the invention, the features of the parking area detected in advance, which are provided by the one or more detectors, i) the location and orientation of the parking area detected in advance and / or ii) 3D object point clouds. The timing of such features may be supplied to the deep neural network (DNN), which has an RNN comprising one or more LSTM cells.

Der Trigger für den Start dieser Eingabesequenz kann sein, wenn das Ego-Fahrzeug beginnt, nach einem Parkplatz zu suchen. Das Ende dieser Sequenz kann der Rahmen sein, in dem das Ego-Fahrzeug einen Parkplatz erfasst hat und sich entscheidet, dort zu parken. Vorzugsweise gibt es eine maximale Eingabesequenzlänge, jenseits der die ältesten Rahmen in einer Ringpufferweise ersetzt werden.The trigger for starting this input sequence may be when the ego vehicle starts searching for a parking space. The end of this sequence may be the frame in which the ego vehicle has captured a parking space and decides to park there. Preferably, there is a maximum input sequence length beyond which the oldest frames are replaced in a ring buffer fashion.

Vorzugsweise weisen der eine oder die mehreren Detektoren eine oder mehrere Kameras und/oder einen oder mehrere Sensoren, wie beispielsweise Ultraschallsensoren, auf. Beispielsweise können die Detektoren Teil eines Rundumsichtsystems sein, das eine oder mehrere Kameras, z.B. vier oder noch mehr Kameras, aufweist. Somit können die Merkmale, die durch die Kameras als Detektoren erfasst werden, kamerabasierte Merkmale sein. Die verwendeten Kameras können Sichtkameras und/oder Infrarotkameras aufweisen. Außerdem können die Detektoren auch einen oder mehrere Sensoren, wie beispielsweise einen oder mehrere Ultraschallsensoren, z.B. acht, zehn oder zwölf Ultraschallsensoren, aufweisen, die um das Kraftfahrzeug herum angeordnet sind. Das erfindungsgemäße Verfahren kann eine beliebige Anzahl und Kombination von hierin erwähnten Detektoren verwenden, d.h. es kann eine Vielzahl gleicher oder verschiedener einzelner Detektoren verwenden, um Merkmale des im Voraus erfassten Parkplatzes für das tiefe neuronale Netzwerk (DNN) bereitzustellen.Preferably, the one or more detectors comprise one or more cameras and / or one or more sensors, such as ultrasonic sensors. For example, the detectors may be part of a surround system that includes one or more cameras, e.g. four or more cameras. Thus, the features detected by the cameras as detectors may be camera-based features. The cameras used may have vision cameras and / or infrared cameras. In addition, the detectors may also include one or more sensors, such as one or more ultrasonic sensors, e.g. eight, ten or twelve ultrasonic sensors, which are arranged around the motor vehicle. The method of the invention may use any number and combination of detectors mentioned herein, i. it may use a plurality of identical or different individual detectors to provide features of the pre-detected deep neural network (DNN) parking lot.

Fahrunterstützungssysteme weisen Fahrerassistenzsysteme auf, die bereits bekannt sind und in herkömmlichen Fahrzeugen verwendet werden. Die entwickelten Fahrunterstützungssysteme werden bereitgestellt, um Fahrzeugsysteme hinsichtlich Sicherheit und eines besseren Fahrverhaltens zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem Technologien bereitgestellt werden, die den Fahrer auf mögliche Probleme aufmerksam machen oder Kollisionen vermeiden, indem Sicherheitsmaßnahmen getroffen werden und die Kontrolle über das Fahrzeug übernommen wird. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme eine Eingabe zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, Bremsvorgänge automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer bezüglich anderen Fahrzeugen oder verschiedenartigen Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, wie die oben erwähnten Fahrerassistenzsysteme, basieren häufig auf Eingaben von mehreren Datenquellen, wie z.B. Fahrzeug-Bildgebung, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen.Driving assistance systems include driver assistance systems that are already known and used in conventional vehicles. The developed driving assistance systems are provided to automate, adapt and improve vehicle systems in terms of safety and better handling. Safety features are designed to prevent collisions and accidents by providing technologies that alert the driver to possible problems or avoid collisions by taking safety precautions and taking control of the vehicle. In autonomous vehicles, the drive assist systems provide input for performing control of the vehicle. Adaptive features can automate the lighting, provide adaptive cruise control, automate braking, integrate traffic alerts, communicate with smartphones, e.g. Warn the driver about other vehicles or various hazards, keep the vehicle in the correct lane or view what is in blind spots. Driving assistance systems, such as the above-mentioned driver assistance systems, are often based on inputs from multiple data sources, such as, e.g. Vehicle imaging, image processing, radar sensors, LiDAR, ultrasonic sensors and other sources.

Gemäß einer bevorzugten Ausführungsform der Erfindung weist das rekurrente neuronale Netzwerk (RNN) eine oder mehrere Long-Short-Term-Memory- (LSTM) Zellen auf. Das RNN kann mehrere LSTM-Zellen aufweisen. Eine LSTM-Zelle ist ein gate-gesteuertes RNN und weist Eigenschleifen auf, um Pfade zu erzeugen, entlang denen der Gradient für eine lange Zeitdauer fließen kann. Vorzugsweise besteht das rekurrente neuronale Netzwerk (RNN) aus einer Long-Short-Term-Memory- (LSTM) Zelle. Bevorzugter besteht das rekurrente neuronale Netzwerk (RNN) aus mehr als einer Long-Short-Term-Memory- (LSTM) Zelle. Das RNN kann aus einer Vielzahl von LSTM-Zellen bestehen.According to a preferred embodiment of the invention, the recurrent neural network (RNN) comprises one or more Long Short Term Memory (LSTM) cells. The RNN may have multiple LSTM cells. An LSTM cell is a gate-controlled RNN and has intrinsic loops to create paths along which the gradient can flow for a long period of time. Preferably, the recurrent neural network (RNN) consists of a long-short-term-memory (LSTM) cell. More preferably, the recurrent neural network (RNN) consists of more than one long-short term memory (LSTM) cell. The RNN may consist of a plurality of LSTM cells.

Vorzugsweise weist das rekurrente neuronale Netzwerk (RNN) eine Codierer-Decodierer-Architektur auf, die eine oder mehrere Long-Short-Term-Memory- (LSTM) Zellen aufweist. Die Codierer-Decodierer-Architektur kann auch als Sequenz-Sequenz-Architektur bezeichnet werden.Preferably, the recurrent neural network (RNN) comprises an encoder-decoder architecture having one or more long-short-term memory (LSTM) cells. The encoder-decoder architecture may also be referred to as a sequence-sequence architecture.

Das tiefe neuronale Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, das einen oder mehrere LSTMs aufweist, kann eine Ausgabesequenz lernen, die der aktuellen Eingabesequenz von Merkmalen mit variabler Länge entspricht. Gemäß einer bevorzugten Ausführungsform der Erfindung beinhaltet der Lernvorgang, der durch das tiefe neuronale Netzwerk (DNN) ausgeführt wird, das ein RNN aufweist, Backpropagation Through Time (BPTT)).The deep neural network (DNN) having a recurrent neural network (RNN) having one or more LSTMs may learn an output sequence corresponding to the current variable length feature input sequence. According to a preferred embodiment of the invention, the learning process performed by the Deep Neural Network (DNN) having an RNN includes Back Propagation Through Time (BPTT).

Vorzugsweise weist die Codierer-Decodierer- (oder Sequenz-Sequenz) Architektur von LSTM-Zellen einen Codierer oder eine Leseeinrichtung oder ein Eingabe-RNN (oder LSTM) auf, der/das die Eingabesequenz verarbeitet. Der Codierer kann den Kontext C üblicherweise als eine einfache Funktion seines letzten verborgenen Zustands ausgeben.Preferably, the encoder-decoder (or sequence-sequence) architecture of LSTM cells includes an encoder or reader Input RNN (or LSTM) processing the input sequence. The encoder can usually output the context C as a simple function of its last hidden state.

Ein Decodierer oder eine Schreibeinrichtung oder ein Ausgabe-RNN (oder LSTM) kann auf diesen Vektor mit fester Länge konditioniert werden, um die Ausgabesequenz Y = (y(I), ..., y(ny)) zu erzeugen. Gemäß dieser Ausführungsform bietet die Erfindung den Vorteil gegenüber anderen RNN-Architekturen, dass die Längen nx und ny voneinander verschieden sein können, während bei anderen herkömmlichen RNN-Architekturen die Einschränkung nx = ny = r gilt.A decoder or writer or output RNN (or LSTM) may be conditioned on this fixed length vector to produce the output sequence Y = (y (I), ..., y (ny)). According to this embodiment, the invention offers the advantage over other RNN architectures that the lengths nx and ny can be different from each other, while in other conventional RNN architectures the restriction nx = ny = r applies.

In einer Sequenz-Sequenz-Architektur können zwei RNNs (oder LSTMs) gemeinsam trainiert werden, um den Mittelwert von log P(y(1), ..., y(ny) | x(1), ... , x(nx)) über alle Paare von x- und y-Sequenzen im Trainingssatz zu maximieren. Der letzte Zustand h(nx) des Codierer-RNN (oder LSTM) wird typischerweise als eine Darstellung C der Eingabesequenz verwendet, die als Eingabe für das Decodierer-RNN (oder LSTM) bereitgestellt wird.In a sequence-sequence architecture, two RNNs (or LSTMs) can be trained together to obtain the mean of log P (y (1), ..., y (ny) | x (1), ..., x ( nx)) over all pairs of x and y sequences in the training set. The last state h (nx) of the encoder RNN (or LSTM) is typically used as a representation C of the input sequence provided as input to the decoder RNN (or LSTM).

Vorzugsweise beinhaltet der Lernvorgang ein Gradientenabstiegs(Gradient Descent)verfahren, wie beispielsweise Stochastic Gradient Descent (SGD). In dieser Ausführungsform lernt das Modell unter Verwendung eines Gradientenabstiegsverfahrens, wie beispielsweise Stochastic Gradient Descent (SGD).Preferably, the learning includes a gradient descent method such as Stochastic Gradient Descent (SGD). In this embodiment, the model learns using a gradient descent technique, such as Stochastic Gradient Descent (SGD).

Die Ausgabesequenz kann i) Lenkwinkel, ii) Bremssignale und/oder iii) Fahrpedalsignale aufweisen. Die Ausgabesequenz kann eine Zeitfolge mit variabler Länge sein. Die Ausgabesequenz kann eine beliebige Anzahl von i) Lenkwinkeln, ii) Bremssignalen und/oder iii) Fahrpedalsignalen in einer beliebigen Kombination aufweisen. Vorzugsweise bildet die Ausgabefolge von Lenksignalen, Bremssignalen und/oder Fahrpedalsignalen im Wesentlichen das Parkmanöver, das durch das Kraftfahrzeug für den Parkvorgang ausgeführt werden soll.The output sequence may comprise i) steering angle, ii) brake signals and / or iii) accelerator pedal signals. The output sequence may be a variable length time series. The output sequence may have any number of i) steering angles, ii) brake signals, and / or iii) accelerator pedal signals in any combination. Preferably, the output sequence of steering signals, brake signals and / or accelerator pedal signals essentially forms the parking maneuver to be performed by the motor vehicle for the parking operation.

Durch die Erfindung wird auch die Verwendung der hierin beschriebenen Verfahren in einem Fahrunterstützungssystem eines Kraftfahrzeugs angegeben. Insbesondere wird durch die Erfindung die Verwendung des Verfahrens zum automatischen Parken für ein Kraftfahrzeug angegeben, das ein hierin beschriebenes Fahrunterstützungssystem aufweist.The invention also specifies the use of the methods described herein in a driving assistance system of a motor vehicle. In particular, the invention provides the use of the method of automatic parking for a motor vehicle having a driving assistance system as described herein.

Durch die Erfindung wird ferner ein Fahrunterstützungssystem für ein Kraftfahrzeug angegeben, das einen oder mehrere Detektoren aufweist, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen.The invention further provides a ride assist system for a motor vehicle having one or more detectors, the ride assist system configured to perform the method described herein.

Durch die Erfindung wird ferner ein nichtflüchtiges computerlesbares Medium mit darin gespeicherten Anweisungen angegeben, die, wenn sie durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem veranlassen, das hierin beschriebene Verfahren auszuführen.The invention further provides a non-transitory computer readable medium having instructions stored therein which, when executed by a processor, cause a driving support system to perform the method described herein.

Durch die Erfindung wird ferner ein Kraftfahrzeug angegeben, mit:

  • einer Datenverarbeitungseinrichtung,
  • einem nichtflüchtigen computerlesbaren Medium mit darin gespeicherten Anweisungen, die, wenn es durch einen Prozessor ausgeführt wird, ein Fahrunterstützungssystem veranlassen, das hierin beschriebene Verfahren auszuführen, und
  • ein Fahrunterstützungssystem für ein Kraftfahrzeug mit einem oder mehreren Detektoren, wobei das Fahrunterstützungssystem dafür konfiguriert ist, das hierin beschriebene Verfahren auszuführen.
The invention further provides a motor vehicle, comprising:
  • a data processing device,
  • a non-transitory computer readable medium having instructions stored therein which, when executed by a processor, cause a driving support system to perform the method described herein, and
  • a drive assist system for a motor vehicle having one or more detectors, wherein the drive assist system is configured to perform the method described herein.

Diese und andere Aspekte der Erfindung werden unter Bezug auf die nachstehend beschriebenen Ausführungsformen und Beispiele ersichtlich und erläutert. Einzelne Merkmale, die in Verbindung mit den Ausführungsformen dargestellt sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsformen auf eine andere Ausführungsform übertragen werden. Ausführungsformen der vorliegenden Erfindung werden anhand der nachstehenden Beispiele beschrieben, die lediglich zur Erläuterung dienen und die Erfindung in keinerlei Weise einschränken sollen.These and other aspects of the invention will become apparent and appreciated by reference to the embodiments and examples described below. Individual features illustrated in connection with the embodiments may, alone or in combination, form an aspect of the present invention. Features of the various embodiments may be transferred from one embodiment to another embodiment. Embodiments of the present invention will be described by way of the following examples, which are given by way of illustration only and are not intended to limit the invention in any way.

Es zeigen:

  • 1 schematisch ein Kraftfahrzeug 1, das ein Parkmanöver in einen im Voraus erfassten Parkplatz als eine Ausgabesequenz ausführt, die Lenkwinkel, Bremssignale und Fahrpedalsignale aufweist, gemäß einer Ausführungsform der Erfindung;
  • 2 schematisch ein Kraftfahrzeug 1, das ein Parkmanöver in einen im Voraus erfassten Parkplatz als eine Ausgabesequenz ausführt, die Lenkwinkel, Bremssignale und Fahrpedalsignale aufweist, gemäß einer weiteren Ausführungsform der Erfindung;
  • 3 schematisch ein Kraftfahrzeug 1 mit einem Fahrunterstützungssystem 2 und Detektoren 3, wobei die erfassten Merkmale einer Long-Short-Term-Memory- (LSTM) Zelle eines rekurrenten neuronalen Netzwerks zugeführt wird, gemäß einer weiteren Ausführungsform der Erfindung. Die Zellen sind rekurrent miteinander verbunden. Ein Eingabemerkmal wird durch eine standardmäßige künstliche Neuroneneinheit berechnet. Ihr Wert kann in den Zustand akkumuliert werden, wenn das sigmoidale Eingabe-Gate dies zulässt. Die Zustandseinheit weist eine lineare Eigenschleife auf, wie durch das schwarze Quadrat dargestellt ist, deren Gewicht durch ein Forget-Gate gesteuert wird. Die Ausgabe der Zelle kann durch das Ausgabe-Gate ausgeschaltet werden. Alle Gating-Einheiten haben eine sigmoidale Nichtlinearität, während die Eingabeeinheit eine beliebige Nichtlinearität haben kann. Die Zustandseinheit kann auch für eine zusätzliche Eingabe für die Gating-Einheiten verwendet werden. Die schwarzen Quadrate zeigen eine Verzögerung von Zeitschritten an; und
  • 4 schematisch ein rekurrentes neuronales Netzwerk (RNN) mit drei Blöcken von Parametern und zugehörigen Transformationen, d.h. von der Eingabe zum verborgenen Zustand (Hidden State), vom vorherigen verborgenen Zustand zum nächsten verborgenen Zustand und vom verborgenen Zustand zur Ausgabe. Das RNN gemäß dieser Ausführungsform der Erfindung beinhaltet eine tiefe Berechnung in den Eingabe-zu-Verborgen-, Verborgen-zu-Verborgen- und Verborgen-zu-Ausgabe-Abschnitten, was den kürzesten Pfad zwischen Variablen, die unterschiedliche Zeitschritte verbinden, verlängern kann. Dieser Effekt kann durch Überspringen von Verbindungen im Verborgen-zu-Verborgen-Pfad unterdrückt werden.
Show it:
  • 1 schematically a motor vehicle 1 that executes a parking maneuver into a pre-detected parking lot as an output sequence having steering angles, brake signals, and accelerator pedal signals, according to an embodiment of the invention;
  • 2 schematically a motor vehicle 1 driving a parking maneuver into a pre-detected parking lot as an output sequence having steering angles, brake signals, and accelerator pedal signals, according to another embodiment of the invention;
  • 3 schematically a motor vehicle 1 with a driving support system 2 and detectors 3 wherein the detected features are applied to a long-short-term-memory (LSTM) cell of a recurrent neural network according to another embodiment of the invention. The cells are reconnected to each other. An input feature is provided by a standard artificial neuron unit calculated. Its value can be accumulated into the state when the sigmoid input gate allows it. The state unit has a linear self-loop, as represented by the black square whose weight is controlled by a gate gate. The output of the cell can be turned off by the output gate. All gating units have a sigmoidal non-linearity, while the input unit can have any nonlinearity. The state unit may also be used for additional input to the gating units. The black squares indicate a delay of time steps; and
  • 4 schematically a recurrent neural network (RNN) with three blocks of parameters and associated transforms, ie from the input to the hidden state (hidden state), from the previous hidden state to the next hidden state and from the hidden state to the output. The RNN according to this embodiment of the invention involves deep computation in the input-to-hidden, hidden-to-hidden, and hidden-to-output sections, which can extend the shortest path between variables connecting different time steps. This effect can be suppressed by skipping connections in the hidden-to-hidden path.

Beispiel 1example 1

Die 1 und 2 zeigen schematisch zwei verschiedene Szenarien eines Kraftfahrzeugs 1, das ein Parkmanöver in einen im Voraus erfassten Parkplatz als eine Ausgabesequenz ausführt, die Lenkwinkel, Bremssignale und Fahrpedalsignale aufweist, gemäß zwei Ausführungsformen der Erfindung.The 1 and 2 schematically show two different scenarios of a motor vehicle 1 , which executes a parking maneuver into a pre-detected parking lot as an output sequence having steering angles, brake signals and accelerator pedal signals, according to two embodiments of the invention.

In diesem Beispiel fährt das Kraftfahrzeug 1 an einem im Voraus erfassten Parkplatz vorbei bis zu dem Punkt, an dem das Einparkmanöver beginnen soll. Das Kraftfahrzeug 1 weist ein Fahrunterstützungssystem 2 auf und verwendet ein Verfahren zum automatischen Parken, das die Schritte zum Bereitstellen von Merkmalen eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren 3, Zuführen der Merkmale als Eingabesequenzen zu einem tiefen neuronalen Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) ist, zum Lernen einer Zeitfolge von Fahrsignalen, und Bereitstellen des Lernergebnisses als eine Ausgabesequenz aufweist.In this example, the motor vehicle is driving 1 Passing a pre-registered parking lot to the point where the parking maneuver should begin. The car 1 has a driving support system 2 and employs an automatic parking method comprising the steps of providing features of a pre-registered parking lot using one or more detectors 3 Supplying the features as input sequences to a deep neural network (DNN), which is a recurrent neural network (RNN), for learning a time series of driving signals, and providing the learning result as an output sequence.

Daher stellt das durch das Fahrunterstützungssystem 2 verwendete Verfahren Merkmale eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren 3 bereit, z.B. einer oder mehrerer Kameras, beispielsweise vier Kameras eines Rundumsichtsystems, die als Eingabesequenzen dem neuronalen Netzwerk (RNN) zugeführt werden, um eine Zeitfolge von Fahrsignalen zu lernen, die anschließend das Lernergebnis als eine Ausgabesequenz bereitstellt, d.h. die Ausgabesequenz von Lenkwinkeln, Bremssignalen und Fahrpedalsignalen, die das tatsächliche Parkmanöver implementieren.Therefore, this is provided by the driving support system 2 The method used features a pre-registered parking lot using one or more detectors 3 ready, for example, one or more cameras, for example four cameras of a panoramic system, which are supplied as input sequences to the neural network (RNN) to learn a time series of driving signals, which then provides the learning result as an output sequence, ie the output sequence of steering angles, braking signals and accelerator pedal signals that implement the actual parking maneuver.

Ein Satz von Parkmanövern wird als eine Zeitfolge modelliert, um das RNN damit zu trainieren, so dass das RNN lernen kann, wie in verschiedenen Parkszenarien geparkt werden soll. Ein solches Modell ist naturgemäß dazu geeignet, eine Folge von Schritten zu lernen, wie beispielsweise die Fahrsignale, die einem Parkmanöver entsprechen, wie beispielsweise in den 1 und 2 dargestellt ist. Dem Modell wird eine Eingabesequenz zugeführt, beispielsweise die Merkmale, die durch den einen oder die mehreren Detektoren 3 (z.B. Kameras) erfasst werden, wenn das Kraftfahrzeug 1 an dem im Voraus erfassten Parkplatz vorbeifährt bis zu dem Punkt, an dem das Parkmanöver beginnen soll.A set of park maneuvers is modeled as a time series to train the RNN so that the RNN can learn how to park in different parking scenarios. Such a model is naturally suitable for learning a sequence of steps, such as the driving signals corresponding to a parking maneuver, such as in the 1 and 2 is shown. The model is supplied with an input sequence, such as the features provided by the one or more detectors 3 (eg cameras) are detected when the motor vehicle 1 Passing the pre-registered parking lot to the point where the parking maneuver should begin.

In diesem Beispiel verwendet das Verfahren zum automatischen Parken für ein Kraftfahrzeug 1, das ein Fahrunterstützungssystem 2 aufweist, ein tiefes neuronales Netzwerk (DNN), das ein rekurrentes neutrales Netzwerk (RNN) zum Lernen von Parkmanövern aufweist. Das Verfahren modelliert den Satz von Parkmanövern als eine Zeitfolge und trainiert ein RNN (beispielsweise eine Long-Short-Term-Memory- (LSTM) Zelle), so dass das RNN lernen kann, wie in verschiedenen Szenarien geparkt werden soll (z.B. Querparken, paralleles Parken, Parken an engen Stellen).In this example, the method uses automatic parking for a motor vehicle 1 , which is a driving support system 2 a deep neural network (DNN) having a recurrent neutral network (RNN) for learning parking maneuvers. The method models the set of park maneuvers as a time series and trains an RNN (for example, a Long Short Term Memory (LSTM) cell) so that the RNN can learn how to park in different scenarios (eg, cross parking, parallel) Parking, parking in tight spaces).

Gemäß diesem Beispiel ist das tiefe neuronale Netzwerk (DNN) im Wesentlichen ein rekurrentes neuronales Netzwerk (RNN), das aus einer oder mehreren Long-Short-Term-Memory- (LSTM) Zellen in einer Codierer-Decodierer- (auch als Sequenz-Sequenz bezeichnet) Architektur besteht und als Eingabe eine Zeitfolge von Merkmalen verwendet, wie beispielsweise kamerabasierte Merkmale, und eine Zeitfolge von Fahrsignalen lernt, die das Parkmanöver bilden.In this example, the deep neural network (DNN) is essentially a recurrent neural network (RNN) consisting of one or more long-short-term-memory (LSTM) cells in an encoder-decoder (also called a sequence sequence designates architecture and uses as input a time series of features, such as camera-based features, and learns a time sequence of driving signals that make up the parking maneuver.

Die Merkmale (z.B. kamerabasierte Merkmale), die durch den einen oder die mehreren Detektoren 3 (z.B. eine oder mehrere Kameras) bereitgestellt werden, sind Zeitfolgen mit variabler Länge eines im Voraus erfassten Parkplatzes, der der Parkplatz sein soll, wo das Kraftfahrzeug 1 parken wird. Die Merkmale des im Voraus erfassten Parkplatzes, die durch den einen oder die mehreren Detektoren 3 bereitgestellt werden, weisen auf i) den Ort und die Ausrichtung des im Voraus erfassten Parkplatzes und/oder ii) 3D-Objektpunktwolken. Die Zeitfolge dieser Merkmale wird den LSTM-Zellen des RNN zugeführt.The features (eg, camera-based features) provided by the one or more detectors 3 (eg, one or more cameras) are variable length time sequences of a pre-registered parking lot which is to be the parking lot where the motor vehicle is 1 will park. The features of the pre-registered parking lot created by the one or more detectors 3 provided i) indicate the location and orientation of the parking area entered in advance and / or ii) 3D object point clouds. The time sequence of these features is supplied to the LSTM cells of the RNN.

Der Trigger für den Start dieser Eingabesequenz ist, wenn das Kraftfahrzeug 1 (d.h. das „Ego-Fahrzeug“) beginnt, nach einem Parkplatz zu suchen. Das Ende dieser Sequenz ist der Rahmen, in dem das Ego-Fahrzeug einen Parkplatz erfasst hat und beschließt, dort zu parken. Es gibt eine maximale Länge der Eingabesequenz, über die hinausgehend die ältesten Rahmen auf eine Ringpufferweise ersetzt werden.The trigger for starting this input sequence is when the motor vehicle 1 (ie the "ego vehicle") begins to search for a parking space. The end of this sequence is the frame in which the ego vehicle has captured a parking space and decides to park there. There is a maximum length of the input sequence beyond which the oldest frames are replaced in a ring buffer fashion.

Der eine oder die mehreren Detektoren 3 weisen eine oder mehrere Kameras und/oder einen oder mehrere Sensoren auf, wie beispielsweise Ultraschallsensoren. In diesem Beispiel sind die Detektoren 3 Teil eines Rundumsichtsystems, das mehrere Kameras aufweist, beispielsweise vier Kameras. Daher sind die Merkmale, die durch die Kameras als Detektoren 3 erfasst werden, kamerabasierte Merkmale. Die verwendeten Kameras weisen Sichtkameras und/oder Infrarotkameras auf. In weiteren Beispielen weisen die Detektoren 3 auch einen oder mehrere Sensoren auf, wie beispielsweise einen oder mehrere Ultraschallsensoren. Das Verfahren kann eine beliebige Anzahl und Kombination hierin erwähnter Detektoren 3 verwenden, d.h. Es kann eine Vielzahl gleicher oder verschiedener einzelner Detektoren 3 verwenden.The one or more detectors 3 have one or more cameras and / or one or more sensors, such as ultrasonic sensors. In this example, the detectors are 3 Part of a panoramic system that has multiple cameras, such as four cameras. Therefore, the features used by the cameras as detectors 3 captured, camera-based features. The cameras used have vision cameras and / or infrared cameras. In other examples, the detectors 3 also one or more sensors, such as one or more ultrasonic sensors. The method may include any number and combination of detectors mentioned herein 3 It can be a large number of identical or different individual detectors 3 use.

Das Fahrunterstützungssystem 2 weist ein bekanntes Fahrerassistenzsystem auf, das in herkömmlichen Fahrzeugen verwendet wird.The driving support system 2 has a known driver assistance system that is used in conventional vehicles.

Das rekurrente neuronale Netzwerk (RNN) besteht aus Long-Short-Term-Memory- (LSTM) Zellen und weist eine Codierer-Decodierer-Architektur auf, die die Long-Short-Term-Memory-(LSTM) Zellen aufweist. Die Codierer-Decodierer-Architektur wird auch als Sequenz-Sequenz-Architektur bezeichnet.The recurrent neural network (RNN) consists of long-short-term-memory (LSTM) cells and has an encoder-decoder architecture comprising the long-short-term-memory (LSTM) cells. The encoder-decoder architecture is also referred to as sequence-sequence architecture.

Das tiefe neuronale Netzwerk (DNN), das ein rekurrentes neurales Netzwerk (RNN) aufweist, das aus LSTMs besteht, lernt dann eine Ausgabesequenz, die der aktuellen Eingabesequenz von Merkmalen variabler Länge entspricht. Der Lernvorgang, der durch das tiefe neuronale Netzwerk (DNN) ausgeführt wird, das ein RNN aufweist, nutzt Backpropagation Through Time (BPTT).The Deep Neural Network (DNN), which has a recurrent neural network (RNN) consisting of LSTMs, then learns an output sequence corresponding to the current variable length feature input sequence. The learning performed by the deep neural network (DNN) that has an RNN uses Back Propagation Through Time (BPTT).

Die Codierer-Decodierer- (oder Sequenz-Sequenz-) Architektur der LSTM-Zellen weist einen Codierer oder eine Leseeinrichtung oder ein Eingabe-RNN (bzw. LSTM) auf, der/das die Eingabesequenz verarbeitet. Der Codierer gibt den Kontext C als eine einfache Funktion seines letzten verborgenen Zustands (Hidden State) aus.The encoder-decoder (or sequence-sequence) architecture of the LSTM cells has an encoder or reader or input RNN (or LSTM) that processes the input sequence. The encoder outputs the context C as a simple function of its last hidden state.

Ein Decodierer oder eine Schreibeinrichtung oder ein Ausgabe-RNN (oder LSTM) wird auf diesen Vektor fester Länge konditioniert, um die Ausgabesequenz Y = (y(I), ..., y(ny)) zu erzeugen. In dieser Architektur können die Längen nx und ny voneinander verschieden sein, im Gegensatz zu anderen herkömmlichen RNN-Architekturen, für die die Einschränkung nx = ny = r gilt.A decoder or writer or output RNN (or LSTM) is conditioned on this fixed length vector to produce the output sequence Y = (y (I), ..., y (ny)). In this architecture, the lengths nx and ny may be different from each other, unlike other conventional RNN architectures for which the constraint nx = ny = r.

In dieser Sequenz-Sequenz-Architektur werden zwei RNNs (bzw. LSTMs) gemeinsam trainiert, um den Mittelwert von log P(y(1), ..., y(ny) | x(1), ... , x (nx)) über alle Paare von x- und y-Sequenzen im Trainingssatz zu maximieren. Der letzte Zustand h(nx) des Codierer-RNN (oder LSTM) wird als eine Darstellung C der Eingabesequenz verwendet, die als Eingabe für das Decodierer-RNN (oder LSTM) bereitgestellt wird.In this sequence-sequence architecture, two RNNs (or LSTMs) are trained together to obtain the mean of log P (y (1), ..., y (ny) | x (1), ..., x ( nx)) over all pairs of x and y sequences in the training set. The last state h (nx) of the encoder RNN (or LSTM) is used as a representation C of the input sequence provided as input to the decoder RNN (or LSTM).

Wie in 3 dargestellt ist, werden die durch die Detektoren 3 des Kraftfahrzeugs 1, das ein Fahrunterstützungssystem 2 aufweist, erfassten Merkmale einer Long-Short-Term-Memory-(LSTM) Zelle eines rekurrenten neuronalen Netzwerks als Eingabe zugeführt. Die Zellen sind rekurrent miteinander verbunden. Ein Eingabemerkmal wird durch eine standardmäßige künstliche Neuroneneinheit berechnet. Sein Wert kann in den Zustand akkumuliert werden, wenn das sigmoidale Eingabe-Gate dies zulässt. Die Zustandseinheit weist eine lineare Eigenschleife auf, wie durch das schwarze Quadrat dargestellt ist, deren Gewicht durch ein Forget-Gate gesteuert wird. Die Ausgabe der Zelle kann durch das Ausgabe-Gate ausgeschaltet werden. Alle Gating-Einheiten haben eine sigmoidale Nichtlinearität, während die Eingabeeinheit eine beliebige Nichtlinearität haben kann. Die Zustandseinheit kann auch für eine zusätzliche Eingabe für die Gating-Einheiten verwendet werden. Die schwarzen Quadrate zeigen eine Verzögerung von Zeitschritten an.As in 3 represented by the detectors 3 of the motor vehicle 1 , which is a driving support system 2 has acquired characteristics of a long-short-term memory (LSTM) cell of a recurrent neural network input as input. The cells are reconnected to each other. An input feature is calculated by a standard artificial neuron unit. Its value can be accumulated into the state when the sigmoid input gate allows it. The state unit has a linear self-loop, as represented by the black square whose weight is controlled by a gate gate. The output of the cell can be turned off by the output gate. All gating units have a sigmoidal non-linearity, while the input unit can have any nonlinearity. The state unit may also be used for additional input to the gating units. The black squares indicate a delay of time steps.

Ferner weist, wie in 4 dargestellt ist, ein rekurrentes neuronales Netzwerk (RNN) gemäß diesem Beispiel drei Blöcke von Parametern und zugehörige Transformationen auf, d.h. von der Eingabe zum verborgenen Zustand (Hidden State), vom vorherigen verborgenen Zustand zum nächsten verborgenen Zustand, und vom verborgenen Zustand zur Ausgabe. Das RNN gemäß dieser Ausführungsform der Erfindung beinhaltet eine tiefe Berechnung in den Eingabe-zu-Verborgen-, Verborgen-zu-Verborgen- und Verborgen-zu-Ausgabe-Abschnitten, die den kürzesten Pfad zwischen Variablen, die verschiedene Zeitschritte verbinden, verlängern können. Diese Wirkung kann durch Überspringen von Verbindungen im Verborgen-zu-Verborgen-Pfad vermindert werden.Furthermore, as in 4 10, a recurrent neural network (RNN) according to this example has three blocks of parameters and associated transforms, ie, from the hidden state input, from the previous hidden state to the next hidden state, and from the hidden state to the output. The RNN according to this embodiment of the invention involves deep computation in the input-to-hidden, hidden-to-hidden, and hidden-to-output sections, which can extend the shortest path between variables connecting different time steps. This effect can be lessened by skipping links in the hidden-to-hidden path.

In diesem Beispiel weist das Lernen ein Gradientenabstiegs(Gradient Descent)verfahren auf, wie beispielsweise Stochastic Gradient Descent (SGD). Daher lernt das Modell unter Verwendung eines Gradientenabstiegsverfahrens, wie beispielsweise Stochastic Gradient Descent (SGD).In this example, the learning has a gradient descent method, such as for example Stochastic Gradient Descent (SGD). Therefore, the model learns using a gradient descent technique, such as Stochastic Gradient Descent (SGD).

Die Ausgabesequenz ist eine Zeitfolge mit variabler Länge und weist auf i) Lenkwinkel, ii) Bremssignale und/oder iii) Fahrpedalsignale. Die Ausgabesequenz kann eine beliebige Anzahl von i) Lenkwinkeln, ii) Bremssignalen und/oder iii) Fahrpedalsignalen in einer beliebigen Kombination aufweisen. Tatsächlich bildet die Ausgabefolge von Lenksignalen, Bremssignalen und/oder Fahrpedalsignalen das Parkmanöver, das durch das Kraftfahrzeug 1 zum Parken auf dem im Voraus erfassten Parkplatz ausgeführt werden soll.The output sequence is a time sequence of variable length and indicates i) steering angle, ii) brake signals and / or iii) accelerator pedal signals. The output sequence may have any number of i) steering angles, ii) brake signals, and / or iii) accelerator pedal signals in any combination. In fact, the output sequence of steering signals, brake signals and / or accelerator pedal signals forms the parking maneuver that is caused by the motor vehicle 1 to park on the pre-registered parking lot.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Kraftfahrzeugmotor vehicle
22
FahrunterstützungssystemDriving assistance system
33
Detektordetector

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2017293837 A1 [0004]US 2017293837 A1 [0004]

Claims (12)

Verfahren zum automatischen Parken für ein Kraftfahrzeug (1), das ein Fahrunterstützungssystem (2) aufweist, mit den Schritten: - Bereitstellen von Merkmalen eines im Voraus erfassten Parkplatzes unter Verwendung eines oder mehrerer Detektoren (3); - Zuführen der Merkmale als Eingabesequenzen zu einem tiefen neuronalen Netzwerk (DNN), das ein rekurrentes neuronales Netzwerk (RNN) aufweist, zum Lernen einer Zeitfolge von Fahrsignalen; und - Bereitstellen des Lernergebnisses als eine Ausgabesequenz.A method of automatic parking for a motor vehicle (1) having a driving support system (2), comprising the steps of: - providing features of a pre-registered parking lot using one or more detectors (3); - supplying the features as input sequences to a deep neural network (DNN) having a recurrent neural network (RNN) for learning a time sequence of driving signals; and Providing the learning result as an output sequence. Verfahren nach Anspruch 1, wobei die Merkmale des durch den einen oder die mehreren Detektoren (3) im Voraus erfassten Parkplatzes i) den Ort und die Ausrichtung des im Voraus erfassten Parkplatzes und/oder ii) 3D-Objektpunktwolken aufweisen.Method according to Claim 1 wherein the features of the parking lot i) detected in advance by the one or more detectors (3) include the location and orientation of the previously detected parking lot and / or ii) 3D object point clouds. Verfahren nach Anspruch 1 oder 2, wobei der eine oder die mehreren Detektoren (3) eine oder mehrere Kameras und/oder einen oder mehrere Ultraschallsensoren aufweisen.Method according to Claim 1 or 2 wherein the one or more detectors (3) comprise one or more cameras and / or one or more ultrasonic sensors. Verfahren nach einem der Ansprüche 1 bis 3, wobei das rekurrente neuronale Netzwerk (RNN) eine oder mehrere Long-Short-Term-Memory- (LSTM) Zellen aufweist.Method according to one of Claims 1 to 3 wherein the recurrent neural network (RNN) comprises one or more Long Short Term Memory (LSTM) cells. Verfahren nach einem der vorhergehenden Ansprüche, wobei das rekurrente neuronale Netzwerk (RNN) eine Codierer-Decodierer-Architektur umfasst, die eine oder mehrere Long-Short-Term-Memory- (LSTM) Zellen aufweist.The method of any one of the preceding claims, wherein the recurrent neural network (RNN) comprises an encoder-decoder architecture comprising one or more long-short-term-memory (LSTM) cells. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Lernen Backpropagation Through Time (BPTT) aufweist.The method of any one of the preceding claims, wherein the learning comprises Back Propagation Through Time (BPTT). Verfahren nach einem der vorhergehenden Ansprüche, wobei das Lernen ein Gradientenabstiegs(Gradient Descent)verfahren aufweist, vorzugsweise Stochastic Gradient Descent (SGD).Method according to one of the preceding claims, wherein the learning has a gradient descent method, preferably Stochastic Gradient Descent (SGD). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ausgabesequenz i) Lenkwinkel, ii) Bremssignale und/oder iii) Fahrpedalsignale aufweist.Method according to one of the preceding claims, wherein the output sequence comprises i) steering angle, ii) brake signals and / or iii) accelerator pedal signals. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 8 in einem Fahrunterstützungssystem (2) eines Kraftfahrzeugs (1).Use of the method according to one of Claims 1 to 8th in a driving support system (2) of a motor vehicle (1). Fahrunterstützungssystem (2) für ein Kraftfahrzeug (1) mit einem oder mehreren der Detektoren (3) nach Anspruch 3, wobei das Fahrunterstützungssystem (2) dafür konfiguriert ist, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.Driving support system (2) for a motor vehicle (1) with one or more of the detectors (3) according to Claim 3 wherein the driving assistance system (2) is configured to perform the method according to any one of Claims 1 to 8th perform. Nichtflüchtiges computerlesbares Medium, das darin gespeicherte Anweisungen aufweist, die, wenn sie durch einen Prozessor ausgeführt werden, ein Fahrunterstützungssystem (2) veranlassen, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.A non-transitory computer readable medium having instructions stored therein that, when executed by a processor, cause a driving support system (2) to perform the method of any one of Claims 1 to 8th perform. Kraftfahrzeug (1) mit: einer Datenverarbeitungseinrichtung; einem nichtflüchtigen computerlesbares Medium nach Anspruch 11; und dem Fahrunterstützungssystem (2) nach Anspruch 10.A motor vehicle (1) comprising: a data processing device; a non-volatile computer-readable medium Claim 11 ; and the driving assistance system (2) Claim 10 ,
DE102017127600.9A 2017-11-22 2017-11-22 Method for automatic parking for a motor vehicle with a driving support system Pending DE102017127600A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017127600.9A DE102017127600A1 (en) 2017-11-22 2017-11-22 Method for automatic parking for a motor vehicle with a driving support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017127600.9A DE102017127600A1 (en) 2017-11-22 2017-11-22 Method for automatic parking for a motor vehicle with a driving support system

Publications (1)

Publication Number Publication Date
DE102017127600A1 true DE102017127600A1 (en) 2019-05-23

Family

ID=66336149

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017127600.9A Pending DE102017127600A1 (en) 2017-11-22 2017-11-22 Method for automatic parking for a motor vehicle with a driving support system

Country Status (1)

Country Link
DE (1) DE102017127600A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310500A (en) * 2019-06-19 2019-10-08 中汽研（天津）汽车工程研究院有限公司 A kind of autonomous valet parking system and method based on GRNN network
JP2020199807A (en) * 2019-06-06 2020-12-17 日野自動車株式会社 Driving assist controller
CN112949902A (en) * 2021-01-25 2021-06-11 西北工业大学 Runoff prediction method based on LSTM multi-state vector sequence-to-sequence model
CN113525357A (en) * 2021-08-25 2021-10-22 吉林大学 Automatic parking decision model optimization system and method
CN114228701A (en) * 2021-11-30 2022-03-25 岚图汽车科技有限公司 Parking control method and device based on sensor data fusion
DE102021129778A1 (en) 2021-11-16 2023-05-17 Connaught Electronics Ltd. Method for detecting a parking space in the vicinity of a motor vehicle using an assistance system, computer program product and assistance system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4001493A1 (en) * 1990-01-19 1991-07-25 Pietzsch Ibp Gmbh Automatic control of vehicle motion - using ultrasonic object sensor providing input to learning process for vehicle control
US20170293837A1 (en) 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Multi-Modal Driving Danger Prediction System for Automobiles
DE102017107626A1 (en) * 2016-04-12 2017-10-12 Ford Global Technologies, Llc DETECTION OF AVAILABLE PARKING AREAS
DE102017120112A1 (en) * 2016-09-01 2018-03-01 Ford Global Technologies, Llc DEPTH CARE VALUATION WITH STEREO IMAGES

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4001493A1 (en) * 1990-01-19 1991-07-25 Pietzsch Ibp Gmbh Automatic control of vehicle motion - using ultrasonic object sensor providing input to learning process for vehicle control
US20170293837A1 (en) 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Multi-Modal Driving Danger Prediction System for Automobiles
DE102017107626A1 (en) * 2016-04-12 2017-10-12 Ford Global Technologies, Llc DETECTION OF AVAILABLE PARKING AREAS
DE102017120112A1 (en) * 2016-09-01 2018-03-01 Ford Global Technologies, Llc DEPTH CARE VALUATION WITH STEREO IMAGES

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020199807A (en) * 2019-06-06 2020-12-17 日野自動車株式会社 Driving assist controller
JP7319094B2 (en) 2019-06-06 2023-08-01 日野自動車株式会社 Driving support control device
CN110310500A (en) * 2019-06-19 2019-10-08 中汽研（天津）汽车工程研究院有限公司 A kind of autonomous valet parking system and method based on GRNN network
CN112949902A (en) * 2021-01-25 2021-06-11 西北工业大学 Runoff prediction method based on LSTM multi-state vector sequence-to-sequence model
CN112949902B (en) * 2021-01-25 2023-06-16 西北工业大学 Runoff prediction method based on LSTM multi-state vector sequence-to-sequence model
CN113525357A (en) * 2021-08-25 2021-10-22 吉林大学 Automatic parking decision model optimization system and method
CN113525357B (en) * 2021-08-25 2022-12-09 吉林大学 Automatic parking decision model optimization system and method
DE102021129778A1 (en) 2021-11-16 2023-05-17 Connaught Electronics Ltd. Method for detecting a parking space in the vicinity of a motor vehicle using an assistance system, computer program product and assistance system
CN114228701A (en) * 2021-11-30 2022-03-25 岚图汽车科技有限公司 Parking control method and device based on sensor data fusion
CN114228701B (en) * 2021-11-30 2023-10-20 岚图汽车科技有限公司 Parking control method and device based on sensor data fusion

Similar Documents

Publication Publication Date Title
DE102017127600A1 (en) Method for automatic parking for a motor vehicle with a driving support system
DE102019104974A1 (en) Method and system for determining a driving maneuver
DE102016111691A1 (en) Semi-autonomous vehicle and method of controlling a semi-autonomous vehicle
EP3765927B1 (en) Method for generating a training data record for training an artificial intelligence module for a control device of a vehicle
DE102011113916A1 (en) Method for classifying parking scenarios for a parking system of a motor vehicle
DE102019118366A1 (en) Method and control device for a system for controlling a motor vehicle
DE102021109395A1 (en) METHODS, SYSTEMS AND DEVICES FOR USER UNDERSTANDABLE EXPLAINABLE LEARNING MODELS
DE102016007899A1 (en) Method for operating a device for traffic situation analysis, motor vehicle and data processing device
DE102017223206A1 (en) Low-dimensional determination of demarcated areas and movement paths
DE102018132370A1 (en) USING DEEP VIDEO IMAGE GUIDANCE FOR TRAINING A CONTROL OF AN AUTONOMOUS VEHICLE AND METHOD THEREOF
EP3785169A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
EP3505414A1 (en) Motor vehicle control device and method for operating the control device for autonomous driving of a motor vehicle
DE102020215780A1 (en) Method for selecting an automated driving process using a driver assistance system
EP4000010A1 (en) Device and computer-implemented method for the processing of digital sensor data and training method for same
EP3782081B1 (en) Method for generating a test data set, method for testing, method for operating a system, device, control system, computer program product, computer readable medium, generation and use
DE102017128082A1 (en) Meta-architecture design for a CNN network
EP3748453B1 (en) Method and device for automatically executing a control function of a vehicle
DE102018211726A1 (en) Method for automatic machine training of an electronic vehicle guidance system, and motor vehicle
EP3748454B1 (en) Method and device for automatically executing a control function of a vehicle
DE102018121866A1 (en) Method for depth estimation of two-dimensional sensor data
DE102018101515A1 (en) Method for generating a driving strategy of a vehicle
DE102017123226A1 (en) A method of determining a critical altitude of a forward link for a vehicle comprising a towing vehicle and a trailer
DE102019204187A1 (en) Classification and temporal recognition of tactical driving maneuvers by road users
DE102021208472B3 (en) Computer-implemented method for training a machine learning model for a vehicle or robot
DE102020208878A1 (en) Process for curve detection

Legal Events

Date Code Title Description
R163 Identified publications notified