DE102019213867A1 - Obstacle detection comprising a recurrent neural network - Google Patents

Obstacle detection comprising a recurrent neural network Download PDF

Info

Publication number
DE102019213867A1
DE102019213867A1 DE102019213867.5A DE102019213867A DE102019213867A1 DE 102019213867 A1 DE102019213867 A1 DE 102019213867A1 DE 102019213867 A DE102019213867 A DE 102019213867A DE 102019213867 A1 DE102019213867 A1 DE 102019213867A1
Authority
DE
Germany
Prior art keywords
neural network
sensor
vehicle
sensors
recurrent neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019213867.5A
Other languages
German (de)
Inventor
Kyle Retan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019213867.5A priority Critical patent/DE102019213867A1/en
Publication of DE102019213867A1 publication Critical patent/DE102019213867A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorrichtung zur Auswertung der von wenigstens einem Umfeldsensor (26) eines Fahrzeugs (10) erfassten Sensordaten, wobei die Vorrichtung ein künstliches rekurrentes neuronales Netzwerk (47) umfasst, das dazu ausgelegt ist, die Sensordaten zu filtern.Device for evaluating the sensor data recorded by at least one environment sensor (26) of a vehicle (10), the device comprising an artificial recurrent neural network (47) which is designed to filter the sensor data.

Description

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Offenbarung betrifft das technische Gebiet der Fahrzeugsensorik und deren Datenauswertung, insbesondere für autonome oder teilautonome Fahrzeuge.The present disclosure relates to the technical field of vehicle sensors and their data evaluation, in particular for autonomous or semi-autonomous vehicles.

TECHNISCHER HINTERGRUNDTECHNICAL BACKGROUND

Autonome oder teilautonome Fahrzeuge weisen Sensoren wie beispielsweise Kameras, Radar- und Lidar-Sensoren auf, die das Umfeld des Fahrzeugs sensorisch erfassen und deren Daten in einer Steuereinheit mittels geeigneter Software ausgewertet werden. Auf Grundlage der durch diese Datenverarbeitung gewonnenen Informationen kann eine Steuereinheit über entsprechende Aktuatoren Brems-, Geschwindigkeits-, Abstands-, Kompensations- und/oder Ausweichregelungen selbsttätig auslösen und durchführen.Autonomous or semi-autonomous vehicles have sensors such as cameras, radar and lidar sensors, which detect the surroundings of the vehicle using sensors and whose data are evaluated in a control unit using suitable software. On the basis of the information obtained through this data processing, a control unit can automatically initiate and carry out braking, speed, distance, compensation and / or evasive regulation via corresponding actuators.

Für leistungsstarke Fahrassistenzsysteme und autonome Fahrzeuge ist eine präzise Umfelderkennung wichtig. Zu diesem Zweck besitzen moderne Fahrzeuge eine Vielzahl von Sensoren, zum Beispiel Radar, Lidar- oder Kamera-Sensoren, die ihre Messwerte in Form einer Punktwolke liefern. Aus den von den Sensoren bereitgestellten Punktwolken gilt es, zuverlässige Informationen über mögliche Objekte im Fahrpfad oder auf Kollisionskurs zum eigenen Fahrzeug zu erhalten.Precise recognition of the surroundings is important for high-performance driver assistance systems and autonomous vehicles. For this purpose, modern vehicles have a large number of sensors, for example radar, lidar or camera sensors, which deliver their measured values in the form of a point cloud. The point clouds provided by the sensors are used to obtain reliable information about possible objects in the driving path or on a collision course with one's own vehicle.

Radarpunktwolken werden typischerweise nach Bewegungszustand (statisch/dynamisch) klassifiziert und entweder in Objektverfolgern oder Belegungsrasterkarten verarbeitet. Ein Clustering von Punkten wird vorgenommen, um alle Punkte zu erhalten, die von demselben Objekt stammen. Bekannte Lösungen hierfür haben jedoch Probleme mit unvermeidbaren Fehlern in den Daten, sogenannten „Effekten“, wie beispielsweise Artefakten oder sog. „Geisterzielen“. Algorithmische Lösungen, die versuchen diese Fehler mittels technischer oder physikalischer Modelle zu eliminieren haben sich nur als begrenzt zuverlässig herausgestellt.Radar point clouds are typically classified according to the state of motion (static / dynamic) and processed either in object trackers or occupancy raster maps. A clustering of points is done in order to get all points that originate from the same object. Known solutions for this, however, have problems with unavoidable errors in the data, so-called "effects", such as artifacts or so-called "ghost targets". Algorithmic solutions that try to eliminate these errors using technical or physical models have only proven to be of limited reliability.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Die vorliegende Erfindung wurde hinsichtlich der vorstehend beschriebenen Problematik entwickelt, und es ist Aufgabe der vorliegenden Erfindung, die Auswertung von Sensordaten zu verbessern.The present invention was developed with regard to the problems described above, and it is the object of the present invention to improve the evaluation of sensor data.

Diese Aufgabe wird durch die Vorrichtung nach Anspruch 1 und das Verfahren nach Anspruch 10 gelöst. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung.This object is achieved by the device according to claim 1 and the method according to claim 10. Further advantageous embodiments of the invention emerge from the subclaims and the following description of preferred exemplary embodiments of the present invention.

Die Ausführungsbeispiele zeigen eine Vorrichtung zur Auswertung der von ein oder mehreren Umfeldsensoren eines Fahrzeugs erfassten Sensordaten, wobei die Vorrichtung ein künstliches rekurrentes neuronales Netzwerk umfasst, das dazu ausgelegt ist, die Sensordaten zu filtern. Experimente haben gezeigt, dass neuronale Netzwerke aufgrund deren guten Mustererkennung mit unerwünschten Effekten besser klarkommen, als herkömmliche Verarbeitungseinheiten. Die Vorrichtung kann damit den räumlichen und zeitlichen Kontext in einem wiederkehrenden Kontext mittels neuronalem Netzwerk berücksichtigen.The exemplary embodiments show a device for evaluating the sensor data recorded by one or more environment sensors of a vehicle, the device comprising an artificial recurrent neural network that is designed to filter the sensor data. Experiments have shown that neural networks can cope better with undesirable effects than conventional processing units due to their good pattern recognition. The device can thus take into account the spatial and temporal context in a recurring context by means of a neural network.

Die Vorrichtung kann zur Hinderniserkennung in einem Fahrzeug eingesetzt werden. Bei dem Fahrzeug kann es sich insbesondere um ein fahrerloses autonomes oder um ein teilautonom bewegtes Fahrzeug handeln. Es kann sich beispielsweise um ein Land-, Luft- oder Wasserfahrzeug handeln, beispielsweise um ein fahrerloses Transportsystem (FTS), einen autonomen PKW, ein Schienenfahrzeug, eine Drohne, ein Boot oder dergleichen.The device can be used for obstacle detection in a vehicle. The vehicle can in particular be a driverless autonomous vehicle or a partially autonomous vehicle. For example, it can be a land, air or water vehicle, for example a driverless transport system (AGV), an autonomous car, a rail vehicle, a drone, a boat or the like.

Die Sensordaten des Umfeldsensors können beispielsweise in Form einer Punktwolke vorliegen. Bei den Umfeldsensoren kann es sich um ein oder mehrere Radar-Sensoren, Lidar-Sensoren, Kamerasensoren oder Ultraschallsensoren handelt. Die Sensordaten liefern ZustandsdatenThe sensor data of the environment sensor can be in the form of a point cloud, for example. The environment sensors can be one or more radar sensors, lidar sensors, camera sensors or ultrasonic sensors. The sensor data provide status data

Das künstliche rekurrente neuronale Netzwerk ist beispielsweise dazu ausgelegt, auf Grundlage der Sensordaten ein Belegungsraster zur ermitteln. Neuronale netzwerkbasierte Belegungsraster demonstrieren die Fähigkeit, räumliche und zeitliche Abhängigkeiten automatisch zu lernen und können quasi unbeaufsichtigt trainiert werden. Die vorliegende Erfindung stellt damit ein System zur Hinderniserkennung bereit, welches ein rekurrentes neuronales Netzwerk umfasst, das aufgrund von einem Sensor (z. Bsp. Radar) ermittelter Daten in Form einer Punktwolke eine Belegungsrasterkarte für das Sichtfeld des Sensors bestimmt.The artificial recurrent neural network is designed, for example, to determine an occupancy grid on the basis of the sensor data. Neural network-based allocation grids demonstrate the ability to automatically learn spatial and temporal dependencies and can be practically trained unattended. The present invention thus provides a system for obstacle detection which comprises a recurrent neural network which, based on data determined by a sensor (e.g. radar) in the form of a point cloud, determines an occupancy grid map for the field of view of the sensor.

Das Belegungsraster kann mehrere Rasterzellen umfassen, wobei jeder Rasterzelle Attribute zugeordnet sind. Die Attribute können beispielsweise eine Belegungswahrscheinlichkeit, Höheninformationen und/oder kinematische Informationen oder dergleichen umfassen.The occupancy grid can comprise a plurality of grid cells, with attributes being assigned to each grid cell. The attributes can include, for example, an occupancy probability, height information and / or kinematic information or the like.

Das neuronale Netzwerk kann insbesondere mehrere Gruppen an Ausgabeneuronen besitzen, wobei jede Gruppe an Ausgabeneuronen eines der zu speichernden Attribute ausgibt.The neural network can in particular have several groups of output neurons, each group of output neurons outputting one of the attributes to be stored.

Die Filterung der Sensordaten durch beispielsweise Bestimmung von Belegungsrastern erfolgt vorzugsweise in Echtzeit.The filtering of the sensor data, for example by determining occupancy grids, is preferably carried out in real time.

Die Vorrichtung kann ferner eine Sensorfusionseinheit umfassen, die dazu ausgelegt ist, Sensordaten zusammenzuführen, um diese dem künstlichen rekurrenten neuronalen Netzwerk zuzuführen.The device can furthermore comprise a sensor fusion unit which is designed to combine sensor data in order to feed them to the artificial recurrent neural network.

Ferner kann das künstliche rekurrente neuronalen Netzwerk auch durch ein oder mehrere weitere künstliches neuronale Netzwerke, beispielsweise ein CNN-Netzwerk ergänzt werden.Furthermore, the artificial recurrent neural network can also be supplemented by one or more further artificial neural networks, for example a CNN network.

Die Ausführungsbeispiele zeigen auch ein Verfahren zur Auswertung der von ein oder mehreren Umfeldsensoren eines Fahrzeugs erfassten Sensordaten, wobei das Verfahren ein Filtern der Sensordaten mittels einem künstlichen rekurrenten neuronalen Netzwerk umfasst. Das Verfahren kann ganz oder teilweise als ein computerimplementiertes Verfahren ausgeführt werden. Insbesondere betreffen die Ausführungsbeispiele auch Programminstruktionen, welche dazu ausgelegt sind, die hier beschriebenen Verfahren auszuführen.The exemplary embodiments also show a method for evaluating the sensor data recorded by one or more environment sensors of a vehicle, the method comprising filtering the sensor data by means of an artificial recurrent neural network. The method can be carried out in whole or in part as a computer-implemented method. In particular, the exemplary embodiments also relate to program instructions which are designed to carry out the methods described here.

FigurenlisteFigure list

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsformen beispielhaft erläutert.

  • 1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
  • 2 zeigt schematisch eine beispielhafte Konfiguration eines Steuergeräts für autonomes Fahren zeigt.
  • 3 zeigt eine Unterteilung des Raums hinter einem Fahrzeug mit Hilfe von Rasterzellen in eine Rasterkarte.
  • 4 zeigt mögliche Attribute einer Rasterkarte aus 2.
  • 5 zeigt schematisch das Befüllen einer Rasterkarte mit Belegungswahrscheinlichkeiten im Fall von statischen Objekten im Raum hinter dem Fahrzeug.
  • 6 zeigt schematisch den Aufbau und das Funktionsprinzip eines neuronalen Netzwerks.
  • 7 visualisiert schematisch das Funktionsprinzip einer Sensorverarbeitungseinheit gemäß einem Ausführungsbeispiel der Erfindung.
  • 8 visualisiert die Fusion mehrerer unterschiedlicher Sensordaten zu einem gemeinsamen Sensorbild.
In the following, the invention is explained by way of example on the basis of the embodiments shown in the figures.
  • 1 FIG. 13 is a block diagram schematically showing the configuration of a vehicle according to an embodiment of the present invention.
  • 2 shows schematically an exemplary configuration of a control device for autonomous driving.
  • 3 shows a subdivision of the space behind a vehicle with the aid of grid cells into a grid map.
  • 4th shows possible attributes of a raster map 2 .
  • 5 shows schematically the filling of a grid map with occupancy probabilities in the case of static objects in the space behind the vehicle.
  • 6th shows schematically the structure and the functional principle of a neural network.
  • 7th schematically visualizes the functional principle of a sensor processing unit according to an exemplary embodiment of the invention.
  • 8th visualizes the fusion of several different sensor data into a common sensor image.

Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung anhand der folgenden Figuren beschrieben.In the following, exemplary embodiments of the present invention are described with reference to the following figures.

1 zeigt ein Blockdiagramm, das schematisch die Konfiguration eines Fahrzeugs 10 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das Fahrzeug 10 umfasst mehrere elektronische Komponenten, welche via eines Fahrzeugkommunikationsnetzwerks 28 miteinander verbunden sind. Das Fahrzeugkommunikationsnetzwerk 28 kann beispielsweise ein im Fahrzeug eingebautes standardgemäßes Fahrzeugkommunikationsnetzwerk wie etwa ein CAN-Bus (controller area network), ein LIN-Bus (local interconnect network), ein LAN-Bus (local area network), ein MOST-Bus und/oder ein FlexRay-Bus (registered trademark) oder dergleichen sein. 1 Fig. 13 is a block diagram schematically showing the configuration of a vehicle 10 according to an embodiment of the present invention. The vehicle 10 comprises several electronic components which are connected to one another via a vehicle communication network 28. The vehicle communication network 28 may, for example, be a standard vehicle communication network installed in the vehicle, such as a CAN bus (controller area network), a LIN bus (local interconnect network), a LAN bus (local area network), a MOST bus and / or be a FlexRay bus (registered trademark) or the like.

In dem in 1 dargestellten Beispiel umfasst das Fahrzeug 10 eine Steuereinheit 12 (ECU 1) für ein Bremssystem. Das Bremssystem bezieht sich dabei auf die Komponenten, die ein Bremsen des Fahrzeugs ermöglichen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 14 (ECU 2), die einen Antriebsstrang steuert. Der Antriebsstrang bezieht sich dabei auf die Antriebskomponenten des Fahrzeugs. Der Antriebsstrang kann einen Motor, ein Getriebe, eine Antriebs-/ Propellerwelle, ein Differential und einen Achsantrieb umfassen. Das Fahrzeug 10 umfasst ferner eine Steuereinheit 16 (ECU 3), die ein Lenksystem steuert. Das Lenksystem bezieht sich dabei auf die Komponenten, die eine Richtungssteuerung des Fahrzeugs ermöglichen.In the in 1 The example shown includes the vehicle 10 a control unit 12th (ECU 1) for a braking system. The braking system refers to the components that enable the vehicle to brake. The vehicle 10 further comprises a control unit 14th (ECU 2) that controls a powertrain. The drive train refers to the drive components of the vehicle. The powertrain may include an engine, a transmission, a drive / propeller shaft, a differential, and a final drive. The vehicle 10 further comprises a control unit 16 (ECU 3) that controls a steering system. The steering system refers to the components that enable directional control of the vehicle.

Die Steuereinheiten 12, 14, 16 und 18 können ferner von den oben genannten Fahrzeugsubsystemen Fahrzeugbetriebsparameter empfangen, die diese mittels einem oder mehreren Fahrzeugsensoren erfassen. Fahrzeugsensoren sind vorzugsweise solche Sensoren, die einen Zustand des Fahrzeugs oder einen Zustand von Fahrzeugteilen erfassen, insbesondere deren Bewegungszustand. Die Sensoren können einen Fahrgeschwindigkeitssensor, einen Gierraten-Sensor, einen Beschleunigungssensor, einen Lenkradwinkelsensor, einen Fahrzeuglastsensor, Temperatursensoren, Drucksensoren und dergleichen umfassen. Beispielsweise können auch Sensoren entlang der Bremsleitung angeordnet sein, um Signale auszugeben, die den Bremsflüssigkeitsdruck an verschiedenen Stellen entlang der hydraulischen Bremsleitung anzeigen. Andere Sensoren in der Nähe des Rades können vorgesehen sein, welche die Radgeschwindigkeit und den Bremsdruck erfassen, der am Rad aufgebracht wird.The control units 12th , 14th , 16 and 18 may also receive vehicle operating parameters from the above vehicle subsystems that are detected by one or more vehicle sensors. Vehicle sensors are preferably those sensors that detect a state of the vehicle or a state of vehicle parts, in particular their state of movement. The sensors may include a vehicle speed sensor, a yaw rate sensor, an acceleration sensor, a steering wheel angle sensor, a vehicle load sensor, temperature sensors, pressure sensors, and the like. For example, sensors can also be arranged along the brake line in order to output signals which indicate the brake fluid pressure at various points along the hydraulic brake line. Other sensors in the vicinity of the wheel can be provided which detect the wheel speed and the brake pressure applied to the wheel.

Die Fahrzeugsensorik des Fahrzeugs 10 umfasst darüber hinaus eine Satellitennavigationseinheit 24 (GPSGNSS-Einheit). Es sei darauf hingewiesen, dass im Kontext der vorliegenden Erfindung GPS GNSS stellvertretend für sämtliche Globale Navigationssatellitensysteme (GNSS) steht, wie z.B. GPS, AGPS, Galileo, GLONASS (Russland), Compass (China), IRNSS (Indien) und dergleichen.The vehicle sensors of the vehicle 10 also includes a satellite navigation unit 24 (GPSGNSS unit). It should be noted that in the context of the present invention GPS GNSS is representative of all global navigation satellite systems (GNSS), such as GPS, AGPS, Galileo, GLONASS (Russia), Compass (China), IRNSS (India) and the like.

Das Fahrzeug 10 umfasst ferner ein oder mehrere Sensoren, welche dazu ausgelegt sind, das Umfeld des Fahrzeugs zu erfassen, wobei die Sensoren am Fahrzeug montiert sind und Bilder des Umfelds des Fahrzeugs erfassen, oder Objekte oder Zustände im Umfeld des Fahrzeugs erkennen. Die Umfeldsensoren 26 umfassen insbesondere Kameras, Radar-Sensoren, Lidar-Sensoren, Ultraschall-Sensoren oder dergleichen. Die Umfeldsensoren 26 können innerhalb des Fahrzeugs oder außerhalb des Fahrzeugs (z. B. an der Außenseite des Fahrzeugs) angeordnet sein. Beispielsweise kann eine Kamera in einem vorderen Bereich des Fahrzeugs 10 zur Aufnahme von Bildern eines vor dem Fahrzeug befindlichen Bereichs vorgesehen sein.The vehicle 10 further comprises one or more sensors which are designed to detect the surroundings of the vehicle, wherein the sensors are mounted on the vehicle and detect images of the surroundings of the vehicle, or detect objects or conditions in the surroundings of the vehicle. The environment sensors 26th include in particular cameras, radar sensors, lidar sensors, ultrasonic sensors or the like. The environment sensors 26th can be arranged inside the vehicle or outside the vehicle (e.g. on the outside of the vehicle). For example, a camera in a front area of the vehicle 10 be provided for recording images of an area in front of the vehicle.

Das Fahrzeug 10 umfasst ferner eine Sensorverarbeitungseinheit 22 (ECU 4), die in der Lage ist auf Grundlage von Sensordaten, die von den Umweltsensoren 20 in Form einer Punktwolke bereitgestellt werden, eine Rasterkarte mit Belegungswahrscheinlichkeiten zu bestimmen.The vehicle 10 furthermore comprises a sensor processing unit 22 (ECU 4) which is able to determine a raster map with occupancy probabilities on the basis of sensor data which are provided by the environmental sensors 20 in the form of a point cloud.

Das Fahrzeug 1 umfasst ferner eine Steuereinheit für autonomes Fahren 18 (ECU 5). Die Steuereinheit für autonomes Fahren 18 ist dazu ausgelegt, das Fahrzeug 1 so zu steuern, dass dieses ganz oder teilweise ohne Einfluss eines menschlichen Fahrers im Straßenverkehr agieren kann. Wenn steuerungsseitig oder fahrerseitig ein Betriebszustand für das autonome Fahren aktiviert ist, bestimmt die Steuereinheit für autonomes Fahren 18, auf Grundlage von zur Verfügung stehenden Daten über eine vorgegebene Fahrtstrecke, von den Umweltsensoren 20 aufgenommenen Umgebungsdaten bzw. den von der Sensorverarbeitungseinheit 22 bereitgestellten verarbeiteten Daten, sowie von mittels den Fahrzeugsensoren erfassten Fahrzeugbetriebsparametern, die der Steuereinheit 18 von den Steuereinheiten 12, 14 und 16 zugeleitet werden, Parameter für den autonomen Betrieb des Fahrzeugs (beispielsweise Soll-Geschwindigkeit, Soll-Moment, Abstand zum Vorausfahrzeug, Abstand zum Fahrbahnrand, Lenkvorgang und dergleichen).The vehicle 1 further comprises an autonomous driving control unit 18 (ECU 5). The control unit for autonomous driving 18 is designed to control the vehicle 1 in such a way that it can operate completely or partially without the influence of a human driver in road traffic. If an operating state for autonomous driving is activated on the control side or on the driver side, the control unit for autonomous driving 18 determines, on the basis of available data about a predetermined route, environmental data recorded by the environmental sensors 20 or the processed data provided by the sensor processing unit 22, as well as vehicle operating parameters detected by means of the vehicle sensors, which the control unit 18 receives from the control units 12th , 14th and 16 parameters for the autonomous operation of the vehicle (for example target speed, target torque, distance to the vehicle in front, distance to the edge of the road, steering process and the like).

Das Fahrzeug 10 umfasst ferner eine Benutzerschnittstelle 32 (HMI = Human-Machine-Interface), die einem Fahrzeuginsassen ermöglicht, mit einem oder mehreren Fahrzeugsystemen in Interaktion zu stehen. Diese Benutzerschnittstelle 32 (beispielsweise eine GUI = Graphical User Interface) kann eine elektronische Anzeige zum Ausgeben einer Graphik, von Symbolen und/oder Inhalt in Textform, und eine Eingabeschnittstelle zum Empfangen einer Eingabe (beispielsweise manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen) umfassen. Die Eingabeschnittstelle kann beispielsweise Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen), Eye-Tracker und dergleichen umfassen.The vehicle 10 further comprises a user interface 32 (HMI = Human-Machine-Interface), which enables a vehicle occupant to interact with one or more vehicle systems. This user interface 32 (for example a GUI = Graphical User Interface) can be an electronic display for outputting graphics, symbols and / or content in text form, and an input interface for receiving input (for example manual input, voice input and input by means of gestures, head or eye movements) include. The input interface can include, for example, keyboards, switches, touch-sensitive screens, eye trackers and the like.

2a zeigt ein Blockdiagramm, das eine beispielhafte Konfiguration einer Steuereinheit für autonomes Fahren 18 (ECU 5) darstellt. Bei der Steuereinheit für autonomes Fahren 18 kann es sich beispielsweise um ein Steuergerät (electronic control unit ECU oder Electronic Control Module ECM) handeln. Die Steuereinheit für autonomes Fahren 18 umfasst einen Prozessor 40. Bei dem Prozessor 40 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt. Der Prozessor der Steuereinheit für autonomes Fahren 18 ist beispielsweise dazu ausgelegt, beim Fahren je nach geplantem Fahrmanöver, basierend auf den Informationen des sensorbasierten Umfeldmodells, eine optimale Fahrposition (beispielsweise Folgeabstand oder Lateralversatz zu einem Vorausfahrzeug oder dergleichen) unter Berücksichtigung des zulässigen Fahrspurbereichs zu berechnen. Die errechnete optimale Fahrposition wird zur Steuerung von Aktuatoren der Fahrzeugsubsysteme 12, 14 und 16, beispielsweise von Brems-, Antriebs- und/oder Lenkaktuatoren, verwendet. Die Steuereinheit für autonomes Fahren 18 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-Only Memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Steuereinheit für autonomes Fahren 18 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Steuereinheit für autonomes Fahren 18 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (28 in 2) kommunizieren kann. 2a FIG. 13 is a block diagram illustrating an exemplary configuration of an autonomous driving control unit 18 (ECU 5). The control unit for autonomous driving 18 can be, for example, a control device (electronic control unit ECU or electronic control module ECM). The autonomous driving control unit 18 includes a processor 40 . At the processor 40 For example, it can be a computing unit such as a central processing unit (CPU = Central Processing Unit) that executes program instructions. The processor of the control unit for autonomous driving 18 is designed, for example, to calculate an optimal driving position (for example following distance or lateral offset to a vehicle in front or the like) while driving, depending on the planned driving maneuver, based on the information of the sensor-based environment model, taking into account the permissible lane area. The calculated optimal driving position is used to control the actuators of the vehicle subsystems 12th , 14th and 16 , for example, used by braking, drive and / or steering actuators. The autonomous driving control unit 18 further includes a memory and an input / output interface. The memory can consist of one or more non-transitory computer-readable media and comprises at least a program storage area and a data storage area. The program memory area and the data memory area can comprise combinations of different types of memory, for example read-only memory 43 (ROM) and random access memory 42 (RAM) (e.g. dynamic RAM ( "DRAM"), synchronous DRAM ("SDRAM") etc.). Further, the autonomous driving control unit 18 can include an external storage drive 44 such as an external hard disk drive (HDD), flash memory drive, or a non-volatile solid state drive (SSD). The control unit for autonomous driving 18 further comprises a communication interface 45 via which the control unit connects to the vehicle communication network (28 in FIG 2 ) can communicate.

2b zeigt schematisch eine erfindungsgemäße Sensorverarbeitungseinheit 22. Alle Bestandteile der Sensorverarbeitungseinheit 22 sind über ein internes Kommunikationsnetzwerk 46 verbunden. Die Sensorverarbeitungseinheit 22 umfasst einen integrierten Schaltkreis 47, der eine Hardware-Implementierung eines rekurrenten neuronalen Netzwerks (RNN) bereitstellt, wie dies in 6 näher beschrieben ist. Bei dem integrierten Schaltkreis 47 kann es sich beispielsweise um eine GPU oder ein GPU Cluster handeln, welche für die Implementierung eines neuronalen Netzwerks optimiert ist. Der rekurrente Neuronale Netzwerk 47 ist derart konfiguriert, dass es Sensordaten in Form einer Punktwolke in eine Belegungsrasterkarte für das Sichtfeld des Sensors überführt. Die Sensorverarbeitungseinheit 22 umfasst einen Prozessor 40. Bei dem Prozessor 40 kann es sich beispielsweise um eine Recheneinheit wie eine zentrale Verarbeitungseinheit (CPU = Central Processing Unit) handeln, die Programminstruktionen ausführt, um beispielsweise Informationen für die Verarbeitung durch den integrierten Schaltkreis 47 aufzubereiten. Die Sensorverarbeitungseinheit 22 umfasst ferner einen Speicher und eine Eingabe/ Ausgabe-Schnittstelle. Der Speicher kann aus einem oder mehreren nichtflüchtigen computerlesbaren Medien bestehen und umfasst mindestens einen Programmspeicherbereich und einen Datenspeicherbereich. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen von verschiedenen Arten von Speicher umfassen, beispielsweise von einem Nur-Lese-Speicher 43 (ROM = Read-only memory) und einem Direktzugriffsspeicher 42 (RAM = Random Access Memory) (z. B. dynamischer RAM („DRAM“), synchron DRAM („SDRAM“) usw.). Ferner kann die Sensorverarbeitungseinheit 22 ein externes Speicherlaufwerk 44, wie beispielsweise ein externes Festplattenlaufwerk (hard disk drive: HDD), ein Flashspeicher-Laufwerk oder ein nicht flüchtiges Festkörperlaufwerk (solid state drive: SSD) umfassen. Die Sensorverarbeitungseinheit 22 umfasst ferner eine Kommunikationsschnittstelle 45, über welche die Steuereinheit mit dem Fahrzeugkommunikationsnetzwerk (28 in 2) kommunizieren kann. 2 B shows schematically a sensor processing unit 22 according to the invention. All components of the sensor processing unit 22 are connected via an internal communication network 46. The sensor processing unit 22 comprises an integrated circuit 47 , which is a hardware implementation of a recurrent neural network (RNN) as described in 6th is described in more detail. With the integrated circuit 47 it can be, for example, a GPU or a GPU cluster which is optimized for the implementation of a neural network. The recurrent neural network 47 is configured in such a way that it transfers sensor data in the form of a point cloud into an occupancy grid map for the field of view of the sensor. The sensor processing unit 22 includes a processor 40 . At the processor 40 For example, it can be a computing unit such as a central processing unit (CPU = Central Processing Unit) that executes program instructions, for example information for processing by the integrated circuit 47 to prepare. The sensor processing unit 22 further comprises a memory and an input / output interface. The memory can consist of one or more non-transitory computer-readable media and comprises at least a program storage area and a data storage area. The program memory area and the data memory area can comprise combinations of different types of memory, for example read-only memory 43 (ROM) and random access memory 42 (RAM) (e.g. dynamic RAM ( "DRAM"), synchronous DRAM ("SDRAM") etc.). Furthermore, the sensor processing unit 22 can be an external storage drive 44 such as an external hard disk drive (HDD), flash memory drive, or a non-volatile solid state drive (SSD). The sensor processing unit 22 further comprises a communication interface 45 via which the control unit connects to the vehicle communication network (28 in FIG 2 ) can communicate.

Im Ausführungsbeispiel der 2b ist das rekurrente neuronale Netzwerk 47 als spezielle Hardwarelösung (z.B. GPU) realisiert. Alternativ kann das rekurrente neuronales Netzwerk jedoch auch mittels Software in einem Prozessor (z.B. CPU 40 in 2b) realisiert werden. Ferner ist im Ausführungsbeispiel der 2b der integrierte Schaltkreis 47, der das rekurrente neuronale Netzwerk realisiert, als Einheit einer eigenständigen ECU 22 vorgesehen. Alternativ könnte der integrierte Schaltkreis 47 aber auch als Teil beispielsweise der Steuereinheit für autonomes Fahren realisiert werden, oder in anderen Komponenten lokalisiert werden.In the embodiment of 2 B is the recurrent neural network 47 realized as a special hardware solution (e.g. GPU). Alternatively, however, the recurrent neural network can also be installed in a processor (e.g. CPU 40 in 2 B) will be realized. Furthermore, in the exemplary embodiment 2 B the integrated circuit 47 , which realizes the recurrent neural network, is provided as a unit of an independent ECU 22. Alternatively, the integrated circuit could 47 but can also be implemented as part of the control unit for autonomous driving, for example, or localized in other components.

3 zeigt eine Unterteilung des Raums hinter einem Fahrzeug 10 mit Hilfe von Rasterzellen S1(r1,φ1) bis SN(rN,φN) in eine Rasterkarte. In 4 sind N=58 Rasterzellen abgebildet. Es sein an dieser Stelle angemerkt, dass die Erfindung nicht auf N=58 beschränkt ist, sondern jede Zahl N möglich ist, die dem Fachmann als geeignet erscheint. Die Rasterkarte folgt in diesem Ausführungsbeispiel einer elliptischen Symmetrie. Diese ist vorteilhaft im Falle von zwei Sensoren 26, 27. Wie bereits in 1 erläutert, ist die Erfindung nicht auf nur zwei Sensoren beschränkt. Trotzdem benötigt es mindestens 2 Sensoren, um korrekt 3D Informationen über das Rückwärtige Sichtfeld des Fahrzeugs 10 zu bestimmen. Im Fall von exakt zwei Sensoren empfiehlt es sich, die Orte der beiden Sensoren 26, 27 als die Brennpunkte der elliptischen Geometrie zu wählen. Es sei an dieser Stelle angemerkt, dass die Erfindung nicht auf eine elliptische Geometrie beschränkt ist. Auch eine radiale, quadratische oder rechteckige Rastersymmetrie sind möglich. Tatsächlich ist jede Rastersymmetrie denkbar, die dem Fachmann als geeignet erscheint. Die Sensoren 26 und 27 können, wie in 1 erwähnt, Radar, Lidar oder Kamera-Sensoren sein. Die Rasterkarte zerfällt in N Rasterzellen S1(r1,φ1) bis SN(rN,φN), die durchnummeriert sind und nach ihrem Ort aufgeschlüsselt werden können. 3 shows a division of the space behind a vehicle 10 with the help of grid cells S 1 (r 1 , φ 1 ) to S N (r N , φ N ) in a grid map. In 4th N = 58 grid cells are shown. It should be noted at this point that the invention is not limited to N = 58, but any number N is possible that appears suitable to the person skilled in the art. In this exemplary embodiment, the grid map follows an elliptical symmetry. This is advantageous in the case of two sensors 26th , 27 . As in 1 explained, the invention is not limited to only two sensors. Even so, it still requires at least 2 sensors to correctly display 3D information about the vehicle's rear field of view 10 to determine. In the case of exactly two sensors, it is advisable to use the locations of the two sensors 26th , 27 than to choose the foci of the elliptical geometry. It should be noted at this point that the invention is not restricted to an elliptical geometry. A radial, square or rectangular grid symmetry is also possible. In fact, any grid symmetry that appears suitable to the person skilled in the art is conceivable. The sensors 26th and 27 can, as in 1 mentioned be radar, lidar or camera sensors. The grid map is divided into N grid cells S 1 (r 1 , φ 1 ) to S N (r N , φ N ), which are numbered and can be broken down according to their location.

4 zeigt mögliche Attribute der Rasterkarte aus 2 am Beispiel der Rasterzelle S54(r54,φ54). Jede Rasterzelle kann über mehrere Attribute verfügen, darunter eine Belegungswahrscheinlichkeit Pw, Höheninformationen [H1,...HN] und dynamische (kinematische) Informationen [d1,...dM]. Die Belegungswahrscheinlichkeit ist zunächst standardmäßig bei 0,5 bis aufgrund der Daten der beiden Sensoren 26 und 27 die Belegungswahrscheinlichkeit festgelegt werden kann. Die Höheninformationen [H1,...HN] bestehen mindestens aus einer gemittelten Höhe h und einer Standardabweichung δh. Die dynamischen Informationen [d1,...dM] enthalten mindestens einen Eintrag, der das dynamische Verhalten eines Objekts in der Rasterzelle beschreibt. 4th shows possible attributes of the raster map 2 using the example of the grid cell S 54 (r 54 , φ 54 ). Each grid cell can have several attributes, including an occupancy probability P w , height information [H 1 , ... H N ] and dynamic (kinematic) information [d 1 , ... d M ]. The default probability of occupancy is initially 0.5 to based on the data from the two sensors 26th and 27 the occupancy probability can be determined. The height information [H 1 , ... H N ] consists of at least an averaged height h and a standard deviation δh. The dynamic information [d 1 , ... d M ] contains at least one entry that describes the dynamic behavior of an object in the grid cell.

5 zeigt schematisch das Befüllen einer Rasterkarte mit Belegungswahrscheinlichkeiten im Fall von statischen Objekten im Raum hinter dem Fahrzeug. Im oberen Teil der 5 sind zwei Felsen 50 und 60 so hinter einem Fahrzeug 10 platziert, dass sie in dem Bereich hinter dem Fahrzeug liegen, der von der Rasterkarte abgedeckt wird. Bei den Felsen handelt es sich um einen großen Felsen 50 und einen kleinen Felsen 60. Die beiden Sensoren 26 und 27 liefern Ortsinformationen über die beiden Felsen 50 und 60. Der untere Teil der 5 zeigt nun, wie diese Ortsinformationen verwendet werden können, um die Belegungswahrscheinlichkeiten für jede Rasterzelle zu bestimmen. Rasterzellen auf denen die Ortsinformationen der Sensoren 26 und 27 kein Objekt aufweisen, werden mit der Belegungswahrscheinlichkeit Pw= 0 versehen. Rasterzellen auf denen ein Objekt detektiert wird, werden mit der Belegungswahrscheinlichkeit Pw= 1 versehen. Je nachdem, was dem Fachmann nützlicher erscheint, kann ein rein binäres Wahrscheinlichkeitssystem (Pw = 0 oder Pw = 1) verwendet werden oder ein abgestuftes Wahrscheinlichkeitssystem mit 0 < Pw < 1. 5 shows schematically the filling of a grid map with occupancy probabilities in the case of static objects in the space behind the vehicle. In the upper part of the 5 are two rocks 50 and 60 so behind a vehicle 10 placed so that they are in the area behind the vehicle that is covered by the grid map. The rocks are large rocks 50 and a little rock 60 . The two sensors 26th and 27 provide location information about the two rocks 50 and 60 . The lower part of the 5 now shows how this location information can be used to determine the occupancy probabilities for each grid cell. Grid cells on which the location information of the sensors 26th and 27 have no object are assigned the occupancy probability Pw = 0. Grid cells on which an object is detected are assigned the occupancy probability Pw = 1. Depending on what appears to be more useful to the person skilled in the art, a purely binary probability system (Pw = 0 or Pw = 1) or a graduated probability system with 0 <Pw <1 can be used.

Im Falle von 5 sind die Belegungswahrscheinlichkeiten so gewählt, dass sie im Bereich 0 < Pw < 1 liegen. Für die beiden Rasterzellen S35(r35,φ35) und S57(r57,φ57) zeigen die Ortsinformationen zwar kein Objekt, allerdings reicht der Fehlerbereich benachbarter belegter Rasterzellen in die beiden Rasterzellen S35(r35,cp35) und S57(r57,φ57) hinein. Daher wird beiden Rasterzellen eine Belegungswahrscheinlichkeit Pw = 0,1 zugeordnet. Analog dazu können sich Belegungswahrscheinlichkeiten 0 < Pw < 1 aus den Fehlern der Sensoren, aus dynamischen Daten der Rasterzellen oder anderen Fahrzeugvariablen, wie Fahrzeuggeschwindigkeit, etc. ergeben.In case of 5 the occupancy probabilities are chosen so that they are in the range 0 <Pw <1. The location information does not show an object for the two grid cells S 35 (r 35 , φ 35 ) and S 57 (r 57 , φ 57 ), but the error range of adjacent occupied grid cells extends into the two grid cells S 35 (r 35 , cp 35 ) and S 57 (r 57 , φ 57 ) in. Therefore, an occupancy probability Pw = 0.1 is assigned to both grid cells. Similarly, occupancy probabilities 0 <Pw <1 can result from the errors of the sensors, from dynamic data from the grid cells or other vehicle variables such as vehicle speed, etc.

Die Zuordnung von Belegungswahrscheinlichkeiten basierend auf der von den Sensoren gelieferten Punktwolken übernimmt in der vorliegenden Erfindung die Sensorverarbeitungseinheit 22 mit einem künstlichen rekurrenten neuronalen Netzwerk (RNN), wie dies im Folgenden im Zusammenhang mit 6 und 7 weiter erläutert wird.The assignment of occupancy probabilities based on the point clouds supplied by the sensors is performed in the present invention by the sensor processing unit 22 with an artificial recurrent neural network (RNN), as will be done in the following in connection with 6th and 7th will be further explained.

6 zeigt schematisch den Aufbau und das Funktionsprinzip eines künstlichen rekurrenten neuronalen Netzwerks (RNN). In einem bevorzugten Ausführungsbeispiel implementiert die Sensorverarbeitungseinheit 22 wenigstens ein rekurrentes neuronales Netzwerk. Das rekurrente neuronale Netz kann beispielsweise als ein Hardwaremodul realisiert werden, wie dies im Zusammenhang mit 2b oben beschrieben wurde. Alternativ kann das rekurrente neuronales Netzwerk auch mittels Software in einem Prozessor realisiert werden. 6th shows schematically the structure and the functional principle of an artificial recurrent neural network (RNN). In a preferred embodiment, the sensor processing unit 22 implements at least one recurrent neural network. The recurrent neural network can be implemented, for example, as a hardware module, as is done in connection with 2 B has been described above. Alternatively, the recurrent neural network can also be implemented in a processor using software.

Rekurrente neuronale Netze zeichnen sich durch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht aus. Künstliche rekurrente neuronale Netze erlauben eine Modellierung von komplexen räumlichen Zusammenhängen in zum Beispiel Bilddaten und damit einhergehend, eine datengetriebene Zustandsklassifikation (z. Bsp. Gewicht und Haltung eines Fahrzeuginsassen, Größe eines Objekts, Erkennung eines Objekts, etc.). Die Eigenschaften und die Implementierung von rekurrenten neuronalen Netzen sind dem Fachmann bekannt und kann der Fachliteratur zu dem Aufbau, den Netztypen, Lernregeln und bekannten Anwendungen von neuronalen Netzen entnommen werden.Recurrent neural networks are characterized by connections between neurons in one layer and neurons in the same or a previous layer. Artificial recurrent neural networks allow the modeling of complex spatial relationships in image data, for example, and the associated data-driven status classification (e.g. weight and posture of a vehicle occupant, size of an object, recognition of an object, etc.) The properties and the implementation of recurrent neural networks are known to the person skilled in the art and can be found in the specialist literature on the structure, network types, learning rules and known applications of neural networks.

Im vorliegenden Fall werden Bilddaten von einem Sensor der Umfeldsensoren 26 in Form einer Punktwolke an die Sensorverarbeitungseinheit 22 mit dem neuronalen Netzwerk gesendet. Das neuronale Netzwerk ist dazu eingerichtet, die Sensordaten auf eine Belegungsrasterkarte abzubilden. In diesem Sinne „filtert“ das neuronale Netzwerk die vom Sensor empfangenen Daten. Das neuronale Netzwerkmodul 47 der 6 ist gemäß einem Mehrschichten- (oder „tiefen“) Modell konstruiert, das eine Eingabeschicht („Input Layer“), eine Vielzahl von Zwischenschichten (auch „verborgene Schichten“ oder „Hidden Layers“ genannt) und eine Ausgangsschicht (Output Layer) umfasst. Beginnend mit der Eingabeschicht fließen Informationen über eine oder mehrere Zwischenschichten bis hin zur Ausgabeschicht. Jedem Neuron ist ein Gewicht für die durchfließende Information zugewiesen und es gibt diese dann entsprechend gewichtet an die Neuronen der nächsten Schicht weiter. Diese Gewichte beschreiben somit die Intensität des Informationsflusses entlang der Verbindungen des neuronalen Netzwerks. Das beispielhafte neuronale Netzwerk der 6 weist in der Eingangsschicht eine erste Gruppe an Eingangsneuronen T1, ..., Tm auf, welche die Daten der jeweiligen Punkte der Punktwolke des Sensors entgegennehmen. Im vorliegenden Ausführungsbeispiel werden die Sensordaten in Form der Punktwolke derart in das rekurrente neuronale Netz eingegeben, dass jedes Eingabeneuron genau einem Informationswert eines jeweiligen Punktes der Punktwolke entgegennimmt, beispielsweise Radialabstand ri, Azimutwinkel φi, Elevationswinkel θi, sowie zugehörige Bewegungsinformationen wie Radialgeschwindigkeit vr,i und Tangentialgeschwindigkeiten νφ,i, νθ,i. Da ein einzelner Datenpunkt der Punktwolke mehrere Einträge enthalten kann, müssen dementsprechend viele Eingabeneuronen verwendet werden, um den gesamten Datenpunkt einlesen zu können. Da Sensoren in der Regel dazu ausgelegt sind, eine vorgegebene Maximalzahl n an Datenpunkten zu liefern, und da jeder Datenpunkt je nach Sensortyp eine bekannte Anzahl k an Informationseinträgen besitzt, kann die Eingangsschicht des neuronalen Netzwerks an die Auslegung des Senors angepasst werden. Die benötigte Anzahl an Eingangsneuronen beträgt m = n • k in diesem Fall. Auf diese Weise kann die benötigte Größe des neuronalen Netzwerks aus dem jeweiligen Anwendungsfall bestimmt werden.In the present case, image data are obtained from a sensor of the surroundings sensors 26th sent in the form of a point cloud to the sensor processing unit 22 with the neural network. The neural network is set up to map the sensor data on an occupancy grid map. In this sense, the neural network “filters” the data received from the sensor. The neural network module 47 of the 6th is constructed according to a multilayer (or "deep") model that includes an input layer, a number of intermediate layers (also called "hidden layers") and an output layer. Starting with the input layer, information flows through one or more intermediate layers to the output layer. Each neuron is assigned a weight for the information flowing through it and it then passes this on to the neurons of the next layer, weighted accordingly. These weights thus describe the intensity of the information flow along the connections of the neural network. The exemplary neural network of 6th has a first group of input neurons in the input layer T1 , ..., Tm which receive the data of the respective points of the point cloud of the sensor. In the present exemplary embodiment, the sensor data in the form of the point cloud are entered into the recurrent neural network in such a way that each input neuron receives exactly one information value from a respective point of the point cloud, for example radial distance r i , azimuth angle φ i , elevation angle θ i , as well as associated movement information such as radial velocity v r, i and tangential velocities ν φ, i , ν θ, i . Since a single data point in the point cloud can contain several entries, a corresponding number of input neurons must be used in order to be able to read in the entire data point. Since sensors are usually designed to deliver a specified maximum number n of data points, and since each data point has a known number k of information entries depending on the sensor type, the input layer of the neural network can be adapted to the design of the sensor. The required number of input neurons is m = n • k in this case. In this way, the required size of the neural network can be determined from the respective application.

Ferner weist das neuronale Netzwerk in der Ausgabeschicht zwei Gruppen an Ausgabeneuronen G1, G2, G3, ... und Q1, Q2, ... auf. Zum Beispiel kann es als erste Gruppe G1, G2, G3, ... für jedes Rastersegment der Rasterkarte jeweils ein Ausgabeneuron geben, dass dessen Belegungswahrscheinlichkeit angibt. So würde zum Beispiel das Ausgabeneuron G1 die Belegungswahrscheinlichkeit von Rastersegment Z1,1 angeben, das Ausgabeneuron G2 würde die Belegungswahrscheinlichkeit von Rastersegment Z1,2 angeben, usw. Zusätzlich könnte für jedes Rastersegment noch ein Höhenwert H bestimmt werden, der von einem entsprechenden Ausgabeneuron der zweiten Gruppe an Ausgabeneuronen Q1, Q2, ... ausgegeben wird. In diesem Fall würde zum Beispiel das Ausgabeneuron Q1 die mittlere Belegungshöhe von Rastersegment Z1,1 angeben, das Ausgabeneuron Q2 würde mittlere Belegungshöhe von Rastersegment Z1,2 angeben, usw. Für diese Klassifizierung von Sensordaten (z. B. eine Punktwolke) werden Werte in den Sensordaten (z. B. Pixelwerte) Eingangsknoten zugewiesen und dann auf die dem Fachmann bekannte Weise durch die Vielzahl von verborgenen Schichten des neuronalen Netzwerks propagiert, indem die. Die Vielzahl von verborgenen Schichten führt dadurch nichtlineare Transformationen durch. Am Ende der Transformationen ergibt ein Ausgangsknoten einen Wert, der der Klasse (z. B. Belegungswahrscheinlichkeiten) entspricht, die von dem neuronalen Netzwerk gefolgert wird.Furthermore, the neural network in the output layer has two groups of output neurons G1 , G2 , G3 , ... and Q1 , Q2 , ... on. For example, it can be the first group G1 , G2 , G3 , ... give an output neuron for each grid segment of the grid map that indicates its occupancy probability. For example, the output neuron would G1 indicate the occupancy probability of grid segment Z 1,1 , the output neuron G2 would indicate the occupancy probability of grid segment Z 1,2 , etc. In addition, a height value H could also be determined for each grid segment, that of a corresponding output neuron of the second group of output neurons Q1 , Q2 , ... is output. In this case, for example, the output neuron would be Q1 indicate the average occupancy level of grid segment Z 1.1 , the output neuron Q2 would indicate the mean occupancy height of grid segment Z 1,2 , etc. For this classification of sensor data (e.g. a point cloud) For example, values in the sensor data (e.g. pixel values) are assigned to input nodes and then propagated through the multitude of hidden layers of the neural network in the manner known to those skilled in the art by the. The multitude of hidden layers thereby carries out non-linear transformations. At the end of the transformations, an output node yields a value that corresponds to the class (e.g. occupancy probabilities) that is inferred by the neural network.

Das neuronale Netz wird eingerichtet („trainiert“), so dass es für bestimmte bekannte Eingangswerte erwartete Antworten erzeugt. Indem das neuronale Netzwerk in einer Trainingsphase mit einem Trainingssatz an Punktwolken und entsprechenden Belegungskarten trainiert wird, wird das neuronale Netzwerk dazu ausgelegt, um aus einer beliebigen gegebenen Punktwolken durch künstliche Intelligenz eine passende Belegungs-Rasterkarte zu bestimmen. Ist ein derartiges neuronales Netz einmal eingerichtet und sind seine Parameter eingestellt, so wird das Netz regelmäßig im Anwendungsfall als eine Art „Black-Box“ verwendet, welche auch für gegebene Eingangswerte zugehörige und passende Ausgangswerte erzeugt.The neural network is set up (“trained”) so that it generates expected responses for certain known input values. By training the neural network in a training phase with a training set on point clouds and corresponding occupancy maps, the neural network is designed to use artificial intelligence to determine a suitable occupancy raster map from any given point clouds. Once such a neural network has been set up and its parameters are set, the network is regularly used as a kind of “black box” in the application, which also generates associated and suitable output values for given input values.

Das rekurrente neuronale Netzwerk kann durch die zusätzliche/ergänzende Nutzung anderer Typen neuronaler Netzwerke, wie zum Beispiel Convolutional Neuronal Networks (CNN), verbessert werden. Hierbei kann ein Hybridnetzwerk erschaffen werden oder simpel die Arbeitsleistung von zwei unterschiedlichen Netzwerken zusammengeschaltet werden.The recurrent neural network can be improved by the additional / supplementary use of other types of neural networks, such as, for example, convolutional neural networks (CNN). A hybrid network can be created here or the work performance of two different networks can simply be interconnected.

7 visualisiert schematisch das Funktionsprinzip der erfindungsgemäßen Sensorverarbeitungseinheit. Ein Sensor der Umfeldsensoren 26 liefert eine Punktwolke 50 mit N Datenpunkten P1 bis PN. Die Punktwolke 50 kann beispielsweise als ein eindimensionales Datenarray mit N Einträgen dargestellt werden, wobei jeder Punkt durch Ortsinformationen wie Radialabstand ri, Azimutwinkel φi, Elevationswinkel θi oder dergleichen beschrieben ist, sowie durch zugehörige Bewegungsinformationen wie Radialgeschwindigkeit νr,i und Tangentialgeschwindigkeiten νφ,i, νθ,i oder dergleichen. Eine solche Punktwolke 50 enthält viele unerwünschte Effekte, wie beispielsweise Artefakte und Geisterziele. Darüber hinaus kann es schwierig sein zu bestimmen, welche Messungen von welchen Objekten stammen. Die vom Sensor 26 gelieferte Punktwolke 51 wird an ein rekurrentes neuronale Netzwerk 47 (beispielsweise einer Sensorverarbeitungseinheit 22) übergeben, das dazu trainiert wurde auf Grundlage einer Informationen der Punktwolke 50 ein Belegungsraster 51 zu ermitteln, welches anschließend an eine Hinderniserkennung 49 übergeben wird. Hier wird das vom rekurrenten neuronalen Netzwerk 47 ermittelte Belegungsraster weiter ausgewertet. Auf Grundlage des auf diese Weise gewonnenen Belegungsrasters kann hier ein Hinderniserkennung stattfinden, die auf dem Fachmann bekannte Techniken beruht. Experimente haben gezeigt, dass neuronale Netzwerke aufgrund deren guten Mustererkennung mit unerwünschten Effekten besser klarkommen, als herkömmliche Verarbeitungseinheiten. Neuronale netzwerkbasierte Belegungsraster demonstrieren die Fähigkeit, räumliche und zeitliche Abhängigkeiten automatisch zu lernen und können quasi unbeaufsichtigt trainiert werden. 7th schematically visualizes the functional principle of the sensor processing unit according to the invention. One of the environmental sensors 26th returns a point cloud 50 with N data points P 1 to P N. The point cloud 50 can be represented, for example, as a one-dimensional data array with N entries, with each point being described by location information such as radial distance r i , azimuth angle φ i , elevation angle θ i or the like, as well as by associated movement information such as radial speed ν r, i and tangential speeds ν φ, i , ν θ, i or the like. Such a point cloud 50 contains many undesirable effects such as artifacts and ghost targets. In addition, it can be difficult to determine which measurements are from which objects. The one from the sensor 26th The point cloud 51 supplied is sent to a recurrent neural network 47 (for example a sensor processing unit 22) that has been trained to do so on the basis of information from the point cloud 50 to determine an occupancy grid 51, which then follows an obstacle detection 49 is passed. Here this is done by the recurrent neural network 47 determined occupancy grid further evaluated. On the basis of the occupancy grid obtained in this way, an obstacle detection can take place here, which is based on techniques known to the person skilled in the art. Experiments have shown that neural networks can cope better with undesirable effects than conventional processing units due to their good pattern recognition. Neural network-based allocation grids demonstrate the ability to automatically learn spatial and temporal dependencies and can be practically trained unattended.

8 zeigt ein Ausführungsbeispiel, das eine Fusion mehrerer unterschiedlicher Sensordaten umfasst. Ein Sensor 26a, zum Beispiel ein Radarsensor, liefert ein erstes Sensorbild, dessen Daten in Form einer Punktwolke 50a vorliegt. Ein zweiter Sensor 26b, zum Beispiel, ein zweiter Sensor, hier ein Lidar-Sensor (oder alternativ auch eine Kamera, ein zweiter Radarsensor, oder ein Ultraschall-Sensor), liefert ein zweites Sensorbild, dessen Daten ebenfalls in Form einer Punktwolke 50b vorliegen. 8th shows an embodiment that includes a fusion of several different sensor data. A sensor 26a, for example a radar sensor, supplies a first sensor image, the data of which is present in the form of a point cloud 50a. A second sensor 26b, for example a second sensor, here a lidar sensor (or alternatively also a camera, a second radar sensor, or an ultrasonic sensor) supplies a second sensor image, the data of which is also available in the form of a point cloud 50b.

Durch Sensorfusion 48 werden die beiden Datensätze 50a, 50b zu einem kombinierten Datensatz zusammengefügt. Für die Sensorfusion 48 können beliebige Methoden zur Fusion der Daten mehrerer Sensoren mit beispielsweise gleichen oder überlappendem Sichtfeld herangezogen werden, die dem Fachmann bekannt sind. Der durch Sensorkombination kombinierten Datensatz wird dann dem rekurrenten neuronalen Netzwerk 47 zugeführt, das darauf trainiert wird bzw. darauf trainiert ist, diesen kombinierten Datensatz auf ein Belegungsraster 51 abzubilden, wie dies oben in Zusammenhang mit den 3 bis 7 beschrieben wurde. Auf Grundlage des auf diese Weise gewonnenen Belegungsrasters kann schließlich ein Hinderniserkennung 49 stattfinden, die auf dem Fachmann bekannte Techniken beruht.Through sensor fusion 48 the two data sets 50a, 50b are combined to form a combined data set. For sensor fusion 48 Any methods for merging the data of several sensors with, for example, the same or overlapping field of view, which are known to those skilled in the art, can be used. The data set combined by the sensor combination is then transferred to the recurrent neural network 47 supplied, which is trained or is trained to map this combined data record onto an occupancy grid 51, as described above in connection with the 3 to 7th has been described. On the basis of the occupancy grid obtained in this way, an obstacle detection can finally be made 49 take place based on techniques known to those skilled in the art.

BezugszeichenlisteList of reference symbols

Zi,j Z i, j
Rasterzelle in der i. Spalte und j. ZeileGrid cell in the i. Column and j. row
1010
KraftfahrzeugMotor vehicle
1212th
ECU 1 BremssystemECU 1 braking system
1414th
ECU 2 AntriebsstrangECU 2 powertrain
1616
ECU 3 LenksystemECU 3 steering system
2424
GNSSGNSS
2626th
Sensorsensor
2727
Sensorsensor
3232
HMIHMI
4040
Steuereinheit, ECU 4 SensorverarbeitungControl unit, ECU 4 sensor processing
4444
SpeichereinheitStorage unit
4747
Rekurrentes Neuronales NetzwerkRecurrent neural network
4848
SensorfusionSensor fusion
4949
HinderniserkennungObstacle detection
PwPw
Belegungswahrscheinlichkeit der zugehörigen RasterzelleProbability of occupancy of the associated grid cell
5050
Großer FelsenBig rock
6060
kleiner Felsensmall rock
8181
Sensorbild von Sensor ASensor image from sensor A
8282
Sensorbild von Sensor BSensor image from sensor B
8383
Gemeinsames Sensorbild der Sensoren A und BCommon sensor image of sensors A and B
T1 - TmT1 - Tm
EingangsneuronInput neuron
G1 - G3G1 - G3
Ausgangsneuron, erste GruppeOutput neuron, first group
Q1 - Q2Q1 - Q2
Ausgangsneuron, zweite GruppeOutput neuron, second group

Claims (10)

Vorrichtung zur Auswertung der von ein oder mehreren Umfeldsensor (26) eines Fahrzeugs (10) erfassten Sensordaten, wobei die Vorrichtung ein künstliches rekurrentes neuronales Netzwerk (47) umfasst, das dazu ausgelegt ist, die Sensordaten zu filtern.Device for evaluating the sensor data recorded by one or more environment sensors (26) of a vehicle (10), the device comprising an artificial recurrent neural network (47) which is designed to filter the sensor data. Vorrichtung nach Anspruch 1, wobei das künstliche rekurrente neuronale Netzwerk (47) dazu ausgelegt ist, auf Grundlage der Sensordaten ein Belegungsraster zur ermitteln.Device according to Claim 1 , wherein the artificial recurrent neural network (47) is designed to determine an occupancy grid on the basis of the sensor data. Vorrichtung nach Anspruch 2, wobei das Belegungsraster mehrere Rasterzellen (Z1,1, (Z1,2), ...) umfasst, wobei jeder Rasterzelle (Z1,1, Z1,2, ...) Attribute (Pw; H1, ... , HN; d1, ... , dN) zugeordnet sind.Device according to Claim 2 , wherein the allocation grid comprises several grid cells (Z 1,1 , (Z 1,2 ), ...), each grid cell (Z 1,1 , Z 1,2 , ...) attributes (Pw; H 1 , ..., H N ; d 1 , ..., d N ) are assigned. Vorrichtung nach Anspruch 3, wobei die Attribute (PW; H1, ... , HN; d1, ... , dN) eine Belegungswahrscheinlichkeit (Pw), Höheninformationen (H1, ... , HN) und/oder kinematische Informationen (d1, ... , dN) umfassen.Device according to Claim 3 , where the attributes (P W ; H 1 , ..., H N ; d 1 , ..., d N ) an occupancy probability (Pw), height information (H 1 , ..., H N ) and / or kinematic Information (d 1 , ..., d N ). Vorrichtung nach Anspruch 3 oder 4, wobei das Neuronale Netzwerk (47) mehrere Gruppen an Ausgabeneuronen (G1, G2, G3; Q1, Q2) besitzt, wobei jede Gruppe an Ausgabeneuronen (G1, G2, G3; Q1, Q2) eines der zu speichernden Attribute (PW; H1, ... , HN; d1, ... , dN) ausgibt.Device according to Claim 3 or 4th wherein the neural network (47) has a plurality of groups of output neurons (G1, G2, G3; Q1, Q2), each group of output neurons (G1, G2, G3; Q1, Q2) having one of the attributes (P W ; H1, ..., H N ; d1, ..., d N ). Vorrichtung nach einem der vorangehenden Ansprüche, wobei die Vorrichtung ferner eine Sensorfusionseinheit (48) umfasst, die dazu ausgelegt ist, Sensordaten zusammenzuführen, um diese dem künstlichen rekurrenten neuronalen Netzwerk (47) zuzuführen.Device according to one of the preceding claims, wherein the device further comprises a sensor fusion unit (48) which is designed to merge sensor data in order to feed them to the artificial recurrent neural network (47). Vorrichtung nach einem der vorangehenden Ansprüche, wobei das künstlichen rekurrente neuronalen Netzwerk (47) ergänzt wird durch ein weiteres künstliches neuronales Netzwerk, beispielsweise ein CNN-Netzwerk ergänzt wird.Device according to one of the preceding claims, wherein the artificial recurrent neural network (47) is supplemented by a further artificial neural network, for example a CNN network. Vorrichtung nach einem der vorangehenden Ansprüche, wobei die Sensordaten des Umfeldsensors (26) in Form einer Punktwolke ([P1, ..., PN]) vorliegen.Device according to one of the preceding claims, the sensor data of the environment sensor (26) being in the form of a point cloud ([P 1 , ..., P N ]). Vorrichtung nach einem der vorangehenden Ansprüche, wobei es sich bei dem Umfeldsensor (26) um ein oder mehrere Radar-Sensoren, Lidar-Sensoren, Kamerasensoren oder Ultraschallsensoren handelt.Device according to one of the preceding claims, wherein the environment sensor (26) is one or more radar sensors, lidar sensors, camera sensors or ultrasonic sensors. Verfahren zur Auswertung der von wenigstens einem Umfeldsensor (26) eines Fahrzeugs (10) erfassten Sensordaten, wobei das Verfahren ein Filtern der Sensordaten mittels einem künstlichen rekurrenten neuronalen Netzwerk (47) umfasst.A method for evaluating the sensor data recorded by at least one environment sensor (26) of a vehicle (10), the method comprising filtering the sensor data by means of an artificial recurrent neural network (47).
DE102019213867.5A 2019-09-11 2019-09-11 Obstacle detection comprising a recurrent neural network Withdrawn DE102019213867A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019213867.5A DE102019213867A1 (en) 2019-09-11 2019-09-11 Obstacle detection comprising a recurrent neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019213867.5A DE102019213867A1 (en) 2019-09-11 2019-09-11 Obstacle detection comprising a recurrent neural network

Publications (1)

Publication Number Publication Date
DE102019213867A1 true DE102019213867A1 (en) 2021-03-11

Family

ID=74644917

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019213867.5A Withdrawn DE102019213867A1 (en) 2019-09-11 2019-09-11 Obstacle detection comprising a recurrent neural network

Country Status (1)

Country Link
DE (1) DE102019213867A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214760A1 (en) 2021-12-21 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Method for training a radar-based object detection and method for radar-based environment detection
DE102022211463A1 (en) 2022-10-28 2024-05-08 Robert Bosch Gesellschaft mit beschränkter Haftung Computer-implemented method and apparatus for determining a classification for an object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US20190258878A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Object detection and detection confidence suitable for autonomous driving
DE112019000049T5 (en) * 2018-02-18 2020-01-23 Nvidia Corporation OBJECT DETECTION AND DETECTION SECURITY SUITABLE FOR AUTONOMOUS DRIVING

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214760A1 (en) 2021-12-21 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Method for training a radar-based object detection and method for radar-based environment detection
DE102022211463A1 (en) 2022-10-28 2024-05-08 Robert Bosch Gesellschaft mit beschränkter Haftung Computer-implemented method and apparatus for determining a classification for an object

Similar Documents

Publication Publication Date Title
DE102017120112A1 (en) DEPTH CARE VALUATION WITH STEREO IMAGES
DE102019103352A1 (en) TRAJECTOR PUBLIC TRACKING FOR VEHICLE PAGE CONTROL USING A NEURONAL NETWORK
DE102018213364A1 (en) Deep Learning based self-driving vehicle, Deep Learning based self-propelled controller, and Deep Learning based self drive control method
DE102015209373B4 (en) DRIVING SUPPORT UNIT
EP2594446B1 (en) Apparatus and method for operating a vehicle
DE102019214628A1 (en) Validation of surroundings detection using satellite images and SAR radar data
DE102018103803B4 (en) SYSTEM FOR DETECTING IMPROPER SENSOR INSTALLATION WITHIN A VEHICLE TO REDUCE THE HAZARDS RELATED TO OBJECT DETECTION
DE102013200132A1 (en) Lane keeping system with active rear wheel steering
DE102021125932A1 (en) System and method for neural network based autonomous driving
DE102018219665A1 (en) Method and control unit for operating an autonomous vehicle
DE112018000448T5 (en) System and method for automatic trailer detection
DE102017127789A1 (en) An apparatus for providing map information for determining a driving situation of a vehicle, a system having the same, and methods thereof
DE102020110392A1 (en) DEVICE FOR DETERMINING A LANE CHANGING PATH OF AN AUTONOMOUS VEHICLE AND METHOD OF THIS
DE102019213867A1 (en) Obstacle detection comprising a recurrent neural network
DE102020124331A1 (en) VEHICLE TRACK MAPPING
DE102019213929A1 (en) Plausibility check of stopped previously dynamic objects with the help of allocation grids
DE102020105619A1 (en) SYSTEM AND PROCEDURE FOR DETERMINING VEHICLE POSITION
EP3250427B1 (en) Vehicle control device and method
DE102018216999A1 (en) Process, computer program and measuring system for the evaluation of movement information
DE102018217000A1 (en) Process, computer program and measuring system for the evaluation of movement information
DE102023115570A1 (en) CONTROLLING A VEHICLE LANE CHANGE
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE102019122249A1 (en) Method for determining a lane change, driver assistance system and vehicle
WO2020200683A1 (en) Method for determining the yaw rate of a target object on the basis of sensor data, for example a high-resolution radar
DE102019216304A1 (en) Fusion of thermal images with data from 3D sensors

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee