WO2018177484A1 - Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs - Google Patents

Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs Download PDF

Info

Publication number
WO2018177484A1
WO2018177484A1 PCT/DE2018/200029 DE2018200029W WO2018177484A1 WO 2018177484 A1 WO2018177484 A1 WO 2018177484A1 DE 2018200029 W DE2018200029 W DE 2018200029W WO 2018177484 A1 WO2018177484 A1 WO 2018177484A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
data
sensor data
neural network
expected
Prior art date
Application number
PCT/DE2018/200029
Other languages
English (en)
French (fr)
Inventor
Stefan Heinrich
Elias Strigel
Martin PFITZER
Jan Giebel
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to US16/498,617 priority Critical patent/US11468319B2/en
Priority to DE112018000260.8T priority patent/DE112018000260A5/de
Publication of WO2018177484A1 publication Critical patent/WO2018177484A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the invention relates to a method for determining
  • Deviations in sensor data with a neural network implemented in a control unit of a vehicle Furthermore, the invention relates to a driver assistance system.
  • pixel-based detection For the video-based detection and / or segmentation of objects in a vehicle environment, pixel-based detection and / or segmentation of objects in a vehicle environment, pixel-based detection and / or segmentation of objects in a vehicle environment, pixel-based detection and / or segmentation of objects in a vehicle environment, pixel-based detection and / or segmentation of objects in a vehicle environment, pixel-based detection and / or segmentation of objects in a vehicle environment.
  • Classification systems usually require enormous amounts of learning data, which are first manually evaluated to produce setpoint specifications for the pixel-based classification systems and / or for algorithms implemented therein. For example, recognizable objects in the image data can be divided manually into classes, whereby the respective classes can in turn be assigned target values.
  • This manual learning step for learning a neural network is also known as "labeling.” Therefore, learning a neural network can involve a significant amount of human intervention
  • a first aspect of the invention relates to a method for determining deviations in sensor data based on and / or with at least one neural network implemented in a control unit of a vehicle.
  • the method may, as it were, designate a method for predicting sensor data of a sensor arrangement.
  • the method comprises the following steps:
  • Determining and / or predicting expected sensor data Comparing the expected sensor data determined and / or predicted with the neural network with sensor data currently acquired by the sensor arrangement; and determining, with the controller, a deviation between the currently acquired sensor data and the expected one determined with the learned neural network
  • the invention therefore provides for the at least one neural network implemented in the control unit of the vehicle to be based on the raw sensor data, in particular exclusively based on the raw sensor data, of the sensor arrangement so that manual training of the neural network can be dispensed with.
  • Control unit implemented algorithm for detecting deviations in sensor data of the sensor arrangement can be a temporal sequence of raw sensor data are used.
  • This temporal sequence of raw sensor data may refer to the "learning data set.”
  • the "raw sensor data” may refer to sensor data that is unprocessed and / or without
  • a "deviation" in the sense of the invention can be an anomaly and / or an irregularity between the sensor data actually acquired and designate the sensor data determined and / or predicted with the learned neural network.
  • the learning data set is detected by the sensor arrangement and / or by a sensor element of the sensor arrangement.
  • the learning data set may include temporally successive raw sensor data, such as image data, radar data, laser data and / or other vehicle data,
  • the raw sensor data can be determined and / or recorded, for example, in a sequence of discrete time points (t1, t2, t3,..., Tn).
  • the control unit and / or the neural network implemented therein can make a prediction for sensor data which follows in time and / or can be expected. In the learning phase of the method, these predicted, expected sensor data can then be used with sensor data which corresponds in time to the actual sensor data
  • a sensor data set of currently detected sensor data such. an image data set at a time tO
  • a sensor data set of currently detected sensor data such. an image data set at a time tO
  • a learning step for the neural network can be performed so that in a subsequent application of an input data set to the trained neural network actually determined with the sensor array Current sensor data can match sufficiently well with the predicted sensor data.
  • the trained or trained neural network by a
  • the neural network implemented in the control unit can be based completely on the basis of FIG the sensor array detected sensor data are learned. That is, it is not necessary that the neural network or features in the sensor data must be trained manually.
  • the labeling of the sensor data for teaching the neural network can thus be omitted.
  • the method described above and below can be applied to a variety of vehicle sensors, e.g. for surround-view systems, when using radar, lidar, ultrasound and / or laser sensors and / or other vehicle sensors, such as yaw rate sensors, vehicle speed and / or a combination of the above-mentioned sensors.
  • the invention is described below on the basis of an exemplary neural network, however, according to the invention, it is also possible to use a plurality of neural networks in parallel or in series in order to determine an expected value for coming sensor data from the detected sensor data.
  • a separate neural network can be used for each feature of the sensor data in order to predict the respective feature for the coming sensor data or to determine an expected value.
  • the neural network may have multiple layers / nodes, which subsequently become an expected value of the sensor data
  • the individual layers or accounts can be considered individually via weighting factors, so that certain characteristics or characteristics of
  • the method further comprises the following steps:
  • the input data set and the neural network learned with the learning data record can be determined and / or predicted.
  • applying may refer to supplying the input data record to the neural network
  • the neural network can determine the expected sensor data during operation from the continuously acquired sensor data of the sensor arrangement, ie from the input data record If the neural network has been previously taught in with the aid of a learning data record, the learning can be carried out fully automatically and while the vehicle is running as determined by the learned neural network, the expected sensor data can be determined, generated and / or generated the recorded
  • Sensor data are compared.
  • the deviations between the determined expected sensor data and the actual sensor data actually acquired can be detected in this way quickly, easily and reliably in high detail.
  • Measuring range limitation of the sensor arrangement determined as a deviation.
  • the deviation can be one
  • Contamination and / or a measuring range restriction such as a visibility limitation of a camera, a radar, an ultrasound, a lidar, a laser and / or a be any other sensor element.
  • the contamination and / or the measuring range restriction can be caused for example by dirt from the road, rain, leaves or by snow.
  • the sensor arrangement has at least one imaging sensor.
  • the learning data record comprises and / or contains image data of at least one imaging sensor of the sensor arrangement.
  • the sensor arrangement can, in addition to many other sensors, also have an imaging sensor, in particular a camera or several cameras, a radar sensor which detects a radar image and a laser sensor which detects a laser image.
  • an imaging sensor in particular a camera or several cameras
  • a radar sensor which detects a radar image
  • a laser sensor which detects a laser image.
  • Video data may collectively provide sensor data, e.g. through a panoramic picture and / or through a surroundview system. If cameras or image data as
  • the neural network can determine pixel-accurate an expected future image.
  • An imaging sensor may be in the context of this application, a camera, a radar sensor and / or a laser sensor.
  • the detected pixel the detected pixel
  • Raw sensor data of the learning data set exclusively image data of a flat roadway geometry, in particular a
  • Lane geometry raised object is determined as a deviation.
  • any other sensor data of any other vehicle sensors such as radar data and / or laser data of a flat roadway geometry can be used as a learning data set for the neural network.
  • the system can determine the prediction of a "flat-world sensor output" from the respective previous sensor signals. By comparing the flat-world prediction with the actual recorded
  • Sensor data may include raised objects such as e.g. other
  • Road users, street signs, boundary posts and / or bridges are determined based on their deviation from the expected or predicted sensor data. Furthermore, by using flat image contents, the acquired image data can be preselected and restricted accordingly so that individual regions of the acquired image data need not be predicted.
  • a roadway in the image data of the camera is usually trapezoidal in a lower half of the image. It can therefore be provided that only image data of a lower half of the image is predicted and compared with a lower half of actually acquired image data. Thus, a data amount to be processed can be significantly reduced.
  • a reflection in an optical path of the camera is determined as a deviation.
  • the deviation may be a reflection in the optical path of the camera, which is included in the detected sensor data of the camera.
  • the reflection can be caused for example by the lens in front of the camera, water in front of the lens of the camera or mirages.
  • changes in the optical path can also be detected by radar sensors, laser sensors and / or ultrasound sensors.
  • the sensor arrangement has a first sensor element and a second sensor element, wherein the method further comprises the following steps:
  • the neural network can be trained such that expected sensor data of a second sensor element are determined on the basis of the sensor data of a first sensor element and the neural network.
  • the neural network can be trained to a correlation between two sensor elements of the sensor array. The trained neural network can subsequently with
  • Sensor data of one of the sensor elements are acted upon and determine as expected sensor data of the other sensor element.
  • expected sensor data of a radar sensor based on detected sensor data of a camera can be determined by the neural network.
  • the first sensor element and the second sensor element are each at least one element selected from the group consisting of a camera, a radar sensor, a lidar sensor, an ultrasonic sensor, a laser sensor, a rotation rate sensor, a speed sensor, a rain sensor, a pressure sensor and a gyro sensor ,
  • the inventive method can thus for any
  • the method further comprises a step of determining calibration values and / or installation parameter values of the second sensor element based on the first sensor data detected by the first sensor element. Furthermore, the calibration of the second sensor element can be performed on determined calibration values or built-in parameter values.
  • the application of the method may also allow the determination of online calibration values and is also for learning the rate of turn, the vehicle's own movement or the
  • the expected sensor data of a first sensor element can be determined on the basis of its calibration data and the sensor data of a second sensor element
  • Sensor element are predicted with the specified method. By a subsequent comparison with the actually detected sensor data of the first sensor element and a variation of the calibration data, the best / most probable built-in calibration of the first sensor element can be determined.
  • Another aspect of the invention relates to a
  • the driver assistance system has a sensor arrangement for acquiring sensor data and a control unit with a neural network implemented therein, the control unit and / or the driver assistance system being designed and configured to carry out the method described above and below.
  • Another aspect of this invention relates to a vehicle having one of the above and described below
  • the vehicle may be, for example, a
  • a further aspect of the invention relates to a program element which, when executed on a control unit of a driver assistance system, instructs the driver assistance system to carry out the method described in the context of the invention.
  • Another aspect of the present invention relates to a computer-readable medium having stored such a program element.
  • the invention advantageously enables a pixel-precise recognition and / or segmentation of objects without explicit knowledge of its respective object class. Furthermore, no manual labeling of the teach-in data is required. Prediction and comparison of different sensor data is possible. Also, reflections in sensor data can be detected.
  • a further advantage of the invention is that the prediction of vehicle signals and installation parameters of sensor elements is made possible, as well as the determination of online calibration values and built-in calibrations between different ones
  • FIG. 1 shows a flowchart for illustrating steps of the method for determining deviations in FIG Sensor data using a trained neural network according to an embodiment of the invention.
  • Fig. 2 shows a schematic representation of the
  • FIG. 3 shows a schematic representation of the comparison of the expected sensor data with the detected sensor data according to an embodiment of the invention.
  • Fig. 4 shows a schematic representation of a
  • Driver assistance system for determining deviations in sensor data according to an embodiment of the invention.
  • FIG. 1 shows a flowchart for illustrating steps of the method for determining deviations in sensor data with the aid of a neural network. The method is explained in more detail below by means of FIGS. 2 and 3. 2 shows a schematic representation of the operating principle of
  • FIG. 3 shows a schematic representation of the comparison of the expected sensor data with the detected ones
  • a first step 101 successive raw sensor data (t1, t2, t3,..., Tn) are detected by means of the sensor arrangement and / or at least one sensor element of the sensor arrangement.
  • This raw sensor data is used to teach a neural network in step 102, wherein the learning data set for training the neural network evaluated by the neural network is evaluated and / or processed.
  • expected sensor data is determined. These expected sensor data can be determined to teach the neural network based purely on the learning data set. After learning the neural However, in step 103, expected sensor data based on the learned neural network and based on an input data set of temporally successive sensor data can also be determined.
  • the expected sensor data (t0) can be compared with the currently detected sensor data (t0) at a specific time t0 based on the raw sensor data (t0) previously recorded in time, as illustrated in step 104. This comparison serves in the
  • sensor data can then be detected continuously by the sensor arrangement.
  • the learned neural network can then be supplied with the detected sensor data, wherein the neural network can determine expected sensor data.
  • the expected sensor data can then be compared with the temporally corresponding recorded sensor data. This comparison may be advantageous from a
  • Control unit of the driver assistance system are executed.
  • the comparison can be made by subtracting the determined expected sensor data and the currently acquired sensor data. Based on the comparison, a deviation between the expected and the currently detected sensor data can then be determined in step 105. Such a deviation can then, for example, another
  • Road user another vehicle, a reflection in a camera optical path, a road sign, a bridge, a reflection, a pollution, a
  • the neural network can also be trained on a correlation between two different sensor elements, so that the detected sensor data of one sensor element can be used to determine the expected sensor data of another sensor element.
  • 4 shows a driver assistance system 200.
  • Driver assistance system 200 has a control unit 210 and a sensor arrangement 220.
  • the sensor arrangement 220 in turn may have one or more sensor elements 221, 222. For reasons of simplification, only two sensor elements are shown in FIG. 4, but the sensor arrangement 220 can also have more than two sensor elements 221, 222.
  • Sensor elements 221, 222 are designed to detect sensor data.
  • the sensor elements 221, 222 may also be designed to detect continuously successive sensor data.
  • the detected sensor data are forwarded by the sensor arrangement 220 to the control unit 210 and evaluated there.
  • a neural network is further implemented. The neural network is trained with the help of the acquired sensor data and is able to provide expected sensor data for one sensor data
  • control unit 210 is configured to compare the expected sensor data with the detected sensor data at the corresponding time. The comparison can be done for example by subtracting the two data sets. The comparison can detect deviations between the recorded sensor data and the expected sensor data. These determined deviations can be analyzed and evaluated by the control unit 210. The result of the evaluation of the comparison can then be communicated to the driver of the vehicle by the control unit 210 of the driver assistance system 200.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren zum Ermitteln von Abweichungen in Sensordaten mit wenigstens einem in einem Steuergerät eines Fahrzeugs implementierten neuronalen Netz angegeben. Das Verfahren weist einen Schritt des Erfassens (101) eines Lerndatensatzes von zeitlich aufeinanderfolgenden Roh-Sensordaten, einen Schritt des Auswertens (102) des Lerndatensatzes unter Anlernen des neuronalen Netzes ausschließlich basierend auf dem Lerndatensatz der erfassten Roh-Sensordaten, einen Schritt des Ermitteins (103) von erwarteten Sensordaten, einen Schritt des Vergleichens (104) der ermittelten erwarteten Sensordaten mit aktuell durch die Sensoranordnung erfassten Sensordaten sowie einen Schritt des Ermitteins (105) einer Abweichung zwischen den aktuell erfassten Sensordaten und den ermittelten erwarteten Sensordaten auf.

Description

Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zum Ermitteln von
Abweichungen in Sensordaten mit einem in einem Steuergerät eines Fahrzeugs implementierten neuronalen Netz . Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem.
Für die videobasierte Erkennung und/oder Segmentierung von Objekten in einem Fahrzeug-Umfeld können pixelbasierte
Klassifikationssysteme auf Basis sogenannter „tiefer Neuronaler Netze" eingesetzt werden. Zum Anlernen solcher
Klassifikationssysteme sind in der Regel enorme Mengen Lerndaten erforderlich, welche zunächst manuell ausgewertet werden, um Sollwertvorgaben für die pixelbasierten Klassifikationssysteme und/oder für darin implementierte Algorithmen zu erzeugen. Beispielsweise können in den Bilddaten erkennbare Objekte manuell in Klassen eingeteilt werden, wobei den jeweiligen Klassen wiederum Sollwerte zugeordnet werden können. Dieser manuelle Lernschritt zum Anlernen eines neuronalen Netzes ist auch als „Labeling" bekannt. Daher kann für das Anlernen eines neuronalen Netzes ein erheblicher Einsatz menschlicher
Ressourcen erforderlich sein. Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, welches ein automatisiertes Anlernen des neuronalen Netzes ermöglicht.
Die Aufgabe wird durch die Merkmale der unabhängigen
Patentansprüche gelöst. Vorteilhafte Weiterbildungen der
Erfindung ergeben sich aus den abhängigen Ansprüchen und der nachfolgenden Beschreibung.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Ermitteln von Abweichungen in Sensordaten basierend auf und/oder mit wenigstens einem in einem Steuergerät eines Fahrzeugs implementierten neuronalen Netzes. Das erfindungsgemäße Verfahren kann gleichsam ein Verfahren zur Vorhersage von Sensordaten einer Sensoranordnung bezeichnen. Das Verfahren weist folgende Schritte auf:
Erfassen, mit einer Sensoranordnung des Fahrzeugs, eines Lerndatensatzes von zeitlich aufeinanderfolgenden
Roh-Sensordaten;
Auswerten, mit dem in dem Steuergerät des Fahrzeugs implementierten neuronalen Netz, des Lerndatensatzes unter Anlernen des neuronalen Netzes basierend auf dem
Lerndatensatz von erfassten Roh-Sensordaten, insbesondere ausschließlich basierend auf dem Lerndatensatz von erfassten Roh-Sensordaten;
Ermitteln und/oder Vorhersagen von erwarteten Sensordaten; Vergleichen der mit dem neuronalen Netz ermittelten und/oder vorhergesagten erwarteten Sensordaten mit aktuell durch die Sensoranordnung erfassten Sensordaten; und Ermitteln, mit dem Steuergerät, einer Abweichung zwischen den aktuell erfassten Sensordaten und den mit dem angelernten neuronalen Netz ermittelten erwarteten
Sensordaten, insbesondere Ermitteln einer Abweichung durch
Subtraktion der erwarteten und aktuell erfassten
Sensordaten .
Erfindungsgemäß ist daher vorgesehen, das in dem Steuergerät des Fahrzeugs implementierte wenigstens eine neuronale Netz basierend auf den Roh-Sensordaten, insbesondere ausschließlich basierend auf den Roh-Sensordaten, der Sensoranordnung anzulernen, so dass ein manuelles Anlernen des neuronalen Netzes entfallen kann.
Für das eigentliche Anlernen des in dem Steuergerät
implementierten neuronalen Netzes und/oder eines in dem
Steuergerät implementierten Algorithmus zur Erkennung von Abweichungen in Sensordaten der Sensoranordnung kann eine zeitliche Abfolge von Roh-Sensordaten verwendet werden. Diese zeitliche Abfolge von Roh-Sensordaten kann den „Lerndatensatz" bezeichnen. Ferner können die „Roh-Sensordaten" Sensordaten bezeichnen, welche unverarbeitet und/oder ohne
Zwischenverarbeitung, insbesondere ohne manuelle Verarbeitung der Daten, beispielsweise ohne ein „Labeling" der Daten, dem neuronalen Netz zugeführt und von diesem ausgewertet werden. Eine „Abweichung" im Sinne der Erfindung kann dabei eine Anomalie und/oder eine Unregelmäßigkeit zwischen den tatsächlich erfassten Sensordaten und den mit dem angelernten neuronalen Netz ermittelten und/oder vorhergesagten Sensordaten bezeichnen.
Zu Beginn des Anlernens des neuronalen Netzes wird
erfindungsgemäß der Lerndatensatz mit der Sensoranordnung und/oder mit einem Sensorelement der Sensoranordnung erfasst. Wie voranstehend erläutert kann der Lerndatensatz zeitlich aufeinanderfolgende Roh-Sensordaten, wie etwa Bilddaten, Radardaten, Laserdaten und/oder andere Fahrzeugdaten,
enthalten. Die Roh-Sensordaten können beispielsweise in einer Folge von diskreten Zeitpunkten (tl, t2, t3,..., tn) ermittelt und/oder erfasst sein. Basierend auf dem Lerndatensatz kann das Steuergerät und/oder das darin implementierte neuronale Netz eine Vorhersage für zeitlich nachfolgende und/oder zu erwartende Sensordaten treffen. In der Anlernphase des Verfahrens können dann diese vorhergesagten erwarteten Sensordaten mit zeitlich korrespondierenden tatsächlich erfassten Sensordaten
abgeglichen und/oder verglichen werden. Ein derartiger Abgleich kann auch mehrfach und/oder wiederholt durchgeführt werden, bis die erwarteten Sensordaten mit den tatsächlich erfassten Sensordaten hinreichend genau übereinstimmen . Mit anderen Worten kann zu einem Sensordatensatz von aktuell erfassten Sensordaten, wie z.B. einem Bilddatensatz zu einem Zeitpunkt tO, ein
Lerndatensatz von zeitlich vorangegangenen Roh-Sensordaten mit den Zeitpunkten tl, t2, t3,..., tn als Inputdatensatz für das Training des neuronalen Netzes genutzt werden. Mit dem
Lerndatensatz (tl, t2, t3,..., tn) und den zum Zeitpunkt tO vorhergesagten Sensordaten kann ein Lernschritt für das neuronale Netz durchgeführt werden, so dass bei einem späteren Anlegen eines Eingangsdatensatzes an das trainierte neuronale Netz die tatsächlich mit der Sensoranordnung ermittelten aktuellen Sensordaten hinreichend genau mit den vorhergesagten Sensordaten übereinstimmen können. Mit anderen Worten kann das angelernte bzw. trainierte neuronale Netz durch eine
Beaufschlagung mit dem Eingangsdatensatz von zeitlich
vorangehend erfassten Sensordaten eine Vorhersage für zukünftig zu erfassende, d.h. erwartete, Sensordaten erstellen. Die erwarteten Sensordaten können anschließend mit den zu dem jeweiligen Zeitpunkt tatsächlich erfassten Sensordaten verglichen werden. D.h. erwartete Sensordaten für den Zeitpunkt tO können mit den am Zeitpunkt tO erfassten Sensordaten verglichen werden. Der Vergleich kann insbesondere durch eine Subtraktion der erwarteten und der erfassten Sensordaten erfolgen. Anhand dieses Vergleichs der erfassten und erwarteten Sensordaten können so Abweichungen zwischen diesen Sensordaten ermittelt und/oder bestimmt werden. Zur Ermittlung solcher Abweichungen können auch bestimmte Schwellwerte gesetzt sein, d.h. eine Abweichung kann etwa ermittelt werden, wenn ein gewisser Schwellwert erreicht wird. Dagegen kann angenommen werden, dass hinreichende Übereinstimmung zwischen den erwarteten und den erfassten Sensordaten besteht, wenn der Schwellwert nicht erreicht wird. Ermittelte Abweichungen zwischen aktuell erfassten Sensordaten und vorhergesagten Sensordaten können sodann bestimmten Ereignissen zugeordnet werden, wie z.B. einem Fußgänger, einem bewegten Objekt, einem anderen Fahrzeug und/oder einem statischen Objekt.
Zusammenfassend kann das in dem Steuergerät implementierte neuronale Netz erfindungsgemäß vollständig basierend auf den mit der Sensoranordnung erfassten Sensordaten angelernt werden. Das heißt, es ist nicht erforderlich, dass das neuronale Netz bzw. Merkmale in den Sensordaten manuell angelernt werden müssen. Das Labeling der Sensordaten zum Anlernen des neuronalen Netzes kann somit entfallen. Des Weiteren kann eine Segmentierung der Abweichungen anhand eines Vorhersagefehlers zwischen den tatsächlich erfassten Sensordaten und den
ermittelten/vorhergesagten Sensordaten erfolgen. Das voranstehend und im Folgenden beschriebene Verfahren kann für eine Vielzahl von Fahrzeugsensoren angewendet werden, z.B. für Surround-View-Systeme, bei einem Einsatz von Radar-, Lidar-, Ultraschall- und/oder Lasersensoren und/oder auch anderen Fahrzeug-Sensoren, wie beispielsweise Drehraten-Sensoren, Fahrzeuggeschwindigkeit und/oder eine Kombination aus den oben genannten Sensoren.
Nachfolgend wird die Erfindung anhand eines exemplarischen neuronalen Netzes beschrieben, jedoch können erfindungsgemäß auch mehrere neuronale Netze parallel oder seriell eingesetzt werden, um aus den erfassten Sensordaten einen Erwartungswert für kommende Sensordaten zu ermitteln. Beispielsweise kann für jedes Merkmal der Sensordaten ein separates neuronales Netz eingesetzt werden, um das jeweilige Merkmal für die kommenden Sensordaten vorherzusagen bzw. einen Erwartungswert zu ermitteln. Das neuronale Netz kann mehrere Schichten/Knoten aufweisen, welche anschließend zu einem Erwartungswert der Sensordaten
zusammengeführt werden. Hierbei können die einzelnen Schichten bzw. Konten einzeln über Gewichtungsfaktoren berücksichtigt werden, sodass bestimmte Merkmale bzw. Ausprägungen von
Merkmalen stärker Berücksichtigung in dem Erwartungswert finden können als andere. Gemäß einer Ausführungsform der Erfindung weist das Verfahren ferner die folgenden Schritte auf:
Erfassen, mit der Sensoranordnung, eines
Eingangsdatensatzes von zeitlich aufeinander folgenden Sensordaten;
Beaufschlagen, insbesondere kontinuierliches
Beaufschlagen während eines Fahrzeugbetriebs, des angelernten neuronalen Netzes mit dem Eingangsdatensatz, wobei die erwarteten Sensordaten basierend auf dem
Eingangsdatensatz und dem mit dem Lerndatensatz angelernten neuronalen Netz ermittelt und/oder vorhergesagt werden.
Dabei kann „Beaufschlagen" ein Zuführen des Eingangsdatensatzes zu dem neuronalen Netz bezeichnen. Nach dem Anlernen des neuronalen Netzes kann das neuronale Netz im Betrieb aus den kontinuierlich erfassten Sensordaten der Sensoranordnung, d.h. aus dem Eingangsdatensatz , die erwarteten Sensordaten ermitteln. Dies ist jedoch nur möglich, wenn das neuronale Netz zuvor mit Hilfe eines Lerndatensatzes angelernt wurde. Das Anlernen kann hierbei, wie voranstehend beschrieben, vollautomatisch und während der Fahrt des Fahrzeugs erfolgen. Durch das angelernte neuronale Netz können die erwarteten Sensordaten ermittelt, erzeugt und/oder generiert werden und mit den erfassten
Sensordaten verglichen werden. Die Abweichungen zwischen den ermittelten erwarteten Sensordaten und den tatsächlich aktuell erfassten Sensordaten können auf diese Weise schnell, einfach und zuverlässig in hoher Detailtiefe erkannt werden.
Gemäß einer Ausführungsform der Erfindung wird durch den Vergleich der mit dem neuronalen Netz ermittelten erwarteten Sensordaten mit aktuell durch die Sensoranordnung erfassten Sensordaten eine Verschmutzung und/oder eine
Messbereichseinschränkung der Sensoranordnung als Abweichung ermittelt. Mit anderen Worten kann die Abweichung eine
Verschmutzung und/oder eine Messbereichseinschränkung, wie z.B. eine Sichtweiten-Einschränkung einer Kamera, eines Radars, eines Ultraschalls, eines Lidars, eines Lasers und/oder eines beliebigen anderen Sensorelements sein. Die Verschmutzung und/oder die Messbereichseinschränkung kann beispielsweise durch Schmutz von der Straße, Regen, Laub oder durch Schnee hervorgerufen sein.
Gemäß einer Ausführungsform weist die Sensoranordnung wenigstens einen bildgebenden Sensor auf. Alternativ oder zusätzlich umfasst und/oder enthält der Lerndatensatz Bilddaten wenigstens eines bildgebenden Sensors der Sensoranordnung.
Die Sensoranordnung kann neben vielen anderen Sensoren auch einen bildgebenden Sensor, wie insbesondere eine Kamera oder mehrere Kameras, einen Radarsensor welcher ein Radarbild erfasst und einen Lasersensor welcher ein Laserbild erfasst, aufweisen. Hierbei sind dann die erfassten Sensordaten Bild- bzw.
Videodaten. Auch können mehrere Kameras gemeinsam Sensordaten bereitstellen, z.B. durch ein Panoramabild und/oder durch ein Surroundview-System. Wenn Kameras bzw. Bilddaten als
Eingangsdaten für das neuronale Netz verwendet werden, kann das neuronale Netz pixelgenau ein erwartetes zukünftiges Bild ermitteln .
Ein bildgebender Sensor kann im Rahmen dieser Anmeldung, eine Kamera, ein Radarsensor und/oder ein Lasersensor sein.
Gemäß einer Ausführungsform umfassen die erfassten
Roh-Sensordaten des Lerndatensatzes ausschließlich Bilddaten einer flachen Fahrbahngeometrie, insbesondere einer
zweidimensionalen Fahrbahngeometrie , wobei durch Vergleich der mit dem neuronalen Netz vorhergesagten erwarteten Bilddaten des wenigstens einen bildgebenden Sensors mit aktuell durch die Sensoranordnung erfassten Bilddaten ein relativ zu den vorhergesagten erwarteten Bilddaten der flachen
Fahrbahngeometrie erhabenes Objekt als Abweichung ermittelt wird.
Es können alternativ oder zusätzlich zu Bilddaten auch beliebige andere Sensordaten beliebiger anderer Fahrzeugsensoren, wie beispielsweise Radardaten und/oder Laserdaten einer flachen Fahrbahngeometrie als Lerndatensatz für das neuronale Netz verwendet werden. Durch Verwendung ausschließlich „flacher" Fahrbahngeometrien während des Anlernens des neuronalen Netzes, kann das System die Vorhersage einer „Flat-World-Sensorausgabe" aus den jeweils vorangegangenen Sensorsignalen ermitteln. Durch den Vergleich der Flat-World-Vorhersage mit den tatsächlich erfassten
Sensordaten können erhabene Objekte, wie z.B. andere
Verkehrsteilnehmer, Straßenschilder, Begrenzungspfosten und/oder Brücken, anhand ihrer Abweichung zu den erwarteten bzw. vorhergesagten Sensordaten ermittelt werden. Des Weiteren können durch die Verwendung von flachen Bildinhalten die erfassten Bilddaten vorselektiert und entsprechend eingeschränkt werden, sodass einzelne Bereiche der erfassten Bilddaten nicht vorhergesagt werden müssen. Insbesondere ist eine Fahrbahn in den Bilddaten der Kamera in der Regel trapezförmig in einer unteren Bildhälfte zu erkennen. Es kann daher vorgesehen sein, dass lediglich Bilddaten einer unteren Bildhälfte vorhergesagt und mit einer unteren Bildhälfte von tatsächlich erfassten Bilddaten verglichen wird. Somit kann eine zu verarbeitende Datenmenge deutlich reduziert werden. Gemäß einer Ausführungsform wird durch Vergleich der mit dem neuronalen Netz vorhergesagten erwarteten Bilddaten des wenigstens einen bildgebenden Sensors mit aktuell durch die Sensoranordnung erfassten Bilddaten eine Spiegelung in einem optischen Pfad der Kamera als Abweichung ermittelt. Mit anderen Worten kann die Abweichung eine Spiegelung im optischen Pfad der Kamera sein, welche in den erfassten Sensordaten der Kamera enthalten ist. Die Spiegelung können beispielsweise durch die Scheibe vor der Kamera, Wasser vor der Linse der Kamera oder Luftspiegelungen hervorgerufen werden. Analog lassen sich damit Veränderungen im optischen Pfad (Verschmutzung, Spiegelung oder dergleichen) auch bei Radarsensoren, Lasersensoren und/oder Ultraschallsensoren erkennen. Gemäß einer Ausführungsform weist die Sensoranordnung ein erstes Sensorelement und ein zweites Sensorelement auf, wobei das Verfahren weiter die folgenden Schritte aufweist:
Erfassen, mit dem ersten Sensorelement, eines
Eingangsdatensatz von zeitlich aufeinanderfolgenden ersten
Sensordaten;
Beaufschlagen des angelernten neuronalen Netzes mit dem Eingangsdatensatz ;
Ermitteln und/oder Vorhersagen von erwarteten zweiten Sensordaten des zweiten Sensorelements basierend auf dem
Eingangsdatensatz der erfassten Sensordaten des ersten Sensorelements .
Erfindungsgemäß ist daher vorgesehen, dass das neuronale Netz derart angelernt werden kann, dass erwartete Sensordaten eines zweiten Sensorelements auf der Basis der Sensordaten eines ersten Sensorelements und dem neuronalen Netz ermittelt werden. Mit anderen Worten kann das neuronale Netz zu einer Korrelation zwischen zwei Sensorelementen der Sensoranordnung angelernt werden. Das angelernte neuronale Netz kann anschließend mit
Sensordaten eines der Sensorelemente beaufschlagt werden und als erwartete Sensordaten des anderen Sensorelements ermitteln. Beispielsweise können erwartete Sensordaten eines Radarsensors auf Basis erfasster Sensordaten einer Kamera durch das neuronale Netz ermittelt werden.
Gemäß einer Ausführungsform ist das erste Sensorelement und das zweite Sensorelement jeweils wenigstens ein Element ausgewählt aus der Gruppe bestehend aus einer Kamera, einem Radarsensor, einem Lidarsensor, einem Ultraschallsensor, einem Lasersensor, einem Drehratensensor, einem Geschwindigkeitssensor, einem Regensensor, einem Drucksensor und einem Gyrosensor.
Das erfindungsgemäße Verfahren kann somit für beliebige
Sensorelemente sowie die zugehörigen Sensordaten eingesetzt werden . Gemäß einer weiteren Ausführungsformweist das Verfahren ferner einen Schritt des Ermitteins von Kalibrierwerten und/oder Einbauparameterwerten des zweiten Sensorelements basierend auf den mit dem ersten Sensorelement erfassten ersten Sensordaten auf. Ferner kann die Kalibrierung des zweiten Sensorelements auf ermittelten Kalibrierwerten bzw. Einbauparameterwerten durchgeführt werden.
Die Anwendung des Verfahrens kann ferner die Ermittlung von Online-Kalibrierwerten ermöglichen und ist auch zum Lernen der Drehrate, der Fahrzeugeigenbewegung oder der
Kamera-Einbauwinkel (Fluchtpunktgeometrie) geeignet. Die erwarteten Sensordaten eines ersten Sensorelements können anhand seiner Kalibrierdaten und den Sensordaten eines zweiten
Sensorelements mit dem angegeben Verfahren vorhergesagt werden. Durch einen anschließenden Vergleich mit den tatsächlich erfassten Sensordaten des ersten Sensorelements und einer Variation der Kalibrierdaten kann die beste/wahrscheinlichste Einbaukalibrierung des ersten Sensorelements ermittelt werden.
Ein weiterer Aspekt der Erfindung betrifft ein
Fahrerassistenzsystem. Das Fahrerassistenzsystem weist eine Sensoranordnung zum Erfassen von Sensordaten und ein Steuergerät mit einem darin implementierten neuronalen Netz auf, wobei das Steuergerät und/oder das Fahrerassistenzsystem dazu ausgeführt und eingerichtet ist, das voranstehend und im Folgenden beschriebene Verfahren durchzuführen.
Ein weiterer Aspekt dieser Erfindung betrifft ein Fahrzeug mit einem voranstehend und im Folgenden beschriebenen
Fahrerassistenzsystem.
Bei dem Fahrzeug kann es sich beispielsweise um ein
Kraftfahrzeug, wie ein Auto, ein Motorrad, einen Bus oder einen Lastkraftwagen, oder auch ein Flugzeug, einen Helikopter oder auch ein Schiff handeln. Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einem Steuergerät eines Fahrerassistenzsystems ausgeführt wird, das Fahrerassistenzsystem anleitet, das im Kontext der Erfindung beschriebene Verfahren durchzuführen.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein computerlesbares Medium, auf dem ein derartiges Programmelement gespeichert ist. Im Folgenden sind Vorteile der Erfindung zusammengefasst . Die Erfindung ermöglicht in vorteilhafter Weise eine pixelgenaue Erkennung und/oder Segmentierung von Objekten ohne explizites Wissen über dessen jeweilige Objektklasse. Des Weiteren ist kein manuelles Labeling der Anlerndaten erforderlich. Eine Vorhersage und ein Vergleich von verschiedenen Sensordaten ist möglich. Auch können Spiegelungen in Sensordaten erkannt werden. Als weiterer Vorteil der Erfindung ist zu nennen, dass die Vorhersage von Fahrzeugsignalen und Einbauparametern von Sensorelementen ermöglicht wird, sowie die Ermittlung von Online-Kalibrierwerten und Einbaukalibrierungen zwischen verschiedenen
Fahrzeugsensoren. Ferner kann das automatische Anlernen während der Fahrt ermöglich werden.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und Figuren. Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung in verschiedenen Figuren die gleichen Bezugszeichen angegeben, so bezeichnen diese gleiche, gleich wirkende oder ähnliche Elemente.
Fig. 1 zeigt ein Flussdiagramm zur Illustration von Schritten des Verfahrens zum Ermitteln von Abweichungen in Sensordaten mit Hilfe eines angelernten neuronalen Netzes gemäß einer Ausführungsform der Erfindung.
Fig. 2 zeigt eine schematische Darstellung des
Funktionsprinzips des Anlernens des neuronalen Netzes gemäß einer Ausführungsform der Erfindung.
Fig. 3 zeigt eine schematische Darstellung des Vergleichs der erwarteten Sensordaten mit den erfassten Sensordaten gemäß einer Ausführungsform der Erfindung.
Fig. 4 zeigt eine schematische Darstellung eines
Fahrerassistenzsystems zum Ermitteln von Abweichungen in Sensordaten gemäß einer Ausführungsform der Erfindung.
Fig. 1 zeigt ein Flussdiagramm zur Illustration von Schritten des Verfahrens zum Ermitteln von Abweichungen in Sensordaten mit Hilfe eines neuronalen Netzes. Das Verfahren wird im Folgenden mittels der Figuren 2 und 3 näher erläutert. Dabei zeigt Fig. 2 eine schematische Darstellung des Funktionsprinzips des
Anlernens des neuronalen Netzes gemäß einer Ausführungsform der Erfindung. Weiter zeigt Fig. 3 eine schematische Darstellung des Vergleichs der erwarteten Sensordaten mit den erfassten
Sensordaten gemäß einer Ausführungsform der Erfindung.
In einem ersten Schritt 101 werden zeitlich aufeinanderfolgende Roh-Sensordaten (tl, t2, t3,..., tn) mittels der Sensoranordnung und/oder wenigstens einem Sensorelement der Sensoranordnung erfasst. Diese Roh-Sensordaten dienen dem Anlernen eines neuronalen Netzes in Schritt 102, wobei der Lerndatensatz zum Anlernen des neuronalen Netzes ausgewertet von dem neuronalen Netz ausgewertet und/oder verarbeitet wird. In Schritt 103 werden erwartete Sensordaten ermittelt. Diese erwarteten Sensordaten können zum Anlernen des neuronalen Netzes rein basierend auf dem Lerndatensatz ermittelt werden. Nach dem Anlernen des neuronalen Netzes können in Schritt 103 jedoch auch erwartete Sensordaten basierend auf dem angelernten neuronalen Netz und basierend auf einem Eingangsdatensatz von zeitlich aufeinander folgenden Sensordaten ermittelt werden.
Genauer können in der Anlernphase des neuronalen Netzes die erwarteten Sensordaten (tO) zu einem bestimmten Zeitpunkt tO basierend auf den zeitlich vorangegangenen Roh-Sensordaten mit den aktuell erfassten Sensordaten (tO) verglichen werden, wie in Schritt 104 illustriert. Dieser Vergleich dient in der
Anlernphase dazu, das neuronale Netzwerk weiter zu verbessern bzw. Merkmale in den Sensordaten besser klassifizieren zu können.
Während des Betriebs können dann fortlaufend Sensordaten durch die Sensoranordnung erfasst werden. Das angelernte neuronale Netz kann dann mit den erfassten Sensordaten beaufschlagt werden, wobei das neuronale Netz erwartete Sensordaten ermitteln kann. Die erwarteten Sensordaten können anschließend mit den zeitlich korrespondierenden erfassten Sensordaten verglichen werden. Dieser Vergleich kann vorteilhafter Weise von einer
Steuereinheit des Fahrerassistenzsystems ausgeführt werden. Beispielsweise kann der Vergleich durch eine Subtraktion der ermittelten erwarteten Sensordaten und der aktuell erfassten Sensordaten erfolgen. Basierend auf dem Vergleich kann dann in Schritt 105 eine Abweichung zwischen den erwarteten und den aktuell erfassten Sensordaten ermittelt werden. Eine derartige Abweichung kann dann beispielsweise einem anderen
Verkehrsteilnehmer, einem anderen Fahrzeug, einer Spiegelung in einem optischen Pfad der Kamera, einem Straßenschild, einer Brücke, einer Spiegelung, einer Verschmutzung, einer
Kalibrierabweichung oder einem beliebigen anderen Ereignis zugeordnet werden.
Das neuronale Netzwerk kann auch auf eine Korrelation zwischen zwei verschiedenen Sensorelementen angelernt werden, sodass die erfassten Sensordaten eines Sensorelements zur Bestimmung der erwarteten Sensordaten eines anderen Sensorelements genutzt werden können. Fig. 4 zeigt ein Fahrerassistenzsystem 200. Das
Fahrerassistenzsystem 200 weist eine Steuereinheit 210 und eine Sensoranordnung 220 auf. Die Sensoranordnung 220 wiederrum kann eines oder mehrere Sensorelemente 221, 222 aufweisen. In Fig. 4 sind aus Gründen der Vereinfachung lediglich zwei Sensorelemente dargestellt, jedoch kann die Sensoranordnung 220 auch mehr als zwei Sensorelemente 221, 222 aufweisen. Die einzelnen
Sensorelemente 221, 222 sind ausgeführt, Sensordaten zu erfassen. Die Sensorelemente 221, 222 können ferner dazu ausgeführt sein, kontinuierlich zeitlich aufeinanderfolgende Sensordaten zu erfassen. Die erfassten Sensordaten werden von der Sensoranordnung 220 an die Steuereinheit 210 weitergeleitet und dort ausgewertet. In der Steuereinheit 210 ist ferner ein neuronales Netz implementiert. Das neuronale Netz wird mit Hilfe der erfassten Sensordaten angelernt und ist in der Lage, aus erfassten Sensordaten erwartete Sensordaten für einen
zukünftigen Zeitpunkt zu ermitteln. Des Weiteren ist die Steuereinheit 210 ausgeführt, die erwarteten Sensordaten mit den erfassten Sensordaten an dem korrespondierenden Zeitpunkt zu vergleichen. Der Vergleich kann beispielsweise durch Subtraktion der beiden Datensätze erfolgen. Durch den Vergleich können Abweichungen zwischen den erfassten Sensordaten und den erwarteten Sensordaten festgestellt werden. Diese ermittelten Abweichungen kann die Steuereinheit 210 analysieren und auswerten bzw. bewerten. Das Ergebnis der Auswertung des Vergleichs kann anschließend von der Steuereinheit 210 des Fahrerassistenzsystems 200 dem Fahrer des Fahrzeugs mitgeteilt werden .

Claims

Patentansprüche
1. Verfahren zum Ermitteln von Abweichungen in Sensordaten mit wenigstens einem in einem Steuergerät eines Fahrzeugs
implementierten neuronalen Netz, das Verfahren weist folgende Schritte auf:
Erfassen (101), mit einer Sensoranordnung des Fahrzeugs, eines Lerndatensatzes von zeitlich aufeinanderfolgenden Roh-Sensordaten;
Auswerten (102) , mit dem in dem Steuergerät implementierten neuronalen Netz, des Lerndatensatzes unter Anlernen des neuronalen Netzes basierend auf dem Lerndatensatz der erfassten Roh-Sensordaten;
Ermitteln (103) von erwarteten Sensordaten;
Vergleichen (104) der ermittelten erwarteten Sensordaten mit aktuell durch die Sensoranordnung erfassten
Sensordaten; und
Ermitteln (105) einer Abweichung zwischen den aktuell erfassten Sensordaten und den ermittelten erwarteten Sensordaten .
2. Verfahren gemäß Anspruch 1, weiter aufweisend:
Erfassen, mit der Sensoranordnung, eines
Eingangsdatensatzes von zeitlich aufeinander folgenden
Sensordaten;
Beaufschlagen des angelernten neuronalen Netzes mit dem Eingangsdatensatz ;
wobei die erwarteten Sensordaten basierend auf dem
Eingangsdatensatz und dem mit dem Lerndatensatz angelernten neuronalen Netz ermittelt werden.
3. Verfahren gemäß einem der voranstehenden Ansprüche, wobei durch Vergleich der ermittelten erwarteten
Sensordaten mit den aktuell durch die Sensoranordnung erfassten Sensordaten eine Verschmutzung und/oder eine
Messbereichseinschränkung der Sensoranordnung als Abweichung ermittelt wird.
4. Verfahren gemäß einem der voranstehenden Ansprüche,
wobei die Sensoranordnung wenigstens einen bildgebenden
Sensor aufweist; und/oder
wobei der Lerndatensatz Bilddaten wenigstens eines bildgebenden Sensors der Sensoranordnung umfasst.
5. Verfahren nach Anspruch 4,
wobei die erfassten Roh-Sensordaten des Lerndatensatzes Bilddaten einer flachen Fahrbahngeometrie umfassen; und
wobei durch Vergleich der ermittelten erwarteten Bilddaten des wenigstens einen bildgebenden Sensors mit aktuell durch die Sensoranordnung erfassten Bilddaten ein relativ zu den ermittelten erwarteten Bilddaten erhabenes Objekt als Abweichung ermittelt wird.
6. Verfahren gemäß einem der Ansprüche 4 oder 5,
wobei durch Vergleich der ermittelten erwarteten Bilddaten des wenigstens einen bildgebenden Sensors mit aktuell durch die Sensoranordnung erfassten Bilddaten eine Spiegelung in einem optischen Pfad des bildgebenden Sensors als Abweichung ermittelt wird .
7. Verfahren gemäß einem der vorhergehenden Ansprüche,
wobei die Sensoranordnung ein erstes Sensorelement und ein zweites Sensorelement aufweist, und
wobei das Verfahren weiter aufweist:
Erfassen, mit dem ersten Sensorelement, eines
Eingangsdatensatz von zeitlich aufeinander folgenden ersten Sensordaten;
Beaufschlagen des angelernten neuronalen Netzes mit dem Eingangsdatensatz; und Ermitteln von erwarteten Sensordaten des zweiten
Sensorelements basierend auf dem Eingangsdatensatz.
8. Verfahren nach Anspruch 7,
wobei das erste Sensorelement und das zweite Sensorelement jeweils wenigstens ein Element ausgewählt aus der Gruppe bestehend aus einer Kamera, einem Radarsensor, einem
Lidarsensor, einem Ultraschallsensor, einem Lasersensor, einem Drehratensensor, einem Geschwindigkeitssensor, einem
Regensensor, einem Drucksensor und einem Gyrosensor ist.
9. Verfahren gemäß einem der Ansprüche 7 oder 8, weiter aufweisend :
Ermitteln von Kalibrierwerten und/oder
Einbauparameterwerten des zweiten Sensorelements basierend auf dem Eingangsdatensatz von mit dem ersten Sensorelement erfassten ersten Sensordaten.
10. Fahrerassistenzsystem, aufweisend:
eine Sensoranordnung zum Erfassen von Sensordaten; und ein Steuergerät mit einem darin implementierten neuronalen Netz, wobei das Steuergerät dazu ausgeführt und eingerichtet ist, das Verfahren gemäß einem der voranstehenden Ansprüche durchzuführen .
PCT/DE2018/200029 2017-03-27 2018-03-26 Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs WO2018177484A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/498,617 US11468319B2 (en) 2017-03-27 2018-03-26 Method and system for predicting sensor signals from a vehicle
DE112018000260.8T DE112018000260A5 (de) 2017-03-27 2018-03-26 Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017205093.4A DE102017205093A1 (de) 2017-03-27 2017-03-27 Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
DE102017205093.4 2017-03-27

Publications (1)

Publication Number Publication Date
WO2018177484A1 true WO2018177484A1 (de) 2018-10-04

Family

ID=62142945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2018/200029 WO2018177484A1 (de) 2017-03-27 2018-03-26 Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs

Country Status (3)

Country Link
US (1) US11468319B2 (de)
DE (2) DE102017205093A1 (de)
WO (1) WO2018177484A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250051B2 (en) 2019-09-19 2022-02-15 Here Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
SE1851450A1 (en) * 2018-11-23 2020-05-24 Scania Cv Ab Method, Computer Program, Control Unit for Detecting Faults in a Driver-Assistance System and Vehicle
DE102018132649A1 (de) * 2018-12-18 2020-06-18 Connaught Electronics Ltd. Verfahren zum Kalibrieren eines Erfassungsbereichs eines Kamerasystems mittels eines künstlichen neuronalen Netzes; Steuereinheit; Fahrerassistenzsystem sowie Computerprogrammprodukt
DE102019105275A1 (de) * 2019-03-01 2020-09-03 Connaught Electronics Ltd. Verfahren und System zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs
DE102019105276A1 (de) * 2019-03-01 2020-09-03 Connaught Electronics Ltd. Verfahren und System zum Detektieren eines Objekts im Fahrgastraum eines Fahrzeugs
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
DE102019114737A1 (de) * 2019-06-03 2020-12-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers
DE102019208928A1 (de) * 2019-06-19 2020-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer visuellen Repräsentation eines Umfeldes eines Fortbewegungsmittels
DE102019209292A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
US11713978B2 (en) 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
FR3103047B1 (fr) * 2019-11-07 2021-11-26 Thales Sa Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
DE102021107937A1 (de) 2021-03-30 2022-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung sowie Computerprogramm zum Betreiben einer Fahrzeugkamera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
EP3085937A2 (de) * 2015-04-24 2016-10-26 The Boeing Company System und verfahren zur detektion von fahrzeugsystemfehlern
US20170032242A1 (en) * 2015-07-27 2017-02-02 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2882232B2 (ja) 1993-03-17 1999-04-12 三菱自動車工業株式会社 車体重心スリップ角計測装置
US10116839B2 (en) * 2014-08-14 2018-10-30 Atheer Labs, Inc. Methods for camera movement compensation for gesture detection and object recognition
US6473746B1 (en) 1999-12-16 2002-10-29 Simmonds Precision Products, Inc. Method of verifying pretrained neural net mapping for use in safety-critical software
US7529394B2 (en) * 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
TW200917824A (en) * 2007-10-12 2009-04-16 Univ Nat Taiwan Shockproof method for digital imaging
US8428828B2 (en) 2009-03-05 2013-04-23 GM Global Technology Operations LLC Adaptive control system for automated vehicle applications
US8484225B1 (en) * 2009-07-22 2013-07-09 Google Inc. Predicting object identity using an ensemble of predictors
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
GB2529435B (en) * 2014-08-19 2020-09-02 Apical Ltd A Method of Generating A Framed Video Stream
US9384396B2 (en) * 2014-09-29 2016-07-05 Xerox Corporation System and method for detecting settle down time using computer vision techniques
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US20170161591A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for deep-learning based object tracking
US9846822B2 (en) * 2015-12-31 2017-12-19 Dropbox, Inc. Generating and utilizing normalized scores for classifying digital objects
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US11049321B2 (en) * 2017-10-03 2021-06-29 ExtendView Inc. Sensor-based object tracking and monitoring
JP7176478B2 (ja) * 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
EP3085937A2 (de) * 2015-04-24 2016-10-26 The Boeing Company System und verfahren zur detektion von fahrzeugsystemfehlern
US20170032242A1 (en) * 2015-07-27 2017-02-02 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MONA IBRAHIM ET AL: "Nonlinear autoregressive neural network in an energy management strategy for battery/ultra-capacitor hybrid electrical vehicles", ELECTRIC POWER SYSTEMS RESEARCH, vol. 136, 1 July 2016 (2016-07-01), AMSTERDAM, NL, pages 262 - 269, XP055487048, ISSN: 0378-7796, DOI: 10.1016/j.epsr.2016.03.005 *
WARD MARC R ET AL: "Vibrometry-based vehicle identification framework using nonlinear autoregressive neural networks and decision fusion", NAECON 2014 - IEEE NATIONAL AEROSPACE AND ELECTRONICS CONFERENCE, IEEE, 24 June 2014 (2014-06-24), pages 180 - 185, XP032737851, DOI: 10.1109/NAECON.2014.7045799 *
YASUHISA HAYAKAWA ET AL: "All Round Blind Spot Detection by Lens Condition Adaptation based on Rearview Camera Images", SAE 2013 WORLD CONGRESS & EXHIBI, SOCIETY OF AUTOMOTIVE ENGINEERS, WARRENDALE, PA, US, no. Paper 2013-01-0622, 8 April 2013 (2013-04-08), pages 1 - 7, XP008171970, DOI: 10.4271/2013-01-0622 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250051B2 (en) 2019-09-19 2022-02-15 Here Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system

Also Published As

Publication number Publication date
US11468319B2 (en) 2022-10-11
DE102017205093A1 (de) 2018-09-27
US20210064980A1 (en) 2021-03-04
DE112018000260A5 (de) 2019-10-10

Similar Documents

Publication Publication Date Title
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
DE102017107264A1 (de) Sichtbasierte regenerkennung unter verwendung des tiefen lernens
DE102018206208A1 (de) Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
DE102019104974A1 (de) Verfahren sowie System zum Bestimmen eines Fahrmanövers
EP3490862B1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
EP3526095B1 (de) Kategorisierung von fahrzeugen in der umgebung eines kraftfahrzeugs
WO2012152268A2 (de) Redudante objektdetektion für fahrerassistenzsysteme
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3857437A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102016212716A1 (de) Steuervorrichtung und verfahren
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
DE102019208233A1 (de) Verfahren und Vorrichtung zum automatischen Ausführen einer Steuerfunktion eines Fahrzeugs
DE102018200754A1 (de) Verfahren und Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten und Fahrerassistenzsystem
DE102021133977A1 (de) Verfahren und System zur Klassifikation von Szenarien eines virtuellen Tests sowie Trainingsverfahren
EP4264565A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung
DE102017207958B4 (de) Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102019103192A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein digitales, lernfähiges Kamerasystem
DE102019004842A1 (de) Verfahren zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs
EP3559856A1 (de) Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs
DE102017216802A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
WO2022042903A1 (de) Verfahren zur erkennung dreidimensionaler objekte, computerprogramm, maschinenlesbares speichermedium, steuergerät, fahrzeug und videoüberwachungssystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18723400

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112018000260

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18723400

Country of ref document: EP

Kind code of ref document: A1