WO2018095491A1 - Device and method for checking a functionality of a sensor - Google Patents

Device and method for checking a functionality of a sensor Download PDF

Info

Publication number
WO2018095491A1
WO2018095491A1 PCT/DE2017/200121 DE2017200121W WO2018095491A1 WO 2018095491 A1 WO2018095491 A1 WO 2018095491A1 DE 2017200121 W DE2017200121 W DE 2017200121W WO 2018095491 A1 WO2018095491 A1 WO 2018095491A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sensor
predetermined
rate
processor
Prior art date
Application number
PCT/DE2017/200121
Other languages
German (de)
French (fr)
Inventor
Ralph GREWE
Enno Kelling
Klaus Rink
Ulrich STÄHLIN
Original Assignee
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg filed Critical Continental Teves Ag & Co. Ohg
Publication of WO2018095491A1 publication Critical patent/WO2018095491A1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures

Definitions

  • the present invention relates to a device and a method for checking a functionality of a sensor, in particular a sensor of a vehicle.
  • Environmental sensors are increasingly used in modern motor vehicles. Only with the information gained from them from the environment of a vehicle modern driver assistance systems (ADAS) or systems to increase vehicle safety are possible. Furthermore, they are important for automated driving. Along with this, however, is the ever greater dependence of the vehicle on environmental information. However, this also leads to ever greater demands on the accuracy of the environmental information. It is sometimes difficult to plausibilize the information of one sensor via other sensors, since other sensors usually can not detect this information because of the physical principle of operation. For example, a radar sensor typically can not detect colors and thus also does not make plausibility of color information from a camera. In addition, it becomes increasingly difficult to systematically check all possible states, situations and input data in advance. In particular, learning or adaptive systems typically elude this review for principled reasons.
  • the object is achieved by a device for checking a functionality of a sensor of a vehicle.
  • the sensor is configured to provide sensor data at a first rate.
  • the apparatus comprises a memory in which predetermined test data are stored, and a processor configured to associate the predetermined test data with the sensor data to obtain manipulated data to process the manipulated data at a second rate according to a processing rule. to obtain processed data and compare the processed data with predetermined reference data to check the operability of the sensor.
  • the senor is an environment sensor, a camera sensor, a radar sensor, an ultrasound sensor or a laser-based sensor.
  • the second rate is greater than the first rate.
  • the predetermined test data comprises synthetically generated data, the synthetically generated data being generated according to predetermined synthesis rules.
  • the predetermined reference data is stored in the memory.
  • the processor is further configured to process the sensor data according to the processing rule.
  • the processor is further configured to determine a deviation between the processed data and the reference data to obtain a deviation measure.
  • the processor is further configured to compare the deviation measure with a predetermined threshold value and to discard the sensor data if the deviation measure exceeds the predetermined threshold value.
  • a time stamp is associated with the manipulated data, and the processor is further configured to change the time stamp in order to check the operability of the sensor.
  • the device can be used in cars, in aircraft or in ships.
  • the object is achieved by a method for checking a functionality of a sensor of a vehicle, wherein the sensor is designed to provide sensor data at a first rate.
  • the method comprises the steps of providing predetermined test data, associating the predetermined test data with the sensor data to obtain manipulated data, processing the manipulated data at a second rate according to a processing rule to obtain processed data, and comparing the processed data with predetermined reference data to check the operability of the sensor.
  • the method may be performed by the device. Further features of the method result directly from the functionality and / or the features of the device.
  • the object is achieved by a computer program having a program code for carrying out the method according to the second aspect, when the program code is executed on a computer.
  • the device may be program-programmed to execute the program code.
  • the invention can be implemented in hardware and / or software.
  • FIG. 1 shows a schematic illustration of a device for checking a functionality of a sensor in a vehicle according to an embodiment
  • FIG. 2 shows a schematic representation of a method for checking a functionality of a sensor in a vehicle according to an embodiment.
  • FIG. 1 shows a schematic of a device 100 for checking a functionality of a sensor 102 in a vehicle according to
  • the device 100 comprises the sensor 102, which is designed to provide sensor data at a first rate, a memory 104, in which predetermined test data are stored, and
  • a processor 106 configured to associate the predetermined check data with the sensor data to obtain manipulated data, process the manipulated data at a second rate according to a processing rule to obtain processed data, and to supply the processed data with predetermined reference data compare to check the operability of the sensor 102.
  • the device 100 achieves the advantage that the functionality of the sensor 102, e.g. an environment sensor, can be checked continuously during operation, since it is possible to systematically check the sensor data processing with state-of-the-art information.
  • the sensor data processing according to the processing rule may run at a larger sampling rate than data provided by the sensor.
  • sensor data processing can run at 18 Hz if the sensor supplies data at 16 Hz.
  • information can be simulated as an input whose output is known at the end of the sensor data processing. This can be used to check whether, for example, the sensor data processing system has become unstable or has deteriorated in performance due to an incorrect adaptation.
  • the data of the last normal pass of the sensor 102 are taken, but manipulated at certain points. This may be, for example, an additional sign or lane marker in a video image or a street where there is none, or additional radar reflections in a radar receive patter or echoes from an ultrasound or lidar sensor.
  • the data can be recorded at different levels of abstraction, eg at the lowest level image data with a camera or radar peaks with a radar sensor.
  • a modified disparity map or image may be used for a camera or cluster for a radar sensor, eg, by edge detection or optical flow calculation in image sequences.
  • the data for the manipulation can come from a sensor-local database or memory, which are already fixed at delivery.
  • synthetically generated data can be used, which are created according to fixed rules, or it is possible to use stored test input data, which are already determined on delivery. If it is not possible to use additional computing power (ie the computing power is sufficient only for processing the input data of the sensor), situation-dependent data can also be injected. For example, parts of the input data are changed, but filtered out again in the later chain.
  • additional objects can be integrated, for example, whereby the data comes from a local database or a memory and is already fixed upon delivery. During generally uncritical situations synthetic data can be recorded for a short time, but after the situation interpretation the processing can be aborted. Furthermore, data can be added that does not fit the context and therefore should be filtered out. For example, on a highway, a pedestrian can be recorded.
  • the processing of the sensor data and the processing of the manipulated data are separated from each other.
  • no filters for tracking, etc.
  • data can be integrated at later stages of processing.
  • critical objects may be injected at an object interface and evaluated in parallel to the sensor data. These may be other road users (eg high braking dynamics or short distance vehicles) or pedestrians, but other objects such as injected traffic signs, lane markings or edge structures may also be used.
  • a context-dependent assessment can be examined that can not be easily checked with synthetic or predefined situations. Another possibility is the modification of time stamps before an association.
  • the timestamps of the sensor data or normal objects are changed or objects are injected that have slightly inappropriate timestamps. This makes it possible to check the time synchronization as well as the association or the tracking.
  • the trailing errors should systematically check the behavior of the system. Above all, the limits of the system are checked. For example, in a load situation, dangerous objects are introduced into test frames and it is checked whether the system still masters the situation "full-load situation" (eg, the evaluation and prioritization, tracking of objects, etc. functions.) Fig.
  • the sensor 102 is configured to provide sensor data at a first rate
  • the method 200 includes the steps of providing 202 predetermined test data, associating 204 the predetermined test data with the first tester Sensor data to obtain manipulated data, processing 206 the manipulated data at a second rate according to a processing rule to obtain processed data, and comparing 208 the processed data with predetermined reference data to verify the operability of the sensor 102.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

The invention relates to a device and a method for checking a functionality of a sensor (102) of a vehicle, the sensor (102) being designed to provide sensor data with a first rate. The device (100) comprises a memory (104) in which predetermined test data is stored, and a processor (106) which is designed to link the predetermined test data to the sensor data in order to obtain manipulated data, the manipulated data being processed with a second rate according to a processing specification, and the processed data is compared to predetermined reference data in order to test the functionality of the sensor (102).

Description

Vorrichtung und Verfahren zum Überprüfen einer Funktionsfähigkeit eines Sensors TECHNISCHES GEBIET  Device and method for checking the operability of a sensor TECHNICAL FIELD
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Überprüfen einer Funktionsfähigkeit eines Sensors, insbesondere eines Sensors eines Fahrzeugs. TECHNISCHER HINTERGRUND The present invention relates to a device and a method for checking a functionality of a sensor, in particular a sensor of a vehicle. TECHNICAL BACKGROUND
Umfeldsensoren werden in modernen Kraftfahrzeugen immer häufiger benutzt. Erst mit den durch sie gewonnenen Informationen aus einem Umfeld eines Fahrzeugs werden moderne Fahrerassistenzsysteme (ADAS) bzw. Systeme zur Erhöhung der Fahrzeugsicherheit möglich. Weiterhin sind sie für das automatisierte Fahren von Bedeutung. Damit einhergehend ist aber auch die immer größere Abhängigkeit des Fahrzeugs von Umfeldinformationen. Das führt jedoch auch zu immer größeren Anforderungen an die Richtigkeit der Umfeldinformationen. Teilweise ist es schwierig, die Informationen eines Sensors über andere Sensoren zu plausibilisieren, da andere Sensoren diese Information aufgrund des physikalischen Wirkprinzips zumeist nicht detektieren können. Beispielsweise kann ein Radarsensor typischerweise keine Farben erkennen und damit Farbinformationen aus einer Kamera auch nicht plausibilisieren. Zusätzlich wird es immer schwieriger, sämtliche möglichen Zustände, Situationen und Eingangsdaten im Vorfeld systematisch abzuprüfen. Vor allem lernende oder adaptive Systeme entziehen sich dieser Überprüfung typischerweise aus prinzipiellen Gründen. Environmental sensors are increasingly used in modern motor vehicles. Only with the information gained from them from the environment of a vehicle modern driver assistance systems (ADAS) or systems to increase vehicle safety are possible. Furthermore, they are important for automated driving. Along with this, however, is the ever greater dependence of the vehicle on environmental information. However, this also leads to ever greater demands on the accuracy of the environmental information. It is sometimes difficult to plausibilize the information of one sensor via other sensors, since other sensors usually can not detect this information because of the physical principle of operation. For example, a radar sensor typically can not detect colors and thus also does not make plausibility of color information from a camera. In addition, it becomes increasingly difficult to systematically check all possible states, situations and input data in advance. In particular, learning or adaptive systems typically elude this review for principled reasons.
BESCHREIBUNG DER ERFINDUNG DESCRIPTION OF THE INVENTION
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum It is therefore an object of the present invention to provide an apparatus and a method for
Überprüfen einer Funktionsfähigkeit eines Sensors eines Fahrzeugs zur Verfügung zu stellen.  Checking a functionality of a sensor of a vehicle to provide.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung sowie der Figuren. Gemäß einem ersten Aspekt wird die Aufgabe durch eine Vorrichtung zum Überprüfen einer Funktionsfähigkeit eines Sensors eines Fahrzeugs gelöst. Der Sensor ist ausgebildet, Sensordaten mit einer ersten Rate bereitzustellen. Weiterhin umfasst die Vorrichtung einen Speicher, in welchem vorbestimmte Prüfdaten gespeichert sind, und einen Prozessor, welcher ausgebildet ist, die vorbestimmten Prüfdaten mit den Sensordaten zu verknüpfen, um manipulierte Daten zu erhalten, die manipulierten Daten mit einer zweiten Rate gemäß einer Verarbeitungsvorschrift zu verarbeiten, um verarbeitete Daten zu erhalten, und die verarbeiteten Daten mit vorbestimmten Referenzdaten zu vergleichen, um die Funktionsfähigkeit des Sensors zu überprüfen. This object is solved by the subject matters of the independent claims. Preferred embodiments of the invention are the subject of the dependent claims, the description and the figures. According to a first aspect, the object is achieved by a device for checking a functionality of a sensor of a vehicle. The sensor is configured to provide sensor data at a first rate. Furthermore, the apparatus comprises a memory in which predetermined test data are stored, and a processor configured to associate the predetermined test data with the sensor data to obtain manipulated data to process the manipulated data at a second rate according to a processing rule. to obtain processed data and compare the processed data with predetermined reference data to check the operability of the sensor.
Gemäß einer Ausführungsform der Vorrichtung ist der Sensor ein Umfeldsensor, ein Kamerasensor, ein Radarsensor, ein Ultraschallsensor oder ein laserbasierter Sensor. According to one embodiment of the device, the sensor is an environment sensor, a camera sensor, a radar sensor, an ultrasound sensor or a laser-based sensor.
Gemäß einer Ausführungsform der Vorrichtung ist die zweite Rate größer als die erste Rate. According to one embodiment of the device, the second rate is greater than the first rate.
Gemäß einer Ausführungsform der Vorrichtung umfassen die vorbestimmten Prüfdaten synthetisch erzeugte Daten, wobei die synthetisch erzeugten Daten nach vorbestimmten Synthese-Regeln erzeugt sind. Gemäß einer Ausführungsform der Vorrichtung sind die vorbestimmten Referenzdaten in dem Speicher gespeichert. According to one embodiment of the device, the predetermined test data comprises synthetically generated data, the synthetically generated data being generated according to predetermined synthesis rules. According to an embodiment of the device, the predetermined reference data is stored in the memory.
Gemäß einer Ausführungsform der Vorrichtung ist der Prozessor ferner ausgebildet, die Sensordaten gemäß der Verarbeitungsvorschrift zu verarbeiten. According to an embodiment of the device, the processor is further configured to process the sensor data according to the processing rule.
Gemäß einer Ausführungsform der Vorrichtung ist der Prozessor ferner ausgebildet, eine Abweichung zwischen den verarbeiteten Daten und den Referenzdaten zu bestimmen, um ein Abweichungsmaß zu erhalten. Gemäß einer Ausführungsform der Vorrichtung ist der Prozessor ferner ausgebildet, das Abweichungsmaß mit einem vorbestimmten Schwellwert zu vergleichen, und die Sensordaten zu verwerfen, falls das Abweichungsmaß den vorbestimmten Schwellwert überschreitet. Gemäß einer Ausführungsform der Vorrichtung ist den manipulierten Daten ein Zeitstempel zugeordnet, und ist der Prozessor ferner ausgebildet, den Zeitstempel zu verändern, um die Funktionsfähigkeit des Sensors zu überprüfen. Die Vorrichtung kann in Autos, in Flugzeugen oder in Schiffen eingesetzt werden. According to an embodiment of the apparatus, the processor is further configured to determine a deviation between the processed data and the reference data to obtain a deviation measure. According to an embodiment of the device, the processor is further configured to compare the deviation measure with a predetermined threshold value and to discard the sensor data if the deviation measure exceeds the predetermined threshold value. According to an embodiment of the device, a time stamp is associated with the manipulated data, and the processor is further configured to change the time stamp in order to check the operability of the sensor. The device can be used in cars, in aircraft or in ships.
Gemäß einem zweiten Aspekt wird die Aufgabe durch ein Verfahren zum Überprüfen einer Funktionsfähigkeit eines Sensors eines Fahrzeugs gelöst, wobei der Sensor ausgebildet ist, Sensordaten mit einer ersten Rate bereitzustellen. Das Verfahren umfasst die folgenden Schritte: Bereitstellen von vorbestimmten Prüfdaten, Verknüpfen der vorbestimmten Prüfdaten mit den Sensordaten, um manipulierte Daten zu erhalten, Verarbeiten der manipulierten Daten mit einer zweiten Rate gemäß einer Verarbeitungsvorschrift, um verarbeitete Daten zu erhalten, und Vergleichen der verarbeiteten Daten mit vorbestimmten Referenzdaten, um die Funktionsfähigkeit des Sensors zu überprüfen. According to a second aspect, the object is achieved by a method for checking a functionality of a sensor of a vehicle, wherein the sensor is designed to provide sensor data at a first rate. The method comprises the steps of providing predetermined test data, associating the predetermined test data with the sensor data to obtain manipulated data, processing the manipulated data at a second rate according to a processing rule to obtain processed data, and comparing the processed data with predetermined reference data to check the operability of the sensor.
Das Verfahren kann durch die Vorrichtung ausgeführt werden. Weitere Merkmale des Verfahrens resultieren unmittelbar aus der Funktionalität und/oder den Merkmalen der Vorrichtung. The method may be performed by the device. Further features of the method result directly from the functionality and / or the features of the device.
Gemäß einem dritten Aspekt wird die Aufgabe durch ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens nach dem zweiten Aspekt gelöst, wenn der Programmcode auf einem Computer ausgeführt wird. According to a third aspect, the object is achieved by a computer program having a program code for carrying out the method according to the second aspect, when the program code is executed on a computer.
Die Vorrichtung kann programmtechnisch eingerichtet sein, um den Programmcode auszuführen. The device may be program-programmed to execute the program code.
Die Erfindung kann in Hardware und/oder Software realisiert werden. The invention can be implemented in hardware and / or software.
BESCHREIBUNG DER FIGUREN DESCRIPTION OF THE FIGURES
Weitere Ausführungsbeispiele werden bezugnehmend auf die beiliegenden Figuren näher erläutert: Further exemplary embodiments are explained in more detail with reference to the enclosed figures:
Fig. 1 zeigt eine schematische Darstellung einer Vorrichtung zum Überprüfen einer Funktionsfähigkeit eines Sensors in einem Fahrzeug gemäß einer Ausführungsform; und 1 shows a schematic illustration of a device for checking a functionality of a sensor in a vehicle according to an embodiment; and
Fig. 2 zeigt eine schematische Darstellung eines Verfahrens zum Überprüfen einer Funktionsfähigkeit eines Sensors in einem Fahrzeug gemäß einer Ausführungsform. 2 shows a schematic representation of a method for checking a functionality of a sensor in a vehicle according to an embodiment.
DETAILLIERTE BESCHREIBUNG DER FIGUREN In der folgenden ausführlichen Beschreibung wird auf die beiliegenden Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen als Veranschaulichung spezifische Ausführungsformen gezeigt sind, in denen die Erfindung ausgeführt werden kann. Es versteht sich, dass auch andere Ausführungsformen genutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Konzept der vorliegenden Erfindung abzuweichen. Die folgende ausführliche Beschreibung ist deshalb nicht in einem beschränkenden Sinne zu verstehen. Ferner versteht es sich, dass die Merkmale der verschiedenen hierin beschriebenen Ausführungsbeispiele miteinander kombiniert werden können, sofern nicht spezifisch etwas anderes angegeben ist. DETAILED DESCRIPTION OF THE FIGURES In the following detailed description, reference is made to the accompanying drawings, which form a part hereof, and in which is shown by way of illustration specific embodiments in which the invention may be practiced. It should be understood that other embodiments may be utilized and structural or logical changes may be made without departing from the concept of the present invention. The following detailed description is therefore not to be understood in a limiting sense. Further, it should be understood that the features of the various embodiments described herein may be combined with each other unless specifically stated otherwise.
Die Aspekte und Ausführungsformen werden unter Bezugnahme auf die Zeichnungen beschrieben, wobei gleiche Bezugszeichen sich im Allgemeinen auf gleiche Elemente beziehen. In der folgenden Beschreibung werden zu Erläuterungszwecken zahlreiche spezifische Details dargelegt, um ein eingehendes Verständnis von einem oder mehreren Aspekten der Erfindung zu vermitteln. Für einen Fachmann kann es jedoch offensichtlich sein, dass ein oder mehrere Aspekte oder Ausführungsformen mit einem geringeren Grad der spezifischen Details ausgeführt werden können. In anderen Fällen werden bekannte Strukturen und Elemente in schematischer Form dargestellt, um das Beschreiben von einem oder mehreren Aspekten oder Ausführungsformen zu erleichtern. Es versteht sich, dass andere Ausführungsformen genutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Konzept der vorliegenden Erfindung abzuweichen. Wenngleich ein bestimmtes Merkmal oder ein bestimmter Aspekt einer Ausführungsform bezüglich nur einer von mehreren Implementierungen offenbart worden sein mag, kann außerdem ein derartiges Merkmal oder ein derartiger Aspekt mit einem oder mehreren anderen Merkmalen oder Aspekten der anderen Implementierungen kombiniert werden, wie für eine gegebene oder bestimmte Anwendung erwünscht und vorteilhaft sein kann. Weiterhin sollen in dem Ausmaß, in dem die Ausdrücke „enthalten", „haben", „mit" oder andere Varianten davon entweder in der ausführlichen Beschreibung oder den Ansprüchen verwendet werden, solche Ausdrücke auf eine Weise ähnlich dem Ausdruck „umfassen" einschließend sein. Die Ausdrücke „gekoppelt" und „verbunden" können zusammen mit Ableitungen davon verwendet worden sein. Es versteht sich, dass derartige Ausdrücke dazu verwendet werden, um anzugeben, dass zwei Elemente unabhängig davon miteinander kooperieren oder interagieren, ob sie in direktem physischem oder elektrischem Kontakt stehen oder nicht in direktem Kontakt miteinander stehen. Außerdem ist der Ausdruck „beispielhaft" lediglich als ein Beispiel aufzufassen anstatt der Bezeichnung für das Beste oder Optimale. Die folgende Beschreibung ist deshalb nicht in einem einschränkenden Sinne zu verstehen. Fig. 1 zeigt eine schematische einer Vorrichtung 100 zum Überprüfen einer Funktionsfähigkeit eines Sensors 102 in einem Fahrzeug gemäß einer Ausführungsform. Die Vorrichtung 100 umfasst den Sensor 102, welcher ausgebildet ist, Sensordaten mit einer ersten Rate bereitzustellen, einen Speicher 104, in welchem vorbestimmte Prüfdaten gespeichert sind, und Aspects and embodiments will be described with reference to the drawings, wherein like reference numerals generally refer to like elements. In the following description, for purposes of explanation, numerous specific details are set forth in order to provide a thorough understanding of one or more aspects of the invention. However, it will be apparent to one skilled in the art that one or more aspects or embodiments may be practiced with a lesser degree of specific details. In other instances, well-known structures and elements are shown in schematic form to facilitate describing one or more aspects or embodiments. It is understood that other embodiments may be utilized and structural or logical changes may be made without departing from the concept of the present invention. Furthermore, while a particular feature or aspect of an embodiment may have been disclosed in terms of only one of several implementations, such feature or aspect may be combined with one or more other features or aspects of the other implementations, as for a given or particular one Application may be desirable and advantageous. Furthermore, to the extent that the terms "contain,""have,""with," or other variants thereof are used in either the detailed description or the claims, such terms are intended to include such terms in a manner similar to the term "comprising." The terms "coupled" and "connected" may have been used along with derivatives thereof. It should be understood that such terms are used to indicate that two elements independently cooperate or interact with each other, whether they are in direct physical or electrical contact or are not in direct contact with each other. Besides, the expression is The following description is therefore not intended to be construed in a limiting sense Fig. 1 shows a schematic of a device 100 for checking a functionality of a sensor 102 in a vehicle according to The device 100 comprises the sensor 102, which is designed to provide sensor data at a first rate, a memory 104, in which predetermined test data are stored, and
einen Prozessor 106, welcher ausgebildet ist, die vorbestimmten Prüfdaten mit den Sensordaten zu verknüpfen, um manipulierte Daten zu erhalten, die manipulierten Daten mit einer zweiten Rate gemäß einer Verarbeitungsvorschrift zu verarbeiten, um verarbeitete Daten zu erhalten, und die verarbeiteten Daten mit vorbestimmten Referenzdaten zu vergleichen, um die Funktionsfähigkeit des Sensors 102 zu überprüfen. a processor 106 configured to associate the predetermined check data with the sensor data to obtain manipulated data, process the manipulated data at a second rate according to a processing rule to obtain processed data, and to supply the processed data with predetermined reference data compare to check the operability of the sensor 102.
Durch die Vorrichtung 100 wird der Vorteil erreicht, dass die Funktionsfähigkeit des Sensors 102, z.B. eines Umfeldsensors, kontinuierlich während des Betriebs geprüft werden kann, da es möglich ist, die Sensordatenverarbeitung systematisch mit an sich bekannten Informationen auf ihren Zustand zu überprüfen. Beispielsweise kann die Sensordatenverarbeitung gemäß der Verarbeitungsvorschrift mit einer größeren Abtastrate laufen, als Daten vom Sensor bereitgestellt werden. So kann beispielsweise die Sensordatenverarbeitung mit 18 Hz laufen, falls der Sensor mit 16 Hz Daten liefert. In den zusätzlich zur Verfügung stehenden Abtastschritten können Informationen als Eingang simuliert werden, deren Ausgang am Ende der Sensordatenverarbeitung bekannt ist. Damit kann überprüft werden, ob beispielsweise durch eine fehlerhafte Adaption das Sensordatenverarbeitungssystem instabil geworden ist bzw. sich in seiner Performance verschlechtert hat. The device 100 achieves the advantage that the functionality of the sensor 102, e.g. an environment sensor, can be checked continuously during operation, since it is possible to systematically check the sensor data processing with state-of-the-art information. For example, the sensor data processing according to the processing rule may run at a larger sampling rate than data provided by the sensor. For example, sensor data processing can run at 18 Hz if the sensor supplies data at 16 Hz. In the additionally available sampling steps, information can be simulated as an input whose output is known at the end of the sensor data processing. This can be used to check whether, for example, the sensor data processing system has become unstable or has deteriorated in performance due to an incorrect adaptation.
Als Eingangsdaten können bei diesen Prüfsequenzen folgende Varianten verwendet werden: es werden die Daten des letzten normalen Durchlaufs des Sensors 102 genommen, jedoch an bestimmten Stellen manipuliert. Das kann beispielsweise ein zusätzliches Schild oder eine Fahrstreifenmarkierung in einem Videobild oder eine Straße, wo keine sein dürfte, oder zusätzliche Radarreflektionen in einem Radarempfangspattern oder Echos von einem Ultraschall- oder Lidarsensor sein. Je nach Sensor können die Daten auf verschiedenen Abstraktionsniveaus eingespielt werden, z.B. auf niedrigster Ebene Bilddaten bei einer Kamera oder Radar-Peaks bei einem Radar-Sensor. Auf höherer Ebene kann eine modifizierte Disparitätskarte oder ein anders vorverarbeitetes Bild, z.B. durch Kantendetektion oder Berechnung eines optischen Flusses in Bildsequenzen, für eine Kamera oder Cluster für einen Radarsensor verwendet werden. Die Daten für die Manipulation können dabei aus einer sensorlokalen Datenbank oder Speicher kommen, die bereits bei Auslieferung feststehen. Weiterhin können synthetisch erzeugten Daten verwendet werden, die nach festen Regeln erstellt werden, oder es können gespeicherte Testeingangsdaten verwendet werden, die bereits bei der Auslieferung feststehen. Falls es nicht möglich ist, zusätzliche Rechenleistung zu verbauen (d.h. die Rechenleistung reicht nur für die Verarbeitung der Eingangsdaten des Sensors), können auch situationsabhängige Daten injiziert werden. Beispielsweise werden Teile der Eingangsdaten geändert, in der späteren Kette jedoch wieder herausgefiltert. Weiterhin können z.B. zusätzliche Objekte integriert werden, wobei die Daten dabei aus einer lokalen Datenbank oder einem Speicher kommen und bereits bei der Auslieferung feststehen. Während generell unkritischer Situationen können kurzzeitig synthetische Daten eingespielt werden, jedoch kann nach der Situationsinterpretation die Verarbeitung abgebrochen werden. Weiterhin können Daten ergänzt werden, die nicht zum Kontext passen und daher herausgefiltert werden sollten. Beispielsweise kann auf einer Autobahn ein Fußgänger eingespielt werden. The following variants can be used as input data for these test sequences: the data of the last normal pass of the sensor 102 are taken, but manipulated at certain points. This may be, for example, an additional sign or lane marker in a video image or a street where there is none, or additional radar reflections in a radar receive patter or echoes from an ultrasound or lidar sensor. Depending on the sensor, the data can be recorded at different levels of abstraction, eg at the lowest level image data with a camera or radar peaks with a radar sensor. At a higher level, a modified disparity map or image may be used for a camera or cluster for a radar sensor, eg, by edge detection or optical flow calculation in image sequences. The data for the manipulation can come from a sensor-local database or memory, which are already fixed at delivery. Furthermore, synthetically generated data can be used, which are created according to fixed rules, or it is possible to use stored test input data, which are already determined on delivery. If it is not possible to use additional computing power (ie the computing power is sufficient only for processing the input data of the sensor), situation-dependent data can also be injected. For example, parts of the input data are changed, but filtered out again in the later chain. Furthermore, additional objects can be integrated, for example, whereby the data comes from a local database or a memory and is already fixed upon delivery. During generally uncritical situations synthetic data can be recorded for a short time, but after the situation interpretation the processing can be aborted. Furthermore, data can be added that does not fit the context and therefore should be filtered out. For example, on a highway, a pedestrian can be recorded.
Gemäß einer Ausführungsform werden die Verarbeitung der Sensordaten und die Verarbeitung der manipulierten Daten voneinander getrennt. So kann erreicht werden, dass keine Filter (für Tracking, etc.) dejustiert werden oder sich falsch einschwingen. Ebenso wie direkt an den Sensoren können auch Daten an späteren Stellen der Verarbeitung integriert werden. Beispielsweise können kritische Objekte an einer Objektschnittstelle injiziert werden und parallel zu den Sensordaten bewerten werden. Diese können andere Verkehrsteilnehmer (z.B. Fahrzeuge mit hoher Bremsdynamik oder geringem Abstand) oder Fußgänger sein, aber es können auch andere Objekten, wie beispielsweise injizierte Verkehrsschilder, Fahrstreifenmarkierungen oder Randbebauungen verwendet werden. So kann vor allem eine kontextabhängige Bewertung geprüft werden, die mit synthetischen oder vorab festgelegten Situationen nicht ohne weiteres überprüft werden kann. Eine weitere Möglichkeit stellt die Veränderung von Zeitstempeln vor einer Assoziation dar. Es werden die Zeitstempel der Sensordaten oder normalen Objekten verändert oder es werden Objekte injiziert, die geringfügig unpassende Zeitstempel haben. Damit ist es möglich, die Zeitsynchronisation sowie die Assoziation bzw. das Tracking zu prüfen. Die nachgestellten Fehler sollten dabei systematisch das Verhalten des Systems abprüfen. Dabei werden vor allem die Grenzen des Systems abgeprüft. Beispielsweise können, in einer Last-Situation, gefährliche Objekte in Test-Frames einbracht werden und geprüft werden, ob das System die Situation „Voll-Last-Situation" noch beherrscht (z.B. funktioniert die Bewertung und Priorisierung, Tracking von Objekten, usw.). Fig. 2 zeigt eine schematische Darstellung eines Verfahrens 200 zum Überprüfen einer Funktionsfähigkeit eines Sensors 102 in einem Fahrzeug gemäß einer Ausführungsform. Der Sensor 102 ist ausgebildet, Sensordaten mit einer ersten Rate bereitzustellen. Das Verfahren 200 umfasst die folgenden Schritte: Bereitstellen 202 von vorbestimmten Prüfdaten, Verknüpfen 204 der vorbestimmten Prüfdaten mit den Sensordaten, um manipulierte Daten zu erhalten, Verarbeiten 206 der manipulierten Daten mit einer zweiten Rate gemäß einer Verarbeitungsvorschrift, um verarbeitete Daten zu erhalten, und Vergleichen 208 der verarbeiteten Daten mit vorbestimmten Referenzdaten, um die Funktionsfähigkeit des Sensors 102 zu überprüfen. Durch das beschriebene Verfahren wird der Vorteil erreicht, dass eine Selbstdiagnose des Sensors 102 bzw. Umfeldsensors und/oder weiterer Verarbeitungsschritte der entsprechenden Informationskette möglich ist. According to one embodiment, the processing of the sensor data and the processing of the manipulated data are separated from each other. Thus it can be achieved that no filters (for tracking, etc.) are misadjusted or settle incorrectly. As well as directly at the sensors, data can be integrated at later stages of processing. For example, critical objects may be injected at an object interface and evaluated in parallel to the sensor data. These may be other road users (eg high braking dynamics or short distance vehicles) or pedestrians, but other objects such as injected traffic signs, lane markings or edge structures may also be used. Above all, a context-dependent assessment can be examined that can not be easily checked with synthetic or predefined situations. Another possibility is the modification of time stamps before an association. The timestamps of the sensor data or normal objects are changed or objects are injected that have slightly inappropriate timestamps. This makes it possible to check the time synchronization as well as the association or the tracking. The trailing errors should systematically check the behavior of the system. Above all, the limits of the system are checked. For example, in a load situation, dangerous objects are introduced into test frames and it is checked whether the system still masters the situation "full-load situation" (eg, the evaluation and prioritization, tracking of objects, etc. functions.) Fig. 2 shows a schematic representation of a Method 200 for verifying operability of a sensor 102 in a vehicle according to an embodiment The sensor 102 is configured to provide sensor data at a first rate The method 200 includes the steps of providing 202 predetermined test data, associating 204 the predetermined test data with the first tester Sensor data to obtain manipulated data, processing 206 the manipulated data at a second rate according to a processing rule to obtain processed data, and comparing 208 the processed data with predetermined reference data to verify the operability of the sensor 102. By the described method becomes the Vorte achieved that a self-diagnosis of the sensor 102 or environment sensor and / or further processing steps of the corresponding information chain is possible.
BEZUGSZEICHENLISTE LIST OF REFERENCE NUMBERS
100 Vorrichtung100 device
102 Sensor 102 sensor
104 Speicher104 memory
106 Prozessor 106 processor
200 Verfahren200 procedures
202 Bereitstellen 204 Verknüpfen202 Deploy 204 Link
206 Verarbeiten206 Processing
208 Vergleichen 208 comparisons

Claims

PATENTANSPRÜCHE
1. Vorrichtung (100) zum Überprüfen einer Funktionsfähigkeit eines Sensors (102) eines Fahrzeugs, wobei der Sensor (102) ausgebildet ist, Sensordaten mit einer ersten Rate bereitzustellen, mit: einem Speicher (104), in welchem vorbestimmte Prüfdaten gespeichert sind; und einem Prozessor (106), welcher ausgebildet ist, die vorbestimmten Prüfdaten mit den Sensordaten zu verknüpfen, um manipulierte Daten zu erhalten, die manipulierten Daten mit einer zweiten Rate gemäß einer Verarbeitungsvorschrift zu verarbeiten, um verarbeitete Daten zu erhalten, und die verarbeiteten Daten mit vorbestimmten Referenzdaten zu vergleichen, um die Funktionsfähigkeit des Sensors (102) zu überprüfen. An apparatus (100) for verifying operability of a sensor (102) of a vehicle, wherein the sensor (102) is configured to provide sensor data at a first rate, comprising: a memory (104) in which predetermined test data is stored; and a processor (106) configured to associate the predetermined check data with the sensor data to obtain manipulated data, process the manipulated data at a second rate in accordance with a processing rule to obtain processed data, and the processed data compare predetermined reference data to check the operability of the sensor (102).
2. Vorrichtung (100) nach Anspruch 1 , wobei der Sensor (102) ein Umfeldsensor, ein Kamerasensor, ein Radarsensor, ein Ultraschallsensor oder ein laserbasierter Sensor ist. 2. Device (100) according to claim 1, wherein the sensor (102) is an environmental sensor, a camera sensor, a radar sensor, an ultrasonic sensor or a laser-based sensor.
3. Vorrichtung (100) nach Anspruch 1 oder 2, wobei die zweite Rate größer als die erste Rate ist. The apparatus (100) of claim 1 or 2, wherein the second rate is greater than the first rate.
4. Vorrichtung (100) nach einem der vorstehenden Ansprüche, wobei die vorbestimmten Prüfdaten synthetisch erzeugte Daten umfassen, wobei die synthetisch erzeugten Daten nach vorbestimmten Synthese-Regeln erzeugt sind. The apparatus (100) of any one of the preceding claims, wherein the predetermined test data comprises synthetically generated data, the synthetically generated data being generated according to predetermined synthesis rules.
5. Vorrichtung (100) nach einem der vorstehenden Ansprüche, wobei die vorbestimmten Referenzdaten in dem Speicher gespeichert sind. 5. Device (100) according to one of the preceding claims, wherein the predetermined reference data are stored in the memory.
6. Vorrichtung (100) nach einem der vorstehenden Ansprüche, wobei der Prozessor ferner ausgebildet ist, die Sensordaten gemäß der Verarbeitungsvorschrift zu verarbeiten. The apparatus (100) of any preceding claim, wherein the processor is further configured to process the sensor data according to the processing rule.
7. Vorrichtung (100) nach einem der vorstehenden Ansprüche, wobei der Prozessor ferner ausgebildet ist, eine Abweichung zwischen den verarbeiteten Daten und den Referenzdaten zu bestimmen, um ein Abweichungsmaß zu erhalten. The apparatus (100) of any of the preceding claims, wherein the processor is further configured to determine a deviation between the processed data and the reference data to obtain a deviation measure.
8. Vorrichtung (100) nach Anspruch 7, wobei der Prozessor ferner ausgebildet ist, das Abweichungsmaß mit einem vorbestimmten Schwellwert zu vergleichen, und die Sensordaten zu verwerfen, falls das Abweichungsmaß den vorbestimmten Schwellwert überschreitet. The apparatus (100) of claim 7, wherein the processor is further configured to compare the deviation measure to a predetermined threshold and to discard the sensor data if the deviation measure exceeds the predetermined threshold.
9. Vorrichtung (100) nach einem der vorstehenden Ansprüche, wobei den manipulierten Daten ein Zeitstempel zugeordnet ist, und wobei der Prozessor ferner ausgebildet ist, den Zeitstempel zu verändern, um die Funktionsfähigkeit des Sensors zu überprüfen. The apparatus (100) of any of the preceding claims, wherein the manipulated data is associated with a time stamp, and wherein the processor is further configured to alter the time stamp to verify the operability of the sensor.
10. Verfahren (200) zum Überprüfen einer Funktionsfähigkeit eines Sensors (102) eines Fahrzeugs, wobei der Sensor ausgebildet ist, Sensordaten mit einer ersten Rate bereitzustellen, mit: 10. A method of verifying operability of a sensor of a vehicle, wherein the sensor is configured to provide sensor data at a first rate, comprising:
Bereitstellen (202) von vorbestimmten Prüfdaten; Providing (202) predetermined test data;
Verknüpfen (204) der vorbestimmten Prüfdaten mit den Sensordaten, um manipulierte Daten zu erhalten; Linking (204) the predetermined test data with the sensor data to obtain manipulated data;
Verarbeiten (206) der manipulierten Daten mit einer zweiten Rate gemäß einer Verarbeitungsvorschrift, um verarbeitete Daten zu erhalten; und Processing (206) the manipulated data at a second rate according to a processing rule to obtain processed data; and
Vergleichen (208) der verarbeiteten Daten mit vorbestimmten Referenzdaten, um die Funktionsfähigkeit des Sensors (102) zu überprüfen. Comparing (208) the processed data with predetermined reference data to verify the operability of the sensor (102).
1 1 . Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens (200) nach Anspruch 10, wenn der Programmcode auf einem Computer ausgeführt wird. 1 1. A computer program comprising program code for carrying out the method (200) of claim 10 when the program code is executed on a computer.
PCT/DE2017/200121 2016-11-28 2017-11-28 Device and method for checking a functionality of a sensor WO2018095491A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016223581.8A DE102016223581A1 (en) 2016-11-28 2016-11-28 Device and method for checking a functionality of a sensor
DE102016223581.8 2016-11-28

Publications (1)

Publication Number Publication Date
WO2018095491A1 true WO2018095491A1 (en) 2018-05-31

Family

ID=60997218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/200121 WO2018095491A1 (en) 2016-11-28 2017-11-28 Device and method for checking a functionality of a sensor

Country Status (2)

Country Link
DE (1) DE102016223581A1 (en)
WO (1) WO2018095491A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017218607A1 (en) * 2017-10-18 2019-04-18 Conti Temic Microelectronic Gmbh Device and method for securing a processing chain for a driver assistance function by means of situation-dependent test pattern for a motor vehicle
DE102019214345B4 (en) 2018-12-20 2022-08-25 Volkswagen Aktiengesellschaft Method for detecting misalignment of at least one sensor of a motor vehicle
DE102021003582A1 (en) 2020-08-28 2022-03-03 Sew-Eurodrive Gmbh & Co Kg Programmable signal processing unit and method for operating a programmable signal processing unit
CN114248790B (en) * 2022-03-02 2022-05-03 北京鉴智科技有限公司 Visual alarm method, device and system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161022A2 (en) * 2014-04-16 2015-10-22 Texas Instruments Incorporated Ensuring imaging subsystem integrity in camera based safety systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004057947B4 (en) * 2004-11-30 2009-10-29 Audi Ag Method for functional testing of a driver assistance system integrated on the vehicle side
DE102005048547A1 (en) * 2005-10-11 2007-04-12 Robert Bosch Gmbh Sensor consists of counter and configurable sender component as well as logical component to reset counter
DE102010013943B4 (en) * 2010-04-06 2018-02-22 Audi Ag Method and device for a functional test of an object recognition device of a motor vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161022A2 (en) * 2014-04-16 2015-10-22 Texas Instruments Incorporated Ensuring imaging subsystem integrity in camera based safety systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABDI LOTFI ET AL: "In-Vehicle Augmented Reality Traffic Information System: A New Type of Communication Between Driver and Vehicle", PROCEDIA COMPUTER SCIENCE, vol. 73, 31 December 2015 (2015-12-31), pages 242 - 249, XP029371282, ISSN: 1877-0509, DOI: 10.1016/J.PROCS.2015.12.024 *

Also Published As

Publication number Publication date
DE102016223581A1 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
WO2018095491A1 (en) Device and method for checking a functionality of a sensor
EP3292510B1 (en) Method and apparatus for detecting and assessing road reflections
WO2018188877A1 (en) Fusion of data of multiple sensor for objection identification
DE102016218277B4 (en) Method for functional testing of a driver assistance system as well as control unit and reference device for a driver assistance system
DE102016003424A1 (en) Method and device for detecting traffic signs
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102018221054A1 (en) Method for providing map data in a motor vehicle, motor vehicle and central data processing device
DE102016220479A1 (en) Method and device for generating an emergency call for a vehicle
WO2017102150A1 (en) Method for evaluating a hazardous situation which is sensed by at least one sensor of a vehicle, method for controlling reproduction of a hazard warning and method for reproducing a hazard warning
DE102017010832A1 (en) Method for evaluating a detected speed limit
DE102017214531A1 (en) Method and device for operating a motor vehicle in an automated driving operation and motor vehicle
DE102015209229A1 (en) Method for monitoring a motor vehicle
DE102015208208A1 (en) Method and device for detecting a tiredness of a driver of a vehicle
DE102017216016A1 (en) Method and device for detecting an environment of a vehicle
DE102014209015A1 (en) Method and device for distance control for a vehicle
EP3673234A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
DE102015213594A1 (en) A method, computer readable medium, and system for detecting a traffic situation of one or more vehicles in an environment of an ego vehicle
DE102018206743A1 (en) A method of operating a driver assistance system of an ego vehicle having at least one environment sensor for detecting an environment of the ego vehicle, computer-readable medium, system, and vehicle
WO2015149799A1 (en) Stereo camera system
DE102009012887B4 (en) Method for checking incorrect installation of vehicle sensors
DE102019211459B4 (en) Method and device for checking a calibration of environmental sensors
DE102018214462B4 (en) Method and control unit for determining the parking status of a vehicle
DE102019115352A1 (en) Object detection device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17829917

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication

Designated state(s): DE