DE102021202265A1 - Computer-implemented method and computer program for confirming a safe perception of a perception module and controller for autonomous driving functions - Google Patents

Abstract

Computerimplementiertes Verfahren zum Bestätigen einer sicheren Wahrnehmung eines Wahrnehmungsmoduls (PER) umfassend die Schritte Erhalten einer ersten und zweiten Beobachtung (P1, P2) aus einer ersten und zweiten Messung eines Umfelderfassungssensors (S) des Wahrnehmungsmoduls (PER) (V1), Bestimmen eines Abstandes (||P1-P2||) zwischen der ersten und zweiten Beobachtung (P1, P2) mittels einer Norm (V2), Prozessieren der ersten und zweiten Beobachtung (P1, P2) mit einem Detektionsalgorithmus (A) des Wahrnehmungsmoduls (PER), falls der Abstand (||P1-P2||) größer als ein gegebener Schwellenwert (t) ist, und Erhalten von unabhängigen Detektionen (D1, D2) umfassend Detektions- und/oder Fehldetektionswahrscheinlichkeiten (P(D1), P(D2)), wobei der Detektionsalgorithmus (A) für identische Beobachtungen identische Detektionen ausgibt und robust gegenüber kleinen Abweichungen zwischen Beobachtungen ist (V3), Multiplizieren der Detektions- und/oder Fehldetektionswahrscheinlichkeiten (P(D1), P(D2)) und, falls das erhaltene Produkt kleiner als ein Sicherheitswert (ε) ist, Bestätigen der Wahrnehmung (V4).Computer-implemented method for confirming a secure perception of a perception module (PER) comprising the steps of obtaining a first and second observation (P1, P2) from a first and second measurement of an environment detection sensor (S) of the perception module (PER) (V1), determining a distance ( ||P1-P2||) between the first and second observations (P1, P2) by means of a norm (V2), processing the first and second observations (P1, P2) with a detection algorithm (A) of the perception module (PER), if the distance (||P1-P2||) is greater than a given threshold value (t), and obtaining independent detections (D1, D2) comprising detection and/or misdetection probabilities (P(D1), P(D2)), where the detection algorithm (A) outputs identical detections for identical observations and is robust to small deviations between observations (V3), multiplying the detection and/or misdetection probabilities (P(D1), P(D2) ) and, if the product obtained is less than a certainty value (ε), confirming the perception (V4).

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren und ein Computerprogramm zum Bestätigen einer sicheren Wahrnehmung eines Wahrnehmungsmoduls. Ferner betrifft die Erfindung ein Steuergerät für autonome Fahrfunktionen.The invention relates to a computer-implemented method and a computer program for confirming a secure perception of a perception module. Furthermore, the invention relates to a control unit for autonomous driving functions.

Eine Sicherheits-Anforderung an Wahrnehmungsmodule autonomer Fahrzeuge ist eine möglichst geringe Rate für Fehldetektionen, umfassend Falsch-Negativ- und Falsch-Positiv-Detektionen. Im bekannten Stand der Technik wird versucht, die Fehldetektionsraten für jede Einzelaufnahme von aufeinanderfolgenden Einzelaufnahmen eines Umfelderfassungssensors mit einer gegebenen Aufnahmerate gering zu halten.A safety requirement for perception modules of autonomous vehicles is the lowest possible rate for false detections, including false negative and false positive detections. In the known prior art, an attempt is made to keep the error detection rates low for each individual recording of consecutive individual recordings of a surroundings detection sensor with a given recording rate.

Problematisch dabei ist, dass Einzelaufnahmen, unabhängig von der Genauigkeit und Zuverlässigkeit von Umfelderfassungssensoren und Detektionsalgorithmen, stets fehlerbehaftet sind und eine Fehldetektionsrate von beispielsweise 10^-7 basierend auf Einzelaufnahmen nicht erreichbar ist.The problem here is that individual recordings, regardless of the accuracy and reliability of surroundings detection sensors and detection algorithms, are always subject to errors and an incorrect detection rate of, for example, 10 ⁻⁷ based on individual recordings cannot be achieved.

Aufgabe der Erfindung war es, wie eine sichere Wahrnehmung eines Wahrnehmungsmoduls bestätigt werden kann.The object of the invention was how reliable perception of a perception module can be confirmed.

Die Gegenstände der Ansprüche 1, 6, 7 und 8 lösen jeweils diese Aufgabe.The objects of claims 1, 6, 7 and 8 each solve this problem.

Nach einem Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit zum Bestätigen einer sicheren Wahrnehmung eines Wahrnehmungsmoduls. Das Verfahren umfasst die Schritte

• • Erhalten einer ersten und zweiten Beobachtung aus einer ersten und zweiten Messung eines Umfelderfassungssensors des Wahrnehmungsmoduls,
• • Bestimmen eines Abstandes zwischen der ersten und zweiten Beobachtung mittels einer Norm,
• • Prozessieren der ersten und zweiten Beobachtung mit einem Detektionsalgorithmus des Wahrnehmungsmoduls, falls der Abstand größer als ein gegebener Schwellenwert ist, und Erhalten von unabhängigen Detektionen umfassend Detektions- und/oder Fehldetektionswahrscheinlichkeiten, wobei der Detektionsalgorithmus für identische Beobachtungen identische Detektionen ausgibt und robust gegenüber kleinen Abweichungen zwischen Beobachtungen ist,
• • Multiplizieren der Detektions- und/oder Fehldetektionswahrscheinlichkeiten und, falls das erhaltene Produkt kleiner als ein Sicherheitswert ist, Bestätigen der Wahrnehmung.

In one aspect, the invention provides a computer-implemented method for confirming a secure perception of a perception module. The procedure includes the steps

• • obtaining a first and second observation from a first and second measurement of an environment detection sensor of the perception module,
• • determining a distance between the first and second observation using a norm,
• • Processing the first and second observations with a detection algorithm of the perception module, if the distance is greater than a given threshold, and obtaining independent detections comprising detection and/or misdetection probabilities, the detection algorithm for identical observations giving identical detections and being robust to small deviations between observations is
• • Multiplying the detection and/or misdetection probabilities and, if the product obtained is less than a certainty value, confirming the detection.

Nach einem weiteren Aspekt stellt die Erfindung ein Steuergerät für autonome Fahrfunktionen bereit. Das Steuergerät ist ausgeführt, ein erfindungsgemäßes Verfahren durchzuführen.According to a further aspect, the invention provides a control device for autonomous driving functions. The control unit is designed to carry out a method according to the invention.

Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zum Bestätigen einer sicheren Wahrnehmung eines Wahrnehmungsmoduls. Das Computerprogramm umfasst Befehle, die bewirken, dass ein integrierter Schaltkreis die Schritte des erfindungsgemäßen Verfahrens ausführt, wenn das Computerprogramm auf dem integrierten Schaltkreis läuft.According to a further aspect, the invention provides a computer program for confirming a secure perception of a perception module. The computer program includes instructions that cause an integrated circuit to carry out the steps of the method according to the invention when the computer program runs on the integrated circuit.

Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.Advantageous refinements of the invention result from the definitions, the dependent claims, the drawings and the description of preferred exemplary embodiments.

Das Wahrnehmungsmodul bezieht sich auf Software oder Hardware, umfassend Umfelderfassungssensoren und integrierte Schaltkreise, oder umfasst Software- und Hardwarekomponenten. Das Wahrnehmungsmodul umfasst

• • ein Umfeldmodell oder auch world model genannt,
• • ein Sensormodell und
• • einen Detektionsalgorithmus.

The perception module refers to software or hardware, including environment sensing sensors and integrated circuits, or includes software and hardware components. The perception module includes

• • an environment model or also called world model,
• • a sensor model and
• • a detection algorithm.

Das Sensormodell bildet Punkte und Objekte aus dem Umfeld in Beobachtungen ab. Die Beobachtungen werden in den Detektionsalgorithmus eingegeben und von diesem verarbeitet, beispielsweise werden Beobachtungspunkte als zu Clustern gehörend klassifiziert.The sensor model maps points and objects from the environment into observations. The observations are fed into and processed by the detection algorithm, e.g. observation points are classified as belonging to clusters.

Der Detektionsalgorithmus ist deterministisch, das heißt, dass identische Beobachtungen in identischen Ausgaben des Detektionsalgorithmus resultieren. Ferner ist der Detektionsalgorithmus robust gegenüber kleinen Abweichungen zwischen Beobachtungen, das heißt, dass zwei Beobachtungen, die kleiner als ein vorgegebener Wert ε voneinander entfernt sind, dieselben Detektionen ergeben. Die Robustheit des Detektionsalgorithmus stellt sicher, dass das Wahrnehmungsmodul robust gegenüber Rauschen im Sensormodell ist.The detection algorithm is deterministic, which means that identical observations result in identical outputs from the detection algorithm. Furthermore, the detection algorithm is robust to small discrepancies between observations, ie two observations that are less than a predetermined value ε apart yield the same detections. The robustness of the detection algorithm ensures that the perception module is robust to noise in the sensor model.

Durch das Multiplizieren von Detektionswahrscheinlichkeiten wird die Sicherheit von Falsch-Positiv-Detektionen bestätigt. Durch das Multiplizieren von Fehldetektionswahrscheinlichkeiten wird die Sicherheit von Falsch-Negativ-Detektionen bestätigt.The security of false positive detections is confirmed by multiplying detection probabilities. The reliability of false negative detections is confirmed by multiplying false detection probabilities.

Der Sicherheitswert entspricht beispielsweise einer Fehldetektionswahrscheinlichkeit von 10^-7. Allgemein soll der Sicherheitswert garantieren, dass ein Objekt erkannt wird, bevor es für eine Reaktion zu spät ist.The security value corresponds, for example, to a false detection probability of 10 ^-7 . In general, the safety value is intended to guarantee that an object is detected before it is too late to react.

Bei dem Bestimmen des Abstandes zwischen der ersten und zweiten Beobachtung mittels einer Norm werden nach einem Aspekt der Erfindung semantische Abweichungen zwischen den Beobachtungen ausgewertet. Wenn diese semantischen Abweichungen größer als die gegebene Schwelle sind, dann sind die erste und zweite Beobachtung nicht korreliert, das heißt unabhängig, und die Gesamtfehlerwahrscheinlichkeit für die zwei Detektionen ergibt sich als Produkt der Einzelfehlerwahrscheinlichkeiten der jeweiligen Detektionen. Der Detektionsalgorithmus prozessiert also nur solche Beobachtungen, zwischen denen sich das Umfeld entsprechend geändert hat, unabhängig davon, wieviel Zeit zwischen der ersten und zweiten Beobachtung vergangen ist, das bedeutet auch unabhängig von Sensormesszyklen und Aufnahmeraten. Fortlaufende Beobachtungen aus Messungen des Umfelderfassungssensors, auch frames genannt, sind in der Regel nicht weit genug voneinander beabstandet, insbesondere bei einer hohen Aufnahmerate.When determining the distance between the first and second observation using a norm, semantic deviations between the observations are evaluated according to one aspect of the invention. If these semantic discrepancies are greater than the given threshold, then the first and second observations are uncorrelated, i.e. independent, and the total error probability for the two detections is given as the product of the individual error probabilities of the respective detections. The detection algorithm therefore only processes those observations between which the environment has changed accordingly, regardless of how much time has elapsed between the first and second observation, which also means that it is independent of sensor measurement cycles and recording rates. Consecutive observations from measurements of the environment detection sensor, also called frames, are usually not spaced far enough from one another, especially at a high recording rate.

Die Umfelderfassungssensoren umfassen optische Sensoren wie beispielsweise Kamera, umfassend Infrarotkamera, und Lidar, Radarsensoren, Akustiksensoren wie beispielsweise Mikrofone, Ultraschallsensoren und olfaktorische Sensoren, wie beispielsweise elektronische Nasen. Die Sensoren sind beispielsweise an einer Außenhaut, Innenhaut und/oder Karosserieteilen eines Fahrsystems angeordnet.The environment detection sensors include optical sensors such as cameras, including infrared cameras, and lidar, radar sensors, acoustic sensors such as microphones, ultrasonic sensors and olfactory sensors such as electronic noses. The sensors are arranged, for example, on an outer skin, inner skin and/or body parts of a driving system.

Das Fahrsystem ist beispielsweise ein PKW, LKW, Bus, People Mover, Cargo Mover, Shuttle, Roboter oder eine Drohne. Nach einem Aspekt der Erfindung ist das Fahrsystem automatisiert betreibbar. Nach einem Aspekt der Erfindung ist das Fahrsystem ein autonomes Fahrsystem. Ein Automatisierungslevel bestimmt beispielsweise die Norm SAE J3016. Die Erfindung betrifft insbesondere SAE J3016 Level 4 und 5 Systeme, kann aber auch beispielsweise für Level 2 und 3 verwendet werden.The driving system is, for example, a car, truck, bus, people mover, cargo mover, shuttle, robot or a drone. According to one aspect of the invention, the driving system can be operated automatically. According to one aspect of the invention, the driving system is an autonomous driving system. An automation level is determined by the SAE J3016 standard, for example. The invention relates in particular to SAE J3016 Level 4 and 5 systems, but can also be used for Level 2 and 3, for example.

Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über einen Datenträger oder ein Datenträgersignal mittels software over the air Technologie bereitgestellt wird.The instructions of the computer program according to the invention include machine instructions, source text or object code written in assembly language, an object-oriented programming language, for example C++, or in a procedural programming language, for example C. According to one aspect of the invention, the computer program is a hardware-independent application program which, for example, has a data carrier or a data carrier signal is provided using software over the air technology.

Das Steuergerät ist beispielsweise eine zentrale Recheneinheit für autonome Fahrfunktionen, das heißt eine autonomous driving domain electronic control unit, abgekürzt AD Domain ECU. Der integrierte Schaltkreis des Steuergeräts umfasst einen oder mehrere application specific integrated circuits ASICs, ein oder mehrere field programmable gateway arrays FGPAs, eine oder mehrere central processing units CPUs, eine oder mehrere graphical processing units GPUs, und/oder Mehrkernprozessoren. Das Steuergerät ist beispielsweise in ein CAN-Bordnetzwerk integriert. Nach einem Aspekt der Erfindung ist das Computerprogramm Teil einer Firmware des Steuergeräts.The control unit is, for example, a central processing unit for autonomous driving functions, i.e. an autonomous driving domain electronic control unit, AD Domain ECU for short. The integrated circuit of the control unit includes one or more application-specific integrated circuits ASICs, one or more field programmable gateway arrays FGPAs, one or more central processing units CPUs, one or more graphical processing units GPUs, and/or multi-core processors. The control unit is integrated into a CAN on-board network, for example. According to one aspect of the invention, the computer program is part of a firmware for the control unit.

Nach einem Aspekt der Erfindung werden bei mehreren Beobachtungen die Abstände von jeweils zwei der mehreren Beobachtungen bestimmt. Die Detektions- und/oder Fehldetektionswahrscheinlichkeiten der erhaltenen unabhängigen Detektionen werden multipliziert. Dies hat den Vorteil, dass auch geringe geforderte Fehldetektionswahrscheinlichkeiten von beispielsweise 10^-7 mit Sensor- und/oder Detektionsfehlerraten von beispielsweise 10^-2 sichergestellt werden können; mit erfindungsgemäßen vier unabhängigen Detektionen beträgt dann die kombinierte Fehldetektionswahrscheinlichkeit $${\left({10}^{-2}\right)}^4={10}^{-8}<{10}^{-7}.$$

According to one aspect of the invention, in the case of multiple observations, the distances between two of the multiple observations are determined in each case. The detection and/or false detection probabilities of the obtained independent detections are multiplied. This has the advantage that even low required incorrect detection probabilities of, for example, 10 ^-7 can be ensured with sensor and/or detection error rates of, for example, 10 ^-2 ; with four independent detections according to the invention, the combined incorrect detection probability is then $${\left({10}^{-2}\right)}^4={10}^{-\mathrm{8th}}<{10}^{-7}.$$

Nach einem weiteren Aspekt der Erfindung sind die Beobachtungen jeweils Punktwolken. Eine Punktmengen-Registrierung, durch die die Punktwolken aneinander ausgerichtet werden, wird durchgeführt. Als Abstand der Punktwolken wird ein Fehler der Ausrichtung bestimmt. Damit können vorteilhafterweise Wahrnehmungen mittels Lidarsensoren, Radarsensoren, Tiefenkameras, oder weiteren Umfelderfassungssensoren, die Punktwolken als Messungen liefern, sicher bestätigt werden.According to a further aspect of the invention, the observations are each point clouds. A point set registration, which aligns the point clouds to each other, is performed. An alignment error is determined as the distance between the point clouds. In this way, advantageously, perceptions by means of lidar sensors, radar sensors, depth cameras, or other environment detection sensors that supply point clouds as measurements can be reliably confirmed.

Punktwolken umfassen zu jedem registrierten Punkt dessen 3D Koordinaten, Intensität und/oder Dopplergeschwindigkeit. Punktmengen-Registrierung, auch point set registration genannt, bezeichnet den Prozess, die Transformation, umfassend Skalierung, Translation und/oder Rotation, zu finden, durch die eine erste Punktwolke an einer zweiten Punktwolke ausgerichtet wird. Beispielsweise bildet die erste Punktwolke ein statisches Umfeld oder ein Umfeld zu einem ersten Zeitpunkt ab. Eine zweite Punktwolke bildet dieses Umfeld ab, wie es von einem Umfelderfassungssensor, der sich relativ zu dem Umfeld bewegt, beobachtet wird oder zu einem zweiten Zeitpunkt. Beispielsweise ist der Umfelderfassungssensor an einem Fahrsystem angeordnet und das Fahrsystem fährt mit einer von Null verschiedenen Geschwindigkeit relativ zu dem Umfeld. Durch die relative Bewegung oder bedingt durch die unterschiedlichen Zeitpunkte sind die erste und zweite Punktwolke, die dasselbe Umfeld abbilden, verschieden voneinander. Die Punktmengen-Registrierung versucht, die zweite Punktwolke an der ersten Punktwolke auszurichten. Punktmengen-Registrierungs-Verfahren sind beispielsweise iterative closest point Algorithmen oder Ausreißer-Entfernung, beispielsweise mittels des dem Fachmann bekannten RANSAC Algorithmus.Point clouds include the 3D coordinates, intensity and/or Doppler velocity of each registered point. Point set registration, also called point set registration, refers to the process of finding the transformation, including scaling, translation, and/or rotation, that aligns a first point cloud with a second point cloud. For example, the first point cloud depicts a static environment or an environment at a first point in time. A second point cloud maps this environment as observed by an environment sensing sensor moving relative to the environment or at a second point in time. For example, the environment detection sensor is arranged on a driving system and the driving system drives at a speed that differs from zero relative to the environment. By relative movement or conditional due to the different points in time, the first and second point clouds, which depict the same environment, are different from one another. The point set registration attempts to align the second point cloud with the first point cloud. Point set registration methods are, for example, iterative closest point algorithms or outlier removal, for example using the RANSAC algorithm known to those skilled in the art.

Ein weiteres Beispiel umfasst Fußgänger, die in unterschiedlichen Abständen jeweils zu einem stationären Fahrzeug umfassend das Wahrnehmungsmodul angeordnet sind, beispielsweise in 10 Meter, 20 Meter, ..., 90 Meter und 100 Meter Entfernung. Bei jeder Entfernung werden Punktwolken erhalten.Another example includes pedestrians located at different distances from a stationary vehicle including the perception module, for example 10 meters, 20 meters, ..., 90 meters and 100 meters away. Point clouds are obtained at each distance.

Die Punktmengen-Registrierung umfasst nach einem Aspekt der Erfindung einen iterative closest point Algorithmus. Der Abstand wird als L¹ oder L² Norm des Fehlers bestimmt.The point set registration, according to one aspect of the invention, includes an iterative closest point algorithm. The distance is determined as the L ¹ or L ² norm of the error.

Eine Norm ist eine mathematische Abbildung, die einem mathematischen Objekt, beispielsweis einem Vektor, eine Zahl zuordnet, die die Größe des Objekts angibt. Beispielsweise ist die L¹ Norm eines Vektors a =(x ,y, z) gleich ||a||¹= |x|+|y|+|z|, die L² Norm gleich ${\Vert \text{a}\Vert }^2=\sqrt{x^2+y^2+z^2}.$

A norm is a mathematical mapping that associates a mathematical object, such as a vector, with a number that indicates the size of the object. For example, the L ¹ norm of a vector a =(x ,y,z) is ||a|| ¹ = |x|+|y|+|z|, equal to the L ² norm ${\Vert \text{a}\Vert }^2=\sqrt{x^2+{\mathrm{<figure-callout\; id="2"\; label="y"\; filenames="DE102021202265A1\_0003.png"\; state="\{\{state\}\}">y</figure-callout>}}^2+{\mathrm{e.g}}^2}.$

Basierend auf verschiedenen Punktmengen-Registrierungs-Verfahren und Auswertungen von verschiedenen, durch die jeweiligen Punktmengen-Registrierungs-Verfahren erhaltenen Transformationen wurde erkannt, dass die Kombination des iterative closest point Algorithmus mit der L¹ oder L² Norm überraschenderweise die besten Ergebnisse liefert, um Beobachtungen voneinander zu trennen. Der iterative closest point Algorithmus ist beispielsweise über einen open source code implementierbar, beispielsweise GitHub - ethz-asl/libpointmatcher: An „Iterative Closest Point“ library for 2-D/3-D mapping in Robotics.Based on different point set registration methods and evaluations of different transformations obtained by the respective point set registration methods, it was recognized that the combination of the iterative closest point algorithm with the L ¹ or L ² norm surprisingly yields the best results in order to observe observations to separate from each other. The iterative closest point algorithm can be implemented using open source code, for example GitHub - ethz-asl/libpointmatcher: An "Iterative Closest Point" library for 2-D/3-D mapping in robotics.

Nach einem weiteren Aspekt der Erfindung umfasst der Detektionsalgorithmus einen Clustering-Algorithmus. Der Clustering-Algorithmus umfasst einen dichtebasierten Clustering-Algorithmus. Bei dichtebasiertem Clustering werden Cluster als Objekte in einem d-dimensionalen Raum betrachtet, welche dicht beieinander liegen, getrennt durch Gebiete mit geringerer Dichte. Dies ist für eine Umfeldwahrnehmung von Objekten im Straßenverkehr basierend auf Punktwolken besonders vorteilhaft.According to a further aspect of the invention, the detection algorithm includes a clustering algorithm. The clustering algorithm includes a density-based clustering algorithm. In density-based clustering, clusters are viewed as objects in a d-dimensional space that are close together, separated by regions of lower density. This is particularly advantageous for perceiving the surroundings of objects in road traffic based on point clouds.

Nach einem Aspekt der Erfindung ist der Detektionsalgorithmus ein DBSCAN-Algorithmus. DBSCAN bedeutet Density-Based Spatial Clustering of Applications with Noise und ist dem Fachmann beispielsweise aus in M. Ester, H. P. Kriegel, J. Sander, X. Xu: A density-based algorithm for discovering clusters in large spatial databases with noise. In: KDD-96 Proceedings. Vol. 96, 1996, S. 226-231 bekannt. Im Gegensatz beispielsweise zum K-Means-Algorithmus, muss nicht im vornherein bekannt sein, wie viele Cluster existieren. DBSCAN kann Cluster beliebiger Form, zum Beispiel nicht nur kugelförmige, erkennen, was für die Umfeldwahrnehmung von Objekten im Straßenverkehr basierend auf Punktwolken besonders vorteilhaft ist. DBSCAN ist weitgehend deterministisch und reihenfolgeunabhängig: Unabhängig davon, in welcher Reihenfolge Objekte in der Datenbank abgelegt oder verarbeitet werden, entstehen dieselben Cluster. DBSCAN kann mit beliebigen Distanzfunktionen und Ähnlichkeitsmaßen verwendet werden. Im Gegensatz zum K-Means-Algorithmus ist kein geometrischer Raum notwendig, da kein Mittelpunkt berechnet werden muss. Dies ist besonders vorteilhaft für hochaufgelöste Lidar- oder Radarpunktwolken, um mehrere Objektpunkte als zu einem Objekt zusammengehörend zu erkennen.According to one aspect of the invention, the detection algorithm is a DBSCAN algorithm. DBSCAN means Density-Based Spatial Clustering of Applications with Noise and is known to the person skilled in the art, for example, in M. Ester, HP Kriegel, J. Sander, X. Xu: A density-based algorithm for discovering clusters in large spatial databases with noise. In: KDD-96 Proceedings. Vol. 96, 1996, pp. 226-231. In contrast to the K-Means algorithm, for example, it is not necessary to know in advance how many clusters exist. DBSCAN can recognize clusters of any shape, for example not only spherical, which is particularly advantageous for the perception of the surroundings of objects in road traffic based on point clouds. DBSCAN is largely deterministic and order-independent: Regardless of the order in which objects are stored or processed in the database, the same clusters are created. DBSCAN can be used with any distance function and similarity measure. In contrast to the K-Means algorithm, no geometric space is necessary because no center point has to be calculated. This is particularly advantageous for high-resolution lidar or radar point clouds in order to recognize several object points as belonging to one object.

Nach einem weiteren Aspekt der Erfindung wird basierend auf gegebenen Parametern eines Umfelds, umfassend Parameter eines Fahrsystems, Parametern des Umfelderfassungssensors und Parametern des Detektionsalgorithmus

• • ein maximaler Distanzbereich, in dem Objekte von dem Wahrnehmungsmodul mit einer von Null verschiedenen Wahrscheinlichkeit detektiert werden, bestimmt,
• • ein für eine Vollbremsung erforderlicher Sicherheitsabstand bestimmt und
• • die erste und zweite Messung derart durchgeführt, dass eine Strecke, die das Fahrsystem während der Zeit, in der die Wahrnehmung nicht bestätigt wird, zurücklegt, kleiner oder gleich der Differenz zwischen dem Distanzbereich und Sicherheitsabstand ist.

According to a further aspect of the invention, based on given parameters of an environment, including parameters of a driving system, parameters of the environment detection sensor and parameters of the detection algorithm

• • a maximum distance range in which objects are detected by the perception module with a non-zero probability is determined,
• • a safety distance required for emergency braking is determined and
• • the first and second measurements are carried out in such a way that a distance covered by the driving system during the time in which the perception is not confirmed is less than or equal to the difference between the distance range and the safety distance.

Für eine sichere Wahrnehmung ist die Differenz zwischen dem Distanzbereich und Sicherheitsabstand immer größer als die Strecke, die das Fahrsystem während der Zeit, in der die Wahrnehmung nicht bestätigt wird, zurücklegt.For reliable perception, the difference between the distance range and the safety distance is always greater than the distance that the driving system covers during the time in which the perception is not confirmed.

Parametern des Umfelds umfassen

• • Änderungen des Umfeldes beschrieben, beispielsweise ein sich dem Wahrnehmungsmodul nähernder Fußgänger,
• • Witterungen, beispielsweise Regen oder Schnee,
• • Fahrbahnbeschaffenheit, beispielsweise Kies, Beton, Schlamm, fest, oder glatt,
• • Beleuchtungsstärken, beispielsweise Sonnenschein, Bewölkung, Tag oder Nacht.

Include parameters of the environment

• • Described changes in the environment, for example a pedestrian approaching the perception module,
• • Weather conditions, such as rain or snow,
• • Road surface, for example gravel, concrete, mud, hard or smooth,
• • Illuminance levels, for example sunshine, cloudiness, day or night.

Parameter des Fahrsystems umfassen Geschwindigkeit, Beschleunigung und Bremsparameter des Fahrsystems.Driving system parameters include speed, acceleration and braking parameters of the driving system.

Parameter des Umfelderfassungssensors umfassen Parameter eines Sensormodells und extrinsische und intrinsische Parameter des Umfelderfassungssensors.Parameters of the environment detection sensor include parameters of a sensor model and extrinsic and intrinsic parameters of the environment detection sensor.

Parameter des Detektionsalgorithmus umfassen Schwellenwerte für Detektionen und im Falle von trainierten Maschinenlernalgorithmen Checklisten umfassend Werte für Gewichte von Neuronenverbindungen von künstlichen neuronalen Netzwerken. Nach einem Aspekt der Erfindung werden bei dem dichtebasierten Detektionsalgorithmus dessen Parameter, umfassend einen Wert für eine ε-Umgebung und die minimale Anzahl an Punkten, die benötigt wird, um eine dichte Region zu erzeugen, derart eingestellt, dass kleine Abweichungen bedingt durch Sensorrauschen nicht das Detektionsergebnis beeinflussen. Damit ist der dichtebasierte Detektionsalgorithmus robust.Parameters of the detection algorithm include threshold values for detections and, in the case of trained machine learning algorithms, checklists including values for weights of neuron connections of artificial neural networks. According to one aspect of the invention, the parameters of the density-based detection algorithm, comprising a value for an ε-environment and the minimum number of points required to generate a dense region, are set in such a way that small deviations due to sensor noise do not affect the detection result. Thus, the density-based detection algorithm is robust.

Der maximale Distanzbereich beträgt beispielsweise 100 Meter. Der Sicherheitsabstand entspricht dem Bremsweg bis zum Stillstand. Bei einer gleichmäßig beschleunigten Bewegung ist der Bremsweg gleich v²/(2×a) mit Anfangsgeschwindigkeit v und Beschleunigung a.For example, the maximum distance range is 100 meters. The safety distance corresponds to the braking distance to standstill. In the case of a uniformly accelerated movement, the braking distance is equal to v ² /(2×a) with initial velocity v and acceleration a.

Nach einem Aspekt der Erfindung lautet das Sicherheitsziel, dass unbeabsichtigte Kollisionen vermieden werden sollen. Dieses Sicherheitsziel impliziert, dass die Wahrscheinlichkeit für eine Kollision des Fahrsystems mit einem Objekt kleiner als ein Wert ε ist, beispielsweise ε=10^-7. Erfindungsgemäß werden also alle unabhängigen Detektionen betrachtet. Die resultierende Detektion gilt als sicher bestätigt, wenn die kombinierte Fehldetektionswahrscheinlichkeit, die gleich dem Produkt der Einzelfehldetektionswahrscheinlichkeiten ist, kleiner als ε ist.According to one aspect of the invention, the safety goal is to avoid accidental collisions. This safety goal implies that the probability of the driving system colliding with an object is less than a value ε, for example ε=10 ^-7 . According to the invention, all independent detections are therefore considered. The resulting detection is considered to be reliably confirmed if the combined false detection probability, which is equal to the product of the individual false detection probabilities, is less than ε.

Die Erfindung wird in den folgenden Figuren beispielhaft erläutert. Es zeigen:

• 1 ein Ausführungsbeispiel eines Wahrnehmungsmoduls,
• 2 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und
• 3 eine schematische Darstellung einer Verwendung des erfindungsgemäßen Verfahrens aus 2.

The invention is explained by way of example in the following figures. Show it:

• 1 an embodiment of a perception module,
• 2 an embodiment of a method according to the invention and
• 3 a schematic representation of a use of the method according to the invention 2 .

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Teile. In den jeweiligen Figuren werden übersichtshalber die für das jeweilige Verständnis relevanten Bezugsteile angegeben.In the figures, the same reference symbols denote parts that are the same or have a similar function. For the sake of clarity, the reference parts relevant for the respective understanding are indicated in the respective figures.

Das Wahrheitsmodul PER in 1 umfasst ein Umfeldmodell W mit Umfeldparameter w. Beispielsweise wird das reale Umfeld W als kompakter metrischer Raum abstrahiert, beispielsweise mit Euklidischer Metrik. Der Umfelderfassungssensor S ist beispielsweis ein Lidarsensor, Kamerasensor oder Radarsensor. Das zugehörige Sensormodell S bildet einen Punkt oder aus Punkten zusammengesetzte Objekte des Umfelds W abhängig von Parametern d des Umfelderfassungssensors S auf Beobachtungen, beispielsweise Punktwolken P1, P2, ab. Eine registrierte Beobachtung wird durch einen Detektionsalgorithmus A prozessiert. Abhängig von Parametern Θ des Detektionsalgorithmus A werden Objekte beispielsweise zu Clustern zugehörig klassifiziert. Beispielsweise ist der Detektionsalgorithmus ein DBSCAN Algorithmus.The truth module PER in 1 includes an environment model W with environment parameters w. For example, the real environment W is abstracted as a compact metric space, for example with Euclidean metrics. The environment detection sensor S is, for example, a lidar sensor, camera sensor or radar sensor. The associated sensor model S maps a point or objects of the environment W composed of points, depending on parameters d of the environment detection sensor S, to observations, for example point clouds P1, P2. A registered observation is processed by a detection algorithm A. Depending on parameters Θ of the detection algorithm A, objects are classified as belonging to clusters, for example. For example, the detection algorithm is a DBSCAN algorithm.

In einem ersten in 2 gezeigtem Verfahrensschritt V1 werden die erste und zweite Beobachtung P1, P2 in Form von Punktwolken erhalten aus einer ersten und zweiten Messung des Umfelderfassungssensors S. Dabei bildet das Sensormodell S Punkte aus dem realen Umfeld auf die Punktwolken ab. Die Punktwolken umfassen zu jedem registrierten Punkt dessen kartesische Koordinaten und eine DopplerGeschwindigkeit. Alternativ werden Polarkoordinaten umfassend radialen Abstand, Azimut- und Elevationswinkel.In a first in 2 In the method step V1 shown, the first and second observations P1, P2 are obtained in the form of point clouds from a first and second measurement by the environment detection sensor S. The sensor model S maps points from the real environment onto the point clouds. The point clouds contain Cartesian coordinates and a Doppler velocity for each registered point. Alternatively, polar coordinates include radial distance, azimuth and elevation angles.

In einem zweiten Verfahrensschritt V2 wird beispielsweise ein Abstand ||P1-P2||² zwischen der ersten und zweiten Beobachtung P1, P2 mittels der L² Norm des ICP Algorithmus bestimmt.In a second method step V2, for example, a distance ||P1-P2|| ² between the first and second observations P1, P2 determined using the L ² norm of the ICP algorithm.

Falls der Abstand ||P1-P2||² größer als ein gegebener Schwellenwert t ist, werden die erste und zweite Beobachtung P1, P2 mit dem Detektionsalgorithmus A, beispielsweise einem DBSCAN-Algorithmus, prozessiert. Als Ergebnis werden unabhängige Detektionen D1, D2 erhalten umfassend Detektions- und/oder Fehldetektionswahrscheinlichkeiten P(D1), P(D2).If the distance ||P1-P2|| ² is greater than a given threshold value t, the first and second observations P1, P2 are processed with the detection algorithm A, for example a DBSCAN algorithm. As a result, independent detections D1, D2 are obtained comprising detection and/or false detection probabilities P(D1), P(D2).

In einem vierten Verfahrensschritt V4 werden die Detektions- und/oder Fehldetektionswahrscheinlichkeiten P(D1), P(D2) multipliziert. Falls das erhaltene Produkt kleiner als ein Sicherheitswert ε ist, wird die Wahrnehmung bestätigt.In a fourth method step V4, the detection and/or incorrect detection probabilities P(D1), P(D2) are multiplied. If the product obtained is smaller than a certainty value ε, the perception is confirmed.

3 zeigt ein autonomes Fahrsystem AD, dessen Wahrnehmungsmodul PER Messungen von Fußgängern in unterschiedlichen Entfernungen zum Fahrzeug AD durchführt mit Detektionen D1, D2, ..., D_n und zugehörigen Wahrscheinlichkeiten P(D1), P(D2), ..., P(D_n). Das Fahrsystem bewegt sich mit einer Geschwindigkeit v .3 veranschaulicht die Begriffe des Sicherheitsabstandes r_brake(v, w), beispielsweise dem Bremsweg, des maximalen Distanzbereichs Rmax(w, d, θ) und der Strecke runcnf, die zurückgelegt wird, während keine Detektionen bestätigt werden. 3 shows an autonomous driving system AD, whose perception module PER carries out measurements of pedestrians at different distances from the vehicle AD with detections D1, D2, ..., D_n and associated probabilities P(D1), P(D2), ..., P(D_n ). The driving system moves with a speed v . 3 illustrates the terms of the safety distance r _brake (v, w), for example the braking distance, the maximum distance range Rmax(w, d, θ) and the distance runcnf, that is covered while no detections are confirmed.

BezugszeichenlisteReference List

PERBY

Wahrnehmungsmodulperception module

P1P1

erste Beobachtungfirst observation

P2p2

zweite Beobachtungsecond observation

WW

Umfeld/Umfeldmodellenvironment/environment model

ww

Parameter des Umfeldsparameters of the environment

SS

Umfelderfassungssensor/SensormodellEnvironment detection sensor/sensor model

di.e

Parameter des UmfelderfassungssensorsSurroundings detection sensor parameters

AA

Detektionsalgorithmusdetection algorithm

Θθ

Parameter des DetektionsalgorithmusDetection algorithm parameters

PP

Detektionswahrscheinlichkeitdetection probability

D1D1

erste Detektionfirst detection

D2D2

zweite Detektionsecond detection

D_nD_n

n-te Detektionnth detection

||.||||.||

Normstandard

tt

Schwellenwertthreshold

εe

Sicherheitswertsecurity value

ADAD

Fahrsystemdriving system

vv

Geschwindigkeit des Fahrsystemsspeed of the driving system

ICPICP

iterative closest point Algorithmusiterative closest point algorithm

RmaxRmax

(w, d, θ) maximaler Distanzbereich(w, d, θ) maximum distance range

rbrakebrake

(v, w) Sicherheitsabstand(v, w) safety distance

runcnfruncnf

StreckeRoute

V1-V4V1-V4

Verfahrensschritteprocess steps

Claims (8)

Computerimplementiertes Verfahren zum Bestätigen einer sicheren Wahrnehmung eines Wahrnehmungsmoduls (PER) umfassend die Schritte • Erhalten einer ersten und zweiten Beobachtung (P1, P2) aus einer ersten und zweiten Messung eines Umfelderfassungssensors (S) des Wahrnehmungsmoduls (PER) (V1), • Bestimmen eines Abstandes (||P1-P2||) zwischen der ersten und zweiten Beobachtung (P1, P2) mittels einer Norm (V2), • Prozessieren der ersten und zweiten Beobachtung (P1, P2) mit einem Detektionsalgorithmus (A) des Wahrnehmungsmoduls (PER), falls der Abstand (||P1-P2||) größer als ein gegebener Schwellenwert (t) ist, und Erhalten von unabhängigen Detektionen (D1, D2) umfassend Detektions- und/oder Fehldetektionswahrscheinlichkeiten (P(D1), P(D2)), wobei der Detektionsalgorithmus (A) für identische Beobachtungen identische Detektionen ausgibt und robust gegenüber kleinen Abweichungen zwischen Beobachtungen ist (V3), • Multiplizieren der Detektions- und/oder Fehldetektionswahrscheinlichkeiten (P(D1), P(D2)) und, falls das erhaltene Produkt kleiner als ein Sicherheitswert (ε) ist, Bestätigen der Wahrnehmung (V4).Computer-implemented method for confirming a secure perception of a perception module (PER) comprising the steps • Obtaining a first and second observation (P1, P2) from a first and second measurement of an environment detection sensor (S) of the perception module (PER) (V1), • determining a distance (||P1-P2||) between the first and second observation (P1, P2) using a norm (V2), • processing the first and second observations (P1, P2) with a detection algorithm (A) of the Perception Module (PER) if the distance (||P1-P2||) is greater than a given threshold value (t) and obtaining independent ones Detections (D1, D2) comprising detection and/or incorrect detection probabilities (P(D1), P(D2)), the detection algorithm (A) outputting identical detections for identical observations and being robust to small deviations between observations (V3), • Multiplying the detection and/or misdetection probabilities (P(D1), P(D2)) and, if the product obtained is less than a certainty value (ε), confirming the detection (V4). Verfahren nach Anspruch 1, wobei bei mehreren Beobachtungen die Abstände von jeweils zwei der mehreren Beobachtungen bestimmt werden und die Detektions- und/oder Fehldetektionswahrscheinlichkeiten der erhaltenen unabhängigen Detektionen multipliziert werden.procedure after claim 1 , where, in the case of multiple observations, the distances between two of the multiple observations are determined and the detection and/or incorrect detection probabilities of the independent detections obtained are multiplied. Verfahren nach Anspruch 1 oder 2, wobei die Beobachtungen jeweils Punktwolken sind und eine Punktmengen-Registrierung, durch die die Punktwolken aneinander ausgerichtet werden, durchgeführt wird und als Abstand der Punktwolken ein Fehler der Ausrichtung bestimmt wird.procedure after claim 1 or 2 , wherein the observations are each point clouds and a point set registration is carried out, by which the point clouds are aligned with one another, and an error in the alignment is determined as the distance between the point clouds. Verfahren nach Anspruch 3, wobei die Punktmengen-Registrierung einen iterative closest point Algorithmus (ICP) umfasst und der Abstand als L¹ oder L² Norm des Fehlers bestimmt wird.procedure after claim 3 , where the point set registration involves an iterative closest point algorithm (ICP) and the distance is determined as the L ¹ or L ² norm of the error. Verfahren nach einem der Ansprüche 1 bis 4, wobei der Detektionsalgorithmus (A) einen Clustering-Algorithmus umfasst, umfassend einen dichtebasierten Clustering-Algorithmus, umfassend einen DBSCAN-Algorithmus.Procedure according to one of Claims 1 until 4 , wherein the detection algorithm (A) comprises a clustering algorithm comprising a density-based clustering algorithm comprising a DBSCAN algorithm. Verfahren nach einem der Ansprüche 1 bis 5, wobei basierend auf gegebenen Parametern (w) eines Umfelds (W), umfassend Parameter (v) eines Fahrsystems (AD), Parametern (d) des Umfelderfassungssensors (S) und Parametern (θ) des Detektionsalgorithmus (A) • ein maximaler Distanzbereich (R_max(w, d, θ)), in dem Objekte (O) von dem Wahrnehmungsmodul (PER) mit einer von null verschiedenen Wahrscheinlichkeit detektiert werden, bestimmt wird, • ein für eine Vollbremsung erforderlicher Sicherheitsabstand (r_brake(v, w)) bestimmt wird und • die erste und zweite Messung derart durchgeführt werden, dass eine Strecke (runcnf), die das Fahrsystem (AD) während der Zeit, in der die Wahrnehmung nicht bestätigt wird, zurücklegt, kleiner oder gleich der Differenz zwischen dem Distanzbereich (Rmax(w, d, θ)) und Sicherheitsabstand (r_brake(v, w)) ist.Procedure according to one of Claims 1 until 5 , based on given parameters (w) of an environment (W), comprising parameters (v) of a driving system (AD), parameters (d) of the environment detection sensor (S) and parameters (θ) of the detection algorithm (A) • a maximum distance range ( R _max (w, d, θ)), in which objects (O) are detected by the perception module (PER) with a probability different from zero, is determined, • a safety distance required for emergency braking (r _brake (v, w) ) is determined and • the first and second measurement are carried out in such a way that a distance (runcnf) covered by the driving system (AD) during the time in which the perception is not confirmed is less than or equal to the difference between the distance range ( Rmax(w,d,θ)) and safety distance (r _brake (v,w)). Steuergerät für autonome Fahrfunktionen, ausgeführt ist, ein Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen.Control unit for autonomous driving functions is executed, a method according to one of Claims 1 until 6 to perform. Computerprogramm zum Bestätigen einer sicheren Wahrnehmung eines Wahrnehmungsmoduls (PER), umfassend Befehle, die bewirken, dass ein integrierter Schaltkreis die Schritte des Verfahrens nach einem der Ansprüche 1 bis 6 ausführt, wenn das Computerprogramm auf dem integrierten Schaltkreis läuft.Computer program for confirming a secure perception of a perception module (PER), comprising instructions that cause an integrated circuit to carry out the steps of the method according to any one of Claims 1 until 6 executes when the computer program runs on the integrated circuit.

Images