WO2008040593A1 - Method of recognition of surroundings - Google Patents

Method of recognition of surroundings Download PDF

Info

Publication number
WO2008040593A1
WO2008040593A1 PCT/EP2007/058474 EP2007058474W WO2008040593A1 WO 2008040593 A1 WO2008040593 A1 WO 2008040593A1 EP 2007058474 W EP2007058474 W EP 2007058474W WO 2008040593 A1 WO2008040593 A1 WO 2008040593A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
sensor
data
cell
free
Prior art date
Application number
PCT/EP2007/058474
Other languages
German (de)
French (fr)
Inventor
Jan-Carsten Becker
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2008040593A1 publication Critical patent/WO2008040593A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control

Definitions

  • the invention relates to a method and a device for recognizing an environment, a computer program and a computer program product.
  • the document DE 10 2004 007 553 A1 relates to a detection device and a safety system for a motor vehicle.
  • the document proposes to deduce the presence of obstacles in the surrounding area of the motor vehicle by comparing the probability value of each field with a predetermined probability threshold value. If the probability value of the field is greater than the predetermined probability threshold value, the presence of an obstacle in this field is concluded. Disclosure of the invention
  • data for recognizing objects in the environment and data for recognizing free areas in the environment are processed together.
  • a probability is provided that at least one area of the environment is free.
  • the data for recognizing objects in the environment are fused with data for recognizing free areas in the environment. It may be provided that the environment is divided into a grid of cells, so that a cell grid-based recognition of the environment and thus a cell grid-based modeling of the environment is possible. Furthermore, an attribute is provided for a cell for that cell to be occupied by an object. In an additional embodiment, a sensor model of an environment description of at least one sensor designed to recognize the surroundings is converted to the attribute of the cell.
  • grid-based methods for sensor signal processing and sensor data fusion are regularly used.
  • a breakdown of the surroundings of the vehicle into individual cells is used in this regard in particular.
  • a result is an environment description that can map the likelihood of passability of areas as well as the probability of non-trafficability of areas and remaining uncertainty.
  • the integrated processing and description of drivable and non-accessible areas offers benefits for assistance systems and in particular for safety systems.
  • the environment is arbitrarily fine or roughly divided into cells. Free areas or areas may comprise at least one cell, typically several contiguous cells.
  • a generation of different object hypotheses for comfort and safety functions in driver assistance systems based on a cell grid-based environment modeling can be used.
  • an employment of several different function-specific thresholds is provided, depending on be set by different requirements to the object hypothesis of different driver assistance systems.
  • At least one sensor is provided for detecting objects and free areas in the environment.
  • data for recognizing the objects of at least one first sensor in particular a radar sensor, video sensor and / or Lidarsensor, and data for detecting free areas of at least one second sensor, typically a video and / or Lidarsensor provided.
  • the Dempster-Shafer theory can be used for each cell in a probability cell grid.
  • the Dempster-Shafer theory is a method of processing uncertainty-related knowledge that can be used to implement the invention. Arthur Dempster formulated in 1967 with his model for the estimation of upper and lower
  • a function m: 2 ⁇ -> [ ⁇ , lj means mass function, if:
  • Each event can be assigned a probability m ( ⁇ Aj), m ( ⁇ A, Bj), and so on.
  • ⁇ A, Bj literally means A or B.
  • the probability m ( ⁇ A, Bj) is then the difference between the sum of all other probabilities and 1.
  • the measure of credibility is interpreted as "the sum of the events that speak for it".
  • Dempster combination rule ⁇ is introduced.
  • the Dempster combination rule reads:
  • the term 1 - K therefore acts as a normalization factor, which suppresses the resulting contradiction in the calculation of the resulting probabilities.
  • a probability that an area of the at least one area is passable is provided. On this basis, it is, for example, possible to realize an avoidance of an obstacle.
  • the invention also relates to a device for recognizing an environment which is designed to jointly process data for recognizing objects in the environment and data for detecting free areas in the environment and a probability that at least one region of the environment is free to provide.
  • the device typically has a number of modules, such as at least one first and / or second sensor, a processing module or at least one computing unit.
  • the first and / or second sensors for motor vehicles designed for environment detection can directly detect not only objects but also free cells and thus passable surfaces.
  • Such sensors may be designed as modules of the device according to the invention or interact with this device.
  • Processing module provided. With the device such a method for the joint processing and fusion of data from object and / or feature recognition and free space detection of sensors for environment perception in motor vehicles is possible.
  • a radar sensor designed as a long-range radar sensor is provided as the at least one first sensor for perception of surroundings.
  • This radar sensor measures the power of a transmitted wave backscattered by a reflector. Therefore, the sensor detects in particular highly reflective metallic objects such as vehicles, but also, for example, Gullideckel or metallically coated
  • a video sensor may be provided as the at least one first and / or second sensor.
  • Video sensors are designed to capture the vehicle environment with a video camera and to evaluate the recorded images with a corresponding signal processing.
  • the kinematic variables distance and speed which are of particular interest for the vehicle guidance, are not measured directly.
  • video sensors are for surveying geometric objects such as
  • a lidar sensor as a first and / or second sensor of the device usually determines a distance to a reflecting object by direct measurement of a propagation time of the emitted wave. Due to the wavelength in the infrared range, there is a certain dependence of the detection range on the environmental conditions. In addition, the detection range may depend on the reflection characteristics of the target to be detected. Lidar sensors with fixed beams are relatively inexpensive to implement, scanning or scanning Lidarsensoren (laser scanner) also allow at least horizontally high resolution and a large detection angle. Just as with video sensors, it can be concluded with a certainty that the distance up to this object is not occupied and thus free when a object is detected by the direct optical measuring method.
  • the computer program with program code means according to the invention is designed to perform all steps of a method according to the invention when the computer program is executed on a computer or a corresponding computing unit, in particular in a device according to the invention.
  • the invention also relates to a computer program product with program code means which are stored on a computer-readable data carrier in order to carry out all the steps of a method according to the invention, when the computer program is executed on a computer or a corresponding computing unit, in particular in a device according to the invention.
  • the present invention provides a method for the joint processing and fusion of data from object and / or feature recognition as well as free area recognition with a cell grid-based environment modeling for facilities, such as driver assistance systems and in particular for predictive security systems.
  • At least one first and / or second sensor for environment detection is used for motor vehicles, in addition to objects also free, ie passable Areas, directly or indirectly.
  • the invention provides a method and a device for a consistent environment description.
  • a common processing and fusion of data from object and / or feature recognition and free space detection of sensors for environment perception for motor vehicles is possible.
  • ACC Adaptive Cruise Control
  • PSS Predictive Safety Systems
  • comfort functions and security functions make different demands on the object hypotheses of the perception of the surroundings, and that, in particular, security functions place very high demands on the false trigger rates of such systems and thus also the signal processing of the perception of surroundings for such systems.
  • Driver assistance and safety systems of the prior art are based i. d. R. on a radar sensor.
  • This sensor can detect only objects but no free surfaces.
  • Other sensors can also explicitly detect free areas.
  • the integrated processing and description of drivable and non-drivable areas offers benefits for assistance systems and in particular for safety systems.
  • the present method provides, among others, by using the Dempster-Shafer theory. a consistent and easy to implement calculation rule for the common and integrated processing of sensor data from object and / or feature recognition, the z. From radar,
  • Lidar- and / or video capture can be done, and a free surface recognition, which is provided regularly from a lidar and / or video capture.
  • the area of interest of the vehicle environment is divided into a predetermined number of n cells.
  • an attribute can be calculated and stored that determines the probability indicates that the cell i is occupied by an object relevant for the vehicle guidance and is therefore not passable.
  • an attribute can also be used calculated and stored that the probability
  • P 1 (Zm) P 1 (Z) indicates that the cell i is not occupied by an object relevant to the vehicle guidance and is therefore passable.
  • At least one sensor of the device is able to occupy, within its given detection range, d. H. detect non-drivable areas or areas and thus also areas and, based on this, also indicate the probability with which these areas are occupied.
  • This may, for example, an object-recognizing sensor, for. Radar, video or lidar.
  • the sensor LRR2 is particularly suitable, which typically abstracts the environment description to so-called object lists or by location lists.
  • the environment description of the at least one first sensor is converted to the probability attributes of the cells by means of a corresponding sensor model.
  • At least one other second sensor of the device may be able to open spaces, so not occupied, d. H. drivable areas within its given detection range, and to indicate based on this, the probability that these areas are free.
  • This does not necessarily have to be a separate sensor system, whereby a free-space detection algorithm running in a video sensor can be provided. The dependencies that can arise from the fact that the algorithm may run separately. a.
  • the same image capture hardware and the same image as the object recognition algorithms can be taken into account in the probability attributes, which are typically calculated by the sensor models.
  • a first sensor is an object-recognizing sensor that can not detect or derive any open space information.
  • For the considered cell i let be the current estimate of the probability attributes of the sensor:
  • a second sensor is an object-recognizing sensor, which can also specify a probability for the freedom of the cell with an additional algorithm from its sensor raw data.
  • the different algorithms provide slightly contradictory statements with a remaining uncertainty:
  • Equation (11) now gives the resulting probability that the cell is occupied
  • Another cell j within the cell area is considered as an environment description.
  • the first sensor is the same object-recognizing sensor as in the first example.
  • j be the current estimate of the probability attributes of the sensor
  • the second sensor is the same object-recognizing sensor as in the first example, which can also specify a probability for the freedom or non-occupancy of the cell with an additional algorithm from its sensor raw data. However, the considered cell is now outside the detection range of the second sensor. Thus, the sensor can make no statement about this cell, the uncertainty is therefore 1.
  • FIG. 1 shows diagrams for a third example of an application of the Dempster-Shafer
  • FIG. 2 shows a diagram of an embodiment of a method according to the invention.
  • FIG. 3 shows a schematic representation of an embodiment of a device according to the invention.
  • FIG. 1 shows a first diagram 102, a second diagram 104 and a third diagram 106 for a third numerical example for the application of the Dempster-Shafer theory.
  • a state space in all three diagrams 102, 104, 106, here in the direction of the horizontally oriented axes 108, is divided into a longitudinal distance of 1 to 100 meters, one cell each having a size of 1 m.
  • curves for a probability pbe g t are plotted along the vertically oriented axis 110 for two sensors.
  • curves for a probability p are freely plotted along the vertically oriented axis 112 for two sensors.
  • curves for a probability P i us cher are plotted along the vertically oriented axis.
  • the third curves 128, 130, 132 in the respective diagrams 102, 104, 106 along the respective vertically oriented axes 110, 112, 114 show the resulting probabilities for
  • FIG. 2 shows a diagram of an embodiment of the method according to the invention for recognizing an environment.
  • recognition 202 of objects by means of at least one first sensor and recognition 204 of free regions by means of at least one second sensor are initially carried out.
  • recognition 202 of objects by means of at least one first sensor and recognition 204 of free regions by means of at least one second sensor are initially carried out.
  • a common processing 206 takes place, which in the present embodiment also includes a fusion of these data.
  • a probability 208 that at least one area of the environment is free is provided.
  • FIG. 3 shows, in a schematic representation, a vehicle 302 which has a schematically illustrated embodiment of a device 304 according to the invention.
  • This embodiment of the device 304 according to the invention comprises a first sensor 306, a second sensor 308 and a processing module 310.
  • the diagram also schematically shows an environment 312 of the vehicle 302.
  • This environment 312 is divided into cells 314, 316, 318, 320, 322, 324, 326, 328, 330, it being provided that in the cells 322, 324, 328, 330 is an object 332.
  • the other cells 314, 316, 318, 320 and 326 are free in the present embodiment.
  • the first sensor 306 is configured to detect the object 332 in the environment 312.
  • the second sensor 308 is configured to detect free cells 314, 316, 318, 320, 326, of which a free area is composed here.
  • Data for detecting the object 332 provided by the first sensor 306, as well as data for detecting free cells 314, 316, 318, 320, 326 provided by the second sensor 308, are provided with the
  • Processing module 310 processed together and merged in this context in the present embodiment also.
  • the processing module 310 thus provides, on the basis of this provided data, a probability that the area of the environment composed of the free cells 314, 316, 318, 320, 326 is free to travel and therefore accessible by the vehicle 302 a collision with the object 332 comes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method of recognition of surroundings (312), whereby data for the recognition of objects (332) in the surroundings (312) and data for the recognition of free zones in the surroundings (312) are processed together and a probability that at least one zone of the surroundings (312) is free is provided.

Description

Beschreibung description
Titeltitle
Verfahren zur Erkennung eines UmfeldsProcedure for detecting an environment
Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zum Erkennen eines Umfelds, ein Computerprogramm und ein Computerprogrammprodukt.The invention relates to a method and a device for recognizing an environment, a computer program and a computer program product.
Stand der TechnikState of the art
Aus der Informatik und Robotik sind seit längerem Methoden zur Sensorsignalverarbeitung für Systeme zur Umgebungserfassung von Robotern bekannt, bei denen der Detektionsbereich der Sensoren in eine vorgegebene Anzahl von Feldern aufgeteilt wird und für jedes Feld ein Wahrscheinlichkeitswert als Maß für das Vorhandensein eines Hindernisses in dem jeweiligen Feld bestimmt wird. Diese Verfahren sind unter den Begriffen Occupancy Grids oder Belief Grids oder Evidence Grids bekannt.From computer science and robotics methods for sensor signal processing for systems for detecting the environment of robots have been known, in which the detection range of the sensors is divided into a predetermined number of fields and a probability value for each field as a measure of the presence of an obstacle in the respective field is determined. These methods are known under the terms Occupancy Grids or Belief Grids or Evidence Grids.
Seit kurzem werden diese Methoden bzw. Varianten dieser Methoden auch im Bereich von Fahrerassistenzsystemen für Kraftfahrzeuge bei Originalausrüstungsherstellern (Original Equipment Manufacturers, OEMs) bzw. deren Forschungspartnern und Forschungseinrichtungen angewendet.Recently, these methods or variants of these methods have also been used in the field of driver assistance systems for motor vehicles at original equipment manufacturers (OEMs) or their research partners and research institutions.
Die Druckschrift DE 10 2004 007 553 Al betrifft eine Erfassungsvorrichtung und ein Sicherheitssystem für ein Kraftfahrzeug. In der Druckschrift wird vorgeschlagen, auf das Vorhandensein von Hindernissen im Umgebungsbereich des Kraftfahrzeugs zu schließen, indem der Wahrscheinlichkeitswert jedes Felds mit einem vorgegebenen Wahrscheinlichkeitsschwellwert verglichen wird. Wenn der Wahrscheinlichkeitswert des Feldes größer als der vorgegebene Wahrscheinlichkeitsschwellwert ist, wird auf das Vorhandensein eines Hindernisses in diesem Feld geschlossen. Offenbarung der ErfindungThe document DE 10 2004 007 553 A1 relates to a detection device and a safety system for a motor vehicle. The document proposes to deduce the presence of obstacles in the surrounding area of the motor vehicle by comparing the probability value of each field with a predetermined probability threshold value. If the probability value of the field is greater than the predetermined probability threshold value, the presence of an obstacle in this field is concluded. Disclosure of the invention
Bei dem erfindungsgemäßen Verfahren zum Erkennen eines Umfelds werden Daten zum Erkennen von Objekten in dem Umfeld und Daten zum Erkennen von freien Gebieten in dem Umfeld gemeinsam verarbeitet. Außerdem wird eine Wahrscheinlichkeit dafür, dass mindestens ein Gebiet des Umfelds frei ist, bereitgestellt.In the environment recognizing method of the present invention, data for recognizing objects in the environment and data for recognizing free areas in the environment are processed together. In addition, a probability is provided that at least one area of the environment is free.
In Ausgestaltung werden die Daten zum Erkennen von Objekten in dem Umfeld mit Daten zum Erkennen von freien Gebieten in dem Umfeld fusioniert. Es kann dabei vorgesehen sein, dass das Umfeld in ein Gitter aus Zellen aufgeteilt wird, so dass ein zellgitterbasiertes Erkennen des Umfelds und somit auch eine zellgitterbasierte Modellierung des Umfelds möglich ist. Des weiteren wird für eine Zelle ein Attribut dafür bereitgestellt, dass diese Zelle mit einem Objekt belegt ist. In einer zusätzlichen Ausführung wird ein Sensormodell einer Umfeldbeschreibung mindestens eines zum Erkennen des Umfelds ausgebildeten Sensors auf das Attribut der Zelle umgerechnet.In an embodiment, the data for recognizing objects in the environment are fused with data for recognizing free areas in the environment. It may be provided that the environment is divided into a grid of cells, so that a cell grid-based recognition of the environment and thus a cell grid-based modeling of the environment is possible. Furthermore, an attribute is provided for a cell for that cell to be occupied by an object. In an additional embodiment, a sensor model of an environment description of at least one sensor designed to recognize the surroundings is converted to the attribute of the cell.
Demnach werden regelmäßig gitterbasierte Methoden zur Sensorsignalverarbeitung und Sensordatenfusion verwendet. Zur Realisierung des Verfahrens wird diesbezüglich insbesondere eine Zerlegung des Umfelds des Fahrzeugs in einzelne Zellen verwendet. Ein Ergebnis ist eine Umfeldbeschreibung, die die Wahrscheinlichkeit für die Befahrbarkeit von Gebieten sowie die Wahrscheinlichkeit für die Nicht-Befahrbarkeit von Gebieten und eine verbleibende Unsicherheit abbilden kann. Die integrierte Verarbeitung und Beschreibung von befahrbaren und nichtbefahrbaren Flächen bietet einen Nutzengewinn für Assistenzsysteme und insbesondere für Sicherheitssysteme. Das Umfeld ist beliebig fein oder grob in Zellen zu zerlegen. Freie Gebiete oder Flächen können mindestens eine Zelle, typischerweise mehrere zusammenhängende Zellen, umfassen.Accordingly, grid-based methods for sensor signal processing and sensor data fusion are regularly used. In order to implement the method, a breakdown of the surroundings of the vehicle into individual cells is used in this regard in particular. A result is an environment description that can map the likelihood of passability of areas as well as the probability of non-trafficability of areas and remaining uncertainty. The integrated processing and description of drivable and non-accessible areas offers benefits for assistance systems and in particular for safety systems. The environment is arbitrarily fine or roughly divided into cells. Free areas or areas may comprise at least one cell, typically several contiguous cells.
Bei einer weiteren Variante des Verfahrens kann eine Erzeugung von unterschiedlichen Objekthypothesen für Komfort- und Sicherheitsfunktionen in Fahrerassistenzsystemen, die auf einer zellgitterbasierten Umfeldmodellierung basieren, benutzt werden. Dabei ist ein Einsatz von mehreren unterschiedlichen funktionsspezifischen Schwellwerten vorgesehen, die in Abhängigkeit von unterschiedlichen Anfordenmgen an die Objekthypothese verschiedener Fahrerassistenzsysteme festgelegt werden.In a further variant of the method, a generation of different object hypotheses for comfort and safety functions in driver assistance systems based on a cell grid-based environment modeling can be used. In this case, an employment of several different function-specific thresholds is provided, depending on be set by different requirements to the object hypothesis of different driver assistance systems.
In der Regel ist mindestens ein Sensor zum Erkennen von Objekten und freien Gebieten in dem Umfeld vorgesehen. In besonderer Ausgestaltung werden Daten zum Erkennen der Objekte von mindestens einem ersten Sensor, insbesondere einem Radarsensor, Videosensor und/oder Lidarsensor, und Daten zum Erkennen von freien Gebieten von mindestens einem zweiten Sensor, typischerweise einem Video- und/oder Lidarsensor, bereitgestellt.As a rule, at least one sensor is provided for detecting objects and free areas in the environment. In a particular embodiment, data for recognizing the objects of at least one first sensor, in particular a radar sensor, video sensor and / or Lidarsensor, and data for detecting free areas of at least one second sensor, typically a video and / or Lidarsensor provided.
Zur Sensordatenfusion kann für jede Zelle in einem Wahrscheinlichkeitszellgitter die Dempster- Shafer-Theorie angewendet werden.For sensor data fusion, the Dempster-Shafer theory can be used for each cell in a probability cell grid.
Die Dempster-Shafer-Theorie ist eine Methode zur Verarbeitung von mit Unsicherheiten behaftetem Wissen, die zu einer Realisierung der Erfindung eingesetzt werden kann. Arthur Dempster formulierte 1967 mit seinem Modell zur Abschätzung von oberen und unterenThe Dempster-Shafer theory is a method of processing uncertainty-related knowledge that can be used to implement the invention. Arthur Dempster formulated in 1967 with his model for the estimation of upper and lower
Wahrscheinlichkeiten eines Ereignisses und seiner Verallgemeinerung des Satzes von Bayes die Grundlagen hierzu. Diese mathematische Basis erweiterte Glenn Shafer in „A Mathematical Theory of Evidence".Probabilities of an event and its generalization of the theorem of Bayes the foundations for this. Glenn Shafer extended this mathematical basis to "A Mathematical Theory of Evidence".
In der Dempster-Shafer-Theorie wird von einer Menge sich gegenseitig ausschließenderIn the Dempster-Shafer theory, a lot of each other is mutually exclusive
Ereignisse ausgegangen. Diese Menge wird Wahrnehmungsrahmen (engl: frame of discernment) Θ genannt. Ein Beispiel für einen Wahrnehmungsrahmen ist Θ = A, B. Zu diesem Wahrnehmungsrahmen gibt es eine Potenzmenge:
Figure imgf000005_0001
Events went out. This set is called the frame of discernment Θ. An example of a perceptual framework is Θ = A, B. There is a power set for this perceptual frame:
Figure imgf000005_0001
Eine Funktion m : 2Θ — > [θ,lj heißt Massefunktion, wenn gilt:A function m: 2 Θ -> [θ, lj means mass function, if:
m(θ) = 0 (2) ∑m(X) = l (3)m (θ) = 0 (2) Σm (X) = 1 (3)
Xe 2Θ - A -Xe 2 Θ - A -
Jedem Ereignis kann eine Wahrscheinlichkeit m({ Aj), m({ A, Bj), usw. zugeordnet werden. Dabei bedeutet {A, Bj wörtlich A oder B. Die Wahrscheinlichkeit m({A, Bj) ist dann die Differenz zwischen der Summe aller anderen Wahrscheinlichkeiten und 1.Each event can be assigned a probability m ({Aj), m ({A, Bj), and so on. Here, {A, Bj literally means A or B. The probability m ({A, Bj) is then the difference between the sum of all other probabilities and 1.
Es werden weiterhin untere und obere Grenzen eines Wahrscheinlichkeitsintervalls definiert. Diese Grenzen werden als Glaubwürdigkeitsmaß (engl: berief) bei (A) und Plausibilitätsmaß (engl: plausibility) pl (A) bezeichnet:Furthermore, lower and upper limits of a probability interval are defined. These limits are referred to as "credibility" in (A) and plausibility ("pl") pl (A):
bel{A) ≤ P{A) ≤ pl{A) (4)bel {A) <P {A} <pl {A) (4)
Das Glaubwürdigkeitsmaß ist zu interpretieren als „Summe der Ereignisse, die dafür sprechen".The measure of credibility is interpreted as "the sum of the events that speak for it".
bel{A) = ∑m{B) (5)bel {A) = Σm {B) (5)
B BnAcOB BnAcO
Das PlausibilitätsmaßThe plausibility measure
Pl(A) = ∑m{B) (6)Pl (A) = Σm {B) (6)
B BnΛ≠OB BnΛ ≠ O
ist als „Summe der Ereignisse, die nicht dagegen sprechen" zu interpretieren.is to be interpreted as a "sum of events that do not speak against it".
Weiterhin wird die Dempster-Kombinationsregel Θ eingeführt. Diese Kombinationsregel ist eine Verallgemeinerung des Satzes von Bayes. Sie liefert zu zwei Massefunktionen mi und m2 eine neue, verknüpfte Massefunktion m = mι ® m2 . Die Dempster-Kombinationsregel lautet:Furthermore, the Dempster combination rule Θ is introduced. This combination rule is a generalization of Bayes's theorem. It provides two mass functions mi and m 2 a new, linked mass function m = m ι ® m 2 . The Dempster combination rule reads:
Figure imgf000006_0001
Figure imgf000006_0001
Die Verknüpfung Θ ist kommutativ und assoziativ:
Figure imgf000006_0002
(mi ® m2) ® mi = mi ® (m2 ® mi) (9) Der TermThe link Θ is commutative and associative:
Figure imgf000006_0002
(mi ® m 2 ) ® m i = mi ® (m 2 ® m i ) (9) The term
K = ∑mλ{A) M2[B) (10)K = Σm λ {A) M 2 [B] (10)
AnB=HAnB = H
ist ein Maß für den Konflikt oder Widerspruch zwischen den beiden Beobachtungen. Der Term 1 - K wirkt daher als Normalisierungsfaktor, der den entstandenen Widerspruch bei der Berechnung der resultierenden Wahrscheinlichkeiten unterdrückt.is a measure of the conflict or contradiction between the two observations. The term 1 - K therefore acts as a normalization factor, which suppresses the resulting contradiction in the calculation of the resulting probabilities.
Die Dempster-Shafer-Theorie erweitert also die Bayes'sche Verknüpfungstheorie, bei der es nur zwei Zustände gibt, bspw. „belegt" (b) oder „frei" φ. Bei Bayes schließen sich diese Zustände gegenseitig aus, es gibt also keine Unschlüssigkeit, d. h. es gilt m(Θ) = 0 . Massefunktionen zweier sich gegenseitig ausschließender Ereignisse nennt Shafer „bayes'sche Funktion", da in diesem Fall die Dempster-Shafer-Theorie mit dem Satz von Bayes numerisch identisch ist.The Dempster-Shafer theory thus extends the Bayesian linkage theory, in which there are only two states, for example "occupied" (b) or "free" φ. In Bayes, these states are mutually exclusive, so there is no indecision, ie. H. it holds that m (Θ) = 0. Shafer calls mass functions of two mutually exclusive events "Bayesian function", since in this case the Dempster-Shafer theory is numerically identical to Bayes's theorem.
Durch den Übergang von Bayes zu Dempster-Shafer eröffnet sich die Möglichkeit, die Unsicherheit der Entscheidung mit zu berücksichtigen.The transition from Bayes to Dempster-Shafer opens up the possibility of taking into account the uncertainty of the decision.
Es kann zudem vorgesehen sein, dass eine Wahrscheinlichkeit dafür, dass eine Fläche des mindestens einen Gebiets befahrbar ist, bereitgestellt wird. Auf dieser Grundlage ist es bspw. möglich, ein Ausweichen vor einem Hindernis zu realisieren.It can also be provided that a probability that an area of the at least one area is passable is provided. On this basis, it is, for example, possible to realize an avoidance of an obstacle.
Die Erfindung betrifft zudem eine Einrichtung zum Erkennen eines Umfelds, die dazu ausgebildet ist, Daten zum Erkennen von Objekten in dem Umfeld und Daten zum Erkennen von freien Gebieten in dem Umfeld gemeinsam zu verarbeiten und eine Wahrscheinlichkeit dafür, dass mindestens ein Gebiet des Umfelds frei ist, bereitzustellen.The invention also relates to a device for recognizing an environment which is designed to jointly process data for recognizing objects in the environment and data for detecting free areas in the environment and a probability that at least one region of the environment is free to provide.
Mit dieser Einrichtung sind sämtliche Schritte des erfindungsgemäßen Verfahrens durchführbar. Die Einrichtung weist typischerweise eine Anzahl Module, wie bspw. mindestens einen ersten und/oder zweiten Sensor, ein Verarbeitungsmodul oder mindestens eine Recheneinheit auf. Es ist vorgesehen, dass die zur Umfelderfassung ausgebildeten ersten und/oder zweiten Sensoren für Kraftfahrzeuge neben Objekten auch freie Zellen und somit befahrbare Flächen direkt erfassen können. Derartige Sensoren können als Module der erfindungsgemäßen Einrichtung ausgebildet sein oder mit dieser Einrichtung zusammenwirken. Zur Verarbeitung der Daten dieser Sensoren wird ein Verfahren zur konsistenten Umfeldbeschreibung mittels desWith this device, all steps of the method according to the invention are feasible. The device typically has a number of modules, such as at least one first and / or second sensor, a processing module or at least one computing unit. It is envisaged that the first and / or second sensors for motor vehicles designed for environment detection can directly detect not only objects but also free cells and thus passable surfaces. Such sensors may be designed as modules of the device according to the invention or interact with this device. For the processing of the data of these sensors, a procedure for the consistent description of the environment by means of the
Verarbeitungsmoduls bereitgestellt. Mit der Einrichtung ist ein solches Verfahren zur gemeinsamen Verarbeitung und Fusion von Daten aus Objekt- und/oder Merkmalserkennung und Freiflächenerkennung von Sensoren zur Umfeldwahrnehmung in Kraftfahrzeugen möglich.Processing module provided. With the device such a method for the joint processing and fusion of data from object and / or feature recognition and free space detection of sensors for environment perception in motor vehicles is possible.
Als ein erstes Modul der zur Durchführung des Verfahrens vorgesehenen erfindungsgemäßen Einrichtung ist als der mindestens eine erste Sensor zur Umfeldwahrnehmung ein als Fernbereichsradarsensor (Longe Range Radar, LRR) ausgebildeter Radarsensor vorgesehen. Dieser Radarsensor misst die von einem Reflektor zurückgestreute Leistung einer ausgesendeten Welle. Daher detektiert der Sensor insbesondere gut reflektierende metallische Objekte wie Fahrzeuge, aber ebenso bspw. Gullideckel oder metallisch beschichteteAs a first module of the device according to the invention provided for carrying out the method, a radar sensor designed as a long-range radar sensor (LRR) is provided as the at least one first sensor for perception of surroundings. This radar sensor measures the power of a transmitted wave backscattered by a reflector. Therefore, the sensor detects in particular highly reflective metallic objects such as vehicles, but also, for example, Gullideckel or metallically coated
Lebensmittelverpackungen, die für die Fahrzeugführung typischerweise nicht relevant sind. Ein derartiger Sensor kann jedoch nicht die räumliche Ausdehnung von Objekten detektieren. Ebenso kann dieser Sensor keine freien Flächen detektieren.Food packaging that is typically not relevant to vehicle guidance. However, such a sensor can not detect the spatial extent of objects. Likewise, this sensor can not detect any free surfaces.
Als ein weiteres Modul der Einrichtung kann ein Videosensor als der mindestens eine erste und/oder zweite Sensor vorgesehen sein. Videosensoren sind dazu ausgebildet, mit einer Videokamera das Fahrzeugumfeld zu erfassen und die aufgenommenen Bilder mit einer entsprechenden Signalverarbeitung auszuwerten. Die für die Fahrzeugführung insbesondere interessanten kinematischen Größen Abstand und Geschwindigkeit werden allerdings nicht direkt gemessen. Videosensoren sind jedoch zur Vermessung von geometrischen Objekten wieAs a further module of the device, a video sensor may be provided as the at least one first and / or second sensor. Video sensors are designed to capture the vehicle environment with a video camera and to evaluate the recorded images with a corresponding signal processing. However, the kinematic variables distance and speed, which are of particular interest for the vehicle guidance, are not measured directly. However, video sensors are for surveying geometric objects such as
Fahrbahnmarkierungen, die in der Regel bekannten Modellen folgen, gut geeignet. Insbesondere bei den für die Anwendung in Kraftfahrzeugen aus Kosten- und Handhabungsgründen besonders geeigneten monoskopischen Verfahren kann eine direkte dreidimensionale Vermessung mit explizitem a-priori Wissen, bspw. durch Einsatz von Mustererkennung, durchgeführt werden. Unbekannte Objekte können damit jedoch nicht unmittelbar vermessen werden. Doch gerade durch die Möglichkeit der Erkennung von optischen Mustern besitzen Videosensoren ein besonders großes Potential, so dass mit einer gewissen Sicherheit auch die Straßenoberfläche, typischerweise durch die spezifische Textur als freie Fläche, erkannt werden kann. Weiterhin kann bei einer Detektion eines Objekts durch das direkte optische Messverfahren mit einer gewissen Sicherheit darauf geschlossen werden, dass die Strecke bis zu diesem Objekt nicht belegt und somit frei ist.Road markings, which usually follow known models, well suited. Particularly in the case of the monoscopic methods which are particularly suitable for use in motor vehicles for cost and handling reasons, a direct three-dimensional measurement can be carried out with explicit a-priori knowledge, for example by using pattern recognition. However, unknown objects can not be measured directly. However, it is precisely through the possibility of detecting optical patterns that video sensors have a particularly great potential, so that with a certainty the road surface can also be recognized, typically by the specific texture as free area. Farther can be concluded in a detection of an object by the direct optical measurement method with a certainty that the route is not occupied up to this object and thus free.
Ein Lidarsensor als ein erster und/oder zweiter Sensor der Einrichtung ermittelt in der Regel einen Abstand zu einem reflektierenden Objekt durch direkte Messung einer Laufzeit von ausgesendeten Welle. Aufgrund der Wellenlänge im Infrarot-Bereich ist eine gewisse Abhängigkeit der Erfassungsreichweite von den Umweltbedingungen gegeben. Zusätzlich kann die Erfassungsreichweite von den Reflexionseigenschaften des zu detektierenden Ziels abhängen. Lidarsensoren mit feststehenden Strahlen sind relativ kostengünstig zu realisieren, abtastende bzw. scannende Lidarsensoren (Laserscanner) ermöglichen zudem zumindest horizontal eine hohe Auflösung und einen großen Erfassungswinkel. Ebenso wie bei Videosensoren kann bei einer Detektion eines Objekts durch das direkte optische Messverfahren mit einer gewissen Sicherheit darauf geschlossen werden, dass die Strecke bis zu diesem Objekt nicht belegt und somit frei ist.A lidar sensor as a first and / or second sensor of the device usually determines a distance to a reflecting object by direct measurement of a propagation time of the emitted wave. Due to the wavelength in the infrared range, there is a certain dependence of the detection range on the environmental conditions. In addition, the detection range may depend on the reflection characteristics of the target to be detected. Lidar sensors with fixed beams are relatively inexpensive to implement, scanning or scanning Lidarsensoren (laser scanner) also allow at least horizontally high resolution and a large detection angle. Just as with video sensors, it can be concluded with a certainty that the distance up to this object is not occupied and thus free when a object is detected by the direct optical measuring method.
Das erfindungsgemäße Computerprogramm mit Programmcodemitteln ist dazu ausgebildet, alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer erfindungsgemäßen Einrichtung, ausgeführt wird.The computer program with program code means according to the invention is designed to perform all steps of a method according to the invention when the computer program is executed on a computer or a corresponding computing unit, in particular in a device according to the invention.
Die Erfindung betrifft zudem ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer erfindungsgemäßen Einrichtung, ausgeführt wird.The invention also relates to a computer program product with program code means which are stored on a computer-readable data carrier in order to carry out all the steps of a method according to the invention, when the computer program is executed on a computer or a corresponding computing unit, in particular in a device according to the invention.
Mit der vorliegenden Erfindung wird ein Verfahren zur gemeinsamen Verarbeitung und Fusion von Daten aus Objekt- und/oder Merkmalserkennung sowie Freiflächenerkennung mit einer zellgitterbasierten Umfeldmodellierung für Einrichtungen, wie bspw. Fahrerassistenzsysteme und insbesondere für prädiktive Sicherheitssysteme, bereitgestellt.The present invention provides a method for the joint processing and fusion of data from object and / or feature recognition as well as free area recognition with a cell grid-based environment modeling for facilities, such as driver assistance systems and in particular for predictive security systems.
In Ausgestaltung der Erfindung wird jeweils mindestens ein erster und/oder zweiter Sensor zur Umfelderfassung für Kraftfahrzeuge eingesetzt, der neben Objekten auch freie, d. h. befahrbare Flächen, direkt oder indirekt erfassen kann. Zur Verarbeitung von Daten dieser Sensoren wird mit der Erfindung ein Verfahren sowie eine Einrichtung zur konsistenten Umfeldbeschreibung bereitgestellt. Somit ist eine gemeinsame Verarbeitung und Fusion von Daten aus Objekt- und/oder Merkmalserkennung sowie Freiflächenerkennung von Sensoren zur Umfeldwahrnehmung für Kraftfahrzeuge möglich.In an embodiment of the invention, in each case at least one first and / or second sensor for environment detection is used for motor vehicles, in addition to objects also free, ie passable Areas, directly or indirectly. For processing data from these sensors, the invention provides a method and a device for a consistent environment description. Thus, a common processing and fusion of data from object and / or feature recognition and free space detection of sensors for environment perception for motor vehicles is possible.
Im Bereich der Fahrerassistenzsysteme ist mit dem sog. Adaptive Cruise Control (ACC) eine Komfortfunktion bekannt. Mit der Systemfamilie Predictive Safety Systems (PSS) sind außerdem Sicherheitsfunktionen im Markt eingeführt. Bei Komfortsystemen finden nur verhältnismäßig geringe Eingriffe in die Fahrzeugführung statt, wohingegen bei Sicherheitssystemen die Eingriffe bspw. bis hin zu einer vollautomatischen Notbremsung mit maximaler Verzögerung gehen. Es ist bekannt, dass Komfortfunktionen und Sicherheitsfunktionen unterschiedliche Anforderungen an die Objekthypothesen der Umfeldwahrnehmung stellen und dass insbesondere Sicherheitsfunktionen sehr hohe Anforderungen an die Fehlauslöseraten solcher Systeme und damit auch die Signalverarbeitung der Umfeldwahrnehmung für solche Systeme stellen.In the field of driver assistance systems, a comfort function is known with the so-called Adaptive Cruise Control (ACC). The Predictive Safety Systems (PSS) system family also introduces safety features into the market. In comfort systems, only relatively minor interventions in the vehicle guidance take place, whereas in safety systems the interventions, for example, go up to fully automatic emergency braking with maximum deceleration. It is known that comfort functions and security functions make different demands on the object hypotheses of the perception of the surroundings, and that, in particular, security functions place very high demands on the false trigger rates of such systems and thus also the signal processing of the perception of surroundings for such systems.
Fahrerassistenz- und Sicherheitssysteme aus dem Stand der Technik basieren i. d. R. auf einem Radarsensor. Dieser Sensor kann nur Objekte aber keine freien Flächen detektieren. Andere Sensoren können auch explizit freie Flächen erfassen. Die integrierte Verarbeitung und Beschreibung von befahrbaren und nicht-befahrbaren Flächen bietet einen Nutzengewinn für Assistenzsysteme und insbesondere für Sicherheitssysteme.Driver assistance and safety systems of the prior art are based i. d. R. on a radar sensor. This sensor can detect only objects but no free surfaces. Other sensors can also explicitly detect free areas. The integrated processing and description of drivable and non-drivable areas offers benefits for assistance systems and in particular for safety systems.
Das vorliegende Verfahren bietet durch Nutzung der Dempster-Shafer-Theorie u.a. eine konsistente und leicht zu implementierende Rechenvorschrift zur gemeinsamen und integrierten Verarbeitung von Sensordaten aus Objekt- und/oder Merkmalserkennung, die z. B. aus Radar-,The present method provides, among others, by using the Dempster-Shafer theory. a consistent and easy to implement calculation rule for the common and integrated processing of sensor data from object and / or feature recognition, the z. From radar,
Lidar- und/oder Videoerfassung erfolgen kann, und einer Freiflächenerkennung, die regelmäßig aus einer Lidar- und/oder Videoerfassung bereitgestellt wird.Lidar- and / or video capture can be done, and a free surface recognition, which is provided regularly from a lidar and / or video capture.
Für eine als Assistenzsystem ausgebildete Einrichtung wird in Ausgestaltung der Erfindung der interessierende Bereich des Fahrzeugumfeldes in eine vorgegebene Anzahl von n Zellen aufgeteilt.For a device designed as an assistance system, in an embodiment of the invention the area of interest of the vehicle environment is divided into a predetermined number of n cells.
Für jede dieser n Zellen kann ein Attribut berechnet und abgespeichert werden, das die Wahrscheinlichkeit
Figure imgf000010_0001
angibt, dass die Zelle i durch ein für die Fahrzeugführung relevantes Objekt belegt und demnach nicht befahrbar ist. Zusätzlich kann auch ein Attribut dafür berechnet und abgespeichert werden, dass die WahrscheinlichkeitFor each of these n cells, an attribute can be calculated and stored that determines the probability
Figure imgf000010_0001
indicates that the cell i is occupied by an object relevant for the vehicle guidance and is therefore not passable. In addition, an attribute can also be used calculated and stored that the probability
P1(Zm) = P1(Z) angibt, dass die Zelle i nicht durch ein für die Fahrzeugführung relevantes Objekt belegt und demnach befahrbar ist.P 1 (Zm) = P 1 (Z) indicates that the cell i is not occupied by an object relevant to the vehicle guidance and is therefore passable.
In einer Ausführungsform der Erfindung ist mindestens ein Sensor der Einrichtung in der Lage, innerhalb seines gegebenen Detektionsbereiches belegte, d. h. nicht-befahrbare Gebiete oder Bereiche und somit auch Flächen zu detektieren und darauf basierend auch die Wahrscheinlichkeit anzugeben, mit der diese Gebiete belegt sind. Dies kann bspw. ein objekterkennender Sensor, z. B. Radar, Video oder Lidar, sein. Hierzu ist insbesondere der Sensor LRR2 geeignet, der typischerweise die Umfeldbeschreibung zu sogenannten Objektlisten oder durch Ortungslisten abstrahiert. Des weiteren wird durch ein entsprechendes Sensormodell die Umfeldbeschreibung des mindestens einen ersten Sensors auf die Wahrscheinlichkeitsattribute der Zellen umgerechnet.In one embodiment of the invention, at least one sensor of the device is able to occupy, within its given detection range, d. H. detect non-drivable areas or areas and thus also areas and, based on this, also indicate the probability with which these areas are occupied. This may, for example, an object-recognizing sensor, for. Radar, video or lidar. For this purpose, the sensor LRR2 is particularly suitable, which typically abstracts the environment description to so-called object lists or by location lists. Furthermore, the environment description of the at least one first sensor is converted to the probability attributes of the cells by means of a corresponding sensor model.
Mindestens ein weiterer zweiter Sensor der Einrichtung kann in der Lage sein, Freiflächen, also nicht belegte, d. h. befahrbare Gebiete innerhalb seines gegebenen Detektionsbereiches, zu erfassen und darauf basierend auch die Wahrscheinlichkeit dafür anzugeben, mit der diese Gebiete frei sind. Dies muss nicht notwendigerweise ein getrenntes Sensorsystem sein, wobei ein in einem Videosensor ablaufender Algorithmus zur Freiflächendetektion vorgesehen sein kann. Die Abhängigkeiten, die dadurch entstehen können, dass der zwar getrennt laufende Algorithmus u. a. die gleiche Hardware zur Bilderfassung und damit dass gleiche Bild wie die Algorithmen zur Objekterkennung verwendet, können in den Wahrscheinlichkeitsattributen berücksichtigt werden, die in der Regel durch die Sensormodelle berechnet werden.At least one other second sensor of the device may be able to open spaces, so not occupied, d. H. drivable areas within its given detection range, and to indicate based on this, the probability that these areas are free. This does not necessarily have to be a separate sensor system, whereby a free-space detection algorithm running in a video sensor can be provided. The dependencies that can arise from the fact that the algorithm may run separately. a. The same image capture hardware and the same image as the object recognition algorithms can be taken into account in the probability attributes, which are typically calculated by the sensor models.
Es kann auch ein Sensor eingesetzt werden, der Freiflächeninformationen aus Belegtheitsinformation entsprechend seines Messprinzips ableitet.It is also possible to use a sensor which derives free area information from occupancy information in accordance with its measurement principle.
In der Regel ist vorgesehen, dass für jede Zelle i des Wahrscheinlichkeitszellgitters nun die Dempster-Shafer-Theorie zur Sensordatenfusion angewendet wird.As a rule, it is provided that the Dempster-Shafer theory for sensor data fusion is now used for each cell i of the probability cell grid.
Für den LRR2-Sensor wird ein solches Sensormodell üblicherweise basierend auf Ortungslisten benutzt. Für den Videosensor wird ein solches Sensormodell in der Regel auf Merkmalslisten basierend verwendet. Der Wahrnehmungsrahmen sei Θ = {b}, {/}, also belegt und frei. Die Dempster- Kombinationsregel erlaubt es, zwei Beobachtungen unter Berücksichtigung der bekannten Unsicherheiten zusammenfassen:For the LRR2 sensor, such a sensor model is usually used based on location lists. For the video sensor, such a sensor model is usually used based on feature lists. The perceptual framework is Θ = {b}, {/}, that is occupied and free. The Dempster Combination Rule allows two observations to be summarized taking into account the known uncertainties:
Figure imgf000012_0001
Figure imgf000012_0001
Figure imgf000012_0002
Figure imgf000012_0002
Die verbleibende Unsicherheit ergibt sich implizit zuThe remaining uncertainty implicitly increases
mjß) = \ - mjt>)- mjj) (13)mjss) = \ - mjt>) - mjj) (13)
In einem ersten Beispiel zur Verwendung der Dempster-Shafer-Theorie wird eine bestimmte Zelle i innerhalb des Zellgebietes zur Umfeldbeschreibung betrachtet. Ein erster Sensor sei ein objekterkennender Sensor, der keine Freiflächeninformation ermittelt oder ableiten kann. Für die betrachtete Zelle i sei die aktuelle Schätzung der Wahrscheinlichkeitsattribute des Sensors:In a first example of using the Dempster-Shafer theory, a particular cell i within the cell area is considered as the environment description. A first sensor is an object-recognizing sensor that can not detect or derive any open space information. For the considered cell i let be the current estimate of the probability attributes of the sensor:
In2(O) = 0.4 (14)
Figure imgf000012_0003
m2(Θ) = 0.6 (16)In 2 (O) = 0.4 (14)
Figure imgf000012_0003
m 2 (Θ) = 0.6 (16)
Ein zweiter Sensor sei ein objekterkennender Sensor, der mit einem zusätzlichen Algorithmus aus seinen Sensorrohdaten ebenfalls eine Wahrscheinlichkeit für die Freiheit der Zelle angeben kann. Die verschiedenen Algorithmen liefern leicht widersprüchliche Aussagen mit einer verbleibenden Unsicherheit:A second sensor is an object-recognizing sensor, which can also specify a probability for the freedom of the cell with an additional algorithm from its sensor raw data. The different algorithms provide slightly contradictory statements with a remaining uncertainty:
m2(6) = 0.3 (17) m2(/) = 0.2 (18) m2(Θ) = 0.5 (19) Nach Gleichung (11) ergibt sich nun die resultierende Wahrscheinlichkeit, dass die Zelle belegt ist zum 2 (6) = 0.3 (17) m 2 (/) = 0.2 (18) m 2 (Θ) = 0.5 (19) Equation (11) now gives the resulting probability that the cell is occupied
™res{b) = mι®m2{b) (20)™ res {b) m = ι ®m 2 {b) (20)
_
Figure imgf000013_0001
0.4 0.3 + 0.6 0.3 + 0.4 0.5 0.5_
Figure imgf000013_0001
0.4 0.3 + 0.6 0.3 + 0.4 0.5 0.5
= 0.5435 (22)= 0.5435 (22)
1-0.00.3-0.2 0.4 0.921-0.00.3-0.2 0.4 0.92
Die resultierende Wahrscheinlichkeit, dass die Zelle frei ist, ist nach Gleichung (12):
Figure imgf000013_0002
The resulting probability that the cell is vacant is according to equation (12):
Figure imgf000013_0002
_mι(f)m2(f)+ Tn1 (θ) τn2 (/) + Tn1 (/) τn2 _m ι (f) m 2 (f) + Tn 1 (θ) τn 2 (/) + Tn 1 (/) τn 2
(24)(24)
1-/W1 (6) /W2 (Z)-W2 (6) /W1(Z) 0.0 -0.2 + 0.6 -0.2 + 0.0 -0.5 0.121- / W 1 (6) / W 2 (Z) -W 2 (6) / W 1 (Z) 0.0 -0.2 + 0.6 -0.2 + 0.0 -0.5 0.12
= 0.1304 (25)= 0.1304 (25)
1-0.40.2 -0.2 0.0 0.921-0.40.2 -0.2 0.0 0.92
Die verbleibende Unsicherheit ergibt sich nach Gleichung (13) zuThe remaining uncertainty is given by Equation (13)
mres(Θ) = l-mres(b)-mres(f) (26)m res (Θ) = lm res (b) -m res (f) (26)
= 1-0.5435-0.1304 = 0.3261 (27)= 1-0.5435-0.1304 = 0.3261 (27)
Im Rahmen eines zweiten Beispiels für die Dempster-Shafer-Theorie wird eine weitere Zelle j innerhalb des Zellgebietes zur Umfeldbeschreibung betrachtet. Der erste Sensor sei der gleiche objekterkennender Sensor wie aus dem ersten Beispiel. Für die betrachtete Zelle j sei die aktuelle Schätzung der Wahrscheinlichkeitsattribute des SensorsAs part of a second example of the Dempster-Shafer theory, another cell j within the cell area is considered as an environment description. The first sensor is the same object-recognizing sensor as in the first example. For the considered cell, let j be the current estimate of the probability attributes of the sensor
Figure imgf000013_0003
Figure imgf000013_0003
In1(Q) = 0.5 (30) Der zweite Sensor sei der gleiche objekterkennender Sensor wie aus dem ersten Beispiel, der mit einem zusätzlichen Algorithmus aus seinen Sensorrohdaten ebenfalls eine Wahrscheinlichkeit für die Freiheit bzw. Nicht-Belegung der Zelle angeben kann. Allerdings befindet sich nun die betrachtete Zelle außerhalb des Detektionsbereichs des zweiten Sensors. Somit kann der Sensor keine Aussage über diese Zelle machen, die Unsicherheit ist demnach 1.In 1 (Q) = 0.5 (30) The second sensor is the same object-recognizing sensor as in the first example, which can also specify a probability for the freedom or non-occupancy of the cell with an additional algorithm from its sensor raw data. However, the considered cell is now outside the detection range of the second sensor. Thus, the sensor can make no statement about this cell, the uncertainty is therefore 1.
In2(O) = O-O (31)
Figure imgf000014_0001
m2(Θ) = 1.0 (33)In 2 (O) = OO (31)
Figure imgf000014_0001
m 2 (Θ) = 1.0 (33)
Es ergibt sich nach Anwendung der Kombinationsregeln für die resultierenden Wahrscheinlichkeiten:It results after applying the combination rules for the resulting probabilities:
mies(b) = 0.5 (34) mres (/) = 0.0 (35) mres (Θ) = 0.5 (36)m ies (b) = 0.5 (34) m res (/) = 0.0 (35) m res (Θ) = 0.5 (36)
die der Schätzung des ersten Sensors entsprechen. Dies ist die offensichtliche Lösung, da der zweite Sensor keine Informationen zur Schätzung beigetragen hat.that correspond to the estimate of the first sensor. This is the obvious solution because the second sensor did not contribute any information to the estimate.
Für das angegebene Verfahren kann bei Einsatz mehrerer Sensoren die Detektionssicherheit für die Belegtheit und damit für die Nicht-Befahrbarkeit sowie für die Freiheit und damit für dieFor the specified method, the detection reliability for the occupancy and thus for the non-trafficability as well as for the freedom and thus for the
Befahrbarkeit von Gebieten oder Flächen verbessert werden, wobei weiterhin die verbleibendeTrafficability of areas or areas, with the remaining
Unsicherheit reduziert werden kann.Uncertainty can be reduced.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Figur 1 zeigt Diagramme zu einem dritten Beispiel einer Anwendung der Dempster-Shafer-FIG. 1 shows diagrams for a third example of an application of the Dempster-Shafer
Theorie.Theory.
Figur 2 zeigt ein Diagramm zu einer Ausführungsform eines erfindungsgemäßen Verfahrens. Figur 3 zeigt in schematischer Darstellung eine Ausfuhrungsform einer erfmdungsgemäßen Einrichtung.FIG. 2 shows a diagram of an embodiment of a method according to the invention. FIG. 3 shows a schematic representation of an embodiment of a device according to the invention.
Ausführungsformen der ErfindungEmbodiments of the invention
Figur 1 zeigt ein erstes Diagramm 102, ein zweites Diagramm 104 sowie ein drittes Diagramm 106 für ein drittes numerisches Beispiel für Anwendung der Dempster-Shafer-Theorie. Bei diesem dritten Beispiel wird eine eindimensionale Szene betrachtet. Dabei ist ein Zustandsraum in allen drei Diagrammen 102, 104, 106, hier in Richtung der horizontal orientierten Achsen 108, in einen longitudinalen Abstand von 1 bis 100 Metern aufgeteilt, wobei jeweils eine Zelle eine Größe von 1 m aufweist. In dem ersten Diagramm 102 sind entlang der vertikal orientierten Achse 110 für zwei Sensoren Kurven für eine Wahrscheinlichkeit pbeiegt aufgetragen. In dem zweiten Diagramm 104 sind entlang der vertikal orientierten Achse 112 für zwei Sensoren Kurven für eine Wahrscheinlichkeit pfrei aufgetragen. In dem dritten Diagramm 106 sind entlang der vertikal orientierten Achse 114 für zwei Sensoren Kurven für eine Wahrscheinlichkeit Punsicher aufgetragen.FIG. 1 shows a first diagram 102, a second diagram 104 and a third diagram 106 for a third numerical example for the application of the Dempster-Shafer theory. In this third example, a one-dimensional scene is considered. In this case, a state space in all three diagrams 102, 104, 106, here in the direction of the horizontally oriented axes 108, is divided into a longitudinal distance of 1 to 100 meters, one cell each having a size of 1 m. In the first diagram 102, curves for a probability pbe g t are plotted along the vertically oriented axis 110 for two sensors. In the second diagram 104, curves for a probability p are freely plotted along the vertically oriented axis 112 for two sensors. In the third diagram 106 114 for two sensors curves for a probability P i us cher are plotted along the vertically oriented axis.
In dem vorliegenden dritten Beispiel detektiert ein erster Sensor ein Objekt bei dist = 70 m mit einem Gauß-verteilten Messfehler mit sigma = 1 (erste Kurve 116 im ersten Diagramm 102). Dieser erste Sensor detektiert weiterhin eine Freifläche mit p frei(l) = 0.3 linear abfallend bis p frei(66) = 0.0 (erste Kurve 118, zu zweitem Diagramm 104).In the present third example, a first sensor detects an object at dist = 70 m with a Gaussian distributed measurement error with sigma = 1 (first curve 116 in the first diagram 102). This first sensor further detects an open area with p free (l) = 0.3 linearly sloping to p free (66) = 0.0 (first curve 118, second diagram 104).
Ein zweiter Sensor detektiert ein Objekt bei dist = 68m mit einem Gauß-verteilten Messfehler mit sigma=2 (zweite Kurve 120 im ersten Diagramm 102). Dieser zweite Sensor detektiert weiterhin eine Freifläche mit p frei(l) = 0.6, deren Wahrscheinlichkeit zunächst flach und dann stark bis p frei(61) = 0.0 abfällt (zweite Kurve 122, im zweiten Diagramm 104). Im dritten Diagramm 106 ist entlang der vertikalen Achse 114 die Wahrscheinlichkeit der Unsicherheit Punsicher für den ersten Sensor die erste Kurve 124 und für den zweiten Sensor die Kurve 126 aufgetragen.A second sensor detects an object at dist = 68m with a Gaussian distributed measurement error with sigma = 2 (second curve 120 in the first diagram 102). This second sensor further detects an open area with p free (l) = 0.6, the probability of which is initially flat and then strongly drops to p free (61) = 0.0 (second curve 122, in the second diagram 104). In the third diagram 106 along the vertical axis 114, the probability of uncertainty P us cher for the first sensor, the first curve 124 and the second sensor, the curve 126 plotted.
Die dritten Kurven 128, 130, 132 zeigen in den jeweiligen Diagrammen 102, 104, 106 entlang der jeweils vertikal orientierten Achsen 110, 112, 114 die resultierenden Wahrscheinlichkeiten fürThe third curves 128, 130, 132 in the respective diagrams 102, 104, 106 along the respective vertically oriented axes 110, 112, 114 show the resulting probabilities for
Pbeiegt, Pfrei und Punsicher- Für jede Quantisierungszelle wurden nach der Dempster- Kombinationsregel Pbeiegt und pfrei berechnet und dann abgeleitet. Figur 2 zeigt ein Diagramm zu einer Ausfuhrungsform des erfindungsgemäßen Verfahrens zum Erkennen eines Umfelds. Dabei erfolgt zunächst jeweils ein Erkennen 202 von Objekten mittels mindestens eines ersten Sensors und ein Erkennen 204 von freien Gebieten mittels mindestens eines zweiten Sensors. Für die durch diese Sensoren bereitgestellten Daten erfolgt eine gemeinsame Verarbeitung 206, die in der vorliegenden Ausführungsform auch eine Fusionierung dieser Daten umfasst.Pbeiegt, Pfrei und Punsicher- For each quantization cell Pbe and p fre i were calculated and then derived according to the Dempster combination rule. FIG. 2 shows a diagram of an embodiment of the method according to the invention for recognizing an environment. In each case, recognition 202 of objects by means of at least one first sensor and recognition 204 of free regions by means of at least one second sensor are initially carried out. For the data provided by these sensors, a common processing 206 takes place, which in the present embodiment also includes a fusion of these data.
Auf Grundlage dieser Verarbeitung 206 wird eine Wahrscheinlichkeit 208 dafür, dass mindestens ein Gebiet des Umfelds frei ist, bereitgestellt.Based on this processing 206, a probability 208 that at least one area of the environment is free is provided.
Figur 3 zeigt in schematischer Darstellung ein Fahrzeug 302, das eine schematisch dargestellte Ausführungsform einer erfindungsgemäßen Einrichtung 304 aufweist. Diese Ausführungsform der erfindungsgemäßen Einrichtung 304 umfasst einen ersten Sensor 306, einen zweiten Sensor 308 sowie ein Verarbeitungsmodul 310.FIG. 3 shows, in a schematic representation, a vehicle 302 which has a schematically illustrated embodiment of a device 304 according to the invention. This embodiment of the device 304 according to the invention comprises a first sensor 306, a second sensor 308 and a processing module 310.
Die Darstellung zeigt ebenfalls schematisch ein Umfeld 312 des Fahrzeugs 302. Dieses Umfeld 312 ist in Zellen 314, 316, 318, 320, 322, 324 , 326, 328, 330 aufgeteilt, wobei vorgesehen ist, dass sich in den Zellen 322, 324, 328, 330 ein Objekt 332 befindet. Die anderen Zellen 314, 316, 318, 320 und 326 sind in der vorliegenden Ausführungsform frei.The diagram also schematically shows an environment 312 of the vehicle 302. This environment 312 is divided into cells 314, 316, 318, 320, 322, 324, 326, 328, 330, it being provided that in the cells 322, 324, 328, 330 is an object 332. The other cells 314, 316, 318, 320 and 326 are free in the present embodiment.
Der erste Sensor 306 ist zum Erkennen des Objekts 332 in dem Umfeld 312 ausgebildet. Der zweite Sensor 308 ist zur Erkennung von freien Zellen 314, 316, 318, 320, 326, aus denen hier ein freies Gebiet zusammengesetzt ist, ausgebildet. Daten zum Erkennen des Objekts 332, die von dem ersten Sensor 306 bereitgestellt werden, sowie Daten zum Erkennen von freien Zellen 314, 316, 318, 320, 326, die mittels des zweiten Sensors 308 bereitgestellt werden, werden mit demThe first sensor 306 is configured to detect the object 332 in the environment 312. The second sensor 308 is configured to detect free cells 314, 316, 318, 320, 326, of which a free area is composed here. Data for detecting the object 332 provided by the first sensor 306, as well as data for detecting free cells 314, 316, 318, 320, 326 provided by the second sensor 308, are provided with the
Verarbeitungsmodul 310 gemeinsam verarbeitet und in diesem Zusammenhang in der vorliegenden Ausführungsform auch fusioniert. Mit dem Verarbeitungsmodul 310 wird somit basierend auf diesen bereitgestellten Daten eine Wahrscheinlichkeit dafür bereitgestellt, dass das aus den freien Zellen 314, 316, 318, 320, 326 zusammengesetzte Gebiet des Umfelds frei und somit von dem Fahrzeug 302 zu befahren ist, ohne dass es zu einer Kollision mit dem Objekt 332 kommt. Processing module 310 processed together and merged in this context in the present embodiment also. The processing module 310 thus provides, on the basis of this provided data, a probability that the area of the environment composed of the free cells 314, 316, 318, 320, 326 is free to travel and therefore accessible by the vehicle 302 a collision with the object 332 comes.

Claims

Ansprüche claims
1. Verfahren zum Erkennen eines Umfelds (312), bei dem Daten zum Erkennen von Objekten (332) in dem Umfeld (312) und Daten zum Erkennen von freien Gebieten in dem Umfeld (312) gemeinsam verarbeitet werden und eine Wahrscheinlichkeit dafür, dass mindestens ein Gebiet des Umfelds (312) frei ist, bereitgestellt wird.A method of detecting an environment (312) in which data for recognizing objects (332) in the environment (312) and data for detecting free areas in the environment (312) are processed together and a probability that at least an area of the environment (312) is free.
2. Verfahren nach Anspruch 1, bei dem die Daten zum Erkennen von Objekten (332) in dem Umfeld (312) mit Daten zum Erkennen von freien Gebieten in dem Umfeld fusioniert werden.The method of claim 1, wherein the data for recognizing objects (332) in the environment (312) is fused with data for recognizing free areas in the environment.
3. Verfahren nach Anspruch 1 oder 2, bei dem das Umfeld (312) in Zellen (314, 316, 318, 320, 322, 324, 326, 328, 330) aufgeteilt wird.The method of claim 1 or 2, wherein the environment (312) is divided into cells (314, 316, 318, 320, 322, 324, 326, 328, 330).
4. Verfahren nach einem der voranstehenden Ansprüche, bei dem eine zellgitterbasierte Modellierung des Umfelds (312) durchgeführt wird.4. The method according to any one of the preceding claims, wherein a cell grid-based modeling of the environment (312) is performed.
5. Verfahren nach Anspruch 3 oder 4, bei dem für eine Zelle (314, 316, 318, 320, 322, 324, 326, 328, 330) ein Attribut dafür bereitgestellt wird, dass diese Zelle (314, 316, 318, 320, 322, 324, 326, 328, 330) mit einem Objekt (332) belegt ist.The method of claim 3 or 4, wherein an attribute is provided for a cell (314, 316, 318, 320, 322, 324, 326, 328, 330) such that this cell (314, 316, 318, 320 , 322, 324, 326, 328, 330) is occupied by an object (332).
6. Verfahren nach Anspruch 5, bei dem durch ein Sensormodell eine Umfeldbeschreibung mindestens eines zum Erkennen des Umfelds (312) ausgebildeten Sensors (306, 308) auf das Attribut der Zelle (314, 316, 318, 320, 322, 324, 326, 328, 330) umgerechnet wird.6. Method according to claim 5, in which by means of a sensor model an environment description of at least one sensor (306, 308) designed to recognize the environment (312) is applied to the attribute of the cell (314, 316, 318, 320, 322, 324, 326, 328, 330) is converted.
7. Verfahren nach einem der voranstehenden Ansprüche, bei dem Daten zum Erkennen der7. The method according to any one of the preceding claims, wherein the data for recognizing the
Objekte (332) von mindestens einem ersten Sensor (306) und Daten zum Erkennen von freien Gebieten von mindestens einem zweiten Sensor (308) bereitgestellt werden. Objects (332) of at least one first sensor (306) and data for detecting free areas of at least one second sensor (308) are provided.
8. Verfahren nach einem der Ansprüche 3 bis 7, bei dem für jede Zelle (314, 316, 318, 320, 322, 324, 326, 328, 330) die Dempster-Shafer-Theorie zur Sensordatenfusion angewendet wird.A method according to any of claims 3 to 7, wherein for each cell (314, 316, 318, 320, 322, 324, 326, 328, 330) the Dempster-Shafer theory for sensor data fusion is applied.
9. Verfahren nach einem der voranstehenden Ansprüche, bei dem eine Wahrscheinlichkeit dafür, dass eine Fläche des mindestens einen Gebiets befahrbar ist, bereitgestellt wird.9. The method according to any one of the preceding claims, wherein a probability that an area of the at least one area is passable is provided.
10. Einrichtung zum Erkennen eines Umfelds (312), die dazu ausgebildet ist, Daten zum Erkennen von Objekten (332) in dem Umfeld (312) und Daten zum Erkennen von freien Gebieten in dem Umfeld (312) gemeinsam zu verarbeiten und eine Wahrscheinlichkeit dafür, dass mindestens ein Gebiet des Umfelds (312) frei ist, bereitzustellen.10. An environment recognizer (312) configured to collect data for recognizing objects (332) in the environment (312) and data for recognizing free areas in the environment (312) and a probability thereof in that at least one region of the environment (312) is free to provide.
11. Computerprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer Einrichtung (304) nach Anspruch 10, ausgeführt wird.Computer program with program code means for carrying out all the steps of a method according to one of Claims 1 to 9, when the computer program is executed on a computer or a corresponding arithmetic unit, in particular in a device (304) according to Claim 10.
12. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer Einrichtung (304) nach Anspruch 10, ausgeführt wird. A computer program product comprising program code means stored on a computer readable medium for carrying out all the steps of a method according to any one of claims 1 to 9, when the computer program is stored on a computer or a corresponding processing unit, in particular in a device (304) according to claim 10, is performed.
PCT/EP2007/058474 2006-10-02 2007-08-15 Method of recognition of surroundings WO2008040593A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006046843.0 2006-10-02
DE102006046843A DE102006046843A1 (en) 2006-10-02 2006-10-02 Motor vehicle surrounding detecting method for use in area of driver assistance system, involves processing data for detecting objects and free area in surrounding of motor vehicle, and dividing surrounding into cells with attributes

Publications (1)

Publication Number Publication Date
WO2008040593A1 true WO2008040593A1 (en) 2008-04-10

Family

ID=38986627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/058474 WO2008040593A1 (en) 2006-10-02 2007-08-15 Method of recognition of surroundings

Country Status (2)

Country Link
DE (1) DE102006046843A1 (en)
WO (1) WO2008040593A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835948B2 (en) * 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8634593B2 (en) 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8421859B2 (en) 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
DE102009006214B4 (en) * 2009-01-27 2022-10-13 Volkswagen Ag Method for providing a representation of the surroundings of a vehicle
DE102015107392A1 (en) 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Method for detecting an object in an environment of a motor vehicle based on fused sensor data, control device, driver assistance system and motor vehicle
DE102015107391A1 (en) 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Method for controlling a functional device of a motor vehicle on the basis of fused sensor data, control device, driver assistance system and motor vehicle
DE102015008539A1 (en) 2015-07-02 2017-01-05 Daimler Ag Method for merging a plurality of information sources for object detection and method for operating a driver assistance device
DE102016210890A1 (en) * 2016-06-17 2017-12-21 Robert Bosch Gmbh Concept for monitoring an environment of a motor vehicle traveling within a parking lot
DE102017216267B4 (en) * 2017-09-14 2020-02-06 Robert Bosch Gmbh Method and device for data reduction of feature-based environment information of a driver assistance system
DE102020211881A1 (en) 2020-09-23 2022-03-24 Robert Bosch Gesellschaft mit beschränkter Haftung Device and method for securing a travel trajectory of an ego vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004007553A1 (en) * 2004-02-17 2005-09-01 Daimlerchrysler Ag Detecting device and safety system for a motor vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004007553A1 (en) * 2004-02-17 2005-09-01 Daimlerchrysler Ag Detecting device and safety system for a motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG QI ET AL: "Combining Camera and Laser Radar for ALV Navigation", LECTURE NOTES IN COMPUTER SCIENCE, SPRINGER VERLAG, BERLIN, DE, vol. 1351, 8 January 1998 (1998-01-08), pages 144 - 151, XP009095719, ISSN: 0302-9743 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835948B2 (en) * 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors

Also Published As

Publication number Publication date
DE102006046843A1 (en) 2008-04-03

Similar Documents

Publication Publication Date Title
WO2008040593A1 (en) Method of recognition of surroundings
DE102009006113B4 (en) Device and method for sensor fusion with dynamic objects
EP2076420B1 (en) Method for automatically controlling a vehicle
EP1298454B1 (en) Method for recognising and tracking objects
EP2137042B1 (en) Method for object formation
DE102012216386A1 (en) Method for operating a driver assistance system of a vehicle
EP2200881B1 (en) Method for estimating the relative movement of video objects and driver assistance system for motor vehicles
DE102006061390A1 (en) Surroundings-sensing system for motor vehicle, is provided with sensor for detection of measuring signals for information about objects in surroundings of motor vehicle
DE102011111440A1 (en) Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment
DE102017217972A1 (en) Method and device for generating an inverse sensor model and method for detecting obstacles
DE102009006214B4 (en) Method for providing a representation of the surroundings of a vehicle
DE102017210955A1 (en) METHOD, DEVICE AND COMPUTER READABLE STORAGE MEDIUM WITH INSTRUCTIONS FOR RESOLVING REDUNDANCY OF TWO OR MORE REDUNDANT MODULES
EP1306690B1 (en) Method for recognising and tracking objects
WO2015010901A1 (en) Efficiently providing occupancy information on the surroundings of a vehicle
DE102018215753A1 (en) Device and method for determining a trajectory of a vehicle
DE102010003375B4 (en) Environment evaluation system in a vehicle with sensor means for detecting objects in the vicinity of the vehicle
WO2022247994A1 (en) System for sensor data fusion for environmental perception
DE102016220450A1 (en) Apparatus, means of transport and method for estimating a collision probability between a means of locomotion and an environment object
DE102022000849A1 (en) Method for generating an environment representation for a vehicle
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
DE102006051091B4 (en) Method for object recognition in vehicles by means of close-range detection
EP3248852B1 (en) Method for operating a processing device for sensor data of a sensor installed in a motor vehicle and motor vehicle
EP1884795B1 (en) Method for locating an object
DE102012104742A1 (en) Method and device for object detection
DE102017126183A1 (en) Method for detecting and classifying an object by means of at least one sensor device based on an occupancy map, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07788446

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 07788446

Country of ref document: EP

Kind code of ref document: A1