DE102018220113A1 - Device and method for detecting a sensor blockage of an environmental sensor - Google Patents
Device and method for detecting a sensor blockage of an environmental sensor Download PDFInfo
- Publication number
- DE102018220113A1 DE102018220113A1 DE102018220113.7A DE102018220113A DE102018220113A1 DE 102018220113 A1 DE102018220113 A1 DE 102018220113A1 DE 102018220113 A DE102018220113 A DE 102018220113A DE 102018220113 A1 DE102018220113 A1 DE 102018220113A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- sensor
- data
- raster
- surroundings
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007613 environmental effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 46
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 230000004807 localization Effects 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011109 contamination Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
- B60W2050/021—Means for detecting failure or malfunction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Die vorliegende Erfindung betrifft eine Vorrichtung (14) zum Erkennen einer Sensorblockade eines Umgebungssensors (16), mit: einer Schnittstelle (26) zum Empfangen von Umgebungssensordaten des Umgebungssensors mit Informationen zu Abständen zwischen Objekten (22) in einer Umgebung eines Fahrzeugs (10) und dem Fahrzeug, von Kartendaten einer Kartendatenbank (18) mit Informationen zu Positionen der Objekte in der Umgebung des Fahrzeugs sowie von Bewegungsdaten eines Bewegungssensors (20) mit Informationen zu einer Bewegung des Fahrzeugs in Bezug zu der Umgebung; einer ersten Rastereinheit (28) zum Erzeugen einer ersten Rasterdarstellung (40) der Umgebung des Fahrzeugs basierend auf den Umgebungssensordaten; einer Lokalisierungseinheit (30) zum Ermitteln einer Pose des Fahrzeugs mit Informationen zu einer Position und Orientierung des Fahrzeugs in Bezug zu der Umgebung basierend auf den Bewegungsdaten; einer zweiten Rastereinheit (32) zum Erzeugen einer entsprechend der ersten Rasterdarstellung ausgerichteten zweiten Rasterdarstellung (42) der Umgebung des Fahrzeugs basierend auf den Kartendaten und der Pose; und einer Auswerteeinheit (34) zum Ermitteln eines blockierten Bereichs (38) eines Sichtfelds des Umgebungssensors basierend auf der ersten Rasterdarstellung und der zweiten Rasterdarstellung. Die vorliegende Erfindung betrifft weiterhin ein Verfahren und ein System (12) zum Erkennen einer Sensorblockade eines Umgebungssensors.The invention relates to a device (14) for detecting a sensor blockage in an environment sensor (16), comprising: an interface (26) for receiving environment sensor data from the environment sensor with information on distances between objects (22) in an environment of a vehicle (10) and the vehicle, map data from a map database (18) with information on positions of the objects in the surroundings of the vehicle and movement data from a motion sensor (20) with information about movement of the vehicle in relation to the surroundings; a first raster unit (28) for generating a first raster representation (40) of the surroundings of the vehicle based on the surroundings sensor data; a localization unit (30) for determining a pose of the vehicle with information on a position and orientation of the vehicle in relation to the surroundings based on the movement data; a second raster unit (32) for generating a second raster representation (42) of the surroundings of the vehicle oriented according to the first raster representation based on the map data and the pose; and an evaluation unit (34) for determining a blocked area (38) of a field of view of the environmental sensor based on the first raster representation and the second raster representation. The present invention further relates to a method and a system (12) for detecting a sensor blockage in an environmental sensor.
Description
Die vorliegende Erfindung betrifft eine Vorrichtung zum Erkennen einer Sensorblockade eines Umgebungssensors sowie ein entsprechendes Verfahren. Die vorliegende Erfindung betrifft weiterhin ein System zum Erkennen einer Sensorblockade eines Umgebungssensors.The present invention relates to a device for detecting a sensor blockage of an environmental sensor and a corresponding method. The present invention further relates to a system for detecting a sensor blockage of an environmental sensor.
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.). umfassen eine Vielzahl an Systemen, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Fahrzeugs teil- oder vollautomatisiert steuern. Über Sensoren werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Durch die fortschreitende Entwicklung im Bereich der autonom und teilautonom fahrenden Fahrzeuge werden der Einfluss und der Wirkungsbereich solcher Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) immer größer. Durch die Entwicklung immer präziserer Sensoren ist es möglich, die Umgebung und den Verkehr zu erfassen und einzelne Funktionen des Fahrzeugs vollständig oder teilweise ohne Eingriff des Fahrers zu kontrollieren. Fahrerassistenzsysteme können dabei insbesondere zur Erhöhung der Sicherheit im Verkehr sowie zur Verbesserung des Fahrkomforts beitragen.Modern vehicles (cars, vans, trucks, motorcycles, etc.). comprise a variety of systems that provide the driver with information and control individual functions of the vehicle in a partially or fully automated manner. The surroundings of the vehicle and other road users are recorded via sensors. Based on the recorded data, a model of the vehicle environment can be generated and responses to changes in this vehicle environment. Due to the progressive development in the field of autonomous and semi-autonomous vehicles, the influence and scope of such driver assistance systems (Advanced Driver Assistance Systems, ADAS) are increasing. The development of ever more precise sensors makes it possible to record the surroundings and traffic and to control individual functions of the vehicle completely or partially without driver intervention. Driver assistance systems can help to increase safety in traffic and improve driving comfort.
Eine wichtige Voraussetzung ist hierbei die Erfassung und Erkennung der Umgebung des eigenen Fahrzeugs. Mittels Umgebungssensoren, wie beispielsweise Radar-, Lidar-, oder Ultraschallsensoren, werden Sensordaten mit Informationen zu der Umgebung erfasst. Insbesondere werden durch solche abstandsbasierten Sensoren Abstände und Positionen der Objekte in Bezug zum Umgebungssensor erfasst. Basierend auf diesen Daten können Objekte in der Umgebung des Fahrzeugs identifiziert und klassifiziert werden. Ausgehend hiervon kann beispielsweise ein Verhalten eines autonomen oder teilautonomen Fahrzeugs an eine aktuelle Situation angepasst werden.An important prerequisite here is the detection and recognition of the surroundings of your own vehicle. Using environmental sensors, such as radar, lidar, or ultrasonic sensors, sensor data with information about the environment are recorded. In particular, such distance-based sensors detect distances and positions of the objects in relation to the environmental sensor. Based on this data, objects in the surroundings of the vehicle can be identified and classified. Based on this, a behavior of an autonomous or partially autonomous vehicle can be adapted to a current situation, for example.
In diesem Zusammenhang besteht eine Herausforderung darin, fehlerhafte Sensordaten zu erkennen und deren Auswirkungen in der weiteren Verarbeitung zu berücksichtigen. Beispielsweise können Sensoren teilweise oder vollständig defekt oder verschmutzt sein. Ebenfalls ist es möglich, dass es aufgrund von Wetterbedingungen (Schnee, Eis, Regen etc.) dazu kommt, dass Sensordaten erfasst werden, die die aktuelle Umgebung falsch oder unvollständig widerspiegeln. Der Sensor kann teilweise oder vollständig blockiert sein. Die Herausforderung liegt hierbei darin zu erkennen, dass aktuell gemessene Werte nicht die Realität abbilden, obwohl die grundsätzliche Funktion des Sensors gegeben ist. Beispielsweise kann ein teilweise mit Dreck bedeckter (blockierter) Radarsensor zu einer Erkennung eines in der Realität nichtexistierenden Objekts führen. Ein derartiger Fehler kann wiederum zu einer ungewollten und möglicherweise gefährlichen Reaktion einer Steuereinrichtung eines autonomen Fahrzeugs führen, beispielsweise einer unnötigen Vollbremsung.In this context, a challenge is to identify faulty sensor data and to take their effects into account in further processing. For example, sensors can be partially or completely defective or dirty. It is also possible that weather conditions (snow, ice, rain, etc.) result in sensor data being recorded that incorrectly or incompletely reflect the current environment. The sensor can be partially or completely blocked. The challenge here is to recognize that the currently measured values do not represent reality, even though the basic function of the sensor is given. For example, a (blocked) radar sensor partially covered with dirt can lead to detection of an object that does not exist in reality. Such an error can in turn lead to an unwanted and possibly dangerous reaction of a control device of an autonomous vehicle, for example an unnecessary emergency braking.
Ausgehend hiervon stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum Erkennen einer Sensorblockade eines Umgebungssensors bereitzustellen. Insbesondere soll eine möglichst zuverlässige Erkennung eines blockierten Bereichs eines Sichtfelds eines Umgebungssensors erreicht werden. Hierdurch können die Sicherheit im Straßenverkehr sowie der Fahrkomfort verbessert werden.Proceeding from this, the object of the present invention is to provide an approach for detecting a sensor blockage of an environmental sensor. In particular, the most reliable detection possible of a blocked area of a field of view of an environmental sensor is to be achieved. This can improve road safety and driving comfort.
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Erkennen einer Sensorblockade eines Umgebungssensors mit: einer Schnittstelle zum Empfangen von Umgebungssensordaten des Umgebungssensors mit Informationen zu Abständen zwischen Objekten in einer Umgebung eines Fahrzeugs und dem Fahrzeug, von Kartendaten einer Kartendatenbank mit Informationen zu Positionen der Objekte in der Umgebung des Fahrzeugs sowie von Bewegungsdaten eines Bewegungssensors mit Informationen zu einer Bewegung des Fahrzeugs in Bezug zu der Umgebung;
- einer ersten Rastereinheit zum Erzeugen einer ersten Rasterdarstellung der Umgebung des Fahrzeugs basierend auf den Umgebungssensordaten;
- einer Lokalisierungseinheit zum Ermitteln einer Pose des Fahrzeugs mit Informationen zu einer Position und Orientierung des Fahrzeugs in Bezug zu der Umgebung basierend auf den Bewegungsdaten;
- einer zweiten Rastereinheit zum Erzeugen einer entsprechend der ersten Rasterdarstellung ausgerichteten zweiten Rasterdarstellung der Umgebung des Fahrzeugs basierend auf den Kartendaten und der Pose; und
- einer Auswerteeinheit zum Ermitteln eines blockierten Bereichs eines Sichtfelds des Umgebungssensors basierend auf der ersten Rasterdarstellung und der zweiten Rasterdarstellung.
- a first raster unit for generating a first raster representation of the surroundings of the vehicle based on the surroundings sensor data;
- a localization unit for determining a pose of the vehicle with information on a position and orientation of the vehicle in relation to the surroundings based on the movement data;
- a second raster unit for generating a second raster representation of the surroundings of the vehicle oriented in accordance with the first raster representation based on the map data and the pose; and
- an evaluation unit for determining a blocked area of a field of view of the environmental sensor based on the first raster representation and the second raster representation.
In einem weiteren Aspekt betrifft die vorliegende Erfindung ein System zum Erkennen einer Sensorblockade eines Umgebungssensors, mit:
- einem Umgebungssensor zum Erfassen von Abständen zwischen einem Fahrzeug und einem Objekt in einer Umgebung des Fahrzeugs;
- einer Kartendatenbank mit Informationen zu Positionen von Objekten innerhalb eines Bezugsgebiets;
- einem Bewegungssensor zum Erfassen einer Bewegung des Fahrzeugs in Bezug zu der Umgebung; und
- einer Vorrichtung wie zuvor beschrieben.
- an environment sensor for detecting distances between a vehicle and an object in an environment of the vehicle;
- a map database with information on positions of objects within a reference area;
- a motion sensor for detecting motion of the vehicle with respect to the environment; and
- a device as previously described.
Weitere Aspekte der Erfindung betreffen ein entsprechendes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.Further aspects of the invention relate to a corresponding method and a computer program product with program code for carrying out the steps of the method when the program code is executed on a computer, and to a storage medium on which a computer program is stored which, when it is executed on a computer, performing the method described herein.
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das System, das Verfahren und das Computerprogrammprodukt entsprechend den für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltungen ausgeführt sein.Preferred embodiments of the invention are described in the dependent claims. It goes without saying that the features mentioned above and those yet to be explained below can be used not only in the combination indicated in each case, but also in other combinations or on their own without departing from the scope of the present invention. In particular, the system, the method and the computer program product can be designed in accordance with the configurations described for the device in the dependent claims.
Das erfindungsgemäße Verfahren dient dazu, einen blockierten Bereich eines Sichtfelds eines Umgebungssensors zu erkennen. Als Eingangsdaten werden über die Schnittstelle einerseits Umgebungssensordaten des Umgebungssensors empfangen. Andererseits werden Kartendaten einer Kartendatenbank sowie Bewegungsdaten eines Bewegungssensors berücksichtigt.The method according to the invention serves to detect a blocked area of a field of view of an environmental sensor. On the one hand, environmental sensor data of the environmental sensor are received as input data via the interface. On the other hand, map data from a map database and motion data from a motion sensor are taken into account.
Der Umgebungssensor stellt Informationen zu Abständen zwischen einem Objekt und dem Fahrzeug bzw. dem Sensor zur Verfügung. Die Kartendaten umfassen Informationen zu Positionen von vorbekannten Objekten in der Umgebung des Fahrzeugs. Die Kartendaten können dabei beispielsweise ausgehend von Sensordaten anderer Fahrzeuge erzeugt worden sein. Die Bewegungsdaten spiegeln die aktuelle Bewegung des Fahrzeugs wider. Basierend auf den empfangenen Abständen des Umgebungssensors wird eine erste Rasterdarstellung der Umgebung des Fahrzeugs erzeugt. Eine Rasterdarstellung entspricht dabei einem Abbild der Umgebung des Fahrzeugs, bei dem einzelne Detektionen des Umgebungssensors diskreten Rasterzellen zugordnet werden. Die erste Rasterdarstellung stellt eine Repräsentation der Fahrzeugumgebung dar. Basierend auf den Bewegungsdaten wird eine Position und Orientierung des Fahrzeugs in Bezug zu seiner Umgebung (Pose) ermittelt. Mittels dieser Pose wird ausgehend von den empfangenen Kartendaten eine zweite Rasterdarstellung erzeugt, die entsprechend der ersten Rasterdarstellung ausgerichtet ist. Insoweit werden die Kartendaten durch Berücksichtigung der Bewegungsdaten so ausgerichtet, dass eine Zusammenschau mit der basierend auf den Umgebungssensordaten erzeugten ersten Rasterdarstellung ermöglicht wird.The environment sensor provides information on distances between an object and the vehicle or the sensor. The map data include information on positions of previously known objects in the area surrounding the vehicle. The map data can be generated, for example, based on sensor data from other vehicles. The movement data reflect the current movement of the vehicle. A first raster representation of the surroundings of the vehicle is generated based on the received distances from the surroundings sensor. A raster representation corresponds to an image of the surroundings of the vehicle, in which individual detections of the surroundings sensor are assigned to discrete raster cells. The first raster representation represents the vehicle surroundings. Based on the movement data, a position and orientation of the vehicle in relation to its surroundings (pose) is determined. Using this pose, a second raster representation is generated based on the received map data, which is aligned according to the first raster representation. In this respect, the map data are aligned by taking the movement data into account in such a way that a view together with the first raster display generated based on the environment sensor data is made possible.
In der Auswerteeinheit wird dann eine Zuordnung zwischen Objekten in der ersten Rasterdarstellung und Objekten in der zweiten Rasterdarstellung vorgenommen. Basierend hierauf kann überprüft werden, ob ein Objekt in der ersten Rasterdarstellung einem entsprechenden Objekt in der zweiten Rasterdarstellung zugeordnet werden kann. Solange eine Zuordnung nicht möglich ist, liegt eine teilweise oder vollständige Sensorblockade (kann auch als Blockierung bezeichnet werden) des Umgebungssensors vor.An assignment between objects in the first raster representation and objects in the second raster representation is then carried out in the evaluation unit. Based on this, it can be checked whether an object in the first raster representation can be assigned to a corresponding object in the second raster representation. As long as an assignment is not possible, there is a partial or complete sensor blockage (can also be called a blockage) of the environmental sensor.
Es wird möglich, einen blockierten Bereich des Umgebungssensors zu identifizieren. Der blockierte Bereich ist dabei derjenige Bereich, aus dem Messwerte des Umgebungssensors stammen, die keinem Objekt in der zweiten Rasterdarstellung zugeordnet werden können. Der erfindungsgemäße Ansatz basiert auf einer Fusion von Daten eines abstandsbasierten Umgebungssensors mit vorbekannten Kartendaten einer entsprechenden Kartendatenbank.It becomes possible to identify a blocked area of the environmental sensor. The blocked area is the area from which measured values of the environmental sensor originate that cannot be assigned to any object in the second raster display. The approach according to the invention is based on a fusion of data from a distance-based environment sensor with previously known map data from a corresponding map database.
Der ermittelte blockierte Bereich kann beispielsweise an ein Fahrerassistenzsystem übermittelt werden, das basierend auf den Umgebungssensordaten eine Fahrerassistenzfunktion ausführt. Durch den ermittelten Bereich kann die entsprechende Fahrerassistenzfunktion angepasst werden. Es kann beispielsweise sichergestellt werden, dass lediglich dann eine Reaktion infolge von Messungen des Umgebungssensors erfolgt, wenn der entsprechende Umgebungssensor nicht blockiert ist. Im Vergleich zu bisherigen Ansätzen erlaubt der erfindungsgemäße Ansatz eine zuverlässige und präzise Ermittlung eines blockierten Bereichs eines abstandsbasierten Umgebungssensors. Durch die Erkennung des blockierten Bereichs kann eine Anpassung einer Steuerung eines autonomen oder teilautonomen Fahrzeugs erfolgen. Es kann sichergestellt werden, dass eine Reaktion eines autonomen oder teilautonomen Fahrzeugs nicht basierend auf verfälschten Sensordaten eines Umgebungssensors ermittelt wird. Die erfindungsgemäße Ermittlung des blockierten Bereichs führt daher zu einer verbesserten Abbildung der Umgebung. Die Umgebung eines Fahrzeugs kann mit höherer Sicherheit erkannt werden. Hierdurch wird es möglich, dass die Sicherheit beim autonomen oder teilautonomen Fahren verbessert und der Fahrkomfort erhöht werden.The determined blocked area can, for example, be transmitted to a driver assistance system which executes a driver assistance function based on the environment sensor data. The corresponding driver assistance function can be adapted through the determined area. For example, it can be ensured that a reaction as a result of measurements by the environmental sensor only takes place if the corresponding environmental sensor is not blocked. In comparison to previous approaches, the approach according to the invention allows a reliable and precise determination of a blocked area of a distance-based environment sensor. The control of an autonomous or semi-autonomous vehicle can be adapted by recognizing the blocked area. It can be ensured that a reaction of an autonomous or semi-autonomous vehicle is not determined based on corrupted sensor data from an environmental sensor. The determination of the blocked area according to the invention therefore leads to an improved mapping of the surroundings. The surroundings of a vehicle can be recognized with greater certainty. This makes it possible to improve safety in autonomous or semi-autonomous driving and to increase driving comfort.
In einer bevorzugten Ausgestaltung ist die erste Rastereinheit zum Erzeugen einer zweidimensionalen ersten Rasterdarstellung ausgebildet. Die zweite Rastereinheit ist zum Erzeugen einer zweidimensionalen zweiten Rasterdarstellung ausgebildet. Im Bereich des autonomen oder teilautonomen Fahrens ist es insbesondere relevant, eine Draufsicht auf die Umgebung des Fahrzeugs auswerten zu können. Basierend hierauf kann festgestellt werden, ob eine Fahrt in eine bestimmte Richtung möglich ist oder nicht, bzw. ob ein Hindernis eine freie Fahrt verhindert. Die hierzu verwendete zweidimensionalen Rasterdarstellung entspricht einer vogelperspektivischen Ansicht der Umgebung des Fahrzeugs. Durch die Verwendung einer zweidimensionalen ersten und zweiten Rasterdarstellung kann eine effiziente Verarbeitung sichergestellt werden. Eine Echtzeit-Datenverarbeitung wird möglich.In a preferred embodiment, the first raster unit is designed to generate a two-dimensional first raster representation. The second raster unit is designed to generate a two-dimensional second raster representation. In the area of autonomous or semi-autonomous driving, it is particularly relevant to be able to evaluate a top view of the surroundings of the vehicle. Based on this, it can be determined whether a trip in a certain direction is possible or not, or whether an obstacle prevents a free trip. The two-dimensional raster representation used for this corresponds to a bird's-eye view of the surroundings of the vehicle. Efficient processing can be ensured by using a two-dimensional first and second raster representation. Real-time data processing is possible.
In einer vorteilhaften Ausgestaltung ist die erste Rastereinheit zum Erzeugen der ersten Rasterdarstellung basierend auf einer Akkumulation der Umgebungssensordaten über mehrere Messzyklen des Umgebungssensors ausgebildet. Vorzugsweise werden Daten über ein vordefiniertes Zeitfenster gesammelt. Durch die Verwendung von Sensordaten, die über mehrere Messzyklen gesammelt wurden, kann eine erhöhte Zuverlässigkeit erreicht werden. Eine Erkennung von Objekten kann mit größerer Sicherheit erfolgen, wenn pro Objekt mehrere Detektionen bzw. Scanpunkte verfügbar sind. Die Zuverlässigkeit bei der Erzeugung des Abbilds der Umgebung durch die erste Rasterdarstellung wird verbessert.In an advantageous embodiment, the first raster unit is designed to generate the first raster representation based on an accumulation of the environment sensor data over several measurement cycles of the environment sensor. Data is preferably collected over a predefined time window. Increased reliability can be achieved by using sensor data that has been collected over several measurement cycles. Objects can be identified with greater certainty if several detections or scan points are available per object. The reliability in the generation of the image of the environment by the first raster representation is improved.
In einer vorteilhaften Ausgestaltung ist die erste Rastereinheit zum Erzeugen eines Evidential Grids, eines Occupancy Grids und/oder eines Freespace Grids der Umgebung des Fahrzeugs ausgebildet. Für das Erzeugen der Rasterdarstellung der Umgebung des Fahrzeugs stehen verschiedene Möglichkeiten zur Verfügung. Es ist dabei möglich, dass mehrere verschiedene Rasterdarstellungen erzeugt und einzeln ausgewertet werden. Ebenfalls ist es vorteilhaft, wenn eine kombinierte Auswertung erfolgt. Unterschiedliche Rasterdarstellungen haben in Bezug auf die Datenverarbeitung und Prozessierung verschiedene Eigenschaften bzw. Vor- und Nachteile. Durch die Verwendung einer angepassten ersten Rasterdarstellung kann ein verbessertes Abbild der Umgebung des Fahrzeugs erzeugt werden.In an advantageous embodiment, the first raster unit is designed to generate an evidential grid, an occupancy grid and / or a free space grid in the vicinity of the vehicle. Various options are available for generating the raster representation of the surroundings of the vehicle. It is possible for several different raster representations to be generated and evaluated individually. It is also advantageous if a combined evaluation is carried out. Different grid representations have different properties or advantages and disadvantages with regard to data processing and processing. By using an adapted first raster representation, an improved image of the surroundings of the vehicle can be generated.
In einer bevorzugten Ausgestaltung ist die Schnittstelle zum Empfangen von Kartendaten mit einer vorbekannten Rasterdarstellung der Umgebung des Fahrzeugs, vorzugsweise eines Evidential Grids, eines Occupancy Grids und/oder eines Freespace Grids ausgebildet. Sofern bereits eine Repräsentation der Umgebung des Fahrzeugs in einer vorbekannten Rasterdarstellung vorliegt, kann diese Repräsentation als Kartendaten verwendet werden. Die empfangene vorbekannte Rasterdarstellung muss dann lediglich basierend auf der Pose des Fahrzeugs mit der ersten Rasterdarstellung in Zusammenhang gebracht werden. Die vorbekannte Rasterdarstellung kann dabei beispielsweise basierend auf Sensordaten anderer Fahrzeuge erzeugt worden sein. Insbesondere ist ein Cloud-Ansatz möglich, bei dem verschiedene Fahrzeuge ihre Sensordaten an eine zentrale Sammelstelle übermitteln. Die Verwendung einer vorbekannten Rasterdarstellung erlaubt eine effiziente Berechnung der zweiten Rasterdarstellung.In a preferred embodiment, the interface for receiving map data is designed with a previously known raster representation of the surroundings of the vehicle, preferably an evidential grid, an occupancy grid and / or a freespace grid. If there is already a representation of the surroundings of the vehicle in a previously known raster representation, this representation can be used as map data. The previously known raster representation received then only has to be associated with the first raster representation based on the pose of the vehicle. The previously known raster representation can have been generated, for example, based on sensor data from other vehicles. In particular, a cloud approach is possible, in which different vehicles transmit their sensor data to a central collection point. The use of a previously known raster representation allows an efficient calculation of the second raster representation.
In einer bevorzugten Ausgestaltung ist die Lokalisierungseinheit zum Ermitteln der Pose basierend auf einer Inertialnavigation, einer simultanen Lokalisierung und Kartographierung und/oder einer Odometrie ausgebildet. Insbesondere ist es möglich, dass eine laufend aktualisierte Schätzung der eigenen Position und Orientierung verwendet wird. Eine laufend aktualisierte Schätzung ermöglicht eine hohe Genauigkeit, sodass eine weitgehende Übereinstimmung zwischen erster Rasterdarstellung und zweiter Rasterdarstellung in Bezug auf die Ausrichtung erreicht werden kann. Hierdurch kann die Genauigkeit bei der Ermittlung des blockierten Bereichs verbessert werden.In a preferred embodiment, the localization unit is designed to determine the pose based on inertial navigation, simultaneous localization and mapping and / or odometry. In particular, it is possible that a continuously updated estimate of one's own position and orientation is used. A continuously updated estimate enables a high degree of accuracy, so that an extensive agreement between the first raster representation and the second raster representation can be achieved with regard to the alignment. This can improve the accuracy in determining the blocked area.
In einer weiteren vorteilhaften Ausgestaltung ist die Auswerteeinheit zum Ermitteln des blockierten Bereichs basierend auf einer Zuordnung zwischen einem ersten Objekt der ersten Rasterdarstellung und einem zweiten Objekt der zweiten Rasterdarstellung ausgebildet. Weiterhin ist die Auswerteeinheit zum Ermitteln eines dem ersten Objekt entsprechenden Bereiches des Sichtfelds des Umgebungssensors als blockiertem Bereich ausgebildet, wenn dem ersten Objekt kein zweites Objekt zuordenbar ist. Vorzugsweise erfolgt die Erkennung des blockierten Bereichs basierend auf einer Zuordnung von Objekten in den beiden Rasterdarstellungen. Eine derartige Fusion erlaubt es, Objekte zu identifizieren, die lediglich in der ersten Rasterdarstellung vorliegen. Derartige Objekte könnten einer Sensorblockade geschuldet sein. Eine einfache Zuordnung stellt dabei einen effizient berechenbaren Ansatz zum Ermitteln des blockierten Bereichs des Sichtfelds des Umgebungssensors dar.In a further advantageous embodiment, the evaluation unit is designed to determine the blocked area based on an assignment between a first object of the first raster representation and a second object of the second raster representation. Furthermore, the evaluation unit is designed to determine an area of the field of view of the environmental sensor corresponding to the first object as a blocked area if the second object cannot be assigned to the first object. The blocked area is preferably identified based on an assignment of objects in the two raster representations. Such a fusion makes it possible to identify objects that are only present in the first raster representation. Such objects could be due to a sensor blockage. A simple assignment represents an efficiently calculable approach for determining the blocked area of the field of view of the environmental sensor.
In einer vorteilhaften Ausgestaltung ist die Schnittstelle zum Empfangen von Bewegungsdaten mit Sensordaten einer Inertialmesseinheit und/oder Positionsdaten eines Positionssensors ausgebildet. Insbesondere können die Bewegungsdaten Sensordaten von Beschleunigungs- und Drehratensensoren umfassen. Zudem kann ein Signal eines Positionssensors, insbesondere eines GPS-, Galileo- oder GLONASS-Sensors verwendet werden. In an advantageous embodiment, the interface is designed to receive movement data with sensor data from an inertial measuring unit and / or position data from a position sensor. In particular, the movement data can include sensor data from acceleration and rotation rate sensors. In addition, a signal from a position sensor, in particular a GPS, Galileo or GLONASS sensor, can be used.
In einer vorteilhaften Ausgestaltung ist die Schnittstelle zum Übermitteln der Position des Fahrzeugs an die Kartendatenbank ausgebildet. Zudem ist die Schnittstelle zum Empfangen von Kartendaten mit Informationen zu Objekten innerhalb eines vordefinierten Bereichs um die Position des Fahrzeugs ausgebildet. Es ist möglich, dass die Kartendatenbank als entfernte Datenbank ausgebildet ist. Insbesondere kann eine Cloud-Datenbank verwendet werden, die über eine entsprechende Kommunikationsschnittstelle zugreifbar ist. Um lediglich Daten bezüglich eines relevanten Bereichs um die aktuelle Position des Fahrzeugs zu übermitteln und damit den Datenverbrauch sowie die benötigte Übermittlungszeit gering zu halten, kann bei der entsprechenden Datenbankanfrage bereits eine aktuelle Position des Fahrzeugs übermittelt werden. Es werden dann nur Daten eines vordefinierten Bereichs, beispielsweise basierend auf einem Radius um die Position des Fahrzeugs, von der Kartendatenbank an das Fahrzeug zurückübermittelt. Hierdurch wird erreicht, dass möglichst aktuelle und hochauflösende Kartendaten verwendet werden können.In an advantageous embodiment, the interface is designed to transmit the position of the vehicle to the map database. In addition, the interface is designed to receive map data with information about objects within a predefined area around the position of the vehicle. It is possible that the map database is designed as a remote database. In particular, a cloud database can be used, which is accessible via a corresponding communication interface. In order to only transmit data relating to a relevant area around the current position of the vehicle and thus to keep the data consumption and the required transmission time low, a current position of the vehicle can already be transmitted with the corresponding database request. Only data of a predefined area, for example based on a radius around the position of the vehicle, are then transmitted back from the map database to the vehicle. This ensures that the most current and high-resolution map data can be used.
In einer vorteilhaften Ausgestaltung ist die Auswerteeinheit zum Ermitteln eines erwarteten freien Bereichs basierend auf der zweiten Rasterdarstellung ausgebildet. Weiterhin ist die Auswerteeinheit zum Ermitteln des blockierten Bereichs basierend auf dem erwarteten freien Bereich und der ersten Rasterdarstellung ausgebildet. Es wird ausgehend von den Kartendaten geschätzt, ob ein Objekt in den Umgebungssensordaten sichtbar ist oder nicht. Dann wird geprüft, ob diese Hypothese erfüllt ist. Durch diesen Ansatz kann eine effiziente und einfach berechenbare Ermittlung des blockierten Bereichs erfolgen.In an advantageous embodiment, the evaluation unit is designed to determine an expected free area based on the second raster representation. Furthermore, the evaluation unit is designed to determine the blocked area based on the expected free area and the first raster representation. Based on the map data, it is estimated whether an object is visible in the environment sensor data or not. Then it is checked whether this hypothesis is fulfilled. This approach enables the blocked area to be determined efficiently and easily calculated.
In einer vorteilhaften Ausgestaltung ist die Schnittstelle zum Empfangen von Kartendaten mit Informationen zu einem Verlauf einer Straße in der Umgebung des Fahrzeugs ausgebildet. Weiterhin ist die Auswerteeinheit zum Erkennen eines dynamischen Objekts basierend auf den Kartendaten und den Umgebungssensordaten ausgebildet. Zudem ist die Auswerteeinheit zum Ermitteln des blockierten Bereichs basierend auf dem erkannten dynamischen Objekt ausgebildet. Es ist möglich, dass zusätzlich eine Objekterkennung eines dynamischen Objekts stattfindet. Hierzu wird geprüft, ob in den Daten des Umgebungssensors ein Objekt vorliegt, das in den Kartendaten bzw. der darauf basierend generierten zweiten Rasterdarstellung keine Entsprechung findet. Wenn ein bewegliches Objekt erkannt wird, kann dies bei der Ermittlung des blockierten Bereichs berücksichtigt werden. Insbesondere kann festgestellt werden, dass ein Bereich, in dem sich ein dynamisches Objekt (Fußgänger, anderes Fahrzeug, Radfahrer, Baustelle etc.) befindet, nicht blockiert ist.In an advantageous embodiment, the interface is designed to receive map data with information about a course of a road in the vicinity of the vehicle. Furthermore, the evaluation unit is designed to recognize a dynamic object based on the map data and the environmental sensor data. In addition, the evaluation unit is designed to determine the blocked area based on the detected dynamic object. It is possible that an object detection of a dynamic object also takes place. For this purpose, a check is carried out to determine whether there is an object in the data from the environmental sensor that does not find any correspondence in the map data or the second raster representation generated on the basis thereof. If a moving object is detected, this can be taken into account when determining the blocked area. In particular, it can be determined that an area in which a dynamic object (pedestrian, other vehicle, cyclist, construction site, etc.) is located is not blocked.
In einer vorteilhaften Ausgestaltung ist die Schnittstelle zum Empfangen von Umgebungssensordaten eines Radar-, Lidar- und/oder Ultraschallsensors ausgebildet. Es versteht sich, dass auch eine Kombination der verschiedenen abstandsbasierten Sensorprinzipien möglich ist.In an advantageous embodiment, the interface is designed to receive environmental sensor data from a radar, lidar and / or ultrasonic sensor. It goes without saying that a combination of the different distance-based sensor principles is also possible.
Unter einem Objekt versteht sich hierin ein statisches oder dynamisches Objekt. Beispielsweise stellen Bäume, Häuser, andere Fahrzeuge, Fußgänger, Tiere, Brücken und Straßen Objekte dar. Eine Umgebung eines Fahrzeugs umfasst insbesondere einen von einem am Fahrzeug angebrachten Umgebungssensor aus sichtbaren Bereich im Umfeld des Fahrzeugsensors. Ein Umgebungssensor kann auch mehrere Sensoren umfassen, die beispielsweise eine 360°-Rundumsicht ermöglichen und somit ein vollständiges Umgebungsabbild aufzeichnen können. Ein Sichtfeld eines Umgebungssensors kann beispielsweise durch einen Öffnungswinkel eines Kegels definiert sein. Ebenfalls ist es möglich, dass ein Sichtfeld durch eine Angabe eines Öffnungswinkels in einer Draufsicht definiert ist. Üblicherweise wird während eines Messzyklus eines Umgebungssensors eine Vielzahl an Scanpunkten generiert. Unter einem Messzyklus wird ein einmaliges Durchlaufen des sichtbaren Bereichs verstanden. Die in einem Messzyklus erfassten Umgebungssensordaten können als Zielliste (Target List) bezeichnet werden.An object is understood here to mean a static or dynamic object. For example, trees, houses, other vehicles, pedestrians, animals, bridges and streets represent objects. A vehicle's surroundings particularly include an area in the surroundings of the vehicle sensor that is visible from an environment sensor attached to the vehicle. An environment sensor can also comprise a plurality of sensors which, for example, enable a 360 ° all-round view and can therefore record a complete environment image. A field of view of an environmental sensor can be defined, for example, by an opening angle of a cone. It is also possible for a field of view to be defined by specifying an opening angle in a plan view. A large number of scan points are usually generated during a measurement cycle of an environmental sensor. A measurement cycle is understood to mean a single passage through the visible area. The environmental sensor data recorded in a measurement cycle can be referred to as a target list.
Unter einer Rasterdarstellung versteht sich eine Darstellung als Grid, bei der insbesondere verschiedene Scanpunkte anhand ihrer Detektionsposition zu Zellen des Grids zugeordnet werden. Grundsätzlich kann die Rasterdarstellung zwei- oder dreidimensional sein. Unter einer zweidimensionalen Rasterdarstellung wird eine zweidimensionale Modellierung einer Umgebung des Fahrzeugs verstanden. Jede Rasterzelle enthält Informationen über die Anzahl von Detektionen innerhalb des von der Rasterzelle repräsentierten Bereichs der Umgebung. Eine Blockade eines Umgebungssensors kann insbesondere durch Dreck oder anderes Material, durch Wasser oder auch durch einen Sensordefekt hervorgerufen werden. Ein blockierter Bereich eines Sichtfelds kann mehrere Teilbereiche umfassen.A raster representation is understood to mean a representation as a grid, in which in particular different scan points are assigned to cells of the grid on the basis of their detection position. Basically, the raster display can be two or three-dimensional. A two-dimensional raster representation is understood to mean a two-dimensional modeling of an environment of the vehicle. Each grid cell contains information about the number of detections within the area of the environment represented by the grid cell. A blockage of an environmental sensor can in particular be caused by dirt or other material, by water or also by a sensor defect. A blocked area of a field of view can comprise several partial areas.
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:
-
1 eine Darstellung eines erfindungsgemäßen Systems in einer Umgebung in einer schematischen Seitenansicht; -
2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Erkennen einer Sensorblockade eines Umgebungssensors; -
3 eine schematische Darstellung eines blockierten Bereichs eines Sichtfelds des Umgebungssensors mit zwei Teilbereichen; -
4 eine schematische Darstellung eines Ansatzes zum Ermitteln eines blockierten Bereichs; -
5 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems in einem Fahrzeug; und -
6 eine schematische Darstellung des erfindungsgemäßen Verfahrens.
-
1 a representation of a system according to the invention in an environment in a schematic side view; -
2nd a schematic representation of an inventive device for detecting a sensor blockage of an environmental sensor; -
3rd a schematic representation of a blocked area of a field of view of the environmental sensor with two partial areas; -
4th a schematic representation of an approach for determining a blocked area; -
5 a schematic representation of an embodiment of the system according to the invention in a vehicle; and -
6 a schematic representation of the method according to the invention.
Erfindungsgemäß wird also festgestellt, ob ein Teil des Sichtfelds des Umgebungssensors
Die vorliegende Erfindung basiert darauf, dass abstandsbasierte Umgebungssensoren wie Radar-, Lidar- und Ultraschallsensoren eine immer größere Rolle spielen, insbesondere im Automotivebereich. Basierend auf den von solchen Sensoren bereitgestellten Daten werden verschiedene Funktionen eines autonomen oder teilautonomen Fahrzeugs ausgeführt. Daher ist es von hoher Wichtigkeit, dass den bereitgestellten Sensordaten vertraut werden kann. Aus einer Verschmutzung oder sonstigen Blockierung eines abstandsbasierten Umgebungssensors können fehlerhafte Sensorwerte resultieren. Erfindungsgemäß wird eine solche Verschmutzung oder eine andere Blockade erkannt. Hierzu werden die Daten des abstandsbasierten Umgebungssensors mit vorbekannten Kartendaten einer Kartendatenbank fusioniert, wobei die Kartendaten zunächst entsprechend der Umgebungssensordaten ausgerichtet werden müssen. Für die Ausrichtung werden Bewegungsdaten eines Bewegungssensors verwendet. Es wird festgestellt, ob sich Abweichungen zwischen den Umgebungssensordaten und den Kartendaten ergeben, um darauf basierend auf eine Blockade des Umgebungssensors schließen zu können.The present invention is based on the fact that distance-based environmental sensors such as radar, lidar and ultrasonic sensors play an increasingly important role, in particular in the automotive sector. Various functions of an autonomous or semi-autonomous vehicle are carried out based on the data provided by such sensors. It is therefore very important that the sensor data provided can be trusted. Contamination or other blocking of a distance-based environmental sensor can result in incorrect sensor values. According to the invention, such contamination or another blockage is recognized. For this purpose, the data of the distance-based environment sensor are merged with previously known map data from a map database, the map data first having to be aligned with the environment sensor data. Motion data from a motion sensor are used for the alignment. It is determined whether there are any discrepancies between the environmental sensor data and the map data in order to be able to infer them based on a blockage of the environmental sensor.
In der
Über die Schnittstelle
Insbesondere werden als Umgebungssensordaten Detektionen eines Radar-, Lidar- und/oder Ultraschallsensors empfangen. Die Detektionen solcher Sensoren umfassen Informationen über eine räumliche Position eines detektierten Objekts bzw. einer Stelle, an der eine elektromagnetische Welle oder eine Schallwelle reflektiert wurde. Insbesondere werden einzelne Scanpunkte empfangen. Für jeden einzelnen Scanpunkt werden ein Höhenwinkel, ein Azimutwinkel sowie eine Distanz erfasst. In einem Messzyklus eines Umgebungssensors können beispielsweise einige Hundert bis mehrere Tausend Scanpunkte erfasst bzw. generiert werden. Üblicherweise werden mehrere Messzyklen pro Sekunde durchgeführt. Eine Messfrequenz kann beispielsweise bei 5 bis 50 Hz liegen.In particular, detections of a radar, lidar and / or ultrasonic sensor are received as environment sensor data. The detections of such sensors include information about a spatial position of a detected object or a location at which an electromagnetic wave or a sound wave was reflected. In particular, individual scan points are received. An elevation angle, an azimuth angle and a distance are recorded for each individual scan point. For example, a few hundred to several thousand scan points can be recorded or generated in a measurement cycle of an environmental sensor. Usually several measurement cycles are carried out per second. A measuring frequency can be, for example, 5 to 50 Hz.
Die Kartendaten der Kartendatenbank umfassen Informationen zu Objekten in der Umgebung des Fahrzeugs. Relevant sind insbesondere Positionen der Objekte. Es ist aber auch möglich und vorteilhaft, dass weitere Informationen zu den Objekten in den Kartendaten enthalten sind. Beispielsweise kann für einzelne Objekte eine Objektklasse empfangen werden. Eine Objektklasse stellt dabei eine Beschreibung der Art bzw. des Typs eines bestimmten Objekts dar. Mögliche Objektklassen sind beispielsweise „Bushaltestelle“, „Bürgersteig“, „Tunnel“, „Bahnüberfahrt“, „Straßenlaterne“, „Straße“, „Baum“, „Mauer“ etc. Zudem können weitere Informationen zu Eigenschaften eines Objekts der entsprechenden Klasse in den Kartendaten umfasst sein.The map data in the map database include information about objects in the vicinity of the vehicle. Positions of the objects are particularly relevant. However, it is also possible and advantageous that further information on the objects is contained in the map data. For example, an object class can be received for individual objects. An object class represents a description of the type or type of a specific object. Possible object classes are, for example, "bus stop", "sidewalk", "tunnel", "rail crossing", "street lamp", "street", "tree", " Wall ”etc. In addition, further information on the properties of an object of the corresponding class can be included in the map data.
Die Bewegungsdaten des Bewegungssensors
In der ersten Rastereinheit
In der Lokalisierungseinheit
Algorithmen aus dem Bereich der simultanen Lokalisierung und Kartographierung, der Inertialnavigation oder der Odometrie können dabei verwendet werden.Algorithms from the area of simultaneous localization and mapping, inertial navigation or odometry can be used.
Die zweite Rastereinheit
In der Auswerteeinheit
Für die eigentliche Schätzung der Sensorblockade können beispielsweise ein Freespace Estimation-Algorithmus oder Ansätze des Ray-Tracings (2D oder 3D) eingesetzt werden. Es ist möglich und vorteilhaft, dass bei der Ermittlung der Sensorblockade zusätzlich weitere Informationen der Kartendaten berücksichtigt werden. Beispielsweise kann ein Verlauf einer Straße als Straßenmodell in den Kartendaten vorhanden sein. Ausgehend hiervon können dynamische Objekte (auch als Ghost Objects bezeichnet) erkannt werden, da diese sich vorzugsweise auf einer Straße befinden. Insoweit wird ein apriori-Wissen des Straßenmodells als Erwartungswert für möglicherweise auftretende dynamische Objekte verwendet. Das Ergebnis der Ermittlung des blockierten Bereichs des Sichtfelds des Umgebungssensors entspricht in anderen Worten einem realen Sichtfeld des Umgebungssensors. Ermittelt wird sozusagen, wie weit der Umgebungssensor sehen kann.For the actual estimation of the sensor blockage, for example, a freespace estimation algorithm or approaches of ray tracing (2D or 3D) can be used. It is possible and advantageous that additional information from the card data is taken into account when determining the sensor blockage. For example, a course of a street can be present in the map data as a street model. Based on this, dynamic objects (also as ghost objects designated) can be recognized, since these are preferably located on a street. In this respect, an a priori knowledge of the street model is used as the expected value for dynamic objects that may occur. In other words, the result of the determination of the blocked area of the field of view of the environment sensor corresponds to a real field of vision of the environment sensor. It is determined, so to speak, how far the environmental sensor can see.
In der
In der
In der
Im Gegensatz zur zuvor dargestellten Ausführungsform ist die Kartendatenbank
In der
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.The invention has been described and explained comprehensively with reference to the drawings and the description. The description and explanation are to be understood as examples and not restrictive. The invention is not limited to the disclosed embodiments. Other embodiments or variations will occur to those skilled in the art using the present invention, as well as upon a detailed analysis of the drawings, the disclosure, and the following claims.
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.In the claims, the words "comprise" and "with" do not exclude the presence of further elements or steps. The undefined article "a" or "an" does not exclude the existence of a plurality. A single element or a single unit can perform the functions of several of the units mentioned in the claims. An element, a unit, a device and a system can be partially or completely implemented in hardware and / or in software. The mere mention of some measures in several different dependent claims is not to be understood to mean that a combination of these measures cannot also be used advantageously. A computer program can be stored / distributed on a non-volatile data carrier, for example on an optical memory or on a semiconductor drive (SSD). A computer program can be distributed together with hardware and / or as part of hardware, for example by means of the Internet or by means of wired or wireless communication systems. Reference signs in the claims are not to be understood as restrictive.
BezugszeichenlisteReference symbol list
- 1010th
- Fahrzeugvehicle
- 1212
- Systemsystem
- 1414
- Vorrichtungcontraption
- 1616
- UmgebungssensorEnvironmental sensor
- 1818th
- KartendatenbankMap database
- 2020th
- BewegungssensorMotion sensor
- 2222
- Objektobject
- 2424th
- SichtfeldField of view
- 2626
- Schnittstelleinterface
- 2828
- erste Rastereinheitfirst raster unit
- 3030th
- LokalisierungseinheitLocalization unit
- 3232
- zweite Rastereinheitsecond grid unit
- 3434
- AuswerteeinheitEvaluation unit
- 3636
- ScanpunktScan point
- 3838
- blockierter Bereichblocked area
- 4040
- erste Rasterdarstellungfirst raster display
- 4242
- zweite Rasterdarstellungsecond raster representation
- 4444
- MobilkommunikationseinheitMobile communication unit
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018220113.7A DE102018220113A1 (en) | 2018-11-23 | 2018-11-23 | Device and method for detecting a sensor blockage of an environmental sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018220113.7A DE102018220113A1 (en) | 2018-11-23 | 2018-11-23 | Device and method for detecting a sensor blockage of an environmental sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102018220113A1 true DE102018220113A1 (en) | 2020-05-28 |
Family
ID=70545687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102018220113.7A Pending DE102018220113A1 (en) | 2018-11-23 | 2018-11-23 | Device and method for detecting a sensor blockage of an environmental sensor |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102018220113A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022128206A1 (en) | 2020-12-18 | 2022-06-23 | Mercedes-Benz Group AG | Method for operating a light assistance system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014201158A1 (en) * | 2014-01-23 | 2015-07-23 | Robert Bosch Gmbh | Method and device for checking a relevant object detected by an object recognition |
| DE102014208006A1 (en) * | 2014-04-29 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Method for detecting the surroundings of a vehicle |
| DE102015223176A1 (en) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Method and device for determining occlusion areas in the vehicle environment of a vehicle |
| DE102016215501A1 (en) * | 2016-08-18 | 2018-02-22 | Robert Bosch Gmbh | Landmark tag detection method and apparatus |
-
2018
- 2018-11-23 DE DE102018220113.7A patent/DE102018220113A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014201158A1 (en) * | 2014-01-23 | 2015-07-23 | Robert Bosch Gmbh | Method and device for checking a relevant object detected by an object recognition |
| DE102014208006A1 (en) * | 2014-04-29 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Method for detecting the surroundings of a vehicle |
| DE102015223176A1 (en) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Method and device for determining occlusion areas in the vehicle environment of a vehicle |
| DE102016215501A1 (en) * | 2016-08-18 | 2018-02-22 | Robert Bosch Gmbh | Landmark tag detection method and apparatus |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022128206A1 (en) | 2020-12-18 | 2022-06-23 | Mercedes-Benz Group AG | Method for operating a light assistance system |
| DE102020007759A1 (en) | 2020-12-18 | 2022-06-23 | Mercedes-Benz Group AG | Method for operating a light assistance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102010006828B4 (en) | Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle | |
| DE102014223363B4 (en) | Method and device for localizing a motor vehicle in a fixed reference map | |
| DE102017108774A1 (en) | Tire Track maps estimate | |
| DE102018100469A1 (en) | GENERATED SIMULATED SENSOR DATA FOR TRAINING AND VERIFYING RECOGNITION MODELS | |
| EP3380810B1 (en) | Method, device, map processing device and system for precise localization of a vehicle in its surroundings | |
| DE102016112492A9 (en) | Minimization of incorrect sensor data associations for autonomous vehicles | |
| DE102018220024B3 (en) | Method for fusing sensor data from several sensors and fusion device for fusing sensor data from several sensors | |
| DE102021002798A1 (en) | Process for camera-based environment detection | |
| DE102018215753A1 (en) | Device and method for determining a trajectory of a vehicle | |
| DE102016003261A1 (en) | Method for self-localization of a vehicle in a vehicle environment | |
| DE102022100041A1 (en) | OPERATIONAL ENVELOPE DETECTION WITH SITUATION ASSESSMENT USING METRICS | |
| DE102019114371A1 (en) | ONLINE DIAGNOSTICS AND PROGNOSTICS FOR A VEHICLE PERCEPTION SYSTEM | |
| DE102019123483B4 (en) | Method and motor vehicle control unit for detecting the surroundings of a motor vehicle by merging sensor data at point cloud level | |
| DE102023111485A1 (en) | TRACKING SEGMENT CLEANUP OF TRACKED OBJECTS | |
| DE102018220114A1 (en) | Device and method for detecting a sensor blockage of an environmental sensor | |
| EP3637311A1 (en) | Device and method for determining the altitude information of an object in an environment of a vehicle | |
| DE102017212513A1 (en) | Method and system for detecting a free area within a parking lot | |
| DE102017206344A1 (en) | Driver assistance system for a vehicle | |
| DE102021128727A1 (en) | GHOST POINT FILTRATION | |
| DE102018220113A1 (en) | Device and method for detecting a sensor blockage of an environmental sensor | |
| DE102016212774A1 (en) | Method and device for generating an environment map and for locating a vehicle | |
| DE102019210933A1 (en) | Environmental detection device and system for automated mobility | |
| DE102021119871B4 (en) | Method and processor circuit for operating an automated driving function with an object classifier in a motor vehicle, and motor vehicle | |
| DE102020200876B4 (en) | Method for processing sensor data from a sensor system in a vehicle | |
| DE102022100059A1 (en) | DETECTION OF THE OPERATIVE ENVELOPE WITH SITUATIVE ASSESSMENT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified | ||
| R012 | Request for examination validly filed |