DE102020201837A1 - LiDAR arrangement, LiDAR system, vehicle and procedure - Google Patents

LiDAR arrangement, LiDAR system, vehicle and procedure Download PDF

Info

Publication number
DE102020201837A1
DE102020201837A1 DE102020201837.5A DE102020201837A DE102020201837A1 DE 102020201837 A1 DE102020201837 A1 DE 102020201837A1 DE 102020201837 A DE102020201837 A DE 102020201837A DE 102020201837 A1 DE102020201837 A1 DE 102020201837A1
Authority
DE
Germany
Prior art keywords
lidar
arrangement
lidar arrangement
blockage situation
blockage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020201837.5A
Other languages
German (de)
Inventor
Simon Bell
Johannes Richter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020201837.5A priority Critical patent/DE102020201837A1/en
Publication of DE102020201837A1 publication Critical patent/DE102020201837A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction

Abstract

Offenbart wird eine LiDAR-Anordnung (1), die dafür eingerichtet ist, eine Blockagesituation in einem Sende- oder Empfangspfad der LiDAR-Anordnung (1) zu erkennen. Die LiDAR-Anordnung (1) ist dafür eingerichtet, die Blockagesituation auf Grundlage eines Blooming-Effekts zu erkennen.Offenbart wird weiter ein LiDAR-System, das eine oder mehrere solcher LiDAR-Anordnungen (1) aufweist, wobei das LiDAR-System eine zentrale Auswerteeinheit aufweist, um für jede der LiDAR-Anordnungen (1) unabhängig voneinander die Blockagesituation zu erkennen.Weiter werden schließlich ein Fahrzeug, das eine solche LiDAR-Anordnung oder ein solches LiDAR-System aufweist, und ein entsprechendes Verfahren zum Betreiben einer solchen LiDAR-Anordnung (1) offenbart.A LiDAR arrangement (1) is disclosed which is set up to detect a blockage situation in a transmission or reception path of the LiDAR arrangement (1). The LiDAR arrangement (1) is set up to recognize the blockage situation on the basis of a blooming effect. A LiDAR system is also disclosed which has one or more such LiDAR arrangements (1), the LiDAR system being a central one Has evaluation unit in order to recognize the blockage situation independently of one another for each of the LiDAR arrangements (1). Finally, a vehicle which has such a LiDAR arrangement or such a LiDAR system and a corresponding method for operating such a LiDAR Arrangement (1) disclosed.

Description

Die vorliegende Erfindung betrifft eine LiDAR-Anordnung, die dafür eingerichtet ist, eine Blockagesituation in einem Sende- oder Empfangspfad der LiDAR-Anordnung zu erkennen, ein LiDAR-System, das eine oder mehrere derartige LiDAR-Anordnungen aufweist, ein Fahrzeug, das eine derartige LiDAR-Anordnung oder ein derartiges LiDAR-System aufweist, sowie ein Verfahren zum Betreiben einer derartigen LiDAR-Anordnung.The present invention relates to a LiDAR arrangement that is set up to detect a blockage situation in a transmission or reception path of the LiDAR arrangement, a LiDAR system that has one or more such LiDAR arrangements, a vehicle that has such a Has LiDAR arrangement or such a LiDAR system, as well as a method for operating such a LiDAR arrangement.

Stand der TechnikState of the art

Hoch- und vollautomatisierte Fahrzeuge (Level 3-5) werden in den nächsten Jahren immer mehr auf unseren Straßen vorzufinden sein. Es existieren verschiedene Konzepte, wie ein solches automatisiertes Fahrzeug realisiert werden kann. All diese Ansätze benötigen verschiedenste Anordnungen und Systeme (z.B. Videokameras, LiDAR-, Radar-, Ultraschall-Anordnungen und -Systeme) mit entsprechenden Sensoren, wobei besonders LiDAR-Sensoren eine immer wichtigere Rolle spielen - optische Sensoren, welche mithilfe von Laserlicht 3D-Punktwolken der Umgebung erzeugen. Diese optische Detektion kann durch Verschmutzungen oder Wassertropfen, beispielsweise auf einem optischen Deckglas der Anordnung, leicht gestört werden. Man spricht dann von einer Blockage, sodass eine Blockagesituation vorliegt.Highly and fully automated vehicles (level 3-5) will increasingly be found on our roads in the next few years. There are various concepts of how such an automated vehicle can be implemented. All of these approaches require a wide variety of arrangements and systems (e.g. video cameras, LiDAR, radar, ultrasonic arrangements and systems) with corresponding sensors, with LiDAR sensors in particular playing an increasingly important role - optical sensors that use laser light to create 3D point clouds of the environment. This optical detection can easily be disturbed by dirt or water droplets, for example on an optical cover glass of the arrangement. One then speaks of a blockage, so that there is a blockage situation.

LiDAR-Sensoren von LiDAR-Anordnungen sind als optische Sensoren leicht anfällig für derartige Blockagen. In der Blockagesituation ist die Reichweite durch Absorption und Streuung von Laserlicht verringert und im schlimmsten Fall kann der Sensor in gewissen Bereichen blind sein, sodass Objekte in der Umwelt, wie beispielsweise Verkehrszeichen oder andere Verkehrsteilnehmer, nicht mehr zuverlässig erkannt werden.As optical sensors, LiDAR sensors of LiDAR arrangements are easily susceptible to such blockages. In the blockage situation, the range is reduced by absorption and scattering of laser light and in the worst case the sensor can be blind in certain areas, so that objects in the environment, such as traffic signs or other road users, can no longer be reliably detected.

Die WO 2018/094373 A1 beschreibt, dass eine Sensoroberfläche von beispielsweise einem LiDAR-System zumindest teilweise durch ein Objekt verdeckt sein kann, möglicherweise durch Vogelkot oder Baumsaft, oder auch durch Schnee, Eis oder Hagel. Eine Veränderung von Verhältnisinformationen zwischen mehreren Sensoren kann helfen, einen verdeckten Sensor zu erkennen. Das Dokument offenbart einen Datenvergleich zwischen zwei ähnlichen Sensoren, wie z.B. zwei Kameras.the WO 2018/094373 A1 describes that a sensor surface of, for example, a LiDAR system can be at least partially covered by an object, possibly by bird droppings or tree sap, or also by snow, ice or hail. Changing relationship information between multiple sensors can help identify an obscured sensor. The document discloses a data comparison between two similar sensors, such as two cameras.

Von der WO 2018/128655 A2 wird angesprochen, dass Sensoren und Prozessoren auf Fahrzeugen Verschmutzung und Beschädigung, z.B. durch Wetter, ausgesetzt sein können. Entsprechend wird ein fehlersicheres LiDAR-System vorgeschlagen, bei dem durch einen Arbeitsleistungsunterschied zwischen zwei Detektoren, der einen Schwellenwert übertrifft, ein Fehlfunktionssignal bereitgestellt wird. Dazu kann eine 3D-Punktwolke redundant durch beide Sensoren erzeugt werden und eine Differenz dazwischen berechnet werden.Of the WO 2018/128655 A2 it is addressed that sensors and processors on vehicles can be exposed to soiling and damage, e.g. by weather. Accordingly, a fail-safe LiDAR system is proposed in which a malfunction signal is provided by a difference in work performance between two detectors which exceeds a threshold value. For this purpose, a 3D point cloud can be generated redundantly by both sensors and a difference between them can be calculated.

Die WO 2018/037947 A1 offenbart, falls eine Kamera aufgrund von Verschmutzung nicht verfügbar ist, die Nutzung mehrerer weiterer Kameras zur Distanzmessung an einem Kraftfahrzeug. Eine Wischeinrichtung ist zudem bereitgestellt, um Schmutz, Wassertropfen und dergleichen von Bilderfassungseinheiten zu entfernen. Es sind Sensoren vorgesehen, um die Anhaftungen wie Schmutz, Wassertropfen und dergleichen an den optischen Systemen, wie z.B. eine Linse, der Bilderfassungseinheiten zu überwachen und die zugehörige Wischeinrichtung in regelmäßigen oder unregelmäßigen Intervallen zum Wischen zu steuern.the WO 2018/037947 A1 discloses, if a camera is not available due to soiling, the use of several additional cameras for distance measurement on a motor vehicle. A wiper device is also provided in order to remove dirt, water droplets and the like from image acquisition units. Sensors are provided to monitor the buildup such as dirt, water droplets and the like on the optical systems, such as a lens, of the image acquisition units and to control the associated wiping device for wiping at regular or irregular intervals.

Die Veröffentlichungsnummern WO 2019/007535 A1 und WO 2019/007536 A1 offenbaren gemäß Zusammenfassung jeweils Vorrichtungen, mit denen in einer Abfolge von Bildern einer Kamera eines Fahrzeugs ein Grund einer Blockage der Kamera unter Einbeziehung einer Tageszeit festgestellt werden kann, wobei insbesondere Vereisung und Beschlagen durch Nebel festgestellt werden.The publication numbers WO 2019/007535 A1 and WO 2019/007536 A1 According to the summary, each disclose devices with which, in a sequence of images from a camera of a vehicle, a reason for a blockage of the camera can be determined, taking into account a time of day, with icing and fogging in particular being determined.

Die Schrift WO 2019/042956 A1 offenbart einen Detektor, bei dem mehrere Sensorsignale kombiniert werden, um einen Abstand unabhängig von einer Objektgröße zu bestimmen. Das Problem einer Verschmutzung oder Beschädigung einer Linse wird angesprochen und vorgeblich durch das kombinierte Sensorsignal gelöst.The font WO 2019/042956 A1 discloses a detector in which a plurality of sensor signals are combined in order to determine a distance independently of an object size. The problem of soiling or damage to a lens is addressed and allegedly solved by the combined sensor signal.

Die WO 2018/091640 A2 lehrt die Verwendung eines Quotientensignals Q, um anhand mehrerer Sensoren trotz Schmutz oder Regentropfen auf der jeweiligen Optik eine robuste Distanzbestimmung zu einem Objekt zu ermöglichen.the WO 2018/091640 A2 teaches the use of a quotient signal Q to enable a robust determination of the distance to an object using several sensors despite dirt or raindrops on the respective optics.

Die WO 2017/181638 A1 offenbart schließlich ein System, das Daten zur Kartierung mittels Radar sammelt und mit Kamera- und/oder LiDAR-Daten kombiniert. Die Schrift offenbart das Problem, dass LiDAR-Systeme an Leistung verlieren können, wenn sie Schmutz, Schlamm, schlechtem Wetter oder anderen Kontaminierungen auf dem LiDAR-Sensor ausgesetzt sind. Als Lösung wird die Kombination der LiDAR-Daten mit Radar- oder auch Kameradaten angeregt, um aus den bestgeeigneten Daten für die Kartierung auszuwählen.the WO 2017/181638 A1 finally discloses a system that collects data for mapping using radar and combines it with camera and / or LiDAR data. The document discloses the problem that LiDAR systems can lose performance when exposed to dirt, mud, bad weather, or other contaminants on the LiDAR sensor. As a solution, the combination of LiDAR data with radar or camera data is suggested in order to select from the most suitable data for mapping.

Offenbarung der ErfindungDisclosure of the invention

Erfindungsgemäß wird eine LiDAR-Anordnung zur Verfügung gestellt, welche dafür eingerichtet ist, die Blockagesituation auf Grundlage eines Blooming-Effekts zu erkennen.According to the invention, a LiDAR arrangement is made available which is set up to recognize the blockage situation on the basis of a blooming effect.

Vorteile der ErfindungAdvantages of the invention

Diese LiDAR-Anordnung hat den Vorteil, dass ein mit einer Verschmutzung ohnehin verbundener optischer Effekt als Indiz für die Blockagesituation herangezogen werden kann. Eine weitere Inspizierung des Sende- oder Empfangspfads auf das Vorhandensein von Blockagen kann daher vermieden werden.This LiDAR arrangement has the advantage that an optical effect that is already associated with contamination can be used as an indication of the blockage situation. A further inspection of the transmission or reception path for the presence of blockages can therefore be avoided.

Blockage bewirkt nämlich einen Cross-talk, also ein Übersprechen, zwischen benachbarten Pixeln eines LiDAR-Sensors der LiDAR-Anordnung, d.h. Laserlicht wird in der Blockagesituation an Wassertropfen oder der Verschmutzung im Sende- oder Empfangspfad gestreut und dadurch in Pixeln detektiert, in welchen sich eigentlich kein Objekt befindet. Beispielsweise kann Laserlicht in einen breiten Raumwinkel ausgesendet werden, wenn es auf einen Wassertropfen im Sendepfad trifft und dadurch im Empfangspfad auf mehrere Pixel des LiDAR-Sensors gestreut werden. Daher detektiert der Sensor fälschlicherweise beispielsweise ein Verkehrsschild in diesem Winkel. Gleiche Streueffekte können auch durch Blockagen im Empfangspfad auftreten, wo das vom Objekt in der Umwelt ordnungsgemäß zurückgestreute Licht an einer Verschmutzung, beispielsweise Pollen oder Straßenschmutz, gebrochen wird und dann unerwünscht auf andere Empfangspixel des LiDAR-Sensors fällt. Dieser Cross-talk ist besonders stark für retroreflektierende Objekte, wie zum Beispiel Verkehrsschilder und Leitpfosten, aufgrund der hohen Signalstärke des reflektierten Laserlichtes. Im Zusammenhang mit stark reflektierenden Objekten bezeichnet man den Cross-talk auch oft als Blooming-Effekt. Dieser Cross-talk bzw. Blooming-Effekt kann daher genutzt werden, um Blockagen des LiDAR-Deckglases auf einfache Weise zu detektieren. Blooming kann auch als Überstrahlen bezeichnet werden.Blockage causes cross-talk, i.e. crosstalk, between neighboring pixels of a LiDAR sensor of the LiDAR arrangement, i.e. laser light is scattered in the blockage situation on water droplets or the contamination in the transmission or reception path and is thus detected in pixels in which there are actually no object is located. For example, laser light can be emitted in a wide solid angle when it hits a drop of water in the transmission path and is thereby scattered onto several pixels of the LiDAR sensor in the reception path. The sensor therefore falsely detects, for example, a traffic sign at this angle. The same scattering effects can also occur due to blockages in the reception path, where the light that is properly backscattered from the object in the environment is refracted by pollution, for example pollen or street dirt, and then falls undesirably onto other reception pixels of the LiDAR sensor. This cross-talk is particularly strong for retroreflective objects, such as traffic signs and delineator posts, due to the high signal strength of the reflected laser light. In connection with highly reflective objects, cross-talk is often referred to as the blooming effect. This cross-talk or blooming effect can therefore be used to detect blockages in the LiDAR cover glass in a simple manner. Blooming can also be referred to as outshining.

Bevorzugt ist, dass die LiDAR-Anordnung dafür eingerichtet ist, den Blooming-Effekt anhand einer Punktwolke, besonders vorzugsweise einer 3D-Punktwolke, zu erkennen. Üblicherweise sind LiDAR-Anordnungen dafür eingerichtet, 3D-Punktwolken einer Umwelt zu erzeugen, um daraus Informationen über Objekte in der Umwelt zu gewinnen. Da der Blooming-Effekt eine Begleiterscheinung der Blockagesituation ist und auch in der 3D-Punktwolke auftritt, kann die 3D-Punktwolke dazu genutzt werden, den Blooming-Effekt zu erkennen.It is preferred that the LiDAR arrangement is set up to recognize the blooming effect on the basis of a point cloud, particularly preferably a 3D point cloud. Usually, LiDAR arrangements are set up to generate 3D point clouds of an environment in order to obtain information about objects in the environment therefrom. Since the blooming effect is a side effect of the blockage situation and also occurs in the 3D point cloud, the 3D point cloud can be used to identify the blooming effect.

Vorzugsweise ist die LiDAR-Anordnung dafür eingerichtet, eine erste Umweltabbildung, die von einer ersten Abbildungseinrichtung erzeugt wurde, mit einer zweiten Umweltabbildung, die von einer zweiten Abbildungseinrichtung erzeugt wurde, zu vergleichen, um die Blockagesituation zu erkennen. Bevorzugt ist, dass die erste Abbildungseinrichtung und die zweite Abbildungseinrichtung unterschiedlich sind. Üblicherweise sind von mehreren Abbildungseinrichtungen nicht alle gleich stark von einer Blockagesituation betroffen, so dass durch Vergleichen der jeweiligen Umweltabbildungen miteinander erkennbar ist, ob auf einer der Abbildungseinrichtungen eine Blockagesituation vorliegt. Eine Fahrkamera, die üblicherweise durch eine Videokamera bereitgestellt ist und eine erste Abbildungseinrichtung sein kann, ist vergleichsweise wenig empfindlich für optischen cross-talk zwischen Pixeln, weil Kameras passiv messen, das heißt ohne Aussenden von Licht, wodurch kein starkes Signal von Retroreflektoren erwartet wird, im Gegensatz zu beispielsweise einem LiDAR-Sensor, der die zweite Abbildungseinrichtung sein kann. Der Grund, dass die Fahrkamera das Blooming nicht detektiert, ist der Unterschied im Messprinzip: LiDARe senden aktiv Licht aus und bekommen dadurch extrem starke Signale von Retroreflektoren zurück. Kameras dagegen messen passiv und bekommen nicht so ein starkes Signal. Selbst wenn also eine Blockagesituation vorliegt, kann die Abbildung, die durch eine Fahrkamera erzeugt wird, in geringerem Maße durch die Blockagesituation beeinträchtigt sein, als beispielsweise die Abbildung, die durch eine 3D-Punktwolken-Erzeugungseinrichtung erzeugt wird. Beispielsweise kann daher in einer Blockagesituation die durch die erste Abbildungseinrichtung erzeugte Abbildung eines Objekts in der Umwelt hinsichtlich der Objektgröße deutlich kleiner oder auch realistischer sein als die durch die zweite Abbildungseinrichtung erzeugte Abbildung. Als erste Abbildungseinrichtung kann daher vorzugsweise eine Abbildungseinrichtung gewählt werden, die eine geringere Anfälligkeit für den Blooming-Effekt zeigt als die zweite Abbildungseinrichtung. Die erste Abbildungseinrichtung kann somit in Ausführungsformen als Referenzabbildungseinrichtung herangezogen werden, mit deren Abbildungen die der zweiten Abbildungseinrichtung verglichen werden.The LiDAR arrangement is preferably set up to compare a first environmental image, which was generated by a first imaging device, with a second environmental image, which was generated by a second imaging device, in order to identify the blockage situation. It is preferred that the first imaging device and the second imaging device are different. Usually, not all of a number of imaging devices are equally affected by a blockage situation, so that by comparing the respective environmental images with one another it can be seen whether a blockage situation is present on one of the imaging devices. A driving camera, which is usually provided by a video camera and can be a first imaging device, is comparatively less sensitive to optical cross-talk between pixels because cameras measure passively, i.e. without emitting light, which means that no strong signal is expected from retroreflectors. in contrast to, for example, a LiDAR sensor, which can be the second imaging device. The reason that the driving camera does not detect the blooming is the difference in the measuring principle: LiDARe actively emit light and thus receive extremely strong signals back from retroreflectors. Cameras, on the other hand, measure passively and do not receive such a strong signal. Even if there is a blockage situation, the image generated by a driving camera can be affected to a lesser extent by the blockage situation than, for example, the image generated by a 3D point cloud generation device. For example, in a blockage situation, the image of an object in the environment generated by the first imaging device can be significantly smaller or more realistic in terms of the object size than the image generated by the second imaging device. An imaging device can therefore preferably be selected as the first imaging device which is less susceptible to the blooming effect than the second imaging device. In embodiments, the first imaging device can thus be used as a reference imaging device, with whose images those of the second imaging device are compared.

Die erste Abbildungseinrichtung ist vorzugsweise eine Fahrkamera. Die zweite Abbildungseinrichtung ist vorzugsweise eine 3D-Punktwolken-Erzeugungseinrichtung. Bevorzugt ist daher, dass die LiDAR-Anordnung eine Fahrkamera und eine 3D-Punktwolken-Erzeugungseinrichtung aufweist. Die Fahrkamera kann eine fotorealistische Abbildung der Umwelt erzeugen, während die 3D-Punktwolken-Erzeugungseinrichtung eine abstrahierte Abbildung der Umwelt erzeugen kann. Durch Vergleich der jeweiligen Abbildungen kann bestimmt werden, ob die abstrahierte Abbildung mit der fotorealistischen Abbildung übereinstimmt. Ist dies nicht der Fall, kann dies als Hinweis auf eine Blockagesituation, insbesondere der 3D-Punktwolken-Erzeugungseinrichtung, aufgefasst werden. Die Fahrkamera muss allerdings nicht zwingend in der LiDAR-Anordnung verbaut sein. Es ist in Ausführungsformen möglich, eine separat verbaute Kamera des Fahrzeugs zu nutzen. Oft sind in Fahrzeugen mit LiDAR-Sensoren auch Fahrkameras verbaut, da diese günstiger sind. Die Fahrkamera und die LiDAR-Anordnung können also voneinander separat ausgebildet sein.The first imaging device is preferably a driving camera. The second imaging device is preferably a 3D point cloud generating device. It is therefore preferred that the LiDAR arrangement has a driving camera and a 3D point cloud generating device. The driving camera can generate a photo-realistic image of the environment, while the 3D point cloud generation device can generate an abstract image of the environment. By comparing the respective images, it can be determined whether the abstracted image corresponds to the photorealistic image. If this is not the case, this can be interpreted as an indication of a blockage situation, in particular of the 3D point cloud generation device. However, the driving camera does not necessarily have to be built into the LiDAR arrangement. It is possible in embodiments to do one separately to use the vehicle's built-in camera. Often, driving cameras are also built into vehicles with LiDAR sensors because they are cheaper. The driving camera and the LiDAR arrangement can therefore be designed separately from one another.

Die LiDAR-Anordnung ist dafür eingerichtet, nach Erkennen der Blockagesituation ein Beheben der Blockagesituation zu veranlassen. Vorzugsweise weist die LiDAR-Anordnung eine Steuereinheit auf. Die Steuereinheit kann dafür eingerichtet sein, die Blockagesituation auf Grundlage des Blooming-Effekts zu erkennen. Weiter kann die Steuereinheit dafür eingerichtet sein, das Beheben der Blockagesituation zu veranlassen. Insbesondere kann die LiDAR-Anordnung einen Scheibenwischer aufweisen, der durch die Steuereinheit betreibbar ist, die Blockagesituation zu beheben. Durch anschließenden erneuten Vergleich der jeweiligen Abbildungen der ersten und der zweiten Abbildungseinrichtungen kann die Steuereinheit in Ausführungsformen bestätigen, dass die Blockagesituation behoben worden ist. Die Steuereinheit kann eine Verarbeitungseinheit und einen Speicher aufweisen, der notwendige Programme zum Betreiben der LiDAR-Anordnung mittels der Verarbeitungseinheit enthält.The LiDAR arrangement is set up to initiate a removal of the blockage situation after recognizing the blockage situation. The LiDAR arrangement preferably has a control unit. The control unit can be set up to recognize the blockage situation on the basis of the blooming effect. Furthermore, the control unit can be set up to initiate the removal of the blockage situation. In particular, the LiDAR arrangement can have a windshield wiper which can be operated by the control unit to remedy the blockage situation. By subsequently comparing the respective images of the first and second imaging devices again, the control unit can, in embodiments, confirm that the blockage situation has been eliminated. The control unit can have a processing unit and a memory which contains the necessary programs for operating the LiDAR arrangement by means of the processing unit.

Die LiDAR-Anordnung weist vorzugsweise ein Deckglas auf. Die LiDAR-Anordnung ist vorzugsweise dafür eingerichtet, eine Blockage auf dem Deckglas als Ursache der Blockagesituation zu erkennen. Vorzugsweise ist der Scheibenwischer dafür angeordnet, die Blockage des Deckglases zu beheben. Das Deckglas kann dafür angeordnet sein, den Empfangspfad und/oder den Sendepfad der LiDAR-Anordnung gegenüber der Umwelt zu versiegeln. Vorzugsweise ist daher das Deckglas der LiDAR-Anordnung auf einem optischen Pfad im Sendepfad einer Lichtquelle nachgelagert bzw. im Empfangspfad dem LiDAR-Sensor vorgelagert. Das Deckglas kann als gewölbtes Deckglas ausgeführt sein.The LiDAR arrangement preferably has a cover glass. The LiDAR arrangement is preferably set up to recognize a blockage on the cover glass as the cause of the blockage situation. The windshield wiper is preferably arranged to remove the blockage of the cover glass. The cover glass can be arranged to seal the reception path and / or the transmission path of the LiDAR arrangement from the environment. The cover glass of the LiDAR arrangement is therefore preferably located downstream of a light source on an optical path in the transmission path or upstream of the LiDAR sensor in the reception path. The cover glass can be designed as a curved cover glass.

Weiter wird ein LiDAR-System zur Verfügung gestellt, das eine oder mehrere LiDAR-Anordnungen aufweist, die jeweils dafür eingerichtet sind, die Blockagesituation auf Grundlage eines Blooming-Effekts zu erkennen, wobei das LiDAR-System eine zentrale Auswerteeinheit aufweist, um für jede der LiDAR-Anordnungen unabhängig voneinander die Blockagesituation zu erkennen.Furthermore, a LiDAR system is made available which has one or more LiDAR arrangements which are each set up to recognize the blockage situation on the basis of a blooming effect, the LiDAR system having a central evaluation unit in order to determine for each of the LiDAR arrangements to recognize the blockage situation independently of one another.

Bevorzugt ist, dass das LiDAR-System zwei oder mehr LiDAR-Anordnungen aufweist. Dieses System hat den Vorteil, dass bei mehreren LiDAR-Anordnungen nicht für jede LiDAR-Anordnung eine separate Auswerteeinheit benötigt wird, sondern dass die zentrale LiDAR-Anordnung die Blockagesituation für zwei oder mehr LiDAR-Anordnungen auf Grundlage des Blooming-Effekts erkennen kann.It is preferred that the LiDAR system has two or more LiDAR arrangements. This system has the advantage that with several LiDAR arrangements a separate evaluation unit is not required for each LiDAR arrangement, but that the central LiDAR arrangement can recognize the blockage situation for two or more LiDAR arrangements on the basis of the blooming effect.

Mögliche Vorteile und Ausgestaltungen der jeweiligen LiDAR-Anordnungen ergeben sich aus der vorstehenden Beschreibung der erfindungsgemäßen LiDAR-Anordnung, sodass hierauf eine Wiederholung verzichtet wird.Possible advantages and configurations of the respective LiDAR arrangements result from the above description of the LiDAR arrangement according to the invention, so that a repetition is dispensed with.

Weiter wird ein Fahrzeug zur Verfügung gestellt, das eine vorstehend beschriebene LiDAR-Anordnung oder ein vorstehend beschriebenes LiDAR-System aufweist.Furthermore, a vehicle is provided which has a LiDAR arrangement as described above or a LiDAR system as described above.

Dieses Fahrzeug hat den Vorteil, dass ein mit einer Verschmutzung ohnehin verbundener optischer Effekt als Indiz für die Blockagesituation herangezogen werden kann. Eine weitere Inspizierung des Sende- oder Empfangspfads auf das Vorhandensein von Blockagen kann daher vermieden werden.This vehicle has the advantage that an optical effect that is already associated with soiling can be used as an indication of the blockage situation. A further inspection of the transmission or reception path for the presence of blockages can therefore be avoided.

Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, insbesondere ein straßengebundenes Kraftfahrzeug, beispielsweise einen Personenkraftwagen oder einen Lastkraftwagen oder ein Zweirad.The vehicle can be a motor vehicle, in particular a road vehicle, for example a passenger car or a truck or a two-wheeled vehicle.

Das Fahrzeug kann als erste Abbildungseinrichtung eine Fahrkamera aufweisen. Die Fahrkamera kann in Ausführungsformen in der LiDAR-Anordnung integriert sein. In anderen Ausführungsformen ist vorgesehen, dass die Fahrkamera im Fahrzeug separat von der LiDAR-Anordnung ausgebildet ist. Eine mögliche Ausführungsform ist also, dass das Fahrzeug eine Fahrkamera als erste Abbildungseinrichtung und zusätzlich, separat davon, eine LiDAR-Anordnung, insbesondere als zweite Abbildungseinrichtung, aufweist.The vehicle can have a driving camera as the first imaging device. In embodiments, the driving camera can be integrated in the LiDAR arrangement. In other embodiments it is provided that the driving camera in the vehicle is designed separately from the LiDAR arrangement. One possible embodiment is therefore that the vehicle has a driving camera as the first imaging device and additionally, separately therefrom, a LiDAR arrangement, in particular as the second imaging device.

Weiter wird ein Verfahren zum Betreiben einer LiDAR-Anordnung zur Verfügung gestellt, das den Schritt eines Erkennens einer Blockagesituation eines Sende- oder Empfangspfads der LiDAR-Anordnung auf Grundlage eines Blooming-Effekts umfasst.Furthermore, a method for operating a LiDAR arrangement is provided which comprises the step of recognizing a blockage situation of a transmission or reception path of the LiDAR arrangement on the basis of a blooming effect.

Dieses Verfahren hat den Vorteil, dass ein mit einer Verschmutzung ohnehin verbundener optischer Effekt als Indiz für die Blockagesituation herangezogen werden kann. Eine weitere Inspizierung des Sende- oder Empfangspfads auf das Vorhandensein von Blockagen kann daher vermieden werden.This method has the advantage that an optical effect that is already associated with contamination can be used as an indication of the blockage situation. A further inspection of the transmission or reception path for the presence of blockages can therefore be avoided.

Bevorzugt ist, dass der Blooming-Effekt anhand einer 3D-Punktwolke erkannt wird. Üblicherweise sind LiDAR-Anordnungen dafür eingerichtet, mittels eines LiDAR-Sensors 3D-Punktwolken einer Umwelt zu erzeugen, um daraus Informationen über Objekte in der Umwelt zu gewinnen. Da der Blooming-Effekt eine Begleiterscheinung der Blockagesituation ist und auch in der 3D-Punktwolke nachweisbar ist, kann die 3D-Punktwolke dazu genutzt werden, den Blooming-Effekt zu erkennen.It is preferred that the blooming effect is recognized using a 3D point cloud. Usually, LiDAR arrangements are set up to generate 3D point clouds of an environment by means of a LiDAR sensor in order to obtain information about objects in the environment therefrom. Since the blooming effect is a side effect of the blockage situation and can also be detected in the 3D point cloud, the 3D point cloud can be used to identify the blooming effect.

Es ist bevorzugt, dass eine Steuereinheit eines Fahrzeugs oder einer LiDAR-Anordnung das Verfahren mit seinen Schritten ausführt. In dem Verfahren ist bevorzugt, dass zunächst eine Fahrzeug-Wahrnehmungs-Engine ein Objekt in der Umwelt, vorzugsweise ein retroreflektierendes Verkehrsschild, identifiziert. In einem weiteren Schritt ist bevorzugt, dass eine Anforderung an eine Fahrkamera-Wahrnehmungs-Engine übermittelt wird, eine Größe des Objekts zu messen, und eine Anforderung an eine LiDAR-Wahrnehmungs-Engine übermittelt wird, die Größe des Objekts zu messen. In einem weiteren Schritt ist bevorzugt, die jeweils gemessenen Größen miteinander zu vergleichen. Sofern der Vergleich ergibt, dass das Objekt in der LiDAR-Wahrnehmung größer ist als in der Fahrkamera-Wahrnehmung, wird vorzugsweise bestimmt, dass ein Blooming-Effekt und somit eine Blockagesituation vorliegt. Sofern der Vergleich ergibt, dass das Objekt in der LiDAR-Wahrnehmung gleich groß ist wie in der Fahrkamera-Wahrnehmung, wird vorzugsweise bestimmt, dass kein Blooming-Effekt vorliegt und somit der LiDAR-Sensor frei von Blockagen ist.It is preferred that a control unit of a vehicle or a LiDAR arrangement carries out the method with its steps. In the method, it is preferred that a vehicle perception engine first identify an object in the environment, preferably a retroreflective traffic sign. In a further step, it is preferred that a request is transmitted to a driving camera perception engine to measure a size of the object, and a request is transmitted to a LiDAR perception engine to measure the size of the object. In a further step, it is preferred to compare the respective measured variables with one another. If the comparison shows that the object is larger in the LiDAR perception than in the driving camera perception, it is preferably determined that there is a blooming effect and thus a blockage situation. If the comparison shows that the object is the same size in the LiDAR perception as in the driving camera perception, it is preferably determined that there is no blooming effect and thus the LiDAR sensor is free from blockages.

Außerdem kann vorgesehen sein, einen Schweregrad der Blockagesituation anhand der Stärke des Blooming-Effekts zu bestimmen. Je größer die Abweichung der Größenmessungen des Objekts zwischen der Fahrkamera-Wahrnehmungs-Engine und der LiDAR-Wahrnehmungs-Engine ist, desto größer ist der Schweregrad der Blockagesituation. Hierzu können ein oder mehrere gestaffelte Schwellenwerte vorgesehen werden. Je größer die Differenz zwischen den jeweils von den beiden Engines gemessenen Größen des Objekts, desto mehr Schwellenwerte werden überschritten und desto schwerwiegender ist die Blockagesituation.In addition, it can be provided to determine the severity of the blockage situation on the basis of the strength of the blooming effect. The greater the deviation of the size measurements of the object between the driving camera perception engine and the LiDAR perception engine, the greater the severity of the blockage situation. One or more staggered threshold values can be provided for this purpose. The greater the difference between the sizes of the object measured by the two engines, the more threshold values are exceeded and the more serious the blockage situation.

Weitere bevorzugte Verfahrensschritte folgen aus den möglichen Ausgestaltungen der vorstehend beschriebenen LiDAR-Anordnung, sodass an dieser Stelle auf Wiederholungen verzichtet wird.Further preferred method steps follow from the possible configurations of the LiDAR arrangement described above, so that repetitions are dispensed with at this point.

Bevorzugt ist, dass die Fahrkamera-Wahrnehmungs-Engine als Computerprogramm in einer Recheneinrichtung einer Fahrkamera verkörpert ist. Bevorzugt ist, dass die LiDAR-Wahrnehmungs-Engine als Computerprogramm in einer Recheneinrichtung eines LiDAR-Sensors verkörpert ist. Die Recheneinrichtung kann eine Steuereinheit sein. In Ausführungsformen können sämtliche Engines als Computerprogramme in einer einzigen Steuereinheit der LiDAR-Anordnung oder zentralen Auswerteeinheit des LiDAR-Systems verkörpert sein.It is preferred that the driving camera perception engine is embodied as a computer program in a computing device of a driving camera. It is preferred that the LiDAR perception engine is embodied as a computer program in a computing device of a LiDAR sensor. The computing device can be a control unit. In embodiments, all engines can be embodied as computer programs in a single control unit of the LiDAR arrangement or central evaluation unit of the LiDAR system.

Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung beschrieben.Advantageous developments of the invention are given in the subclaims and described in the description.

FigurenlisteFigure list

Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert. Es zeigen:

  • 1 eine schematische LiDAR-Anordnung nach einer Ausführungsform der Erfindung;
  • 2 ein Fahrzeug mit einem LiDAR-System nach einer Ausführungsform der Erfindung, und
  • 3 eine schematische Darstellung eines Verfahrens nach einer Ausführungsform der Erfindung.
Exemplary embodiments of the invention are explained in more detail with reference to the drawings and the following description. Show it:
  • 1 a schematic LiDAR arrangement according to an embodiment of the invention;
  • 2 a vehicle with a LiDAR system according to an embodiment of the invention, and
  • 3 a schematic representation of a method according to an embodiment of the invention.

Ausführungsformen der ErfindungEmbodiments of the invention

In der 1 ist eine LiDAR-Anordnung 1 nach einer Ausführungsform der Erfindung gezeigt. Die LiDAR-Anordnung 1 umfasst eine erste Abbildungseinrichtung 2 und eine zweite Abbildungseinrichtung 3. Die erste Abbildungseinrichtung 2 ist eine Fahrkamera, genauer gesagt eine Videokamera, die einen CCD-Sensor aufweist. Die zweite Abbildungseinrichtung 3 ist eine 3D-Punktwolken-Erzeugungseinheit, die einen LiDAR-Sensor aufweist. Weiter weist die LiDAR-Anordnung 1 ein Deckglas 4 auf. Auf einer einer Umwelt zugewandten Außenoberfläche des Deckglases 4 ist ein Scheibenwischer 5 angeordnet, um die Außenoberfläche bei Bedarf reinigen zu können. Die LiDAR-Anordnung 1 umfasst in bekannter Weise zudem eine Vielzahl weiterer Elemente, wie eine Laser-Lichtquelle zum Bestrahlen einer Umwelt und diverse Strahlformungsoptiken, die aber hier zur Vereinfachung nicht dargestellt sind.In the 1 a LiDAR arrangement 1 according to an embodiment of the invention is shown. The LiDAR arrangement 1 comprises a first imaging device 2 and a second imaging device 3 . The first imaging device 2 is a driving camera, more precisely a video camera, which has a CCD sensor. The second imaging device 3 is a 3D point cloud generation unit that has a LiDAR sensor. The LiDAR arrangement 1 also has a cover glass 4th on. On an outer surface of the cover glass facing an environment 4th is a windshield wiper 5 arranged in order to be able to clean the outer surface if necessary. The LiDAR arrangement 1 also comprises, in a known manner, a large number of further elements, such as a laser light source for irradiating an environment and various beam-shaping optics, which, however, are not shown here for the sake of simplification.

Die LiDAR-Anordnung 1 ist dafür eingerichtet, eine Blockagesituation in einem Sende- oder Empfangspfad der LiDAR-Anordnung 1 auf Grundlage eines Blooming-Effekts zu erkennen, in diesem Ausführungsbeispiel mittels einer Steuereinheit 6. Die Blockagesituation kann zum Beispiel durch Schmutz oder Wasser auf der Außenoberfläche des Deckglases 4 verursacht sein.The LiDAR arrangement 1 is set up to recognize a blockage situation in a transmission or reception path of the LiDAR arrangement 1 on the basis of a blooming effect, in this exemplary embodiment by means of a control unit 6th . The blockage situation can be caused, for example, by dirt or water on the outer surface of the cover glass 4th be caused.

Die LiDAR-Anordnung 1 ist genauer dafür eingerichtet, eine erste Umweltabbildung, die von der ersten Abbildungseinrichtung 2 erzeugt wurde, mit einer zweiten Umweltabbildung, die von der zweiten Abbildungseinrichtung 3 erzeugt wurde, zu vergleichen, um die Blockagesituation zu erkennen. Auf diese Weise ist die LiDAR-Anordnung 1 dafür eingerichtet, den Blooming-Effekt anhand der 3D-Punktwolke, die durch die 3D-Punktwolken-Erzeugungseinheit erzeugt wird, zu erkennen. Das Verfahren wird im Folgenden detaillierter anhand einer möglichen Ausführungsform in 3 erläutert.The LiDAR arrangement 1 is set up more precisely to produce a first environmental image that is produced by the first imaging device 2 was generated, with a second environment map produced by the second imaging device 3 was generated to compare in order to recognize the blockage situation. In this way, the LiDAR arrangement 1 is set up to recognize the blooming effect on the basis of the 3D point cloud that is generated by the 3D point cloud generation unit. The method is described in more detail below using a possible embodiment in FIG 3 explained.

Weiter ist die LiDAR-Anordnung 1 aus 1 dafür eingerichtet, nach Erkennen der Blockagesituation ein Beheben der Blockagesituation zu veranlassen. Zu diesem Zweck ist die Steuereinheit 6 mit einem Aktuator 7 des Scheibenwischers 5 wirkverbunden, um den Scheibenwischer 5 nach Erkennen der Blockagesituation das Deckglas 4 reinigen zu lassen. Durch erneutes Vergleichen von jeweiligen Abbildungen, die von den zwei Abbildungseinrichtungen 2, 3 erzeugt werden, nach dem Betätigen des Scheibenwischers 5 kann die Steuereinheit 6 feststellen, ob die Blockagesituation behoben ist. Daher ist die LiDAR-Anordnung 1 dafür eingerichtet, eine Blockage auf dem Deckglas 4 als Ursache der Blockagesituation zu erkennen. Ist die Blockage nach dem Betätigen des Scheibenwischers 5 nicht behoben, kann die Steuereinheit 6 den Scheibenwischer 5 entweder erneut betätigen oder gegebenenfalls weitere Mittel veranlassen, andere mögliche Orte im Strahlengang, an denen die Blockage vorliegen könnte, zu reinigen.The LiDAR arrangement 1 is also off 1 set up to remedy the blockage situation after recognizing the blockage situation cause. This is the purpose of the control unit 6th with an actuator 7th of the windshield wiper 5 operatively connected to the windshield wiper 5 after recognizing the blockage situation, the cover slip 4th to be cleaned. By again comparing respective images produced by the two imaging devices 2 , 3 are generated after operating the windshield wiper 5 can the control unit 6th determine whether the blockage situation has been resolved. The LiDAR arrangement 1 is therefore set up for a blockage on the cover glass 4th to be recognized as the cause of the blockage situation. Is the blockage after operating the windshield wiper 5 not fixed, the control unit can 6th the windshield wiper 5 either actuate again or, if necessary, cause further means to clean other possible locations in the beam path where the blockage could be present.

Die 2 zeigt ein Fahrzeug 8, in dem ein LiDAR-System gemäß der Erfindung verbaut ist. Das LiDAR-System umfasst eine zentrale Auswerteeinheit 9. Weiter umfasst das LiDAR-System die LiDAR-Anordnung 1 und eine weitere LiDAR-Anordnung 10. Die zentrale Auswerteeinheit 9 ist dafür eingerichtet, für jede der LiDAR-Anordnung 1, hier in der Front des Fahrzeugs 8, und der weiteren LiDAR-Anordnung 10, hier im Heck des Fahrzeugs 8, unabhängig voneinander die Blockagesituation zu erkennen und zusätzlich bei Bedarf wie vorstehend beschrieben zu beheben. Die LiDAR-Anordnung 1 und die weitere LiDAR-Anordnung 10 sind im Wesentlichen gemäß 1 ausgestaltet, außer, dass die Funktion der jeweiligen Steuereinheit 6 durch die zentrale Auswerteeinheit 9 wahrgenommen wird. Daher sind die LiDAR-Anordnung 1 und die weitere LiDAR-Anordnung 10 kommunikativ über eine jeweilige Kabelverbindung mit der zentralen Auswerteeinheit 9 verbunden.the 2 shows a vehicle 8th , in which a LiDAR system according to the invention is installed. The LiDAR system includes a central evaluation unit 9 . The LiDAR system further comprises the LiDAR arrangement 1 and a further LiDAR arrangement 10. The central evaluation unit 9 is set up for each of the LiDAR arrangement 1, here in the front of the vehicle 8th , and the further LiDAR arrangement 10, here in the rear of the vehicle 8th to recognize the blockage situation independently of one another and, if necessary, to correct it as described above. The LiDAR arrangement 1 and the further LiDAR arrangement 10 are essentially in accordance with 1 configured, except that the function of the respective control unit 6th through the central evaluation unit 9 is perceived. The LiDAR arrangement 1 and the further LiDAR arrangement 10 are therefore communicative via a respective cable connection with the central evaluation unit 9 tied together.

Die 3 zeigt nun eine mögliche Ausführungsform des Verfahrens im Detail. Das Verfahren wird als Computerprogramm durch die Steuereinheit 6 in 1 bzw. die zentrale Auswerteeinheit 9 in 2 ausgeführt. Die Grundidee des erfindungsgemäßen Verfahrens besteht darin, eine LiDAR-Anordnung 1 zu betreiben durch Erkennen einer Blockagesituation eines Sende- oder Empfangspfads der LiDAR-Anordnung 1 auf Grundlage des Blooming-Effekts. Der Blooming-Effekt wird vorzugsweise anhand der 3D-Punktwolke erkannt.the 3 now shows a possible embodiment of the method in detail. The method is run as a computer program by the control unit 6th in 1 or the central evaluation unit 9 in 2 executed. The basic idea of the method according to the invention is to operate a LiDAR arrangement 1 by recognizing a blockage situation of a transmission or reception path of the LiDAR arrangement 1 on the basis of the blooming effect. The blooming effect is preferably recognized on the basis of the 3D point cloud.

Als einen ersten Schritt S31 sieht die hier dargestellte besondere Ausführungsform dieses Verfahrens zunächst ein Identifizieren eines Objekts in der Umwelt vor. Darauffolgend findet in einem Schritt S32 ein Übermitteln einer Anforderung an eine Fahrkamera-Wahrnehmungs-Engine statt, eine Größe des Objekts zu messen, und einer Anforderung an eine LiDAR-Wahrnehmungs-Engine, die Größe des Objekts zu messen. Dann ist ein Vergleichsschritt S33 vorgesehen, um die jeweils gemessenen Größen miteinander zu vergleichen. In einem anschließenden Auswerteschritt S34 wird dann bestimmt, ob ein Blooming-Effekt vorliegt und somit eine Blockagesituation vorliegt. Sofern der Vergleich ergibt, dass ein Größenunterschied zwischen den beiden gemessenen Größen einen Schwellenwert überschreitet, wird daraufhin ein Behebungsschritt S35 eingeleitet, in dem ein Reinigungsvorgang des Deckglases 4 eingeleitet wird, um die Blockagesituation zu beheben. Andernfalls endet das Verfahren vorzeitig. Die Fahrkamera-Wahrnehmungs-Engine und die LiDAR-Wahrnehmungs-Engine sind in der Steuereinheit 6 bzw. der zentralen Auswerteeinheit 9 als Programmmodule verkörpert, ebenso wie eine Identifizierungs-Engine für Schritt S31, eine Anforderungs-Engine für Schritt S32, eine Vergleichs-Engine für Schritt S33, eine Auswerte-Engine für Schritt S34 und eine Behebungs-Engine für Schritt S35.As a first step S31 the particular embodiment of this method shown here initially provides for an identification of an object in the environment. Subsequently takes place in one step S32 instead of transmitting a request to a driving camera perception engine to measure a size of the object and a request to a LiDAR perception engine to measure the size of the object. Then there is a comparison step S33 provided in order to compare the respective measured quantities with one another. In a subsequent evaluation step S34 it is then determined whether there is a blooming effect and thus a blockage situation. If the comparison shows that a size difference between the two measured variables exceeds a threshold value, a remedial step is then carried out S35 initiated in which a cleaning process of the cover slip 4th is initiated to resolve the blockage situation. Otherwise the procedure ends prematurely. The driving camera perception engine and the LiDAR perception engine are in the control unit 6th or the central evaluation unit 9 embodied as program modules, as well as an identification engine for step S31 , a requirements engine by step S32 , a comparison engine by step S33 , an evaluation engine by step S34 and a recovery engine by step S35 .

Eine bekannte Herausforderung kann sein, eine Verschmutzungssituation bei einer LiDAR-Anordnung 1 automatisch zu erkennen und dadurch den Reinigungsvorgang selbstständig auszulösen, gleichzeitig aber die Anzahl der Reinigungsvorgänge auf ein Minimum zu beschränken, um die Lebensdauer, z.B. des Deckglases 4, zu maximieren. Dies wird durch die vorliegende Erfindung in den gezeigten Ausführungsformen ermöglicht.A well-known challenge can be to automatically detect a contamination situation in a LiDAR arrangement 1 and thereby trigger the cleaning process independently, while at the same time reducing the number of cleaning processes to a minimum in order to extend the service life of the cover glass, for example 4th to maximize. This is made possible by the present invention in the embodiments shown.

Wie vorstehend erläutert, erlaubt die Erfindung das Nutzen des sogenannten Blooming-Effekts, beispielsweise von retroreflektierenden Objekten wie Verkehrsschildern, zur Erkennung von Blockage. Ausführungsformen sehen vor, anhand von Punktwolke-Daten zu erkennen, ob das Deckglas 4 der LiDAR-Anordnung 1 Verschmutzungen oder Wassertropfen aufweist. Vorteil eines solchen Verfahrens ist in Ausführungsformen der Erfindung, dass die zentrale Auswerteeinheit 9 des LiDAR-Systems für jeden LiDAR-Sensor jeder LiDAR-Anordnung 1 unabhängig Blockage bestimmen kann. Zusätzliche Sensorik ist nicht notwendig. Die Erfindung kann in teil-, hoch- und vollautomatisierten Fahrzeugen (Level 1 - 5) eingesetzt werden.As explained above, the invention allows the so-called blooming effect to be used, for example of retroreflective objects such as traffic signs, to detect blockage. Embodiments provide for recognizing on the basis of point cloud data whether the cover slip 4th the LiDAR arrangement 1 has dirt or water droplets. The advantage of such a method in embodiments of the invention is that the central evaluation unit 9 of the LiDAR system can independently determine blockage for each LiDAR sensor of each LiDAR arrangement 1. Additional sensors are not necessary. The invention can be used in partially, highly and fully automated vehicles (levels 1 - 5).

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been illustrated and described in more detail by preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by the person skilled in the art without departing from the scope of protection of the invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • WO 2018/094373 A1 [0004]WO 2018/094373 A1 [0004]
  • WO 2018/128655 A2 [0005]WO 2018/128655 A2 [0005]
  • WO 2018/037947 A1 [0006]WO 2018/037947 A1 [0006]
  • WO 2019/007535 A1 [0007]WO 2019/007535 A1 [0007]
  • WO 2019/007536 A1 [0007]WO 2019/007536 A1 [0007]
  • WO 2019/042956 A1 [0008]WO 2019/042956 A1 [0008]
  • WO 2018/091640 A2 [0009]WO 2018/091640 A2 [0009]
  • WO 2017/181638 A1 [0010]WO 2017/181638 A1 [0010]

Claims (10)

LiDAR-Anordnung (1), die dafür eingerichtet ist, eine Blockagesituation in einem Sende- oder Empfangspfad der LiDAR-Anordnung (1) zu erkennen dadurch gekennzeichnet, dass die LiDAR-Anordnung (1) dafür eingerichtet ist, die Blockagesituation auf Grundlage eines Blooming-Effekts zu erkennen.LiDAR arrangement (1) which is set up to detect a blockage situation in a transmission or reception path of the LiDAR arrangement (1), characterized in that the LiDAR arrangement (1) is set up to block the situation on the basis of blooming Effect to be recognized. LiDAR-Anordnung (1) nach Anspruch 1, wobei die LiDAR-Anordnung (1) dafür eingerichtet ist, den Blooming-Effekt anhand einer 3D-Punktwolke zu erkennen.LiDAR arrangement (1) Claim 1 , wherein the LiDAR arrangement (1) is set up to recognize the blooming effect on the basis of a 3D point cloud. LiDAR-Anordnung (1) nach einem der vorstehenden Ansprüche, wobei die LiDAR-Anordnung (1) dafür eingerichtet ist, eine erste Umweltabbildung, die von einer ersten Abbildungseinrichtung (2) erzeugt wurde, mit einer zweiten Umweltabbildung, die von einer zweiten Abbildungseinrichtung (3) erzeugt wurde, zu vergleichen, um die Blockagesituation zu erkennen.LiDAR arrangement (1) according to one of the preceding claims, wherein the LiDAR arrangement (1) is set up to display a first environmental image generated by a first imaging device (2) with a second environmental image generated by a second imaging device ( 3) was generated to compare in order to identify the blockage situation. LiDAR-Anordnung (1) nach Anspruch 3, wobei die erste Abbildungseinrichtung (2) eine Fahrkamera ist und die zweite Abbildungseinrichtung (3) eine 3D-Punktwolken-Erzeugungseinrichtung ist.LiDAR arrangement (1) Claim 3 , wherein the first imaging device (2) is a driving camera and the second imaging device (3) is a 3D point cloud generating device. LiDAR-Anordnung (1) nach einem der vorstehenden Ansprüche, wobei die LiDAR-Anordnung (1) dafür eingerichtet ist, nach Erkennen der Blockagesituation ein Beheben der Blockagesituation zu veranlassen.LiDAR arrangement (1) according to one of the preceding claims, wherein the LiDAR arrangement (1) is set up to cause the blockage situation to be rectified after the blockage situation has been recognized. LiDAR-Anordnung (1) nach einem der vorstehenden Ansprüche, wobei die LiDAR-Anordnung (1) ein Deckglas (4) aufweist und die LiDAR-Anordnung (1) dafür eingerichtet ist, eine Blockage auf dem Deckglas (4) als Ursache der Blockagesituation zu erkennen.LiDAR arrangement (1) according to one of the preceding claims, wherein the LiDAR arrangement (1) has a cover glass (4) and the LiDAR arrangement (1) is set up for a blockage on the cover glass (4) as the cause of the blockage situation to recognize. LiDAR-System, das eine oder mehrere der LiDAR-Anordnungen (1) nach einem der Ansprüche 1 bis 6 aufweist, dadurch gekennzeichnet, dass das LiDAR-System eine zentrale Auswerteeinheit (9) aufweist, um für jede der LiDAR-Anordnungen (1) unabhängig voneinander die Blockagesituation zu erkennen.LiDAR system that one or more of the LiDAR arrangements (1) according to one of the Claims 1 until 6th characterized in that the LiDAR system has a central evaluation unit (9) in order to identify the blockage situation for each of the LiDAR arrangements (1) independently of one another. Fahrzeug (8), das eine LiDAR-Anordnung (1) oder ein LiDAR-System nach einem der vorstehenden Ansprüche aufweist.Vehicle (8) which has a LiDAR arrangement (1) or a LiDAR system according to one of the preceding claims. Verfahren zum Betreiben einer LiDAR-Anordnung (1), umfassend den Schritt: - Erkennen einer Blockagesituation eines Sende- oder Empfangspfads der LiDAR-Anordnung (1) auf Grundlage eines Blooming-Effekts.A method for operating a LiDAR arrangement (1), comprising the step: - Detection of a blockage situation of a transmission or reception path of the LiDAR arrangement (1) on the basis of a blooming effect. Verfahren nach Anspruch 9, umfassend: - Erkennen des Blooming-Effekts anhand einer 3D-Punktwolke.Procedure according to Claim 9 , comprising: - Detection of the blooming effect on the basis of a 3D point cloud.
DE102020201837.5A 2020-02-14 2020-02-14 LiDAR arrangement, LiDAR system, vehicle and procedure Pending DE102020201837A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020201837.5A DE102020201837A1 (en) 2020-02-14 2020-02-14 LiDAR arrangement, LiDAR system, vehicle and procedure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020201837.5A DE102020201837A1 (en) 2020-02-14 2020-02-14 LiDAR arrangement, LiDAR system, vehicle and procedure

Publications (1)

Publication Number Publication Date
DE102020201837A1 true DE102020201837A1 (en) 2021-08-19

Family

ID=77060573

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020201837.5A Pending DE102020201837A1 (en) 2020-02-14 2020-02-14 LiDAR arrangement, LiDAR system, vehicle and procedure

Country Status (1)

Country Link
DE (1) DE102020201837A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020119116B3 (en) 2020-07-21 2021-12-16 Daimler Ag Method for the detection of contamination of an optical sensor arrangement
DE102021209668A1 (en) 2021-09-02 2023-03-02 Zf Friedrichshafen Ag test fixture

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017181638A1 (en) 2016-04-22 2017-10-26 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
WO2018037947A1 (en) 2016-08-24 2018-03-01 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
WO2018091640A2 (en) 2016-11-17 2018-05-24 Trinamix Gmbh Detector for optically detecting at least one object
WO2018094373A1 (en) 2016-11-21 2018-05-24 Nio Usa, Inc. Sensor surface object detection methods and systems
WO2018128655A2 (en) 2016-09-25 2018-07-12 Okeeffe James Distributed laser range finder with fiber optics and micromirrors
WO2019007536A1 (en) 2017-07-07 2019-01-10 Toyota Motor Europe A method for identifying a cause of blockage in a sequence of images, a computer program for performing said method, a computer-readable recording medium containing such computer program, a driving assistance system capable of executing said method
WO2019007535A1 (en) 2017-07-07 2019-01-10 Toyota Motor Europe A driving assistance system, recording medium containing a computer program and method for identifying a cause of a blockage in a sequence of images
WO2019042956A1 (en) 2017-08-28 2019-03-07 Trinamix Gmbh Detector for determining a position of at least one object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017181638A1 (en) 2016-04-22 2017-10-26 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
WO2018037947A1 (en) 2016-08-24 2018-03-01 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
WO2018128655A2 (en) 2016-09-25 2018-07-12 Okeeffe James Distributed laser range finder with fiber optics and micromirrors
WO2018091640A2 (en) 2016-11-17 2018-05-24 Trinamix Gmbh Detector for optically detecting at least one object
WO2018094373A1 (en) 2016-11-21 2018-05-24 Nio Usa, Inc. Sensor surface object detection methods and systems
WO2019007536A1 (en) 2017-07-07 2019-01-10 Toyota Motor Europe A method for identifying a cause of blockage in a sequence of images, a computer program for performing said method, a computer-readable recording medium containing such computer program, a driving assistance system capable of executing said method
WO2019007535A1 (en) 2017-07-07 2019-01-10 Toyota Motor Europe A driving assistance system, recording medium containing a computer program and method for identifying a cause of a blockage in a sequence of images
WO2019042956A1 (en) 2017-08-28 2019-03-07 Trinamix Gmbh Detector for determining a position of at least one object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020119116B3 (en) 2020-07-21 2021-12-16 Daimler Ag Method for the detection of contamination of an optical sensor arrangement
DE102021209668A1 (en) 2021-09-02 2023-03-02 Zf Friedrichshafen Ag test fixture

Similar Documents

Publication Publication Date Title
DE102008013366B4 (en) Method for providing information for driver assistance systems
DE102011088130A1 (en) Method and device for detecting a braking situation
DE102013200409A1 (en) A method and apparatus for monitoring an environment of a vehicle and method for performing emergency braking
DE102015214743A1 (en) Method and device in a motor vehicle for improved data fusion in an environment detection
DE102010039092B4 (en) Method and control device for determining a distance between an object and a vehicle
DE102016009928A1 (en) Method for detecting wet on a roadway
DE102020201837A1 (en) LiDAR arrangement, LiDAR system, vehicle and procedure
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102019209846A1 (en) Method of operating a 3D distance sensor device
DE112020002267T5 (en) anomaly diagnostic device
DE102020115997A1 (en) VEHICLE SENSOR IMPROVEMENTS
DE102015007794A1 (en) Method and device for detecting moisture and / or contamination on an outside of a cover of an image sensor
DE102007032997A1 (en) Driver assistance device
DE102020105059A1 (en) DETERMINATION OF THE BLOCKING OF A LIGHTING DEVICE BY KNOWN OPTICAL CHARACTERISTICS
DE102019001041A1 (en) Method and device for recognizing at least one manipulated traffic sign with a laser scanner
DE102011083232A1 (en) Image capture device for a vehicle
WO2015149799A1 (en) Stereo camera system
WO2022128013A1 (en) Correction of images from a camera in case of rain, incident light and contamination
EP4193180A1 (en) Method for ascertaining optical crosstalk of a lidar sensor, and lidar sensor
EP2565580B1 (en) Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device
DE102019116100A1 (en) Method for differentiating between precipitation and spray in one based on a point cloud
DE102020206152A1 (en) Device for determining whether a parking space in a lateral front area and / or rear area of a vehicle is suitable for the vehicle, a driver assistance system with such a device and a vehicle with such a driver assistance system
DE102019116960A1 (en) Method for classifying objects in the surroundings of a vehicle by means of an optoelectronic sensor, taking into account a free space, computing device and sensor device
DE102018126506A1 (en) Rain detection with an environment sensor for point-by-point detection of an environment of a vehicle, in particular with a LiDAR-based environment sensor
DE102019209849B4 (en) Method and control device for distance-measuring image processing for a stereo camera device for a vehicle and stereo camera system with a stereo camera device and a control device

Legal Events

Date Code Title Description
R163 Identified publications notified