DE102023001652B4 - Method for detecting and tracking objects in a vehicle environment - Google Patents

Method for detecting and tracking objects in a vehicle environment Download PDF

Info

Publication number
DE102023001652B4
DE102023001652B4 DE102023001652.7A DE102023001652A DE102023001652B4 DE 102023001652 B4 DE102023001652 B4 DE 102023001652B4 DE 102023001652 A DE102023001652 A DE 102023001652A DE 102023001652 B4 DE102023001652 B4 DE 102023001652B4
Authority
DE
Germany
Prior art keywords
reflections
detected
objects
tracked
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102023001652.7A
Other languages
German (de)
Other versions
DE102023001652A1 (en
Inventor
Robin Heinzler
Marvin Simchen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102023001652.7A priority Critical patent/DE102023001652B4/en
Publication of DE102023001652A1 publication Critical patent/DE102023001652A1/en
Application granted granted Critical
Publication of DE102023001652B4 publication Critical patent/DE102023001652B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Verfahren zur Erkennung und Verfolgung von Objekten (O) in einer Umgebung eines Fahrzeugs (1), wobei- mittels zumindest eines Lidarsensors (2) in mehreren aufeinanderfolgenden Messungen Lichtsignale (LS) ausgesendet und von Objekten (O) zurückgesendete Reflexionen (R1 bis Rm) der Lichtsignale (LS) erfasst werden,- anhand der Reflexionen (R1 bis Rm) zu jeder Messung eine Punktewolke (PW1 bis PW4) erzeugt wird und- mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken (PW1 bis PW4) Objekte (O) in der Umgebung erkannt und verfolgt werden,wobei- die Reflexionen (R1 bis Rm) einer Messung mit Reflexionen (R1 bis Rm) vorheriger Messungen verglichen werden und- Reflexionen (R1 bis Rm) innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, als nicht zu dem Objekt (O) gehörige Umgebungseinflüsse (UE) erkannt und gefiltert werdenund wobeizur Erzeugung einer Punktewolke (PW1 bis PW4) jeweils eine Reflexionskurve gebildet wird, welche einen zeitlichen Verlauf einer Leistung (PRx) der Reflexionen (R1 bis Rm) nach dem Aussenden eines Lichtsignals (LS) darstellt,- anhand einer Impulslänge (IL1, IL2) und/oder einer Impulshöhe (IH1, IH2) von Reflexionen (R1 bis Rm) in der Reflexionskurve zwischen zu intransparenten Objekten (O) gehörigen Reflexionen (R1 bis Rm) und zumindest teilweise transparenten Objekten unterschieden wird und- die zumindest teilweise transparenten Objekte als nicht zu einem in den vorherigen Messungen erkannten und verfolgten intransparenten Objekt (O) gehörige Umgebungseinflüsse (UE) erkannt werden,dadurch gekennzeichnet, dasseine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt wird,- anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen (R1 bis Rm) durchgeführt wird,- die bestimmten Geschwindigkeiten den intransparenten Objekten (O) und zumindest teilweise transparenten Objekten (O) zugeordnet werden und- anhand der zugeordneten Geschwindigkeiten die Unterscheidung zwischen den intransparenten Objekten (O) und zumindest teilweise transparenten Objekten plausibilisiert wird.Method for detecting and tracking objects (O) in the environment of a vehicle (1), wherein- by means of at least one lidar sensor (2) in several consecutive measurements, light signals (LS) are emitted and reflections (R1 to Rm) of the light signals (LS) sent back by objects (O) are detected,- a point cloud (PW1 to PW4) is generated for each measurement based on the reflections (R1 to Rm), and- objects (O) in the environment are detected and tracked using the point clouds (PW1 to PW4) generated in the consecutive measurements,wherein- the reflections (R1 to Rm) of a measurement are compared with reflections (R1 to Rm) of previous measurements, and- reflections (R1 to Rm) within a measurement which cannot be assigned to an object (O) detected and tracked in the previous measurements are detected and filtered as environmental influences (UE) not belonging to the object (O),and wherein to generate a point cloud (PW1 to PW4) a reflection curve is formed which represents a temporal progression of a power (PRx) of the reflections (R1 to Rm) after the emission of a light signal (LS),- based on a pulse length (IL1, IL2) and/or a pulse height (IH1, IH2) of reflections (R1 to Rm) in the reflection curve, a distinction is made between reflections (R1 to Rm) belonging to non-transparent objects (O) and at least partially transparent objects, and- the at least partially transparent objects are recognized as environmental influences (UE) not belonging to an non-transparent object (O) recognized and tracked in the previous measurements,characterized in thata temporal shift between at least two reflection curves recorded at different points in time is determined,- based on the determined temporal shift, a one-dimensional determination of a respective speed of the reflections (R1 to Rm) is carried out,- the determined speeds are assigned to the non-transparent objects (O) and at least partially transparent objects (O), and- based on the The distinction between the non-transparent objects (O) and at least partially transparent objects is made plausible by means of the speeds assigned to them.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for detecting and tracking objects in an environment of a vehicle according to the preamble of claim 1.

Die Erfindung betrifft weiterhin ein Verfahren zum automatisierten Betrieb eines Fahrzeugs.The invention further relates to a method for the automated operation of a vehicle.

Für einen automatisierten, beispielsweise hochautomatisierten oder autonomen Fahrbetrieb eines Fahrzeugs ist eine Erfassung einer Umgebung des Fahrzeugs erforderlich, welche mittels Kameras, Radarsensoren und Lidarsensoren durchgeführt wird. Lidarsensoren vermessen dabei ihre Umgebung durch Aussenden von Lichtsignalen im Infrarotbereich und durch eine Erfassung von an Objekten reflektierten Lichtsignalen. Die so mittels eines Lidarsensors erfassten Daten können die Erfassung der Umgebung zusätzlich zu mittels einer Kamera und Radarsensoren erfassten Daten komplettieren und bieten eine erhöhte Redundanz. Auf Lidardaten basierte Objekterkennungsalgorithmen verarbeiten mittels Lidarsensoren erzeugte Punktewolken, welche Rohdaten von Lidarsensoren darstellen, und erkennen auf Basis von Punkten dieser Punktewolken Objekte. Jeder Punkt enthält dabei neben geometrischen Koordinaten, das heißt kartesischen oder Polarkoordinaten, weitere Metainformationen über eine Lidarmessung, wie zum Beispiel eine Intensität, eine Echo-Pulsweite und Detektionsinformationen. Auf Basis geometrischer Informationen der Punktewolke werden Objekte erkannt, indem räumlich naheliegende Punkte zu einem durchgehenden Objekt verbunden werden.For automated, for example highly automated or autonomous driving of a vehicle, the vehicle's surroundings must be recorded, which is carried out using cameras, radar sensors and lidar sensors. Lidar sensors measure their surroundings by emitting light signals in the infrared range and by recording light signals reflected from objects. The data recorded in this way using a lidar sensor can complete the recording of the environment in addition to data recorded using a camera and radar sensors and offer increased redundancy. Object detection algorithms based on lidar data process point clouds generated using lidar sensors, which represent raw data from lidar sensors, and detect objects based on points in these point clouds. In addition to geometric coordinates, i.e. Cartesian or polar coordinates, each point contains further meta information about a lidar measurement, such as intensity, echo pulse width and detection information. Objects are detected based on geometric information from the point cloud by connecting spatially close points to form a continuous object.

Lidarsensoren können durch Umgebungseinflüsse wie Staub, Wasserdampf oder Sandwolken in ihrer Wahrnehmung und Objektdetektion beeinträchtigt werden. Klassische Objektalgorithmen, welche auf Basis einer mittels eines Lidarsensors erzeugten Punktewolke Objekte detektieren, können aufgrund solcher Umgebungseinflüsse beeinträchtigt werden. Dadurch können Objekte als falsch-positive Objekte falsch oder in einer fehlerhaften geometrischen Ausdehnung erkannt werden. Erkennt der Lidarsensor beispielsweise eine Abgaswolke eines Fahrzeugs, kann dies dazu führen, dass ein Fahrzeug falsch positioniert oder falsch in seinen geometrischen Ausdehnungen erkannt wird.Lidar sensors can be impaired in their perception and object detection by environmental influences such as dust, water vapor or sand clouds. Classic object algorithms, which detect objects based on a point cloud generated by a lidar sensor, can be impaired due to such environmental influences. As a result, objects can be incorrectly recognized as false positive objects or with an incorrect geometric dimension. If the lidar sensor detects a cloud of exhaust gases from a vehicle, for example, this can lead to a vehicle being incorrectly positioned or incorrectly recognized in its geometric dimensions.

Aus der US 2019 179 052 A1 ist ein Verfahren zur Steuerung eines Fahrzeugs bekannt. Das Verfahren umfasst die Schritte:

  • - Empfangen von für eine Umgebung des Fahrzeugs erfassten Laserdaten, wobei die Laserdaten mehrere Laserdatenpunkte umfassen, in mehreren Scans;
  • - Zuordnen von Laserdatenpunkten zu einem Objekt in der Umgebung durch ein Computergerät;
  • - Verfolgen des Objekts in der Umgebung, während sich das Fahrzeug durch die Umgebung bewegt, basierend auf Laserdaten, die in den Scans der Umgebung empfangen werden,
  • - Bestimmen gegebener Laserdatenpunkte, die nicht mit dem Objekt in der Umgebung verknüpft sind, als repräsentativ für ein nicht verfolgtes Objekt;
  • - Bestimmen von Laserdatenpunkten, die nicht mit dem Objekt in der durch zusätzliche Daten beschriebenen Umgebung verknüpft sind;
  • - Identifizieren einer Angabe einer Wetterbedingung in der Umgebung durch das Computergerät auf der Grundlage von Laserdatenpunkten, die nicht mit dem Objekt in der Umgebung verknüpft sind; und
  • - Steuern des Fahrzeugs in einem autonomen Modus basierend auf der Angabe der Wetterbedingung.
From the US 2019 179 052 A1 A method for controlling a vehicle is known. The method comprises the steps:
  • - Receiving laser data acquired for an environment of the vehicle, the laser data comprising a plurality of laser data points, in a plurality of scans;
  • - Assigning laser data points to an object in the environment by a computing device;
  • - Tracking the object in the environment as the vehicle moves through the environment based on laser data received in the scans of the environment,
  • - Determining given laser data points not associated with the object in the environment as representative of an untracked object;
  • - Determining laser data points that are not associated with the object in the environment described by additional data;
  • - identifying, by the computing device, an indication of a weather condition in the environment based on laser data points that are not associated with the object in the environment; and
  • - Controlling the vehicle in an autonomous mode based on the weather condition indication.

Aus der DE 10 2020 119 498 A1 ist ein Verfahren zum Schätzen einer Eigenbewegung eines Fahrzeugs bekannt.From the EN 10 2020 119 498 A1 A method for estimating the self-motion of a vehicle is known.

Aus der EP 3 715 908 A1 ist ein Verfahren zur optischen Distanzmessung bekannt.From the EP 3 715 908 A1 A method for optical distance measurement is known.

Aus der DE 10 2010 062 378 A1 ist ein Verfahren und eine Einrichtung für die Umfelderfassung mit mindestens einem Lidarsensor bekannt.From the EN 10 2010 062 378 A1 A method and a device for environmental detection with at least one lidar sensor is known.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs und ein neuartiges Verfahren zum automatisierten Betrieb eines Fahrzeugs anzugeben.The invention is based on the object of specifying a novel method for detecting and tracking objects in the environment of a vehicle and a novel method for the automated operation of a vehicle.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Erkennung und Verfolgung von Objekten, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren zum automatisierten Betrieb eines Fahrzeugs, welches die im Anspruch 5 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method for detecting and tracking objects, which has the features specified in claim 1, and by a method for the automated operation of a vehicle, which has the features specified in claim 5.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the subclaims.

In einem Verfahren zur Erkennung und Verfolgung von Objekten in einer Umgebung eines Fahrzeugs werden mittels zumindest eines Lidarsensors in mehreren aufeinanderfolgenden Messungen Lichtsignale ausgesendet und von Objekten zurückgesendete Reflexionen der Lichtsignale erfasst. Anhand der Reflexionen wird zu jeder Messung eine Punktewolke erzeugt und mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken werden Objekte in der Umgebung erkannt und verfolgt.In a method for detecting and tracking objects in the environment of a vehicle, light signals are emitted in several consecutive measurements using at least one lidar sensor and reflections of the light signals sent back by objects are recorded. Based on the reflections, a a point cloud is generated and objects in the environment are detected and tracked using the point clouds generated in the successive measurements.

Erfindungsgemäß werden die Reflexionen einer Messung mit Reflexionen vorheriger Messungen verglichen und Reflexionen innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, als nicht zu dem Objekt gehörige Umgebungseinflüsse erkannt und gefiltert.According to the invention, the reflections of a measurement are compared with reflections of previous measurements and reflections within a measurement which cannot be assigned to an object detected and tracked in the previous measurements are detected and filtered as environmental influences not belonging to the object.

Innerhalb einer Messung eines Lidarsensors, das heißt dem Aussenden eines Lichtsignals und einem Erfassen von dem Objekt zugehörigen Reflexionen, können weitere Reflexionen auftreten, wenn welche durch zwischen dem Lidarsensor und dem verfolgten Objekt, auch als getracktes Objekt bezeichnet, auftretende Umgebungseinflüsse wie beispielsweise Regen, Gischt, Abgase, Staub, Wasserdampf, Sandwolken und andere Einflüsse auftreten können. Das Verfahren ermöglicht in einfacher und zuverlässiger Weise die Erkennung und Filterung dieser zu Umgebungseinflüssen gehörigen Reflexionen, damit das verfolgte Objekt und insbesondere dessen Konturen sicher erkannt werden können. Insbesondere können mittels des Verfahrens Umgebungseinflüsse erkannt werden, welche spontan auftreten, wie beispielsweise ein Ablassen von Flüssigkeit aus dem verfolgten Objekt.During a measurement by a lidar sensor, i.e. the emission of a light signal and the detection of reflections associated with the object, further reflections can occur if they are caused by environmental influences such as rain, spray, exhaust fumes, dust, water vapor, sand clouds and other influences that occur between the lidar sensor and the tracked object, also known as the tracked object. The method enables these reflections associated with environmental influences to be detected and filtered in a simple and reliable manner so that the tracked object and in particular its contours can be reliably recognized. In particular, the method can be used to detect environmental influences that occur spontaneously, such as liquid draining from the tracked object.

Somit ermöglicht das vorliegende Verfahren eine Optimierung eines anhand von Lidardaten durchgeführten Objekterkennungsalgorithmus und eine Erhöhung einer Robustheit desselben gegenüber Umgebungseinflüsse. Dadurch kann eine Erkennung falsch-positiver Objekte oder fehlerhafter geometrischer Abmessungen verhindert werden. Thus, the present method enables optimization of an object detection algorithm based on lidar data and increases its robustness against environmental influences. This can prevent detection of false-positive objects or incorrect geometric dimensions.

Gemäß einer möglichen Ausgestaltung des Verfahrens werden als Reflexionen, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, solche Reflexionen verwendet, welche eine Kontur eines in den vorherigen Messungen erkannten und verfolgten Objekts beeinflussen und/oder ein weiteres Objekt in den Punktewolken erzeugen. Hierdurch können eine besonders zuverlässige Erkennung der Umgebungseinflüsse und daraus folgend eine besonders zuverlässige Filterung solcher erzielt werden.According to a possible embodiment of the method, reflections that cannot be assigned to an object detected and tracked in the previous measurements are reflections that influence a contour of an object detected and tracked in the previous measurements and/or create another object in the point clouds. This makes it possible to achieve particularly reliable detection of environmental influences and, as a result, particularly reliable filtering of such influences.

Gemäß einer weiteren möglichen Ausgestaltung des Verfahrens werden die Reflexionen, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, anhand von sekundären Punkten in einer Punktewolke erkannt, die in einer Messung zwischen der Aussendung eines Lichtsignals und einer Erfassung primäre Punkte bildender Reflexionen, die dem in den vorherigen Messungen erkannten und verfolgten Objekt zugeordnet werden können, erkannt werden. Eine solche Erkennung der Umgebungseinflüsse ist besonders einfach und zuverlässig durchführbar.According to another possible embodiment of the method, the reflections that cannot be assigned to an object detected and tracked in the previous measurements are detected using secondary points in a point cloud that are detected in a measurement between the emission of a light signal and the detection of primary points forming reflections that can be assigned to the object detected and tracked in the previous measurements. Such detection of environmental influences can be carried out particularly easily and reliably.

Erfindungsgemäß wird bei dem Verfahren zur Erzeugung einer Punktewolke jeweils eine Reflexionskurve gebildet, welche einen zeitlichen Verlauf einer Leistung der Reflexionen nach dem Aussenden eines Lichtsignals darstellt. Anhand einer Impulslänge und/oder einer Impulshöhe von Reflexionen in der Reflexionskurve wird zwischen zu intransparenten Objekten gehörigen Reflexionen und zumindest teilweise transparenten Objekten unterschieden, wobei die zumindest teilweise transparenten Objekte als nicht zu einem in den vorherigen Messungen erkannten und verfolgten intransparenten Objekt gehörigen Umgebungseinflüsse erkannt werden. Dies ermöglicht eine zuverlässige und einfach durchführbare Unterscheidung zwischen einem verfolgten Objekt und Umgebungseinflüssen.According to the invention, in the method for generating a point cloud, a reflection curve is formed which represents a temporal progression of the power of the reflections after the emission of a light signal. Based on a pulse length and/or a pulse height of reflections in the reflection curve, a distinction is made between reflections belonging to non-transparent objects and at least partially transparent objects, with the at least partially transparent objects being recognized as environmental influences not belonging to an non-transparent object recognized and tracked in the previous measurements. This enables a reliable and easy-to-implement distinction to be made between a tracked object and environmental influences.

Erfindungsgemäß wird bei dem Verfahren

  • eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt, wobei anhand der erfassten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen durchgeführt wird. Die bestimmten Geschwindigkeiten werden den intransparenten Objekten und zumindest teilweise transparenten Objekten zugeordnet, wobei anhand der zugeordneten Geschwindigkeiten die Unterscheidung zwischen den intransparenten Objekten und zumindest teilweise transparenten Objekten plausibilisiert wird. Durch eine solche Plausibilisierung kann die Zuverlässigkeit der Unterscheidung zwischen einem verfolgten Objekt und Umgebungseinflüssen weiter erhöht werden.
According to the invention, the method
  • a temporal shift between at least two reflection curves recorded at different times is determined, whereby a one-dimensional determination of a respective speed of the reflections is carried out on the basis of the recorded temporal shift. The determined speeds are assigned to the non-transparent objects and at least partially transparent objects, whereby the distinction between the non-transparent objects and at least partially transparent objects is made plausible on the basis of the assigned speeds. Such plausibility can further increase the reliability of the distinction between a tracked object and environmental influences.

Gemäß einer weiteren möglichen Ausgestaltung des Verfahrens wird eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt, wobei anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen durchgeführt wird. Anhand einer bekannten Senderichtung des Lidarsensors und den eindimensional bestimmten Geschwindigkeiten werden jeweils dreidimensionale Geschwindigkeitsvektoren bestimmt, wobei anhand unterschiedlicher Beträge und Richtungen der Geschwindigkeitsvektoren zwischen dem in den vorherigen Messungen erkannten und verfolgten Objekt und den Umgebungseinflüssen unterschieden wird. Auch dies ermöglicht eine zuverlässige und einfach durchführbare Unterscheidung zwischen einem verfolgten Objekt und Umgebungseinflüssen.According to another possible embodiment of the method, a temporal shift between at least two reflection curves recorded at different times is determined, with a one-dimensional determination of the respective speed of the reflections being carried out on the basis of the temporal shift determined. Three-dimensional speed vectors are determined on the basis of a known transmission direction of the lidar sensor and the one-dimensionally determined speeds, with a distinction being made between the object detected and tracked in the previous measurements and the environmental influences on the basis of different amounts and directions of the speed vectors. This also enables a reliable and easy-to-implement distinction to be made between a tracked object and environmental influences.

In einem Verfahren zum automatisierten, insbesondere hochautomatisierten oder autonomen Betrieb eines Fahrzeugs in Abhängigkeit von in einer Umgebungserfassung erfassten Daten werden in der Umgebungserfassung eine Erkennung und Verfolgung von Objekten in der Umgebung des Fahrzeugs mittels eines vorgenannten Verfahrens durchgeführt.In a method for the automated, in particular highly automated or autonomous operation of a vehicle depending on data recorded in an environmental detection, a detection and tracking of objects in the environment of the vehicle is carried out in the environmental detection by means of an aforementioned method.

Durch die zuverlässige Unterscheidung von verfolgten Objekten und Umgebungseinflüssen kann auch eine Zuverlässigkeit eines automatisierten Fahrbetriebs erreicht, insbesondere eine Erkennung falsch-positiver Objekte oder fehlerhafter geometrischer Abmessungen verhindert werden. Ein falsch-positiv erkanntes Objekt kann beispielsweise zu einer Falschbremsung oder zu einem falschen Lenkeingriff führen, so dass aufgrund der zuverlässigen Vermeidung der Erkennung falsch-positiver Objekte oder fehlerhafter geometrischer Abmessungen falsche Manöver in lateraler und longitudinaler Richtung des Fahrzeugs während des automatisierten Fahrbetriebs vermieden werden können.By reliably distinguishing between tracked objects and environmental influences, the reliability of automated driving can also be achieved, in particular the detection of false-positive objects or incorrect geometric dimensions can be prevented. An object detected as false-positive can, for example, lead to incorrect braking or incorrect steering intervention, so that incorrect maneuvers in the lateral and longitudinal direction of the vehicle can be avoided during automated driving due to the reliable avoidance of the detection of false-positive objects or incorrect geometric dimensions.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

  • 1 schematisch ein mittels einer Kamera erfasstes Bild einer Umgebung eines Fahrzeugs und eine mittels eines Lidarsensors erzeugte Punktewolke dieser Umgebung zu einem ersten Zeitpunkt,
  • 2 schematisch ein mittels einer Kamera erfasstes Bild einer Umgebung eines Fahrzeugs, einen vergrößerten Ausschnitt des Bilds und eine mittels eines Lidarsensors erzeugte Punktewolke dieser Umgebung zu einem zweiten Zeitpunkt,
  • 3 schematisch eine mittels eines Lidarsensors aus sekundären Reflexionen erzeugte Punktewolke einer Umgebung eines Fahrzeugs zu einem Zeitpunkt und eine mittels des Lidarsensors aus primären Reflexionen erzeugte Punktewolke der Umgebung des Fahrzeugs zum gleichen Zeitpunkt,
  • 4 schematisch ein Fahrzeug mit einem Lidarsensor während einer Erfassung einer Umgebung des Fahrzeugs und
  • 5 schematisch eine Reflexionskurve, welche einen zeitlichen Verlauf einer Leistung von mittels eines Lidarsensors erfassten Reflexionen nach einem Aussenden eines Lichtsignals darstellt.
Showing:
  • 1 schematically an image of the surroundings of a vehicle captured by a camera and a point cloud of this surroundings generated by a lidar sensor at a first point in time,
  • 2 schematically an image of the surroundings of a vehicle captured by a camera, an enlarged section of the image and a point cloud of this surroundings generated by a lidar sensor at a second point in time,
  • 3 schematically a point cloud of the surroundings of a vehicle at a point in time generated by a lidar sensor from secondary reflections and a point cloud of the surroundings of the vehicle at the same point in time generated by the lidar sensor from primary reflections,
  • 4 schematically a vehicle with a lidar sensor during a detection of an environment of the vehicle and
  • 5 schematically a reflection curve which represents a temporal course of a power of reflections detected by a lidar sensor after a light signal has been emitted.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference numerals in all figures.

In 1 sind ein mittels einer Kamera erfasstes Bild B1 einer Umgebung eines in 4 gezeigten Fahrzeugs 1 und eine mittels eines ebenfalls in 4 gezeigten Lidarsensors 2 erzeugte Punktewolke PW1 dieser Umgebung zu einem ersten Zeitpunkt dargestellt. Die Punktewolke PW1 zeigt die in dem Bild B1 dargestellte Umgebung dabei in einer Draufsicht bzw. aus einer Vogelperspektive. Das Bild B1 zeigt dabei mehrere Objekte, wobei zur Wahrung der Übersichtlichkeit und zur Vereinfachung der Beschreibung lediglich ein Objekt O betrachtet wird.In 1 are an image B1 captured by a camera of the surroundings of a 4 shown vehicle 1 and one by means of a also shown 4 shown lidar sensor 2 is shown at a first point in time. The point cloud PW1 shows the environment shown in image B1 from a top view or from a bird's eye view. Image B1 shows several objects, but only one object O is considered to maintain clarity and simplify the description.

Zur Erkennung und Verfolgung von Objekten O in einer Umgebung eines Fahrzeugs 1 werden mittels zumindest eines Lidarsensors 2 in mehreren aufeinanderfolgenden Messungen in 5 näher dargestellte Lichtsignale LS ausgesendet und von Objekten O zurückgesendete und in 4 näher dargestellte Reflexionen R1 bis Rm der Lichtsignale LS erfasst. Anhand der Reflexionen R1 bis Rm wird zu jeder Messung eine Punktewolke PW1 erzeugt und mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken PW1 werden Objekte O in der Umgebung mittels eines Erkennungsalgorithmus erkannt und mittels eines Trackingalgorithmus verfolgt bzw. getrackt.To detect and track objects O in the environment of a vehicle 1, at least one lidar sensor 2 is used to take several consecutive measurements in 5 light signals LS shown in more detail are emitted and returned by objects O and in 4 The reflections R1 to Rm of the light signals LS shown in more detail are recorded. Based on the reflections R1 to Rm, a point cloud PW1 is generated for each measurement and using the point clouds PW1 generated in the successive measurements, objects O in the environment are recognized using a recognition algorithm and tracked using a tracking algorithm.

Bei dem dargestellten Objekt O handelt es sich um ein solches, bereits über mehrere Messungen verfolgtes Objekt O, welches sich in einer rechten Nachbarspur vor dem Fahrzeug 1 befindet und dessen mittels des Lidarsensors 2 erfasste links- und rückseitige Kontur in der Punktewolke PW1 im Wesentlichen L-förmig dargestellt ist.The object O shown is such an object O that has already been tracked over several measurements, which is located in a right-hand neighboring lane in front of the vehicle 1 and whose left and rear contour, detected by the lidar sensor 2, is shown essentially L-shaped in the point cloud PW1.

Die Punktewolke PW1 bildenden Punkte P1 bis Pn basieren dabei auf erfassten primären Reflexionen R1 bis Rm und sekundären Reflexionen R1 bis Rm. Dies resultiert daraus, dass Lidarsensoren 2 mehrere Detektionen bzw. Reflexionen R1 bis Rm pro ausgesendetem Lichtsignal LS erkennen. Diese Detektionen werden beispielsweise nach ihrer Distanz zum Lidarsensor 2 sortiert und beispielsweise als erstes und zweites Echo bzw. primäre und sekundäre Reflexionen R1 bis Rm benannt. Dabei hat das erste Echo bzw. die primäre Reflexion R1 bis Rm eine größere radiale Entfernung zum Lidarsensor 2 als das zweite Echo bzw. die sekundäre Reflexion R1 bis Rm.The points P1 to Pn forming the point cloud PW1 are based on recorded primary reflections R1 to Rm and secondary reflections R1 to Rm. This results from the fact that lidar sensors 2 detect multiple detections or reflections R1 to Rm per emitted light signal LS. These detections are sorted, for example, according to their distance from the lidar sensor 2 and named, for example, as the first and second echo or primary and secondary reflections R1 to Rm. The first echo or primary reflection R1 to Rm has a greater radial distance from the lidar sensor 2 than the second echo or secondary reflection R1 to Rm.

2 zeigt ein zu einem im Vergleich zu 1 späteren zweiten Zeitpunkt mittels einer Kamera erfasstes Bild B2 einer Umgebung des Fahrzeugs 1, einen vergrößerten Ausschnitt BA des Bilds B2 und eine mittels des Lidarsensors 2 erzeugte Punktewolke PW2 dieser Umgebung zu diesem zweiten Zeitpunkt. 2 shows a to a compared to 1 an image B2 of the surroundings of the vehicle 1 captured by a camera at a later second point in time, an enlarged section BA of the image B2 and a point cloud PW2 of this surroundings generated by the lidar sensor 2 at this second point in time.

Wie der Bildausschnitt BA zeigt, stößt das als Lastkraftwagen ausgebildete Objekt O zu diesem zweiten Zeitpunkt Kondensat aus, welches in der Punktewolke PW2 durch linkseitig neben der Kontur des Objekts O befindliche Punkte P1 bis Pn wiedergegeben ist. Da dieses Kondensat nicht zum verfolgten Objekt O gehört, wird dieses im Weiteren als Umgebungseinfluss UE bezeichnet.As the image section BA shows, the object O, designed as a truck, joins this At the second point in time, condensate forms, which is represented in the point cloud PW2 by points P1 to Pn located to the left of the contour of the object O. Since this condensate does not belong to the tracked object O, it is referred to below as environmental influence UE.

Derartige Umgebungseinflüsse UE, welche beispielsweise auch durch Regen, Gischt, Abgase, Staub, Wasserdampf, Sandwolken und andere Einflüsse gebildet werden, können die durch Auswertung der Punktewolken PW1, PW2 durchgeführte Erkennung und Verfolgung von Objekten O in der Umgebung des Fahrzeugs 1 beeinträchtigen.Such environmental influences UE, which are also caused, for example, by rain, spray, exhaust gases, dust, water vapor, sand clouds and other influences, can impair the detection and tracking of objects O in the vicinity of the vehicle 1 carried out by evaluating the point clouds PW1, PW2.

Um solche Beeinträchtigungen zu vermeiden, ist vorgesehen, dass die Reflexionen R1 bis Rm einer Messung, beispielsweise der Messung gemäß 2, und eine daraus resultierende Punktewolke PW2 mit Reflexionen R1 bis Rm vorheriger Messungen, beispielsweise der Messung gemäß 1, und einer daraus resultierenden Punktewolke PW1 verglichen werden, wobei Reflexionen R1 bis Rm innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt O zugeordnet werden können, als nicht zu dem Objekt O gehörige Umgebungseinflüsse UE erkannt und gefiltert werden.To avoid such impairments, it is intended that the reflections R1 to Rm of a measurement, for example the measurement according to 2 , and a resulting point cloud PW2 with reflections R1 to Rm of previous measurements, for example the measurement according to 1 , and a resulting point cloud PW1, whereby reflections R1 to Rm within a measurement, which cannot be assigned to an object O detected and tracked in the previous measurements, are detected and filtered as environmental influences UE not belonging to the object O.

Solche nicht dem Objekt O zuordbare Reflexionen R1 bis Rm sind beispielsweise durch die durch das Kondensat in der Punktewolke PW2 verursachten Punkte P1 bis Pn wiedergegeben, welche sich linkseitig neben der Kontur des Objekts O befinden und somit die Kontur des in den vorherigen Messungen erkannten und verfolgten Objekts O beeinflussen und/oder ein weiteres Objekt in der Punktewolke PW2 erzeugen.Such reflections R1 to Rm that cannot be assigned to the object O are represented, for example, by the points P1 to Pn caused by the condensate in the point cloud PW2, which are located to the left of the contour of the object O and thus influence the contour of the object O detected and tracked in the previous measurements and/or create another object in the point cloud PW2.

Die Erkennung solcher Reflexionen R1 bis Rm kann beispielsweise durch Erkennung von durch die genannten sekundären Reflexionen R1 bis Rm in der Punktewolke PW2 erzeugten sekundären Punkten P1 bis Pn erfolgen, die in einer Messung zwischen der Aussendung eines Lichtsignals LS und einer Erfassung primäre Punkte P1 bis Pn bildender Reflexionen R1 bis Rm, die dem in den vorherigen Messungen erkannten und verfolgten Objekt O zugeordnet werden können, erkannt werden.The detection of such reflections R1 to Rm can be carried out, for example, by detecting secondary points P1 to Pn generated by said secondary reflections R1 to Rm in the point cloud PW2, which are detected in a measurement between the emission of a light signal LS and a detection of reflections R1 to Rm forming primary points P1 to Pn, which can be assigned to the object O detected and tracked in the previous measurements.

Wie dargestellt, ist das Objekt O ein über mehrere Zeitzyklen bzw. Messungen verfolgtes Objekt O. Entstehen im Folgenden Detektionen mit mehreren sekundären Reflexionen R1 bis Rm, welche die konturgebende Form des Objekts O beeinflussen oder ein weiteres Objekt hervorrufen, kann zur Erkennung des Objekts O die Verwendung von sekundären Reflexionen R1 bis Rm ausgeschlossen werden. Dadurch werden die geometrischen Eigenschaften des Objekts O in der Lidarmessung stabilisiert und die Erkennung einer falsch-positiven Objektgeometrie kann verhindert werden. Besteht ein in der Lidarmessung erfasstes Objekt primär aus sekundären Reflexionen R1 bis Rm bzw. sekundären Punkten P1 bis Pn, handelt es sich mit großer Wahrscheinlichkeit um einen Umgebungseinfluss UE. Eine Information hierüber kann an nachfolgende Algorithmen weitergeleitet werden, um eine Erkennung falsch-positiver Objekte oder falsch-positiver Objektgeometrien zu verhindern.As shown, the object O is an object O tracked over several time cycles or measurements. If detections with several secondary reflections R1 to Rm arise subsequently, which influence the contour-giving shape of the object O or cause another object, the use of secondary reflections R1 to Rm can be excluded for the detection of the object O. This stabilizes the geometric properties of the object O in the lidar measurement and the detection of a false-positive object geometry can be prevented. If an object detected in the lidar measurement consists primarily of secondary reflections R1 to Rm or secondary points P1 to Pn, it is very likely that there is an environmental influence UE. Information about this can be passed on to subsequent algorithms in order to prevent the detection of false-positive objects or false-positive object geometries.

Um dies zu veranschaulichen, zeigt 3 eine mittels eines Lidarsensors 2 aus sekundären Reflexionen R1 bis Rm erzeugte Punktewolke PW3 einer Umgebung eines Fahrzeugs 1 zu einem Zeitpunkt und eine mittels des Lidarsensors 2 aus primären Reflexionen R1 bis Rm erzeugte Punktewolke PW4 der Umgebung des Fahrzeugs 1 zum gleichen Zeitpunkt.To illustrate this, 3 a point cloud PW3 of an environment of a vehicle 1 at a point in time generated by means of a lidar sensor 2 from secondary reflections R1 to Rm and a point cloud PW4 of the environment of the vehicle 1 at the same point in time generated by means of the lidar sensor 2 from primary reflections R1 to Rm.

Anhand der Unterscheidung der beiden Punktewolken PW3, PW4 wird deutlich, dass die zuvor störungsfrei getrackte Kontur des als Lastkraftwagen ausgebildeten Objekts O weiterhin über die aus primären Reflexionen R1 bis Rm gebildeten primären Punkte P1 bis Pn erkannt wird. Werden für die Objektbildung die aus sekundären Reflexionen R1 bis Rm gebildeten primären Punkte P1 bis Pn nicht verwendet, so können die Umgebungseinflüsse UE, wie hier im Beispiel das Kondensat, ignoriert werden.By distinguishing between the two point clouds PW3, PW4, it becomes clear that the contour of the object O, which was previously tracked without interference and is designed as a truck, is still recognized via the primary points P1 to Pn formed from primary reflections R1 to Rm. If the primary points P1 to Pn formed from secondary reflections R1 to Rm are not used to form the object, the environmental influences UE, such as the condensate in this example, can be ignored.

Somit kann eine Objekterkennung realisiert werden, welche robust gegenüber Umgebungseinflüssen UE ist, indem die sekundären Reflexionen R1 bis Rm für die Objektbildung ausgeschlossen werden.Thus, object detection can be realized which is robust against environmental influences UE by excluding the secondary reflections R1 to Rm for object formation.

4 zeigt ein Fahrzeug 1 mit einem Lidarsensor 2 während einer Erfassung einer Umgebung des Fahrzeugs 1. 4 shows a vehicle 1 with a lidar sensor 2 during detection of an environment of the vehicle 1.

Im Erfassungsbereich des Lidarsensors 2 befindet sich rechts vor dem Fahrzeug 1 ein Objekt O, beispielsweise ein Lastkraftwagen gemäß den 1 und 2.In the detection range of the lidar sensor 2 there is an object O to the right in front of the vehicle 1, for example a truck according to the 1 and 2 .

Die Erkennung von sekundären Reflexionen R1 bis R3 und primären Reflexionen R4 bis Rm kann beispielsweise durch Auswertung einer in 5 näher dargestellten Reflexionskurve erfolgen. Dabei zeichnen sich sekundäre Reflexionen R1 bis R3 dadurch aus, dass nach diesen im zeitlichen Verlauf der Rückstreukurve noch weitere primäre Reflexionen R4 bis Rm erkannt werden. Somit ist das sekundäre Echo zumindest teilweise transparent. Primäre Reflexionen R4 bis Rm zeichnen sich dadurch aus, dass zwischen einem ausgesendeten Lichtsignal LS, beispielsweise einem Lichtimpuls, und der erfassten primären Reflexion R4 bis Rm weitere Reflexionen R1 bis Rm, beispielsweise die sekundären Reflexionen R1 bis R3, erkannt wurden.The detection of secondary reflections R1 to R3 and primary reflections R4 to Rm can be achieved, for example, by evaluating a 5 Secondary reflections R1 to R3 are characterized by the fact that after them, further primary reflections R4 to Rm are detected in the temporal course of the backscatter curve. Thus, the secondary echo is at least partially transparent. Primary reflections R4 to Rm are characterized by the fact that between an emitted light signal LS, for example a light pulse, and the detected primary reflection R4 to Rm, further reflections R1 to Rm, for example the secondary reflections R1 to R3, were detected.

In 5 ist eine Reflexionskurve dargestellt, welche einen Verlauf einer Leistung PRx von mittels eines Lidarsensors 2 erfassten Reflexionen R1 bis Rm nach einem Aussenden eines Lichtsignals LS in Abhängigkeit von der Zeit t darstellt.In 5 a reflection curve is shown which represents a course of a power P Rx of reflections R1 to Rm detected by means of a lidar sensor 2 after emission of a light signal LS as a function of the time t.

Erfasst ein Lidarsensor 2 die gesamte Reflexionskurve über dem zeitlichen Verlauf, so ist neben der Erkennung von Objekten O anhand der charakteristischen Reflexionskurve eine Extraktion über die Eigenschaften der erfassten Objekte O möglich. So ist beispielsweise über eine Impulslänge IL1, IL2 und Impulshöhe IH1, IH2 eine Unterscheidung zwischen festen und teilweise transparenten Objekten O möglich.If a lidar sensor 2 records the entire reflection curve over time, it is possible not only to detect objects O based on the characteristic reflection curve, but also to extract the properties of the detected objects O. For example, a distinction between solid and partially transparent objects O is possible using a pulse length IL1, IL2 and pulse height IH1, IH2.

Gemäß der dargestellten Reflexionskurve wird zu einem Zeitpunkt t0 ein Lichtsignal LS als Lichtimpuls ausgesendet. Zwischen einem Zeitpunkt t1 und einem weiteren Zeitpunkt t2 erfolgt eine Erfassung einer ersten Reflexion R1 mit einer relativ großen Impulslänge IL1 und einer relativen geringen Impulshöhe IH1, welche sich zwischen Amplituden der Reflexion R1 und einem vorgegebenen Leistungsschwellwert Pth ergibt.According to the reflection curve shown, a light signal LS is emitted as a light pulse at a time t 0 . Between a time t 1 and a further time t 2 , a first reflection R1 is detected with a relatively long pulse length IL1 and a relatively low pulse height IH1, which results between the amplitude of the reflection R1 and a predetermined power threshold value P th .

Zwischen einem Zeitpunkt t3 und einem Zeitpunkt t4 erfolgt eine Erfassung einer weiteren Reflexion R2 mit einer relativ geringen Impulslänge IL2 und einer relativ großen Impulshöhe IH2, welche sich zwischen Amplituden der Reflexion R2 und dem vorgegebenen Leistungsschwellwert Pth ergibt. Nach dem Zeitpunkt t4 ist das erfasste Signal durch Rauschen gekennzeichnet.Between a time t 3 and a time t 4 , a further reflection R2 is detected with a relatively short pulse length IL2 and a relatively large pulse height IH2, which results between the amplitude of the reflection R2 and the predetermined power threshold value P th . After the time t 4 , the detected signal is characterized by noise.

Hierbei wird ersichtlich, dass es sich bei der zeitlich nach der Reflexion R1 erfassten Reflexion R2 mit vergleichsweise geringer Impulslänge IL2 und großer Impulshöhe IH2 um eine primäre Reflexion R2 eines verfolgten intransparenten Objekts O und bei der Reflexion R1 mit vergleichsweise großer Impulslänge IL1 und geringer Impulshöhe IH1 um eine sekundäre Reflexion R1 eines zumindest teilweise transparent ausgebildeten Umgebungseinflusses UE, beispielsweise Staub, handelt. Somit kann anhand der Impulslänge IL1, IL2 und Impulshöhe IH1, IH2 zwischen festen bzw. intransparenten Gegenständen und zumindest teilweise transparent ausgebildeten Gegenständen unterschieden werden.It can be seen that the reflection R2 recorded after the reflection R1 with a comparatively short pulse length IL2 and a large pulse height IH2 is a primary reflection R2 of a tracked opaque object O and the reflection R1 with a comparatively long pulse length IL1 and a low pulse height IH1 is a secondary reflection R1 of an at least partially transparent environmental influence UE, for example dust. Thus, based on the pulse length IL1, IL2 and pulse height IH1, IH2, a distinction can be made between solid or opaque objects and at least partially transparent objects.

Weiterhin ist es möglich, anhand von Reflexionskurven zweier Messungen, welche zu unterschiedlichen Zeitpunkten erfasst wurden, eine eindimensionale Geschwindigkeit der erfassten Reflexionen R1 bis Rm auf Basis einer zeitlichen Verschiebung der beiden Messungen zu bestimmen. Durch die Charakteristik der Reflexionskurven ist dann eine Zuordnung der unterschiedlichen Reflexionen R1 bis Rm möglich. Durch eine bekannte Senderichtung des Lidarsensors 2 sind weiterhin dreidimensionale Geschwindigkeitsvektoren bestimmbar. Damit können die beschriebenen Objekte O und Umgebungseinflüsse UE aufgrund der unterschiedlichen Beträge und Richtungen der Geschwindigkeitsvektoren separiert werden.Furthermore, it is possible to use reflection curves from two measurements that were recorded at different times to determine a one-dimensional speed of the recorded reflections R1 to Rm based on a time shift of the two measurements. The characteristics of the reflection curves then make it possible to assign the different reflections R1 to Rm. Three-dimensional speed vectors can also be determined using a known transmission direction of the lidar sensor 2. This allows the described objects O and environmental influences UE to be separated based on the different amounts and directions of the speed vectors.

Claims (5)

Verfahren zur Erkennung und Verfolgung von Objekten (O) in einer Umgebung eines Fahrzeugs (1), wobei - mittels zumindest eines Lidarsensors (2) in mehreren aufeinanderfolgenden Messungen Lichtsignale (LS) ausgesendet und von Objekten (O) zurückgesendete Reflexionen (R1 bis Rm) der Lichtsignale (LS) erfasst werden, - anhand der Reflexionen (R1 bis Rm) zu jeder Messung eine Punktewolke (PW1 bis PW4) erzeugt wird und - mittels der in den aufeinanderfolgenden Messungen erzeugten Punktewolken (PW1 bis PW4) Objekte (O) in der Umgebung erkannt und verfolgt werden, wobei - die Reflexionen (R1 bis Rm) einer Messung mit Reflexionen (R1 bis Rm) vorheriger Messungen verglichen werden und - Reflexionen (R1 bis Rm) innerhalb einer Messung, welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, als nicht zu dem Objekt (O) gehörige Umgebungseinflüsse (UE) erkannt und gefiltert werden und wobei zur Erzeugung einer Punktewolke (PW1 bis PW4) jeweils eine Reflexionskurve gebildet wird, welche einen zeitlichen Verlauf einer Leistung (PRx) der Reflexionen (R1 bis Rm) nach dem Aussenden eines Lichtsignals (LS) darstellt, - anhand einer Impulslänge (IL1, IL2) und/oder einer Impulshöhe (IH1, IH2) von Reflexionen (R1 bis Rm) in der Reflexionskurve zwischen zu intransparenten Objekten (O) gehörigen Reflexionen (R1 bis Rm) und zumindest teilweise transparenten Objekten unterschieden wird und - die zumindest teilweise transparenten Objekte als nicht zu einem in den vorherigen Messungen erkannten und verfolgten intransparenten Objekt (O) gehörige Umgebungseinflüsse (UE) erkannt werden, dadurch gekennzeichnet, dass eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt wird, - anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen (R1 bis Rm) durchgeführt wird, - die bestimmten Geschwindigkeiten den intransparenten Objekten (O) und zumindest teilweise transparenten Objekten (O) zugeordnet werden und - anhand der zugeordneten Geschwindigkeiten die Unterscheidung zwischen den intransparenten Objekten (O) und zumindest teilweise transparenten Objekten plausibilisiert wird.Method for detecting and tracking objects (O) in the environment of a vehicle (1), wherein - by means of at least one lidar sensor (2) in several consecutive measurements, light signals (LS) are emitted and reflections (R1 to Rm) of the light signals (LS) sent back by objects (O) are detected, - a point cloud (PW1 to PW4) is generated for each measurement based on the reflections (R1 to Rm), and - objects (O) in the environment are detected and tracked using the point clouds (PW1 to PW4) generated in the consecutive measurements, wherein - the reflections (R1 to Rm) of a measurement are compared with reflections (R1 to Rm) of previous measurements, and - reflections (R1 to Rm) within a measurement which cannot be assigned to an object (O) detected and tracked in the previous measurements are detected and filtered as environmental influences (UE) not belonging to the object (O), and wherein for generating a point cloud (PW1 to PW4) a reflection curve is formed which represents a temporal progression of a power (P Rx ) of the reflections (R1 to Rm) after the emission of a light signal (LS), - based on a pulse length (IL1, IL2) and/or a pulse height (IH1, IH2) of reflections (R1 to Rm) in the reflection curve, a distinction is made between reflections (R1 to Rm) belonging to non-transparent objects (O) and at least partially transparent objects, and - the at least partially transparent objects are recognized as environmental influences (UE) not belonging to an non-transparent object (O) recognized and tracked in the previous measurements, characterized in that a temporal shift between at least two reflection curves recorded at different points in time is determined, - based on the determined temporal shift, a one-dimensional determination of a respective Speed of the reflections (R1 to Rm) is carried out, - the determined speeds are assigned to the non-transparent objects (O) and at least partially transparent objects (O) and - the distinction between the non-transparent objects (O) and at least partially transparent objects is made plausible on the basis of the assigned speeds. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Reflexionen (R1 bis Rm), welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, solche Reflexionen (R1 bis Rm) verwendet werden, welche eine Kontur eines in den vorherigen Messungen erkannten und verfolgten Objekts (O) beeinflussen und/oder ein weiteres Objekt in den Punktewolken (PW1 bis PW4) erzeugen.Procedure according to Claim 1 , characterized in that as reflections (R1 to Rm) which cannot be assigned to an object (O) detected and tracked in the previous measurements, such reflections (R1 to Rm) are used which influence a contour of an object (O) detected and tracked in the previous measurements and/or generate another object in the point clouds (PW1 to PW4). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Reflexionen (R1 bis Rm), welche nicht einem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, anhand von sekundären Punkten (P1 bis Pn) in einer Punktewolke (PW1 bis PW4) erkannt werden, die in einer Messung zwischen der Aussendung eines Lichtsignals (LS) und einer Erfassung primäre Punkte (P1 bis Pn) bildender Reflexionen (R1 bis Rm), die dem in den vorherigen Messungen erkannten und verfolgten Objekt (O) zugeordnet werden können, erkannt werden.Procedure according to Claim 1 or 2 , characterized in that the reflections (R1 to Rm) which cannot be assigned to an object (O) detected and tracked in the previous measurements are detected by means of secondary points (P1 to Pn) in a point cloud (PW1 to PW4) which are detected in a measurement between the emission of a light signal (LS) and a detection of reflections (R1 to Rm) forming primary points (P1 to Pn) which can be assigned to the object (O) detected and tracked in the previous measurements. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - eine zeitliche Verschiebung zwischen zumindest zwei zu unterschiedlichen Zeitpunkten erfassten Reflexionskurven ermittelt wird, - anhand der ermittelten zeitlichen Verschiebung eine eindimensionale Bestimmung einer jeweiligen Geschwindigkeit der Reflexionen (R1 bis Rm) durchgeführt wird, - anhand einer bekannten Senderichtung des Lidarsensors (2) und den eindimensional bestimmten Geschwindigkeiten jeweils dreidimensionale Geschwindigkeitsvektoren bestimmt werden und - anhand unterschiedlicher Beträge und Richtungen der Geschwindigkeitsvektoren zwischen dem in den vorherigen Messungen erkannten und verfolgten Objekt (O) und den Umgebungseinflüssen (UE) unterschieden wird.Method according to one of the preceding claims, characterized in that - a temporal shift between at least two reflection curves recorded at different times is determined, - a one-dimensional determination of a respective speed of the reflections (R1 to Rm) is carried out on the basis of the determined temporal shift, - three-dimensional speed vectors are determined on the basis of a known transmission direction of the lidar sensor (2) and the one-dimensionally determined speeds, and - a distinction is made between the object (O) detected and tracked in the previous measurements and the environmental influences (UE) on the basis of different amounts and directions of the speed vectors. Verfahren zum automatisierten Betrieb eines Fahrzeugs (1) in Abhängigkeit von in einer Umgebungserfassung erfassten Daten, wobei in der Umgebungserfassung eine Erkennung und Verfolgung von Objekten (O) in der Umgebung des Fahrzeugs (1) mittels eines Verfahrens nach einem der vorhergehenden Ansprüche durchgeführt werden.Method for the automated operation of a vehicle (1) depending on data acquired in an environmental detection, wherein in the environmental detection a detection and tracking of objects (O) in the environment of the vehicle (1) are carried out by means of a method according to one of the preceding claims.
DE102023001652.7A 2023-04-24 2023-04-24 Method for detecting and tracking objects in a vehicle environment Active DE102023001652B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023001652.7A DE102023001652B4 (en) 2023-04-24 2023-04-24 Method for detecting and tracking objects in a vehicle environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023001652.7A DE102023001652B4 (en) 2023-04-24 2023-04-24 Method for detecting and tracking objects in a vehicle environment

Publications (2)

Publication Number Publication Date
DE102023001652A1 DE102023001652A1 (en) 2023-06-22
DE102023001652B4 true DE102023001652B4 (en) 2024-06-20

Family

ID=86606661

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023001652.7A Active DE102023001652B4 (en) 2023-04-24 2023-04-24 Method for detecting and tracking objects in a vehicle environment

Country Status (1)

Country Link
DE (1) DE102023001652B4 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010062378A1 (en) 2010-12-03 2012-06-06 Robert Bosch Gmbh Method for environmental detection, involves scanning coverage area of environment with scanning beam of light detecting and ranging sensor and detecting radiation reflecting at objects in environment
US20190179052A1 (en) 2013-05-07 2019-06-13 Waymo Llc Methods and Systems for Detecting Weather Conditions Using Vehicle Onboard Sensors
EP3715908A1 (en) 2019-03-27 2020-09-30 Ibeo Automotive Systems GmbH Method and device for optically measuring distances
DE102020119498A1 (en) 2020-07-23 2022-01-27 Bayerische Motoren Werke Aktiengesellschaft Method for estimating a vehicle's own motion based on measurements from a lidar sensor and computing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010062378A1 (en) 2010-12-03 2012-06-06 Robert Bosch Gmbh Method for environmental detection, involves scanning coverage area of environment with scanning beam of light detecting and ranging sensor and detecting radiation reflecting at objects in environment
US20190179052A1 (en) 2013-05-07 2019-06-13 Waymo Llc Methods and Systems for Detecting Weather Conditions Using Vehicle Onboard Sensors
EP3715908A1 (en) 2019-03-27 2020-09-30 Ibeo Automotive Systems GmbH Method and device for optically measuring distances
DE102020119498A1 (en) 2020-07-23 2022-01-27 Bayerische Motoren Werke Aktiengesellschaft Method for estimating a vehicle's own motion based on measurements from a lidar sensor and computing device

Also Published As

Publication number Publication date
DE102023001652A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
DE102014005688B4 (en) TRACK ESTIMATE DEVICE AND METHOD
EP0286910B1 (en) Traffic surveillance device
EP1531343B1 (en) Method for tracking objects
DE102008013366B4 (en) Method for providing information for driver assistance systems
DE102017102506B4 (en) METHOD FOR DETECTING OTHER VEHICLES RELATIVE TO A CARRIER VEHICLE USING WHEEL DETECTION
DE19629775A1 (en) Method and device for monitoring the surroundings of a vehicle and for detecting a failure of the monitoring device
DE19537129A1 (en) Obstacle detecting system for cars
DE102017117593A1 (en) Vehicle driving assistance device
DE102020124236A1 (en) REUSABLE GHOST IMAGE IN THE VEHICLE RADAR SYSTEM
DE102011105074A1 (en) Method for determining visual range for vehicle, involves determining surrounding of vehicle by camera, where contrast dimensions are determined for object depicted in images, where visual range is determined from contrast dimensions
EP1298012B1 (en) Method for recognizing and tracking objects
DE102023001652B4 (en) Method for detecting and tracking objects in a vehicle environment
DE102020105192B4 (en) Method for detecting moving objects in a vehicle environment and motor vehicle
DE102022000257A1 (en) Method for detecting the surroundings of a vehicle
DE102018117516B3 (en) Detection and elimination of interference signals by coded ultrasonic emissions on an ultrasonic sensor
DE112020001528T5 (en) DETECTION DEVICE AND DETECTION METHOD
DE102021000359A1 (en) Method for determining false-positive detections by a lidar sensor
DE102019116960A1 (en) Method for classifying objects in the surroundings of a vehicle by means of an optoelectronic sensor, taking into account a free space, computing device and sensor device
EP2287630B1 (en) Optoelectronic recording device
DE102022000734A1 (en) Method for detecting ghost objects in lidar point clouds
WO2022258444A1 (en) Method and device for determining a range of a sensor
DE102022117001A1 (en) Lane detection device for detecting a lane of a road in the vicinity of a motor vehicle, and method
DE102016202526A1 (en) Method and device for detecting a control gesture of a user, in particular in a motor vehicle
DE102022206123A1 (en) Method for determining an approximate object position of a dynamic object, computer program, device and vehicle
DE102021004525A1 (en) Method for a virtual object-modeled lane recognition

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R016 Response to examination communication
R018 Grant decision by examination section/examining division