DE102010032063A1

DE102010032063A1 - Verfahren zur Erfassung einer Umgebung eines Fahrzeugs

Info

Publication number: DE102010032063A1
Application number: DE102010032063A
Authority: DE
Inventors: Carola Dipl.-Ing. Otto; Andreas Dr.-Ing. Schwarzhaupt; Istvan Dr. Vegh; Urs Dr. Dipl.-Ing. Wiesel; Jan Dr.-Ing. Wirnitzer
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2010-06-09
Filing date: 2010-07-23
Publication date: 2011-05-12

Abstract

Die Erfindung betrifft ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs (1), wobei mittels zumindest eines Radarsensors (1.2) Radardaten von einer Fahrbahnoberfläche erhabener Objekte (O1 bis O9) und mittels zumindest einer Kamera (1.1) Kameradaten von wenigstens einer Fahrbahnmarkierung (FBM1 bis FBM3) erkannt werden, wobei anhand einer gemeinsamen Auswertung und/oder Fusion der Radardaten und Kameradaten ein endgültiger Fahrspur- und/oder Fahrbahnverlauf ermittelt wird. Erfindungsgemäß werden die Radardaten über die Zeit integriert und in einem Bildverarbeitungsprozess wird aus den integrierten Radardaten ein vorläufiger Fahrspur- und/oder Fahrbahnverlauf ermittelt, welcher zur Ermittlung des endgültigen Fahrspur- und/oder Fahrbahnverlaufs gemeinsam mit Kameradaten ausgewertet und/oder mit den Kameradaten fusioniert wird.

Description

Die Erfindung betrifft ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs, wobei mittels zumindest eines Radarsensors Radardaten von einer Fahrbahnoberfläche erhabener Objekte und mittels zumindest einer Kamera Kameradaten von Fahrbahnmarkierungen erkannt werden, wobei anhand einer gemeinsamen Auswertung und/oder Fusion der Radardaten und Kameradaten ein endgültiger Fahrspur- und/oder Fahrbahnverlauf ermittelt wird.
Für einen Betrieb einer Vielzahl eine Umgebung eines Fahrzeugs erfassender Fahrerassistenzsysteme ist es erforderlich, einen Fahrspur- oder Fahrbahnverlauf zu ermitteln. Zu diesen Fahrerassistenzsystemen gehören ein Abstandsregeltempomat, ein aktiver Bremsassistent oder ein so genanntes Blind Spot Monitoring, auch Totwinkel-Assistent genannt. Bei der Ermittlung des Fahrspur- oder Fahrbahnverlaufs wird ein relevanter Umgebungsbereich für eine Situationsbewertung ausgewählt, um eine Komplexität und einen Rechenaufwand zu minimieren. Weiterhin wird dieser Umgebungsbereich eingeschränkt, um rechtzeitig vor einem möglichen Abkommen des Fahrzeugs von der Fahrbahn warnen oder eingreifen zu können.
Die Erfassung des Umgebungsbereichs ist im Nahbereich mittels einer Kamera-Spurmarkierungs-Erkennung möglich. Eine Einschränkung des Umgebungsbereichs wird anhand eines Radarsensors realisiert, mittels welchem von der Fahrbahnoberfläche erhabene Objekte, die für Radarstrahlung stark reflektierend ausgebildet sind, erfasst werden. Dabei werden aus den ermittelten Radardaten zunächst Radar-Objekte gebildet und bei ausreichender Objektdichte wird ein Verlauf der Objekte ermittelt. Aus diesem Verlauf wird der Fahrspur- oder Fahrbahnverlauf ermittelt.
Eine Vorrichtung zu einer derartigen Erfassung einer Umgebung eines Fahrzeugs ist aus der EP 2 012 211 A1 bekannt. Die Vorrichtung umfasst einen Radarsensor, mittels welchem eine Straßenbegrenzung erfassbar ist. Diese Erfassung erfolgt anhand von von einer Fahrbahnoberfläche erhabenen Objekten, welche Radarstrahlung reflektieren. Aus erfassten Radardaten werden Radar-Objekte und ein vorläufiger Verlauf einer Fahrbahn oder Fahrspur gebildet. Weiterhin umfasst die Vorrichtung eine Kamera zur Erfassung von Fahrbahnmarkierungen, wobei die mittels des Radarsensors erfassten Radardaten und die mittels der Kamera erfassten Kameradaten derart fusioniert werden, dass aus den mittels des Radarsensors erfassten Straßenbegrenzungen und den mittels der Kamera erfassten Fahrbahnmarkierungen ein Verlauf einer Fahrbahn oder Fahrspur ermittelt wird. Dabei werden anhand der mittels der Kamera erfassten Kameradaten für den Fahrbahnverlauf oder Fahrspurverlauf irrelevante Radarobjekte, welche einen großen Abstand zu den Fahrbahnmarkierungen aufweisen, verworfen.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erfassung einer Umgebung eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Erfassung einer Umgebung eines Fahrzeugs werden mittels zumindest eines Radarsensors Radardaten von einer Fahrbahnoberfläche erhabener Objekte und mittels zumindest einer Kamera Kameradaten von Fahrbahnmarkierungen erkannt, wobei anhand einer gemeinsamen Auswertung und/oder Fusion der Radardaten und Kameradaten ein endgültiger Fahrspur- und/oder Fahrbahnverlauf ermittelt wird.
Erfindungsgemäß werden die Radardaten über die Zeit integriert und in einem Bildverarbeitungsprozess wird aus den integrierten Radardaten ein vorläufiger Fahrspur- und/oder Fahrbahnverlauf ermittelt, welcher zur Ermittlung des endgültigen Fahrspur- und/oder Fahrbahnverlaufs gemeinsam mit Kameradaten ausgewertet und/oder mit den Kameradaten fusioniert wird.
Daraus ergibt sich in besonders vorteilhafter Weise, dass auch Objekte mit einem geringen Radar-Reflexionsverhalten bei der Ermittlung des vorläufigen Fahrspur- und/oder Fahrbahnverlaufs mittels des Radars berücksichtigt werden. Insbesondere gegenüber einer Bildung von Radar-Objekten aus erfassten Radardaten, bei welcher Objekte mit geringem Radar-Reflexionsverhalten ignoriert werden, ergibt sich der Vorteil, dass der Fahrspur- und/oder Fahrbahnverlauf schneller, einfacher und zuverlässiger ermittelbar ist, so dass eine verbesserte Fahrbahnverlaufs- und Fahrspurverlaufsermittlung möglich ist. Somit können die Fahrspur und/oder die Fahrbahn, welche den für das Verkehrsgeschehen relevanten Bereich bilden, auch bei einer für eine Radarreflexion ungünstigeren Abgrenzung zwischen Fahrspur- und/oder Fahrbahnverlauf und Fahrbahnrand bzw. Randbebauung im Fernbereich eingegrenzt werden. Daraus folgt, dass eine Komplexität und ein Rechenaufwand bei der Ermittlung des Fahrspur- und/oder Fahrbahnverlauf verringert sind.
Gegenüber einer alleinigen Ermittlung des Fahrspur- und/oder Fahrbahnverlaufs anhand von Kameradaten wird durch die Verwendung eines bildgebenden Radars eine Erweiterung eines Erfassungsbereichs, das heißt eine Sichtweitenerhöhung der Vorrichtung erzielt, so dass auch in großer Entfernung befindliche Objekte und Strukturen bereits frühzeitig bei der Ermittlung des Fahrspur- und/oder Fahrbahnverlaufs berücksichtigt werden können. Somit steigt eine Verfügbarkeit von Fahrspur- und Fahrbahninformationen auf Basis einer Randbebauung. Mit anderen Worten: Eine Reichweite der Kameraspurerkennung wird durch eine radarbasierte Anpassung von Spur-Suchfenstern vergrößert.
Weiterhin ist eine verbesserte Zuordnung von mittels des Radarsensors erfassten Objekten zu der Fahrspur und/oder Fahrbahn und daraus folgend eine zuverlässige Ermittlung des Fahrspur- und/oder Fahrbahnverlaufs anhand einer Straßenrandbebauung möglich. Diese Zuordnung kann auch in größeren Entfernungen erfolgen. Auch können möglicherweise relevante Objekte von irrelevanten Objekten unterschieden werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 schematisch eine Fahrbahn in einer Umgebung eines Fahrzeugs mit zwei Fahrspuren.
Die einzige 1 zeigt eine Fahrbahn FB in einer Umgebung eines Fahrzeugs 1. Die Fahrbahn FB ist randseitig jeweils von einer Fahrbahnmarkierung FBM1, FBM2 begrenzt, wobei die Fahrbahnmarkierungen FBM1, FBM2 als durchgezogene Linie ausgebildet sind. Die Fahrbahn FB weist weiterhin zwei Fahrspuren FS1, FS2 auf, welche durch eine weitere Fahrbahnmarkierung FBM3 voneinander getrennt sind, wobei die Fahrbahnmarkierung FBM3 als unterbrochene Linie ausgebildet ist.
Das Fahrzeug 1 bewegt sich auf der Fahrspur FS2 in Richtung R. Das Fahrzeug 1 umfasst eine Kamera 1.1 zur Erfassung wenigstens einer Fahrbahnmarkierung FBM1 bis FBM3, wobei anhand der Kameradaten ein erster vorläufiger Fahrspur- und Fahrbahnverlauf ermittelt wird.
Weiterhin umfasst das Fahrzeug 1 einen Radarsensor 1.2 zur Erfassung von einer Fahrbahnoberfläche erhabener Objekte O1 bis O9. Unter erhabenen Objekten sind beispielsweise Randsteine, Schutzplanken, Betonschutzwände, Leitpfosten, Baken, Bauwerke, Bäume, Sträucher, Grasbewuchs, Tunnelwände, bauliche Begrenzungen und ähnliche Objekte zu verstehen. Mittels des Radarsensors 1.2 ausgesendete Radarstrahlung wird von Objekten O1 bis O9 reflektiert. Die reflektierte Radarstrahlung wird von dem Radarsensor 1.2 erfasst, so dass die Objekte O1 bis O9 in der Umgebung des Fahrzeugs 1 erfassbar sind.
Aus den Radardaten des Radarsensors 1.2 wird ein zweiter vorläufiger Fahrspur- und Fahrbahnverlauf ermittelt. Hierzu werden die Radardaten, insbesondere solche Listen in, denen Signalspitzen des Radarsignals (sog. Peak-Listen) enthalten sind, über die Zeit integriert und in einem Bildverarbeitungsprozess wird aus den integrierten Radardaten der zweite vorläufige Fahrspur- und Fahrbahnverlauf ermittelt. Aufgrund dieser zeitlichen Integration können auch Objekte bzw. Merkmale erfasst werden, welche eine geringe Radarstrahlungsreflexion erzeugen und welche beispielsweise zur Spurvorhersage dienen.
Im dargestellten Ausführungsbeispiel bewegt sich das Fahrzeug 1 auf eine Linskurve zu.
Mittels des Radarsensors 1.2 und des anschließenden Bildverarbeitungsprozesses werden aufgrund der Anordnung der Objekte O1 bis O9 zwei unterschiedliche vorläufige Fahrspur- und Fahrbahnverläufe ermittelt. Einer der anhand der Radardaten ermittelten möglichen vorläufigen Fahrspur- und Fahrbahnverläufe in einem ersten Bereich B1 folgt dabei einem gestrichelt dargestellten Straßenverlauf. Dieser Straßenverlauf verläuft zwischen einer ersten aus den Objekten O1 bis O3 gebildeten Objektgruppe und einer zweiten aus den Objekten O4, O5 gebildeten Objektgruppe. Der weitere mögliche vorläufige Fahrspur- und Fahrbahnverlauf folgt der Linkskurve.
Anhand der Kameradaten wird aus dem Verlauf der wenigsten einen Fahrbahnmarkierung FBM1 bis FBM3 ein weiterer vorläufiger Fahrspur- und Fahrbahnverlauf in einem zweiten Bereich B2 ermittelt. Dieser Bereich ergibt sich aus dem Erfassungsbereich der Kamera 1.1, so dass mittels der Kamera 1.1 die Linkskurve erkannt wird.
Aufgrund einer gemeinsamen Auswertung der Radardaten und der Kameradaten und aufgrund eines Vergleichs und/oder einer Fusion der Radardaten und der Kameradaten, wird ein endgültiger Fahrspur- und Fahrbahnverlauf ermittelt, welcher im zweiten Bereich B2 und einem dritten Bereich B3 verläuft.
Bei der gemeinsamen Auswertung wird anhand der Kameradaten eine Plausibilisierung der aus den Radarsdaten ermittelten vorläufigen Fahrspur- und Fahrbahnverläufen durchgeführt, wobei aufgrund der Übereinstimmung der Kameradaten und der Radardaten bezüglich des der Linkskurve folgenden vorläufigen Fahrspur- und Fahrbahnverlaufs, auf den endgültigen Fahrspur- und Fahrbahnverlauf geschlossen wird. Der endgültige Fahrspur- und Fahrbahnverlauf befindet sich in den Bereichen B2 und B3 und folgt der Linkskurve.
Alternativ oder zusätzlich kann der mittels der Kamera ermittelte Fahrspurverlauf auch zur Vorsteuerung oder zur Plausibilisierung der mittels Radardaten gewonnen Spurvorhersage genutzt werden. Somit besteht die Möglichkeit bereits von vornherein falsche bzw. nicht relevante Spurverläufe an Abzweigungen zu vermeiden bzw. zu verwerfen.
Bezugszeichenliste

1: Fahrzeug
1.1: Kamera
1.2: Radarsensor
B1 bis B3: Bereich
FB: Fahrbahn
FBM1 bis FBM3: Fahrbahnmarkierung
FS1, FS2: Fahrspur
O1 bis O9: Objekt
R: Richtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2012211 A1 [0004]

Claims

Verfahren zur Erfassung einer Umgebung eines Fahrzeugs (1), wobei mittels zumindest eines Radarsensors (1.2) Radardaten von einer Fahrbahnoberfläche erhabener Objekte (O1 bis O9) und mittels zumindest einer Kamera (1.1) Kameradaten von wenigstens einer Fahrbahnmarkierung (FBM1 bis FBM3) erkannt werden, wobei anhand einer gemeinsamen Auswertung und/oder Fusion der Radardaten und Kameradaten ein endgültiger Fahrspur- und/oder Fahrbahnverlauf ermittelt wird, dadurch gekennzeichnet, dass die Radardaten über die Zeit integriert werden und in einem Bildverarbeitungsprozess aus den integrierten Radardaten ein vorläufiger Fahrspur- und/oder Fahrbahnverlauf ermittelt wird, welcher zur Ermittlung des endgültigen Fahrspur- und/oder Fahrbahnverlaufs gemeinsam mit Kameradaten ausgewertet und/oder mit den Kameradaten fusioniert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass im Rahmen der gemeinsamen Auswertung und/oder Fusion die Kameradaten zur Steuerung der auf Radardaten basierenden Ermittlung von Fahrspur- und/oder Fahrbahnverlauf herangezogen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der Kameradaten eine Plausibilität des anhand der Radardaten ermittelten vorläufigen Fahrspur- und/oder Fahrbahnverlaufs überprüft wird.