DE102012025067A1

DE102012025067A1 - Fahrerassistenzeinrichtung mit kombinierter Verkehrszeichenerfassung und Markierungserfassung für ein Kraftfahrzeug und entsprechendes Verfahren

Info

Publication number: DE102012025067A1
Application number: DE201210025067
Authority: DE
Inventors: Benazouz BRADAI
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2012-12-19
Filing date: 2012-12-19
Publication date: 2014-06-26

Abstract

Die Erfindung betrifft eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug (1), mit zumindest einer Kamera zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs (1), und mit einer Recheneinrichtung zum Verarbeiten der Bilder der zumindest einen Kamera, wobei die Recheneinrichtung dazu ausgelegt ist, in den Bildern ein Verkehrszeichen (19) zu identifizieren, wie auch auf einer Fahrbahn (11) angebrachte Längsmarkierungen (14, 15, 16) zu identifizieren und anhand der Längsmarkierungen (14, 15, 16) zu bestimmen, ob das identifizierte Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.

Description

Die Erfindung betrifft eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug, mit zumindest einer Kamera zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs, und mit einer elektronischen Recheneinrichtung zum Verarbeiten der Bilder, wobei die Recheneinrichtung dazu ausgelegt ist, in den Bildern ein Verkehrszeichen zu erkennen. Die Erfindung betrifft außerdem ein entsprechendes Verfahren zum Betreiben einer Fahrerassistenzeinrichtung in einem Kraftfahrzeug.
Fahrerassistenzeinrichtungen sind aus dem Stand der Technik in vielfältiger Ausgestaltung bekannt. Es ist bereits beispielsweise Stand der Technik, ein Kraftfahrzeug mit einer Kamera auszustatten, mittels welcher ein Umgebungsbereich des Kraftfahrzeugs erfasst wird. Die Kamera erfasst Bilder des Umgebungsbereichs und übermittelt die Bilder an eine elektronische Recheneinrichtung, welche die Bilder verarbeitet und auf der Basis der Bilder verschiedenste Funktionalitäten zum Unterstützen des Fahrers bereitstellt. Eine Funktionalität kann dabei beispielsweise die Erkennung von vorbestimmten Verkehrszeichen sein. Hierbei überprüft die Recheneinrichtung die aufgenommenen Bilder hinsichtlich einer Vielzahl von abgespeicherten Mustern. Eine solche Identifizierung von Verkehrszeichen ist beispielsweise im Dokument US 2009/0041304 A1 beschrieben.
Zum Stand der Technik gehören außerdem Navigationssysteme, welche bekanntlich einen Navigationsempfänger – beispielsweise einen GPS-, Galileo-, Glonass- oder Compass-Empfänger – sowie einen Speicher mit abgelegten Kartendaten aufweisen. Die aktuelle geographische Position des Kraftfahrzeugs kann bei einem üblichen Navigationssystem mithilfe der abgelegten Kartendaten zu einer bestimmten Straße zugeordnet werden. Außerdem ist dabei bekannt, dass die abgelegten Kartendaten auch Informationen über die aktuellen Verkehrszeichen beinhalten, welche sich auf der aktuell befahrenen Straße befinden. Bekannte Navigationssysteme können diese Information über das Vorhandensein bestimmter Verkehrszeichen ausgeben. So kann beispielsweise eine Geschwindigkeitsbegrenzung auf einem Display zusammen mit den Navigationshinweisen angezeigt werden.
Bekanntlich haben heutige Navigationssysteme eine Genauigkeit von wenigen Metern, sodass die aktuelle Position des Kraftfahrzeugs relativ genau ermittelt werden kann. Diese Genauigkeit kann sich jedoch in bestimmten Fällen als ungenügend erweisen, nämlich beispielsweise dann, wenn die Fahrbahn, auf welcher das Kraftfahrzeug gefahren wird, eine Vielzahl von Fahrstreifen aufweist. In einem solchen Falle ist das Navigationssystem häufig nicht dazu in der Lage, genau zu bestimmen, auf welchem Fahrstreifen sich das Kraftfahrzeug tatsächlich befindet. Das Navigationssystem kann beispielsweise fehlerhafte Positionsdaten, insbesondere wenn sich das Kraftfahrzeug auf einer Straße befindet, neben der eine parallele Straße existiert. In diesem Fall kann das Navigationssystem oft nicht zwischen diesen beiden Straßen unterscheiden. Es ist daher erforderlich, dass die Positionsdaten von dem Navigationssystem und/oder andere Sensoren – wie eine Kamera – auf Plausibilität geprüft werden. Gelten nun für unterschiedliche Fahrstreifen jeweils verschiedene Verkehrszeichen – beispielsweise verschiedene Geschwindigkeitsbegrenzungen –, so ist die Zuordnung der erkannten Verkehrszeichen zu dem tatsächlich befahrenen Fahrstreifen häufig nicht möglich oder die Navigation ist unpräzise. Eine ähnliche Problematik ergibt sich auch bei einer Autobahn, neben welcher sich eine kleinere Landstraße befindet, die sich parallel zur Autobahn erstreckt. Es kann hier vorkommen, dass ein für die Landstraße geltendes Verkehrszeichen erkannt und fälschlicherweise als für die Autobahn geltendes Zeichen interpretiert wird. Solche Fehlentscheidungen sollen verhindert werden.
Die Druckschrift EP 1 371 948 A2 beschreibt ein Fahrerassistenzsystem für Kraftfahrzeuge, welches eine Kamera zur Erfassung von Bildern sowie eine elektronische Einheit beinhaltet. Letztere kann in den aufgenommenen Bildern auf der Straße angebrachte Fahrbahnmarkierungen erkennen. Das Fahrerassistenzsystem unterstützt dabei den Fahrer in der Hinsicht, dass es ihn warnt, wenn der Fahrer von seinem vorgegebenen Kurs abkommt. Zu diesem Zwecke erfasst die elektronische Einheit zusätzlich noch Informationen eines im Kraftfahrzeug vorhandenen Navigationssystems.
Ein Verfahren zur Erfassung von auf der Fahrbahn angebrachten Straßenmarkierungen ist außerdem aus dem Dokument JP 2009 180 631 A als bekannt zu entnehmen. Hier wird anhand der erkannten Markierungen die aktuelle Position des Kraftfahrzeugs auf der Fahrbahn ermittelt.
Auch im Dokument US 2009/0088978 A1 ist ein Verfahren beschrieben, welches zur Erfassung von Straßenmarkierungen mithilfe einer Kamera dient.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie die Zuverlässigkeit einer Fahrerassistenzeinrichtung der eingangs genannten Gattung im Vergleich zum Stand der Technik verbessert werden kann.
Diese Aufgabe wird erfindungsgemäß durch eine Fahrerassistenzeinrichtung, wie auch durch ein Verfahren mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Eine erfindungsgemäße Fahrerassistenzeinrichtung für ein Kraftfahrzeug umfasst zumindest eine Kamera zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs sowie eine elektronische Recheneinrichtung zum Verarbeiten der Bilder. Die Recheneinrichtung kann in den Bildern ein Verkehrszeichen identifizieren. Die Recheneinrichtung ist zusätzlich auch dazu ausgelegt, auf der Fahrbahn angebrachte Längsmarkierungen zu identifizieren und anhand der Längsmarkierungen zu bestimmen, ob das identifizierte Verkehrszeichen für das Kraftfahrzeug gilt oder nicht gilt.
Die Erfindung geht also den Weg, zusätzlich zu dem Verkehrszeichen auch die Längsmarkierungen zu erfassen und abhängig von den auf der Straße angebrachten Längsmarkierungen festzustellen, ob das neben der Straße stehende Verkehrszeichen für das Kraftfahrzeug gilt und somit von dem Fahrer beachtet werden muss oder nicht. Es werden somit Situationen verhindert, bei welchen ein identifiziertes Verkehrszeichen dem Fahrer angezeigt wird, obwohl dieses Verkehrszeichen beispielsweise für einen anderen Fahrstreifen oder aber gar für eine andere Straße gilt. Es werden durch die erfindungsgemäße Vorgehensweise also Fehlentscheidungen bei der Beurteilung der Gültigkeit des Verkehrszeichens verhindert.
Unter Verkehrszeichen werden vorliegend alle Typen von Informationszeichen verstanden, welche Informationen über die Verkehrsregeln für den Fahrer bereitstellen. Verkehrszeichen können neben der Fahrbahn aufgestellte und sich somit von dem Boden erhebende Verkehrszeichen und/oder Verkehrsampeln und/oder direkt auf der Straße bereitgestellte Bodenzeichen umfassen. Bevorzugt werden unter „Verkehrszeichen” Verkehrszeichen verstanden, welche neben der Fahrbahn aufgestellt sind.
Verkehrszeichen können Geschwindigkeitszeichen und/oder zusätzliche Sub-Zeichen und/oder kleine Zeichen und/oder Stopp-Zeichen und/oder Vorfahrt-Zeichen und/oder dreieckige Zeichen für Fußgängerüberquerung und dergleichen.
Unter Längsmarkierungen werden vorliegend Fahrbahnmarkierungen verstanden, welche längs zur Fahrtrichtung und somit entlang der Straße angeordnet werden und weitgehend die optische Führung des Verkehrsteilnehmers übernehmen. Eine Längsmarkierung begrenzt somit einen Fahrstreifen von einem anderen Fahrstreifen oder aber von einem Randbereich der Straße.
Vorzugsweise kann die elektronische Recheneinrichtung einen örtlichen Gültigkeitsbereich des Verkehrszeichens in Querrichtung der Fahrbahn ermitteln und anhand der Längsmarkierungen bestimmen, ob sich das Kraftfahrzeug momentan in dem Gültigkeitsbereich des Verkehrszeichens befindet oder nicht. Durch Definieren eines derartigen Gültigkeitsbereichs in Querrichtung der Straße wird ermöglicht, dass die Recheneinrichtung ganz präzise und zuverlässig beurteilen kann, ob sich das Kraftfahrzeug in diesem Gültigkeitsbereich befindet und das Verkehrszeichen somit für das Kraftfahrzeug gilt oder auch nicht. Die Recheneinrichtung kann dabei beispielsweise auf einfache Weise die erkannten Längsmarkierungen links und rechts neben dem Kraftfahrzeug mit dem ermittelten Gültigkeitsbereich vergleichen und hierbei überprüfen, ob sich das Kraftfahrzeug in dem Gültigkeitsbereich befindet oder nicht.
Die Recheneinrichtung kann auch dazu ausgelegt sein, anhand der Bilder eine Entfernung des Verkehrszeichens von dem Kraftfahrzeug zu bestimmen und auch unter Berücksichtigung der Entfernung zu bestimmen bzw. zu plausibilisieren, ob sich das Kraftfahrzeug in dem Gültigkeitsbereich des Verkehrszeichens befindet oder nicht. Wird beispielsweise festgestellt, dass sich das Verkehrszeichen in einem relativ großen Abstand zu dem Kraftfahrzeug in Querrichtung der Straße befindet, so kann dies einen Hinweis darauf darstellen, dass dieses Verkehrszeichen beispielsweise für einen anderen Fahrstreifen – beispielsweise eine Abbiegespur – oder aber für eine andere parallele Straße gilt. Auch somit kann zuverlässig beurteilt werden, ob sich das Kraftfahrzeug in dem Gültigkeitsbereich befindet oder nicht.
Die Recheneinrichtung kann in einer Ausführungsform eine Information über das erkannte Verkehrszeichen nur unter der Voraussetzung mittels einer Ausgabeeinrichtung an den Fahrer ausgeben, dass das Verkehrszeichen für das Kraftfahrzeug auch tatsächlich gilt, also insbesondere unter der Voraussetzung, dass sich das Kraftfahrzeug in dem Gültigkeitsbereich des Verkehrszeichens befindet. Es kann aber auch vorgesehen sein, dass diese Information doch mittels der Ausgabeeinrichtung als eine für einen benachbarten Fahrstreifen geltende Information ausgegeben wird. Dies bedeutet, dass die Information über das Verkehrszeichen auch dann ausgegeben werden kann, wenn das Verkehrszeichen nicht für das Kraftfahrzeug, sondern für einen benachbarten Fahrstreifen gilt. Somit wird der Fahrer auch über die Verkehrsregeln informiert, welche für den benachbarten Fahrstreifen gelten. Als Ausgabeeinrichtung kann dabei beispielsweise ein Display und/oder ein Lautsprecher eingesetzt werden.
Zur Bestimmung des örtlichen Gültigkeitsbereichs des Verkehrszeichens kann vorgesehen sein, dass die Recheneinrichtung in den Bildern ein dem Verkehrszeichen zugeordnetes Zusatzzeichen identifiziert, welches den Geltungsbereich des Verkehrszeichens selbst angibt. Die Recheneinrichtung kann dann den Gültigkeitsbereich des Verkehrszeichens anhand des erkannten Zusatzzeichens bestimmen. Solche Zusatzzeichen werden üblicherweise unterhalb des jeweiligen Verkehrszeichens angebracht und können beispielsweise in Form eines Pfeils bereitgestellt werden, welcher auf den Gültigkeitsbereich des Hauptzeichens hindeutet. Die Anbringung solcher Pfeile ist beispielsweise bei Verkehrszeichen bekannt, welcher bei Abbiegespuren bzw. Ausfahrten auf Autobahnen aufgestellt werden. Der Gültigkeitsbereich des Verkehrszeichens kann somit präzise und ohne viel Datenverarbeitungsaufwand bestimmt werden.
Ergänzend oder alternativ kann die Recheneinrichtung den Gültigkeitsbereich des Verkehrszeichens auch anhand der Längsmarkierungen selbst bestimmen. Diese Ausführungsform macht sich die Tatsache zunutze, dass zur Abgrenzung unterschiedlicher Typen von Fahrstreifen auch verschiedenste Arten von Längsmarkierungen eingesetzt werden. So wird beispielsweise eine Abbiegespur durch andere Längsmarkierungen als ein normaler Fahrstreifen begrenzt. Anhand der Längsmarkierungen – nämlich anhand des jeweiligen Typs der Längsmarkierungen – kann somit beispielsweise eine Abbiegespur oder aber eine Autobahnausfahrt von anderen Fahrstreifen unterschieden werden und folglich auch der Gültigkeitsbereich eines Verkehrszeichens definiert werden.
Insbesondere ist vorgesehen, dass anhand der erkannten Längsmarkierungen eine aktuelle Position des Kraftfahrzeugs relativ zum Verkehrszeichen bestimmt wird und abhängig von der aktuellen Position festgestellt wird, ob das identifizierte Verkehrszeichen für das Kraftfahrzeug gilt oder nicht, insbesondere ob sich das Kraftfahrzeug in dem Geltungsbereich des Verkehrszeichens und somit beispielsweise auf einem Fahrstreifen befindet, für welchen das Verkehrszeichen gilt. Durch Bestimmung der aktuellen Position des Kraftfahrzeugs bezüglich des Verkehrszeichens – insbesondere in Querrichtung der Straße – kann also insgesamt zuverlässig festgestellt werden, ob sich das Kraftfahrzeug in dem Gültigkeitsbereich befindet oder nicht.
Dabei kann vorgesehen sein, dass anhand der erkannten Längsmarkierungen bestimmt wird, auf welchem Fahrstreifen einer mehrspurigen Fahrbahn sich das Kraftfahrzeug befindet. Dann kann abhängig von dem aktuellen Fahrstreifen festgestellt werden, ob das Verkehrszeichen für das Kraftfahrzeug gilt bzw. ob sich das Kraftfahrzeug in dem Gültigkeitsbereich des Verkehrszeichens befindet. Wird beispielsweise erkannt, dass sich das Kraftfahrzeug auf einem linken Fahrstreifen befindet und das Verkehrszeichen ausschließlich für eine rechte Abbiegespur gilt, so kann damit festgestellt werden, dass das Verkehrszeichen für das Kraftfahrzeug nicht relevant ist.
Die Fahrerassistenzeinrichtung kann auch einen Navigationsempfänger – beispielsweise einen GPS-Empfänger – aufweisen, mittels welchem Positionsdaten mit Informationen über die aktuelle geographische Position des Kraftfahrzeugs bereitgestellt werden. Die Recheneinrichtung kann dann beim Bereitstellen von Navigationshinweisen für den Fahrer auch die Informationen über den aktuell durch das Kraftfahrzeug befahrenen Fahrstreifen berücksichtigen. Die Bestimmung des aktuellen Fahrstreifens alleine mithilfe eines Navigationssystems ist aufgrund der begrenzten Genauigkeit eines solchen Navigationssystems häufig nicht möglich, nämlich insbesondere dann, wenn die Fahrbahn eine Vielzahl von solchen Fahrstreifen beinhaltet. Bei dieser Ausführungsform wird nun für das Navigieren des Fahrers auch die Information genutzt, auf welchem Fahrstreifen der Fahrbahn sich momentan das Kraftfahrzeug befindet. Somit können noch genauere Navigationshinweise bereitgestellt werden, und der Fahrer kann durch das Navigationssystem noch präziser und zielführender geleitet werden. Beispielsweise kann das Navigationssystem auch einen Wechsel des aktuellen Fahrstreifens auf einen anderen Fahrstreifen vorschlagen. Eine Menge der verfügbaren Informationen in Kartendaten von der Kamera und dem Navigationssystem, wie die Anzahl der Fahrspuren auf der Straße und/oder Straßentyp und/oder die aktuelle Geschwindigkeitsbegrenzung und/oder die aktuelle Umgebung und/oder die Vorgeschichte von Markierungstypen, kann verwendet werden, um diese miteinander zu kombinieren und über den Kontext und/oder die Gültigkeit der Zeichen und/oder die Fahrbahn, auf welcher sich das Fahrzeug aktuell befindet, zu entscheiden.
Wie bereits ausgeführt, kann die Recheneinrichtung anhand der Längsmarkierungen einen Abbiegestreifen der Fahrbahn, insbesondere eine Autobahnausfahrt, erkennen. Dann kann die Recheneinrichtung das identifizierte Verkehrszeichen dem Abbiegestreifen zuordnen. Der Gültigkeitsbereich des Verkehrszeichens wird also – in Querrichtung – durch die Breite des Abbiegestreifens definiert. Somit gilt das Verkehrszeichen für das Kraftfahrzeug nur dann, wenn sich das Kraftfahrzeug auf dem Abbiegestreifen befindet. Sonst ist das Verkehrszeichen für das Kraftfahrzeug nicht relevant. Zusätzlich auch eine Bahnbreite kann verwendet werden, um über den Straßentyp zu entscheiden, insbesondere in Kombination mit Navigationsinformationen.
Also kann die Recheneinrichtung anhand der Längsmarkierungen bestimmen, ob sich das Kraftfahrzeug auf dem Abbiegestreifen befindet, und abhängig davon kann die Recheneinrichtung feststellen, ob das Verkehrszeichen für das Kraftfahrzeug relevant ist oder nicht. Somit werden Situationen vermieden, in denen ein für den Abbiegestreifen geltendes Verkehrszeichen fälschlicherweise auch dann als relevant angezeigt wird, wenn sich das Kraftfahrzeug neben dem Abbiegestreifen befindet, nämlich auf einem anderen Fahrstreifen.
Allgemein gesagt kann die Recheneinrichtung also den Fahrstreifentyp bestimmen, auf welchem sich das Kraftfahrzeug momentan befindet. Als Fahrstreifentypen können hier beispielsweise folgende Typen erkannt werden:

– ein normaler Fahrstreifen, welcher kein Abbiegestreifen und außerdem kein zu einem Abbiegestreifen benachbarter Fahrstreifen ist, und/oder
– ein Abbiegestreifen zum Abbiegen in eine andere Straße, insbesondere zum Ausfahren aus einer Autobahn, und/oder
– ein zum Abbiegestreifen benachbarter Fahrstreifen, und/oder
– ein äußerer Fahrstreifen, welcher zumindest auf einer Seite durch eine durchgezogene Längsmarkierung ohne Unterbrechung begrenzt ist.

Der Fahrstreifentyp, auf welchem sich das Kraftfahrzeug befindet, wird durch die Recheneinrichtung vorzugsweise in Abhängigkeit von der Länge einer einzelnen Längsmarkierung und/oder anhand einer Breite der Längsmarkierung und/oder anhand der Länge eines Abstands zwischen zwei in Längsrichtung benachbarten Längsmarkierungen bestimmt.
Als Verkehrszeichen kann beispielsweise ein Zeichen identifiziert werden, welches eine Geschwindigkeitsbegrenzung definiert. Die Erfindung ist jedoch nicht auf solche Verkehrszeichen beschränkt und kann auch auf andere Verkehrszeichen angewendet werden.
In einer Ausführungsform kann vorgesehen sein, dass die Recheneinrichtung anhand der Positionsdaten des genannten Navigationsempfängers sowie anhand von gespeicherten Kartendaten die Gültigkeit des erkannten Verkehrszeichens für das Kraftfahrzeug plausibilisiert. Dies bedeutet, dass die Entscheidung, ob das Verkehrszeichen für das Kraftfahrzeug relevant ist oder nicht, anhand der Positionsdaten des Navigationsempfängers und somit anhand der aktuellen geographischen Position des Kraftfahrzeugs sowie anhand der abgespeicherten Kartendaten plausibilisiert und somit überprüft wird. Bekanntlich beinhalten die abgespeicherten Kartendaten auch Informationen über aktuelle Verkehrszeichen, sodass diese Informationen auch zur Plausibilisierung der Relevanz des identifizierten Verkehrszeichens für das Kraftfahrzeug genutzt werden können. Somit kann diese Entscheidung noch präziser getroffen werden.
In einer Ausführungsform kann die Recheneinrichtung anhand der Längsmarkierungen auch einen Straßentyp der Fahrbahn identifizieren, auf welcher das Kraftfahrzeug momentan gefahren wird. Dies kann die Recheneinrichtung insbesondere anhand der Länge der einzelnen Längsmarkierungen und/oder anhand der Breite der Längsmarkierungen und/oder anhand des Abstands zwischen zwei benachbarten Längsmarkierungen bestimmen. Diese Ausführungsform hat den Vorteil, dass mit dieser Information über den aktuellen Straßentyp auch die Navigationshinweise des Navigationssystems verbessert und plausibilisiert werden können. Dies ist insbesondere dann vorteilhaft, wenn zwei separate Straßen parallel zueinander verlaufen und das Navigationssystem alleine nicht dazu in der Lage ist, zu bestimmen, auf welcher der beiden Straßen sich das Kraftfahrzeug momentan befindet. Handelt es sich hier um zwei verschiedene Straßentypen, nämlich beispielsweise eine Autobahn und eine parallel dazu verlaufende kleinere Landstraße, so kann nun anhand der Längsmarkierungen erkannt werden, auf welchem Straßentyp sich das Kraftfahrzeug tatsächlich befindet. Diese Information kann dem Navigationssystem zugeführt werden, welches seine Navigationshinweise dann entsprechend plausibilisieren kann. Und zwar kann das Navigationssystem fehlerhafte Positionsdaten und damit Navigationsanweisungen bereitstellen. Das Navigationssystem kann fehlerhaft entscheiden, dass sich das Fahrzeug auf einer Straße befindet, die sich parallel zur tatsächlichen Straße erstreckt, auf der sich das Fahrzeug tatsächlich befindet. In diesem Fall könnte das Navigationssystem fehlerhaften Informationen über den Straßentyp, Geschwindigkeitsbegrenzung, den aktuellen Kontext und dergleichen bereitstellen. Die von der Kamera detektierten Markierungen sowie Zeichen, wie Stopp-Zeichen oder Vorfahrt-Zeichen, und/oder Verkehrsampeln, können Informationen bereitstellen, dass es plausibeler ist, dass sich das Fahrzeug auf einer Nebenstraße oder auf einer Innerortsstraße als beispielsweise auf einer Autobahn befindet.
Es kann beim Klassifizieren der Fahrbahn beispielsweise zwischen folgenden Straßentypen unterschieden werden: einer Stadtstraße (auch unter „Innerortsstraße” bekannt) und/oder einer Autobahn und/oder einer Landstraße.
Für unterschiedliche Länder und/oder Weltregionen können auch unterschiedliche Daten bezüglich der Länge der einzelnen Längsmarkierungen und/oder bezüglich der Breite und/oder bezüglich der Abstände zwischen den Längsmarkierungen abgelegt sein, sodass unterschiedlichen Straßentypen länderspezifisch jeweils unterschiedliche Längen und/oder Breiten und/oder Abstände zugeordnet sind. Anhand der aktuellen Positionsdaten kann man dann feststellen, in welchem Land sich das Kraftfahrzeug befindet, und abhängig davon kann dann auf die jeweils aktuellen Daten zugegriffen werden.
In einer Ausführungsform ist vorgesehen, dass die Recheneinrichtung anhand des Straßentyps der Fahrbahn die Entscheidung plausibilisiert, ob das Verkehrszeichen für das Kraftfahrzeug gilt oder nicht gilt. Insbesondere kann der vom Navigationssystem bestimmte Straßentyp durch den anhand der Analyse der von der Kamera erfassten Markierungen bestimmten Straßentyp korrigiert werden. Die Gültigkeit der Verkehrsschilder – wie der Geschwindigkeitsbegrenzungsschilder – kann durch Analyse der Markierungen, Entfernung der (Geschwindigkeit-)Zeichen und Fahrzeugtrajektorie verwaltet werden. Wie bereits ausgeführt, erweist sich diese Ausführungsform insbesondere dann als vorteilhaft, wenn zwei verschiedene Straßentypen parallel zueinander verlaufen und insgesamt unsicher ist, zu welcher Fahrbahn das identifizierte Verkehrszeichen gehört. Es wird hier die Tatsache genutzt, dass bestimmte Verkehrszeichen ausschließlich oder überwiegend beispielsweise auf Autobahnen vorhanden sind, während andere Zeichen überwiegend oder ausschließlich auf Stadtstrassen verwendet werden.
In einer Ausführungsform kann die Recheneinrichtung in den Bildern der Kamera auch auf der Fahrbahn angebrachte Quermarkierungen identifizieren. Durch solche Quermarkierungen kann beispielsweise detektiert werden, dass das Kraftfahrzeug auf einer Stadtstraße gefahren wird. Die Erfassung solcher Quermarkierungen hat auch den Vorteil, dass somit beispielsweise die Erfassung eines „STOP”-Verkehrszeichens und seine Gültigkeit für das Kraftfahrzeug plausibilisiert werden kann.
Es kann auch vorgesehen sein, dass zumindest die Recheneinrichtung der Fahrerassistenzeinrichtung oder sogar die gesamte Fahrerassistenzeinrichtung in ein tragbares Kommunikationsgerät, insbesondere in ein Mobiltelefon, integriert ist. Die Fahrerassistenzeinrichtung kann alternativ jedoch als fest in einem Kraftfahrzeug verbaute bzw. zum Einbau in ein Kraftfahrzeug bestimmte Einrichtung ausgebildet sein. Es können Smartphones verwendet werden, um Verkehrsinformationen zu erhalten, wie die aktuelle Geschwindigkeitsbegrenzung, insbesondere in einer industriellen Umgebung, und/oder Wetterdaten etc.
In einer Ausführungsform ist die Rechenvorrichtung dazu ausgelegt, anhand der Längsmarkierungen Sensordaten zumindest eines Sensors des Kraftfahrzeugs, insbesondere Navigationsdaten eines Navigationsempfängers, zu plausibilisieren. Somit kann die Zuverlässigkeit der Informationen von dem mindestens einen Sensor überprüft werden, um eine zuverlässige Entscheidung über den aktuellen Kontext zu treffen, wie beispielsweise den Straßentyp und/oder die aktuelle Umgebung, wie zum Beispiel Stadtgebiet, und/oder Kreuzungen und/oder Kreisverkehre etc.
Eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug gemäß einem zweiten Aspekt der Erfindung umfasst mindestens eine Kamera zum Aufnehmen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs sowie eine elektronische Recheneinrichtung zum Verarbeiten der Bilder, wobei die Rechenvorrichtung dazu ausgelegt ist, auf einer Fahrbahn angebrachte Längsmarkierungen zu identifizieren und anhand der Längsmarkierungen Sensordaten zumindest eines Sensors des Kraftfahrzeugs, insbesondere Navigationsdaten eines Navigationsempfängers, zu plausibilisieren.
Die Erfindung betrifft außerdem ein Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs, bei welchem mittels zumindest einer Kamera Bilder eines Umgebungsbereichs des Kraftfahrzeugs erfasst werden und mittels einer Recheneinrichtung die Bilder verarbeitet werden, wobei die Recheneinrichtung in den Bildern ein Verkehrszeichen identifiziert, und wobei die Recheneinrichtung auf einer Fahrbahn angebrachte Längsmarkierungen identifiziert und anhand der Längsmarkierungen bestimmt, ob das identifizierte Verkehrszeichen für das Kraftfahrzeug gilt oder nicht gilt.
Die mit Bezug auf die erfindungsgemäße Fahrerassistenzeinrichtung vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Verfahren.
Die Erfindung bezieht sich auch auf ein Kraftfahrzeug mit einer erfindungsgemäßen Fahrerassistenzeinrichtung. Das Kraftfahrzeug ist vorzugsweise ein Personenkraftwagen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es zeigen:
1 in schematischer Darstellung ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung;
2 in schematischer Darstellung eine Verkehrssituation mit dem Kraftfahrzeug gemäß 1;
3 ein Blockschaltbild einer Fahrerassistenzeinrichtung gemäß einer Ausführungsform der Erfindung;
4 ein Blockschaltbild einer Fahrerassistenzeinrichtung gemäß einer Ausführungsform der Erfindung;
5 einen Graphen, welcher zeigt, wie zwischen verschiedenen Fahrstreifentypen gewechselt wird;
6 in schematischer Darstellung ein mittels einer Kamera des Kraftfahrzeugs aufgenommenes Bild;
7 ein weiteres Bild;
8 noch ein weiteres Bild;
9 in schematischer Darstellung ein Bild, welches eine weitere Straßensituation zeigt; und
10 eine Darstellung, wie sie auf einem Display erzeugt werden kann.
Ein in 1 in schematischer Darstellung gezeigtes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 beinhaltet eine Fahrerassistenzeinrichtung 2, welche ein Fahrerassistenzsystem zum Unterstützen des Fahrers beim Führen des Kraftfahrzeugs 1 darstellt. Die Fahrerassistenzeinrichtung 2 hat eine vordere Kamera 3 sowie eine hintere Kamera 4, welche mit einer zentralen elektronischen Recheneinrichtung 5 bzw. einem Steuergerät elektrisch gekoppelt sind. Die Anzahl und die Anordnung der Kameras 3, 4 sind in 1 lediglich beispielhaft dargestellt. Sowohl die Anzahl als auch die Anordnung der Kameras 3, 4 kann je nach Ausführungsform variieren. Insbesondere ist dabei vorgesehen, dass zumindest eine Kamera 3 vorhanden ist, welche den Umgebungsbereich vor dem Kraftfahrzeug 1 erfasst.
Die Kameras 3, 4 erfassen jeweils einen Umgebungsbereich des Kraftfahrzeugs 1. Und zwar erfassen die Kameras 3, 4 jeweilige Bilder des Umgebungsbereichs, wobei die aufgenommenen Bilder an die Recheneinrichtung 5 übermittelt werden. Die Recheneinrichtung 5 verarbeitet dann die Bilder und kann anhand der Bilder verschiedenste Funktionalitäten zum Unterstützen des Fahrers bereitstellen.
Die Kameras 3, 4 sind vorzugsweise Video-Kameras, welche eine Vielzahl von Einzelbildern pro Zeiteinheit, insbesondere pro Sekunde, aufnehmen können. Die Kameras 3, 4 können beispielsweise CCD-Kameras oder aber CMOS-Kameras sein.
Die Recheneinrichtung 5 ist des Weiteren an einen zentralen Kommunikationsbus 6 des Kraftfahrzeugs 1 angeschlossen, über welchen verschiedenste aktuelle Informationen über unterschiedliche Fahrzeugparameter übertragen werden. Der Kommunikationsbus 6 ist beispielsweise der CAN-Bus. Die Recheneinrichtung 5 kann auch in der Kamera selbst oder auf einem separaten ECU angeordnet sein.
An die Recheneinrichtung 5 ist des Weiteren ein Navigationssystem 7 angekoppelt, welches einen Navigationsempfänger 8, beispielsweise einen GPS-Empfänger, sowie einen Speicher 9 beinhaltet, in welchem Kartendaten abgelegt sind. Der Navigationsempfänger 8 stellt Positionsdaten des Kraftfahrzeugs 1 bereit, welche Informationen über die jeweils aktuelle Position des Kraftfahrzeugs beinhalten. Die Recheneinrichtung 5 kann sowohl auf die Positionsdaten als auch auf die Kartendaten zugreifen, sodass in der Recheneinrichtung 5 stets bekannt ist, wo sich das Kraftfahrzeug 1 auf der Straßenkarte aktuell befindet. Weiterhin können die Informationen von dem Navigationssystem entweder von einem Multimedia-Bus oder von dem CAN-Bus des Fahrzeugs 1 beispielsweise in ADASIS Format bereitgestellt werden, das in ADASIS Forum durch verschiedene Automobilhersteller und ADAS-Anbieter definiert worden ist.
Die Recheneinrichtung 5 kann auch mit einem Display 10 gekoppelt sein, auf welchem die aufgenommenen Bilder der Kameras 3, 4 angezeigt werden können. Das Display 10 befindet sich im Innenraum des Kraftfahrzeugs 1 und ist beispielsweise an der Mittelkonsole oder aber an der Instrumententafel angeordnet.
Einige Komponenten der in 1 dargestellten Fahrerassistenzeinrichtung 2 können gegebenenfalls in ein Mobiltelefon (Smartphone oder dergleichen) integriert sein. Beispielweise kann die Recheneinrichtung 5 und/oder das Navigationssystem 7 und/oder das Display 10 und/oder zumindest eine der Kameras 3, 4 als interne Komponente des Mobiltelefons ausgebildet sein. Im vorliegenden Ausführungsbeispiel ist jedoch vorgesehen, dass die genannten Komponenten fahrzeugeigene und somit im Kraftfahrzeug 1 fest verbaute Komponenten sind. Es kann ein Mobiltelefon als Sensor zur Bereitstellung von Verkehrsinformationen über den Kontext, das Wetter, den Fahrzustand genutzt werden.
Anhand der aufgenommenen Bilder kann die Recheneinrichtung 5 Längsmarkierungen identifizieren, welche auf der Fahrbahn angebracht sind, auf welcher das Kraftfahrzeug 1 gefahren wird. Eine solche Fahrbahn 11 ist beispielhaft in 2 dargestellt. Die Fahrbahn 11 ist hier eine Autobahn mit einem ersten und einem zweiten Fahrstreifen 12, 13, welche mittels Längsmarkierungen 14 voneinander abgegrenzt sind. Auf der anderen Seite ist der Fahrstreifen 12 mittels einer durchgezogenen Längsmarkierung 15 begrenzt, welche gleichzeitig eine Begrenzung der gesamten Fahrbahn 11 darstellt. Der Fahrstreifen 13 wiederum ist auf der rechten Seite mittels Längsmarkierungen 16 von einer Abbiegespur 17 abgegrenzt, welche zu einer Autobahnausfahrt führt, wie dies mit einer Straßenmarkierung 18 in Form eines Pfeils dargestellt ist. Die Abbiegespur 17 selbst ist auf der rechten Seite mittels einer durchgezogenen Längsmarkierung 15 begrenzt, welche gleichzeitig eine äußere Begrenzung der gesamten Fahrbahn 11 darstellt. Die Einrichtung kann auch ohne die Detektion des Pfeil-Zusatzzeichens arbeiten, nämlich nur unter Berücksichtigung der Position des Verkehrszeichens und der Markierungstypen und/oder unter Berücksichtigung dessen, ob ein Fahrzeug die Markierung überquert hat oder nicht. In manchen Ländern, wie Frankreich beispielsweise, werden Pfeile nicht für alle Ausfahrtszeichen vorgesehen.
Die Recheneinrichtung 5 erkennt nun alle Längsmarkierungen 14, 15, 16 und kann den Fahrstreifen 13 klassifizieren, auf welchem sich das Kraftfahrzeug 1 befindet. Die Recheneinrichtung 5 kann dabei zwischen folgenden Fahrstreifentypen unterscheiden:

– einem normalen Fahrstreifen „N”, welcher weder ein an eine Abbiegespur 17 angrenzender Fahrstreifen, noch eine Abbiegespur selbst ist – in 2 ist ein derartiger normaler Fahrstreifen „N” nicht vorhanden; ein solcher Fahrstreifen „N” könnte beispielsweise den mittleren Fahrstreifen einer dreispurigen Autobahn oder aber den einzigen Fahrstreifen einer Landstraße darstellen;
– einem äußeren Fahrstreifen „R”, welcher zumindest einerseits an eine durchgezogene Längsmarkierung 15 angrenzt – in 2 wird beispielsweise der Fahrstreifen 12 als äußerer Fahrstreifen „R” klassifiziert;
– einem Fahrstreifen „E”, welcher an eine Abbiegespur 17 unmittelbar angrenzt – in 2 wird beispielsweise der Fahrstreifen 13 als „E” klassifiziert;
– einer Abbiegespur „EXIT” – diese ist in 2 mit 17 gekennzeichnet.

In 5 ist dabei ein Graph dargestellt, welcher zeigt, wie die Recheneinrichtung 5 den aktuellen Fahrstreifen des Kraftfahrzeugs 1 detektieren kann. Befindet sich das Kraftfahrzeug 1 auf dem Fahrstreifen „N”, so wird ein Wechsel zum Fahrstreifen „E” dann detektiert, wenn ein Kriterium C1 erfüllt wird. Dieses Kriterium C1 beinhaltet, dass eine gestrichelte und relativ dicke Längsmarkierung (Ausfahrtsmarkierung 16 in 1) auf einer Seite des Kraftfahrzeugs 1 detektiert wird und sich somit das Kraftfahrzeug 1 neben der Abbiegespur „EXIT” befindet. Auch ausgehen von dem Fahrstreifen „R” ist die Detektion des Wechsels zum Fahrstreifen „E” unter dem Kriterium C1 möglich. Des Weiteren wird auch ausgehend von dem Fahrstreifen „EXIT” der Fahrstreifen „E” dann detektiert, wenn das Kriterium C1 erfüllt ist. Die Detektion des Fahrstreifens „R” erfolgt dann, wenn ein weiteres Kriterium C2 erfüllt wird. Dieses Kriterium beinhaltet, dass eine durchgezogene Längsmarkierung zumindest auf einer Seite des Kraftfahrzeugs detektiert wird. Die Detektion des Fahrstreifens „N” wiederum erfolgt nach Erfülltsein eines weiteren Kriteriums C3, welches beinhaltet, dass weder eine durchgezogene Längsmarkierung noch eine gestrichelte dicke Längsmarkierung neben dem Kraftfahrzeug 1 detektiert wird. Schließlich ist die Detektion der Abbiegespur „EXIT” nur ausgehend von dem Fahrstreifen „E” möglich, und zwar wenn ein Kriterium C4 erfüllt wird, dass das Kraftfahrzeug 1 eine gestrichelte dicke Längsmarkierung passiert.
Mit erneutem Bezug auf 2 erkennt die Recheneinrichtung 5 also, dass sich das Kraftfahrzeug 1 auf dem Fahrstreifen 13 befindet, welcher unmittelbar an die Abbiegespur 17 angrenzt und somit als „E” klassifiziert wird. In der Recheneinrichtung 5 ist also auch bekannt, dass neben dem Fahrstreifen 13 sich eine Abbiegespur 17 befindet.
Die Klassifizierung der Fahrstreifen erfolgt in der Recheneinrichtung 5 anhand der erkannten Längsmarkierungen 14, 15, 16. Es ist nämlich vorgeschrieben, dass unterschiedliche Fahrstreifentypen auch durch unterschiedliche Längsmarkierungen 14, 15, 16 begrenzt sind. Die Recheneinrichtung 5 erfasst dabei sowohl die Länge der einzelnen Längsmarkierungen 14, 15, 16 in Fahrtrichtung als auch die Breite der Längsmarkierungen 14, 15, 16, wie auch einen Abstand zwischen zwei benachbarten Längsmarkierungen in Längsrichtung x. Diese Daten vergleicht die Recheneinrichtung 5 mit abgelegten Daten und führt abhängig von diesem Vergleich eine Klassifizierung des aktuellen Fahrstreifens durch.
Neben den Längsmarkierungen 14, 15, 16 erfasst die Recheneinrichtung 5 auch neben der Fahrbahn 11 stehende Verkehrszeichen 19. Im Ausführungsbeispiel gemäß 2 erfasst die Recheneinrichtung 5 das Verkehrszeichen 19, welches eine Geschwindigkeitsbegrenzung auf 60 km/h darstellt. Zusätzlich zu dem Verkehrszeichen 19 identifiziert die Recheneinrichtung 5 auch ein Zusatzzeichen 20, welches dem Verkehrszeichen 19 zugeordnet ist und einen Gültigkeitsbereich des Verkehrszeichens 19 angibt. Das Zusatzzeichen 20 ist in Form eines Pfeils bereitgestellt, welcher anzeigt, dass die Geschwindigkeitsbegrenzung von 60 km/h nur für die Abbiegespur 17 und nicht für die anderen Fahrstreifen 12, 13 gilt. In diesem Zusammenhang kann jede Art von Zusatzzeichen und/oder kleinen Zeichen erkannt werden, nicht nur Pfeil-Zeichen. Diese werden verwendet, um die Ausgänge zu verwalten.
Die Recheneinrichtung 5 bestimmt nun einen Gültigkeitsbereich des Verkehrszeichens 19 in Querrichtung y der Fahrbahn 11. Ein beispielhafter Gültigkeitsbereich des Verkehrszeichens 19 ist in 2 mit 21 bezeichnet.
Es ist also vorgesehen, dass die Recheneinrichtung 5 den örtlichen bzw. geographischen Gültigkeitsbereich 21 des Verkehrszeichens 19 in Querrichtung y festlegt. Diese Festlegung erfolgt zunächst anhand des Zusatzzeichens 20. Ergänzend oder alternativ kann die Festlegung des Gültigkeitsbereichs 21 auch anhand der Längsmarkierungen 14, 16, 15 vorgenommen werden. So ist es beispielsweise auch bei Fehlen des Zusatzzeichens 20 möglich, die Gültigkeit des Verkehrszeichens 19 der Abbiegespur 17 zuzuordnen, indem die Längsmarkierungen 14, 15, 16 ausgewertet werden und die Abbiegespur 17 von den weiteren Fahrstreifen 12, 13 unterschieden wird.
Ist nun der Gültigkeitsbereich 21 des Verkehrszeichens 19 in der Recheneinrichtung 5 bekannt, so ermittelt die Recheneinrichtung 5, ob sich das Kraftfahrzeug 1 innerhalb dieses Gültigkeitsbereichs 21 befindet oder nicht. Wie bereits ausgeführt, ist in der Recheneinrichtung 5 bereits bekannt, dass sich das Kraftfahrzeug 1 auf dem Fahrstreifen 13 und somit nicht auf der Abbiegespur 17 befindet. Weil der Gültigkeitsbereich 21 der Breite der Abbiegespur 17 entspricht, stellt die Recheneinrichtung 5 fest, dass sich das Kraftfahrzeug 1 außerhalb des Gültigkeitsbereichs 21 befindet und das Verkehrszeichen 19 folglich für das Kraftfahrzeug 1 irrelevant ist. Diese Information kann beispielsweise dahingehend genutzt werden, dass die Geschwindigkeitsbegrenzung von 60 km/h dem Fahrer nicht angezeigt wird.
In 3 ist in schematischer Darstellung ein Blockschaltbild der Fahrerassistenzeinrichtung 2 näher dargestellt. Als Datenquellen werden neben dem Kommunikationsbus 6 zusätzlich noch ein Spurassistenzsystem 22 sowie ein Zeichenerkennungssystem 23 verwendet. Diese Systeme 22, 23 können beispielsweise die bereits im Kraftfahrzeug 1 vorhandenen Systeme sein. Die Recheneinrichtung 5 kann nun die von den Systemen 22, 23 gewonnenen Informationen nutzen. Die Recheneinrichtung 5 kann dabei einerseits einen Block 24 beinhalten, mittels welchem die Längsmarkierungen 14, 15, 16 analysiert und interpretiert werden. In dem Block 24 können also die jeweiligen Fahrstreifen klassifiziert werden. Andererseits kann die Recheneinrichtung 5 auch einen weiteren Block 25 beinhalten, mittels welchem die Verkehrszeichen 19 sowie die Zusatzzeichen 20 analysiert werden. Die Daten können in einem weiteren Block 26 zusammengefasst werden, wobei als Ergebnis die Recheneinrichtung 5 die Information ausgeben kann, ob das erkannte Verkehrszeichen für das Kraftfahrzeug 1 gilt oder nicht. In dem Block 26 wird also festgestellt, ob sich das Kraftfahrzeug 1 in dem Gültigkeitsbereich 21 befindet oder nicht.
4 zeigt ein Blockschaltbild einer erweiterten Fahrerassistenzeinrichtung 2. Von den Kameras 3, 4 erfasste Bilder werden in einem Block 27 im Hinblick auf die Längsmarkierungen 14, 15, 16 verarbeitet. Hierbei werden die Längsmarkierungen 14, 15, 16 identifiziert. In einem weiteren Block 28 wird anhand der erkannten Längsmarkierungen 14, 15, 16 der Fahrstreifen klassifiziert, auf welchem sich das Kraftfahrzeug 1 befindet. Außerdem wird in dem Block 28 anhand der Längsmarkierungen 14, 15, 16 die Fahrbahn 11 klassifiziert, auf welcher das Kraftfahrzeug 1 momentan gefahren wird. Dies beruht auf der Tatsache, dass für verschiedenste Straßentypen jeweils unterschiedliche Arten von Längsmarkierungen verwendet werden, nämlich unterschiedliche Längen der einzelnen Längsmarkierungen sowie unterschiedliche Breiten und unterschiedliche Abstände in Längsrichtung. Dabei kann die Recheneinrichtung 5 in dem Block 28 zwischen folgenden Straßentypen unterscheiden: einer Autobahn, einer Landstraße und einer Stadtstraße. Das Ergebnis des Blocks 28 wird einem weiteren Block 29 zugeführt, in welchem der Straßentyp plausibilisiert wird und außerdem entschieden wird, ob sich das Kraftfahrzeug 1 im Gültigkeitsbereich 21 eines Verkehrszeichens 19 befindet.
Zur Plausibilisierung des Straßentyps werden Informationen über Ampeln sowie über die identifizierten Verkehrszeichen berücksichtigt. Und zwar werden die Bilder der Kameras 3, 4 in einem Block 30 dahingehend untersucht, ob sich in der Nähe des Kraftfahrzeugs 1 eine Ampel befindet oder nicht. Wird eine Ampel erkannt, so wird eine entsprechende Information an den Block 29 übermittelt. In einem weiteren Block 31 erfolgt die Identifizierung von Verkehrszeichen 19, die sich neben der Fahrbahn 11 befinden. Somit können Informationen über die Ampeln analysiert werden, wie Entfernung von dem Fahrzeug, die Position der Ampel (auf der rechten Seite, über der Straße, auf der linken Seite) usw.
Dem Block 29 werden auch weitere Informationen zugeführt, wie beispielsweise Informationen von dem Kommunikationsbus 6 sowie Informationen von dem Navigationssystem 7, welches den Navigationsempfänger 8 und den Speicher 9 aufweist, wie dies in 4 schematisch angedeutet ist.
Im Block 29 wird also zunächst entschieden, ob sich das Kraftfahrzeug 1 innerhalb eines Gültigkeitsbereichs 21 eines Verkehrszeichens 19 befindet oder nicht. Zur Plausibilisierung dieser Entscheidung können auch die aktuellen Positionsdaten des Navigationsempfängers 8 sowie die Kartendaten des Speichers 9 berücksichtigt werden. Auch verschiedenste Informationen des Kommunikationsbusses 6 können hier berücksichtigt werden, wie beispielsweise die aktuelle Geschwindigkeit des Kraftfahrzeugs 1.
Im Block 29 erfolgt außerdem – wie bereits ausgeführt – die Klassifizierung der Fahrbahn 11, auf welcher sich das Kraftfahrzeug 1 befindet. Neben den Längsmarkierungen 14, 15, 16 werden hier auch die Information über vorhandene Ampeln sowie die Information über identifizierte Verkehrszeichen, wie auch weitere Informationen aus dem Kommunikationsbus 6 sowie aus dem Navigationssystem 7 ausgewertet. Anhand aller Daten kann eine zuverlässige Entscheidung getroffen werden, ob sich das Kraftfahrzeug 1 beispielsweise auf einer Autobahn oder aber auf einer Stadtstraße oder aber auf einer Landstraße befindet. Diese Information wird dann als Ergebnis der Datenverarbeitung ausgegeben.
Mithilfe der gewonnenen Information, auf welchem Straßentyp sich das Kraftfahrzeug 1 befindet, kann die Navigation des Fahrers verbessert werden. So kann anhand dieser Information beispielsweise das Navigationssystem 7 verbesserte Navigationshinweise bereitstellen. Dies erweist sich beispielsweise in einer Situation als vorteilhaft, in welcher zwei verschiedene Straßen parallel zueinander verlaufen und das Navigationssystem 7 alleine nicht dazu in der Lage ist, festzustellen, auf welcher der beiden Straßen sich das Kraftfahrzeug 1 befindet. Handelt es sich bei den beiden Straßen beispielsweise um eine Autobahn und eine Landstraße, so kann nun präzise festgestellt werden, wo genau sich das Kraftfahrzeug 1 befindet. Die Navigationshinweise können somit insgesamt plausibilisiert werden. Diese Informationen können auch von anderen Fahrerassistenzsystemen verwendet werden, wie von einem adaptiven Scheinwerfer-System (Umschaltung zwischen Fernlicht/Abblendlicht), welche Informationen benötigen, ob sich das Fahrzeug in einem städtischen Gebiet befindet oder nicht, und welche beispielsweise einen Autobahnbeleuchtungsmodus für Autobahnen aktivieren können.
Ein mögliches Bild, welches von der Kamera 3 aufgenommen werden kann, ist beispielsweise in 6 dargestellt. Dieses Bild entspricht im Wesentlichen dem Szenario gemäß 2. Das Kraftfahrzeug 1 befindet sich hier auf einer Autobahn mit einem ersten und einem zweiten Fahrstreifen 12, 13. Wie aus 6 zu erkennen ist, befindet sich vor dem Kraftfahrzeug 1 eine Abbiegespur 17, welche von dem Fahrstreifen 13 mittels der Längsmarkierungen 16 abgegrenzt ist. Neben der Fahrbahn 11 befindet sich auch ein Verkehrszeichen 19 mit einem Zusatzzeichen 20. Die Recheneinrichtung 5 erkennt also, dass das Verkehrszeichen 19 für die Abbiegespur 17 gilt und sich das Kraftfahrzeug 1 somit außerhalb des Gültigkeitsbereichs 21 des Verkehrszeichens 19 befindet.
Das Bild, wie es in 6 schematisch dargestellt ist, kann beispielsweise auch in Echtzeit auf dem Display 10 dargestellt werden. Zusammen mit dem Bild kann auch eine Information über das erkannte Verkehrszeichen 19 dargestellt werden, welches für die Abbiegespur 17 gilt. Der untere Bereich, der in 6 dargestellt ist und die Geschwindigkeitsinformationen beinhaltet, wird jedoch auf dem Display 10 nicht angezeigt, sondern repräsentiert die interne Datenverarbeitung der Einrichtung. Für Erläuterungszwecke ist dieser Bereich in so viele Spalten unterteilt, wie es Fahrstreifen gibt. Dabei kann auch die Abbiegespur 17 berücksichtigt werden. Es sind also im Beispiel gemäß 6 drei Spalten für die drei Fahrstreifen vorgesehen. Im Beispiel gemäß 6 hat die Recheneinrichtung 5 erkannt, dass für die Abbiegespur 17 das erkannte Verkehrszeichen 19 und somit die Geschwindigkeitsbegrenzung von 90 km/h gilt. Folglich wird in der dritten Spalte dieses erkannte Verkehrszeichen 19 dargestellt.
Wird nun das Kraftfahrzeug 1 auf die Abbiegespur 17 bewegt, so gilt für das Fahrzeug 1 die Geschwindigkeitsbegrenzung von 90 km/h. Befindet sich das Kraftfahrzeug 1 auf der Abbiegespur 17, wie dies in 7 dargestellt ist, so gilt nun die Geschwindigkeitsbegrenzung von 90 km/h. Hierbei wurde das Verkehrszeichen 19 von der rechten Spalte in die mittlere Spalte verschoben, nämlich gemäß der schematischen Pfeildarstellung 32.
Wird nun ein weiteres Verkehrszeichen 19 während der weiteren Fahrt des Kraftfahrzeugs 1 identifiziert, wie dies in 8 dargestellt ist, so wird die Information aktualisiert. Wie aus 8 hervorgeht, gilt nun eine Geschwindigkeitsbegrenzung von 70 km/h.
Ein weiteres Bild ist in 9 dargestellt. Vor dem Kraftfahrzeug 1 befindet sich nun ein weiteres Fahrzeug 33, welches auf demselben Fahrstreifen 34 wie das Kraftfahrzeug 1 fährt. Die Fahrbahn 11 besteht nun aus diesem Fahrstreifen 34 sowie aus zwei angrenzenden Abbiegespuren 17a und 17b. Die erste Abbiegespur 17a befindet sich dabei auf der linken Seite des Fahrstreifens 34, während sich die zweite Abbiegespur 17b auf der rechten Seite des Fahrstreifens 34 befindet. Anhand des Bildes identifiziert nun die Recheneinrichtung 5 die Längsmarkierungen 35, 36 und stellt fest, dass sich neben dem Kraftfahrzeug 1 zwei Abbiegespuren 17a, 17b befinden. In den Bildern identifiziert die Recheneinrichtung 5 zusätzlich auch zwei Verkehrszeichen 19a, 19b. Das erste Verkehrszeichen 19a wird in der Recheneinrichtung 5 der ersten Abbiegespur 17a zugeordnet, während das zweite Verkehrszeichen 19b der zweiten Abbiegspur 17b zugeordnet wird. Die Recheneinrichtung 5 stellt also fest, dass für das Kraftfahrzeug 1, das sich auf dem Fahrstreifen 34 befindet, weder das Verkehrszeichen 19a noch das andere Zeichen 19b gilt. Dies kann entsprechend bei der Darstellung auf dem Display 10 berücksichtigt werden.
Die Information, auf welchem Fahrstreifen einer mehrspurigen Fahrbahn sich das Kraftfahrzeug 1 momentan befindet, kann auch dazu genutzt werden, um verbesserte Navigationshinweise auf dem Display 10 darzustellen. Eine solche Darstellung auf dem Display 10 ist beispielhaft in 10 dargestellt. Befindet sich das Kraftfahrzeug 1 auf der rechten Spur 13 einer mehrspurigen Autobahn, so kann diese Position des Kraftfahrzeugs 1 beim Bereitstellen von Navigationshinweisen beispielsweise in Form von Pfeilen 37 berücksichtigt werden. Mithilfe eines solchen Pfeils 37 kann beispielsweise dargestellt werden, auf welchen Fahrstreifen gewechselt werden soll. Der dargestellte Pfeil 37 beginnt dabei auf dem Fahrstreifen, auf welchem sich das Kraftfahrzeug 1 aktuell befindet, und zeigt auf denjenigen Fahrstreifen bzw. auf diejenige Abbiegespur, auf welchen/welche das Kraftfahrzeug 1 abbiegen soll. Die Navigationshinweise können somit situationsabhängig bereitgestellt werden. Gegenüber bekannten Navigationssystemen, welche den aktuellen Fahrstreifen nicht detektieren können, ergibt sich somit insgesamt eine verbesserte Navigation.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2009/0041304 A1 [0002]
EP 1371948 A2 [0005]
JP 2009180631 A [0006]
US 2009/0088978 A1 [0007]

Claims

Fahrerassistenzeinrichtung (2) für ein Kraftfahrzeug (1), mit zumindest einer Kamera (3, 4) zum Erfassen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs (1), und mit einer Recheneinrichtung (5) zum Verarbeiten der Bilder der zumindest einen Kamera (3, 4), wobei die Recheneinrichtung (5) dazu ausgelegt ist, in den Bildern ein Verkehrszeichen (19) zu identifizieren, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt, auf einer Fahrbahn (11) angebrachte Längsmarkierungen (14, 15, 16, 35, 36) zu identifizieren und anhand der Längsmarkierungen (14, 15, 16, 35, 36) zu bestimmen, ob das identifizierte Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.
Fahrerassistenzeinrichtung (2) nach Anspruch 1, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, einen örtlichen Gültigkeitsbereich (21) des Verkehrszeichens (19) in Querrichtung (y) der Fahrbahn (11) zu ermitteln und anhand der Längsmarkierungen (14, 15, 16, 35, 36) zu bestimmen, ob sich das Kraftfahrzeug (1) momentan in dem Gültigkeitsbereich (21) des Verkehrszeichens (19) befindet oder nicht.
Fahrerassistenzeinrichtung (2) nach Anspruch 2, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, in den Bildern ein dem Verkehrszeichen (19) zugeordnetes Zusatzzeichen (20), welches den Gültigkeitsbereich (21) des Verkehrszeichens (19) angibt, zu identifizieren und den Gültigkeitsbereich (21) des Verkehrszeichens (19) anhand des erkannten Zusatzzeichens (20) zu bestimmen.
Fahrerassistenzeinrichtung (2) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, den Gültigkeitsbereich (21) des Verkehrszeichens (19) anhand der Längsmarkierungen (14, 15, 16, 35, 36) zu bestimmen.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand der erkannten Längsmarkierungen (14, 15, 16, 35, 36) eine aktuelle Position des Kraftfahrzeugs (1) relativ zum Verkehrszeichen (19) zu bestimmen und abhängig von der aktuellen Position festzustellen, ob das identifizierte Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand der erkannten Längsmarkierungen (14, 15, 16, 35, 36) zu bestimmen, auf welchem Fahrstreifen (12, 13) einer mehrspurigen Fahrbahn (11) sich das Kraftfahrzeug (1) befindet, und abhängig von dem aktuellen Fahrstreifen (12, 13) festzustellen, ob das identifizierte Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.
Fahrerassistenzeinrichtung (2) nach Anspruch 6, dadurch gekennzeichnet, dass die Fahrerassistenzeinrichtung (2) einen Navigationsempfänger (8) zum Bereitstellen von Positionsdaten des Kraftfahrzeugs (1) aufweist und die Recheneinrichtung (5) dazu ausgelegt ist, beim Bereitstellen von Navigationshinweisen (37) die Information über den aktuellen Fahrstreifen (12, 13) des Kraftfahrzeugs (1) zu berücksichtigen.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand der Längsmarkierungen (14, 15, 16, 35, 36) einen Abbiegestreifen (17) der Fahrbahn (11), insbesondere eine Autobahnausfahrt, zu erkennen und das detektierte Verkehrszeichen (19) dem Abbiegestreifen (17) zuzuordnen.
Fahrerassistenzeinrichtung (2) nach Anspruch 6 oder 7 und Anspruch 8, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand der Längsmarkierungen (14, 15, 16, 35, 36) zu bestimmen, ob sich das Kraftfahrzeug (1) auf dem Abbiegestreifen (17) befindet, und abhängig davon festzustellen, ob das Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrerassistenzeinrichtung (2) einen Navigationsempfänger (8) zum Bereitstellen von Positionsdaten des Kraftfahrzeugs (1) aufweist und die Recheneinrichtung (5) dazu ausgelegt ist, anhand der Positionsdaten des Navigationsempfängers (8) sowie anhand von gespeicherten Kartendaten die Gültigkeit des erkannten Verkehrszeichens (19) für das Kraftfahrzeug (1) zu plausibilisieren.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand der Längsmarkierungen (14, 15, 16, 35, 36), insbesondere anhand der Länge einer einzelnen Längsmarkierung (14, 15, 16, 35, 36) und/oder anhand einer Breite der Längsmarkierung (14, 15, 16, 35, 36) und/oder anhand der Länge eines Abstands zwischen zwei benachbarten Längsmarkierungen (14, 15, 16, 35, 36), einen Straßentyp der Fahrbahn (11) zu identifizieren.
Fahrerassistenzeinrichtung (2) nach Anspruch 11, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, beim Klassifizieren der Fahrbahn (11) zwischen folgenden Straßentypen zu unterscheiden: – einer Stadtstraße und/oder – einer Autobahn und/oder – einer Landstrasse.
Fahrerassistenzeinrichtung (2) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand des Straßentyps der Fahrbahn (11) zu plausibilisieren, ob das Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, in den Bildern der Kamera (3, 4) auch auf der Fahrbahn (11) angebrachte Quermarkierungen zu identifizieren.
Fahrerassistenzeinrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinrichtung (5) dazu ausgelegt ist, anhand der Längsmarkierungen (14, 15, 16, 35, 36) Sensordaten zumindest eines Sensors des Kraftfahrzeugs (1), insbesondere Sensordaten eines Navigationsempfängers (8), zu plausibilisieren.
Verfahren zum Betreiben einer Fahrerassistenzeinrichtung (2) eines Kraftfahrzeugs (1), bei welchem mittels zumindest einer Kamera (3, 4) Bilder eines Umgebungsbereichs des Kraftfahrzeugs (1) erfasst werden und mittels einer Recheneinrichtung (5) die Bilder der zumindest einen Kamera (3, 4) verarbeitet werden, wobei die Recheneinrichtung (5) in den Bildern ein Verkehrszeichen (19) identifiziert, dadurch gekennzeichnet, dass die Recheneinrichtung (5) auf einer Fahrbahn (11) angebrachte Längsmarkierungen (14, 15, 16, 35, 36) identifiziert und anhand der Längsmarkierungen (14, 15, 16, 35, 36) bestimmt, ob das identifizierte Verkehrszeichen (19) für das Kraftfahrzeug (1) gilt oder nicht gilt.