DE102008020007A1

DE102008020007A1 - Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung

Info

Publication number: DE102008020007A1
Application number: DE102008020007A
Authority: DE
Inventors: Samir Attayebi
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2007-04-20
Filing date: 2008-04-21
Publication date: 2008-10-23

Abstract

Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug, mit einer Fahrspurerkennung, wobei eine Fahrbahnranderkennung mittels Sensoren, wie Infrarotsensoren, optischer Einrichtungen, wie einer Kamera oder bildgebender Abstandsmessung mit zum Beispiel Radar- oder Laserscannern, durchgeführt wird und eine Erkennung eines Fahrspurwechsels anhand der Auswertung der Sensorsignale nach Merkmalen, die die oberflächliche Beschaffenheit der Straße und des Straßenrandes repräsentieren, erfolgt und mindestens ein Infrarotsensoren an mindestens einem Stoßfänger angebracht sind, wobei an jedem einzelnen Stoßfänger jeder angebrachte Infrarotsensor mindestens zwei unterschiedliche Abstrahlöffnungswinkel zur Abtastung eines relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) aufweist und mittels des Infrarotsensors eine permanente Abtastung des relevanten Bereichs 20) durchgeführt wird und ein Erkennen eines Fahrspurwechsels dann erfolgt, wenn ein Unterschied zwischen mittels der Infrarotsensoren abgetasteten räumlichen Bereich der vorderen rechten Fahrzeugecke und der hinteren rechten Fahrzeugecke und/oder der vorderen linken Fahrzeugecke und der hinteren linken Fahrzeugecke ermittelt wird und die Bezugsetzung der ermittelten Signale der abgetasteten relevanten Bereiche der Fahrbahnoberfläche (22) und des Straßenrands (20) in einem digitalen Bild mittels auf das digitale Bild angewandte ...

Description

Die Erfindung betrifft Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung nach dem Oberbegriff von Anspruch 1.
1. Stand der Technik
Aus dem Stand der Technik sind verschiedene Systeme bekannt, die den Fahrer eines Fahrzeuges darin unterstützen, das Fahrzeug in seiner Fahrspur zu halten. Diese Systeme werden auch als LKS-Systeme (LKS: Lane Keeping Support) bezeichnet. Bekannte LKS-Systeme umfassen ein Fahrspurerkennungssystem, wie z. B. einem Videosystem, mit der die Krümmung der Fahrspur und die relative Position des Fahrzeugs in der Fahrspur, die sogenannte Ablage und Orientierung, bestimmt werden können. Wenn der vom Fahrer gewählte Lenkwinkel von dem durch den Fahrspurverlauf vorgegebenen Soll-Lenkwinkel zu stark abweicht, werden mit Hilfe eines Lenkstellers, wie z. B. eines Servomotors, künstliche Lenkkräfte auf die Lenkung des Fahrzeugs ausgeübt. Diese Lenkkräfte sind so stark, dass sie vom Fahrer haptisch erfasst werden können und den Fahrer darauf hinweisen, wie er die Lenkung betätigen müsste, um das Fahrzeug in seiner Fahrspur zu halten.
Das Fahrspurerkennungssystem kann beispielsweise als Videosystem realisiert sein, dessen Videosignale von einer Signalverarbeitungssoftware verarbeitet werden, die die gewünschten geometrischen Daten (Ablage, Orientierung, Fahrspurkrümmung) liefert. Andere Fahrspurerkennungssysteme umfassen z. B. einen Magnetsensor, der die Fahrzeugposition in Verbindung mit in der Fahrbahn integrierten Magneten bestimmt, oder wahlweise auch Radarsensoren. Aus den geometrischen Ablagedaten und einer Information über die Fahrspurkrümmung wird dann mittels eines mathematischen Referenzmodells (Algorithmus) ein Referenz-Lenkwinkel berechnet, der an der Lenkung eingeschlagen werden müsste, um das Fahrzeug optimal in seiner Fahrspur zu halten. Bei einer Abweichung des Fahrer-Lenkwinkels vom Referenzlenkwinkel wird dann mit Hilfe eines Lenkstellers ein Unterstützungsmoment auf die Lenkung aufgebracht. Das Unterstützungsmoment wird dabei anhand einer vorgegebenen Kennlinie berechnet.
Es sind Abstandssensoren bekannt, die dem Fahrer ein vor oder hinter dem Fahrzeug befindliches Objekt melden. Solche Sensoren könnten auch seitlich am Fahrzeug verwendet werden. Allerdings würden solche Sensoren ständig ansprechen, wenn sich Objekte, insbesondere Bordsteine, seitlich am Fahrzeug befinden, obwohl bei Geradeausfahrt keinerlei Gefahr besteht, diese zu überrollen. Würde bei solchen Hindernissen eine Anzeige oder Warnung an den Fahrer ausgegeben, würde er die Aufmerksamkeit verlieren und den Verkehr zusätzlich gefährden.
Aus der DE 101 25 966 A1 ist ein Kurvenwarnsystem für Kraftfahrzeuge, insbesondere für Kraftfahrzeuge mit großer Länge, bekannt. Eine Sensoreinrichtung erfasst den Lenkwinkel der Vorderachse des Kraftfahrzeugs und – bei mehreren lenkbaren Achsen – auch deren Lenkwinkel. Eine Erkennungseinrichtung erkennt Hindernisse in der seitlichen Umgebung des Kraftfahrzeuges. Wenn die Erkennungseinrichtung ein Hindernis erkennt, berechnet eine Berechnungseinrichtung anhand des Lenkwinkels sowie der Fahrgeschwindigkeit des Fahrzeuges voraus, ob eine Kollision mit dem Hindernis droht, und erzeugt bei Kollisionsgefahr ein Warnsignal für den Fahrer.
Aus der DE 30 28 077 C2 ist ein Verfahren zur Warnung des Führers eines Fahrzeuges vor einem auf dessen Momentanspur fahrenden Fahrzeug bekannt. Hierbei wird das Verkehrsumfeld vor dem Fahrzeug mittels eines Radargerätes nach dem Vorhandensein eines vorausfahrenden Fahrzuges überwacht und der Abstand des eigenen Fahrzeuges zu einem detektierten vorausfahrenden Fahrzeug, sowie dessen Relativgeschwindigkeit bestimmt. Abhängig von diesen Parametern und der eigenen Fahrzeuggeschwindigkeit, sowie gegebenenfalls weiteren Parametern, wie Fahrbahn und Bremszustand, wird ein Sicherheitsabstand zwischen den beiden Fahrzeugen berechnet, der dann mit dem gemessenen Abstand verglichen wird. Wenn der gemessene Abstand geringer als der Sicherheitsabstand ist, wird ein Warnsignal erzeugt und das Risiko eines Zusammenstosses auf einem optischen Anzeigefeld dar gestellt. In einer Variante des bekannten Verfahrens wird die Umfelderfassung auch auf den jeweiligen Rückraum benachbarter Fahrbahnen ausgedehnt, so dass auch im Vorfeld eines geplanten Fahrspurwechsels das zu erwartende Unfallrisiko bestimmt werden kann.
Aus der Druckschrift DE 195 07 957 C1 geht ein Fahrzeug hervor, das mit einem System zur Einschlafwarnung ausgestattet ist. Das Fahrzeug weist eine seitlich angebrachte optische Abtasteinrichtung zur berührungslosen Erfassung von Fahrspurmarkierungen auf, die die Fahrspur des Fahrzeugs zur Seite hin begrenzen. Die von der Abtasteinrichtung bereitgestellten Sensordaten werden einer Auswerteeinheit zur Ermittlung eines zwischen dem Fahrzeug und den erfassten Fahrspurmarkierungen vorliegenden Abstands zugeführt. Zusätzlich ermittelt die Auswerteeinheit die Fahrzeugquergeschwindigkeit relativ zu den erfassten Fahrspurmarkierungen, wobei eine Einschlafwarnung in Form eines akustischen Signals ausgelöst wird, wenn sich aufgrund des vorliegenden Abstands und der Fahrzeugquergeschwindigkeit ergibt, dass ein Verlassen der Fahrspur droht.
Um Unfällen vorzubeugen, die entstehen, wenn man während der Fahrt von der eigentlichen Fahrspur abweicht, sind heutzutage Systeme im Einsatz, die die von der Fahrspur abweichenden Fahrer warnen (ASIL – Spurassistent bei Citroen). Diese Systeme erkennen die Linien auf der Straßenoberfläche, seien es unterbrochene oder gezogene Linien und deren Farben und Breiten.
Dabei ist es erforderlich, dass die Straßen mit Linien versehen sind, wie es auch der Gesetzgeber vorschreibt, da sonst solche Spurassistenten nicht eingesetzt werden können. Überquert das Fahrzeug eine solche Linie z. B. ohne die Betätigung eines Blinkersignal, wird ein Warnsignal durch ein Vibrieren des Sitzes ausgegeben.
Da die Voraussetzung, dass die Straßen mit gut sichtbaren Linien markiert sind, nicht immer gegeben ist, zum Beispiel bei schmalen Landstraßen, neuen Straßen noch ohne Markierung, abgenutzten Markierungen und dergleichen, liegt der Erfindung die Aufgabe zugrunde, ein Verfahren für einen verbesserten Spurassistenten anzugeben.
Bekannt sind Verfahren zur Erkennung von Fahrbahnränder mittels Sensoren, wie Infrarotsensoren, optischer Einrichtungen, wie einer Kamera oder bildgebender Abstandsmessung mit zum Beispiel Radar- oder Laserscannern, durchgeführt wird und eine Erkennung eines Fahrspurwechsels anhand der Auswertung der Sensorsignale nach Merkmalen, die die oberflächliche Beschaffenheit der Straße und des Straßenrandes repräsentieren, erfolgt.
Aufgabe der Erfindung ist es ein Verfahren anzugeben, dass die bisherigen Verfahren zur Erkennung eines Fahrspurwechsels verbessern.
Die Aufgabe wird gelöst durch die Merkmale des unabhängigen Anspruchs 1. Vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen angegeben.
2. Beschreibung und Vorteile der Erfindung
Vorteilhaft wird mit der Erfindung ein Verfahren geschaffen, wodurch eine Erkennung der Fahrbahnoberfläche, die Fahrbahnmarkierung und des Straßenrandes erfolgt. Hierbei wird ebenfalls erkannt, wenn ein Fahrer von der Fahrspur abweicht, wobei die Fahrbahnoberfläche permanent die Fahrbahnoberfläche durch die Sensoren abgetastet wird.
Vorteilhaft wird mit dem Verfahren auch die Fahrbahnoberfläche erkannt und somit auch der Straßenzustand. Dies wird dann vorteilhaft von den im Fahrzeug befindlichen Fahrzeugsicherheitssystem wie z. B. von einem ESP-System genutzt, um den Fahrer frühzeitig vor potentiellen Gefahren zu warnen.
Es wird auch durch das erfindungsgemäße Verfahren eine Geschwindigkeitsschwelle vorteilhaft bestimmt, mittels dieser der eine automatische Deaktivierung von im Fahrzeug befindlichen Fahrerassistenzsystemen ermöglicht wird.
3. Zeichnungen
Weitere Vorteile und Zweckmäßige Ausführungen sind den weiteren Ansprüchen, der Figurenbeschreibung und den Zeichnungen zu entnehmen.
Das erfindungsgemäße Verfahren wird anhand der Zeichnungen erläutert und im Folgenden näher beschrieben.
Es zeigen
1: Abtastung der Fahrbahnoberfläche und des Straßenrandes zur Erkennung Fahrspurabweichung
2: Erkennung der Abweichung eines von der Fahrspur
3: Grundgelegte Koordinatensystem
4 Fahrzeug auf Fahrbahn mit Linienmarkierung
5 Fahrzeug auf Fahrbahn ohne Linienmarkierung
6 Abtastungen eines relevanten Bereiches der Fahrbahnoberfläche und des Straßenrandes
7a, b Digitale Bilder der Sensorelemente auf einer Fahrbahn mit a) und ohne b) Linienmarkierung
8 Kantendetektion mit dem Sobel Operator
9a, b Digitale Eingangsbilder der äußeren Sensorelemente auf einer Fahrbahn mit a) und b) Ausgangsbilder mit horizontalem, vertikalem Sobel gefaltet und kombiniert Linienmarkierung und einem Schwellwert verglichen
4. Beschreibung von Ausführungsbeispielen
Die Erfindung stellt ein Verfahren dar, mittels dessen eine Erkennung der Fahrbahnoberfläche, der Fahrbahnmarkierung und des Straßenrandes ermöglicht werden kann.
Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens werden die Straßenerkennungssensorelemente 10a und 10b, 12a und 12b, zum Beispiel als Infrarotsensorelemente am vorderen und/oder hinteren Stoßfänger 14 installiert, die sowohl die Fahrbahnoberfläche 22 als auch den Straßenrand 20 an allen vier Fahrzeugecken (VL, VR, HL und HR) permanent abtasten. Die ermittelten Signale werden in Bezug gesetzt. Die Straßenerkennungssensoren 10 und 12 besitzen jede für sich zwei verschiedene Abstrahlcharakteristika mit unterschiedlichem Öffungswinkel. Die erste Abstrahlrichtung 16a/16b liegt beidseitig quer zur Fahrzeuglängsrichtung, somit in Fahrzeugquerrichtung und die zweite 18a/18b in Fahrzeuglängsrichtung. Somit wird der Raum bzw. die Fläche vor und seitlich vom Fahrzeug von den Straßenerkennungssensoren erfasst. Der Strahl mit kleinerem Öffnungswinkel zur Abtastung der Fahrbahnoberfläche 22 wird mit 18a bzw. 18b, und der Strahl mit größerem Öffnungswinkel zur Abtastung des Straßenrandes ist in 1 mit 16a bzw. 16b bezeichnet.
Generell erkennen Infrarotsensoren licht-reflektierende Objekte in ihrer unmittelbaren Umgebung. Sie besitzen in einfachster Ausführungsform mindestens eine Sendediode, die Licht im infraroten Spektrum aussendet, und mindestens eine Empfängerdiode, welche die Intensität des reflektierten Lichts misst.
Die beiden Elemente 10a/10b bzw. 12a/12b bilden erfindungsgemäß einen Infrarotsensor 10 bzw. 12. Erfindungsgemäß werden die Signalausgänge der Elemente 10a und 12a, 10b und 12b sowie 10a und 10b und 12a und 12b zu einer Rechnereinheit herausgeführt, um die Signale entsprechend auszuwerten. Es ist es vorgesehen, dass die einzelnen Elemente zu kompensierten Elementgruppe zusammengeschaltet werden. Für die genannte Fahrzeugumfeldüberwachung werden Sensoren eingesetzt, die Bereiche des Umfelds von 0,5 m bis 150 m abtasten bzw. abscannen.
Die abzutastenden Regionen werden zum einen durch den jeweiligen Öffnungswinkel der jeweiligen Sendediode des Infrarotsensorelementes und zum anderen durch die geometrische Positionierung der Infrarotsensorelemente zueinander am jeweiligen Stoßfänger bestimmt. Fallen auf die beiden Infrarotsensorelemente, die an der vorderen rechten Ecke angebracht sind, Strahlung gleicher Intensität, ist das resultierende Ausgangssignal der Elementgruppe gleich Null. Unterschiedliche Strahlungsintensitäten auf beiden empfindlichen Infrarotsensorelementen führen dagegen zu einem Ausgangssignal der jeweiligen Elementgruppe, das der Differenz der Ausgangssignale der einzelnen Sensorelemente entspricht.
Verlässt das Fahrzeug die Fahrspur bei einer nicht markierten Fahrbahnen bzw. beginnt das Fahrzeug auf den Straßenrand zuzusteuern, besitzen die Ausgangssignale der Infrarotsensoren, die zur Fahrzeugquerseite ausgerichtet unterschiedliche Eigenschaften, wie zum in 2B angegeben. Hier liegt der Fall vor, dass ein Spurwechsel in linker Richtung erfolgt, wobei vorhergehend die Sollfahrspur eine Geradeausfahrt war.
Vorne rechts 23 „liegt" der Straßenrand-Sensorstrahl 18 auf der Fahrbahn ab, während hinten rechts 24 der Straßenrand-Sensorstrahl 18 noch den Straßenrand erfasst und es liegt somit ein Fahrspurwechsel vor. Hingegen blieben bei einer Kurvenfahrt beide Straßenrand-Sensorstrahlen 18 auf dem Straßenrand. Für ein Fall einer Geradeausfahrt erfassen die Sensorstrahlen die Bereiche, die mit 25 gekennzeichnet sind und der vorderer abgetastete vordere Bereich erzeugt ein ähnliches Ausgangssignal wie der hintere Bereich. Zur Unterscheidung zwischen Fahrbahnoberfläche 22 und Straßenrand 20, werden diese getrennt abgetastet. Wird nun erkannt, dass das Fahrzeug die Fahrspur verlässt ohne dass der Blinker betätigt wurde, dann folgt ein Warnsignal. Die Warnung wird erfindungsgemäß geschwindigkeitsabhängig ab einer Fahrgeschwindigkeit von zum Beispiel 70 km/h abgegeben.
Nach einem weiteren Ausführungsbeispiel ist vorgesehen, dass das Fahrzeug mit einem Radarscanner ausgerüstet, der die Randbebauung oder Randbepflanzung bildgebend abscannt und entsprechend der Abstandsmessung den Fahrer beim Verlassen der Fahrspur warnt. Dabei können die Informationen der bildgebenden Abstandsmessung über den Radarscanner zum Beispiel mit Fahrsituationsdaten des Fahrzeugs, die in Fahrzeugsicherheits- und/oder Fahrerassistenzsystemen vorhanden sind, kombiniert und plausibilisiert werden.
Fahrzeugsicherheitssysteme können als Electronic Break System (EBS), Engine Management System (EMS), Antiblockiersystem (ABS), Antriebs-Schlupf-Regelung (ASR), Elektronisches Stabilitätsprogramm (ESP), Elektronische Differentialsperre (EDS), Traction Control System (TCS), Elektronische Bremskraftverteilung (EBV) und/oder Motor-Schleppmomenten-Regelung (MSR) ausgeführt werden.
Fahrerassistenzsysteme sind als elektronische Zusatzeinrichtungen in Fahrzeugen zur Unterstützung des Fahrers in bestimmten Fahrsituationen implementiert. Hierbei stehen oft Sicherheitsaspekte, aber vornämlich die Steigerung des Fahrkomforts im Vordergrund. Diese Systeme greifen teilautonom oder autonom in Antrieb, Steuerung (z. B. Gas, Bremse) oder Signalisierungseinrichtungen des Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen. Solche Fahrassistenzsysteme sind beispielsweise Einparkhilfe (Sensorarrays zur Hinderniss- und Abstandserkennung), Bremsassistent (BAS), Tempomat, Adaptive Cruise Control oder Abstandsregeltempomat (ACC), Abstandswarner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent/Spurassistent (Querführungsunterstützung, lane departure warning (LDW)), Spurhalteunterstützung (lane keeping support)), Spurwechselassistent (lane change assistance), Spurwechselunterstützung (lane change support), Intelligent Speed Adaption (ISA), Adaptives Kurvenlicht, Reifendruckkontrollsystem, Fahrerzustandserkennung, Verkehrszeichenerkennung, Platooning, Automatische Notbremsung (ANB), Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsystem (Night Vision).
Als eine weitere bevorzugte Ausführungsform werden die in einem ESP-Regelgerät vorhandenen Signale für die Giergeschwindigkeitsdifferenz oder die Lenkwinkelsignale mit den bildgebenden Abstandssignalen des Radarscanners zusammen ausgewertet und bei über oder unterschreiten von bestimmtem vorgegeben Sollwerten durch die zusätzliche Auswertung der aus der Bilderkennung gewonnen Abstandssignalen und den hieraus ermittelte n Point of Interest (POI) eine Überprüfung und Plausibilisierung zwischen der Sollfahrspur und der Istfahrspur des Fahrzeugs durchgeführt werden.
Die bildgebenden Sensoren liefern Bilder in digitaler Form und mit bestimmter Frequenz. Nach Lieferung der Bilder in digitaler Form dient die Bildverarbeitung zu einer weitergehenden maschinellen Bearbeitung (Bildverstehen).
Ein digitales Bild besteht aus vielen einzelnen Bildpunkten (Pixel) und wird in ein zweidimensionales Feld mit x- und y-Koordinaten dargestellt 3. Die Anzahl an Pixelreihen in vertikaler Richtung wird mit H (Höhe des Bildes) und die Anzahl an Pixel in horizontaler Richtung mit B (Breite des Bildes) bezeichnet. Die Auflösung eines digitalen Bildes wird durch B × H bestimmt.
Ein digitales Bild liegt in Form von Zahlenwerten (ein oder mehrere Farbwerte pro Pixel) vor. Jedes Pixel repräsentiert einen bestimmten Helligkeitswert als Funktion g(x, y). Dabei stellt der Grauwert eines Pixels sein reiner Helligkeitswert dar. Bei einem üblichen 8-Bit-Graustufenbild können Werte zwischen 0 (Schwarz) und 255 (weiß) angenommen werden.
Es sollen z. B. Infrarotsensoren unter mindestens einem vorderen und mindestens einem hinteren Stoßfänger angebracht werden, wobei an jedem einzelnen Stoßfänger mindestens zwei Infrarotsensoren mit mindestens zwei unterschiedlichen Abstrahlöffnungswinkel zur Abtastung eines relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) aufweisen und von allen Infrarotsensoren eine permanente Abtastung des relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) durchgeführt wird (1, 4, 5 und 6).
Es wird als erstes die Signale z. B. der Infrarotsensoren zur Abtastung des Straßenrandes (äußere Sensorelemente) verarbeitet und danach die von den einzelnen Infrarotsensoren (innere und äußere Sensorelemente) ermittelten Signale werden miteinander in Bezug gesetzt.
Die inneren Sensorelemente tasten die Fahrbahnoberfläche ab und liefern meistens homogene Bilder (meist eine einheitliche Fläche). Die von den äußeren Sensorelementen gelieferten digitalen Bilder können aus mehreren Flächen bestehen wie in 7 dargestellt.
Da die Bilder aus den äußeren Sensorelementen meistens aus mehreren Flächen bestehen, soll ein Verfahren zur Kantendetektion zum Einsatz kommen (Teil einer Segmentierung), wobei es versucht wird, flächige Bereiche in dem digitalen Bild von einander zu trennen.
Mit einem Kantenoperator werden die Übergänge zwischen den flächigen Bereichen erkannt und als Kanten markiert Der Kantenoperator berechnet aus dem digitalen Bild sein entsprechendes Kantenbild, in dem alle auf dem Bild befindlichen Kanten zu erkennen sind, Hierfür wird jedes Pixel (Bildpunkt aus dem Eingangsbild) mit Hilfe einer Faltungsmatrix berechnet und neu gesetzt (der Bildpunkt im Ausgangsbild).
Es kann als Kantendetektionsfilter (Kantenoperator) der Bildverarbeitung z. B. der Sobel-Operator eingesetzt werden. Hier wird der Grauwertgradient jedes Bildpunktes in horizontaler und vertikaler Richtung bestimmt. Für die Erzeugung eines Gradienten-Bildes nutzt der Sobel-Operator zur Faltung eine 3×3-Matrix (Faltungsmatrix).
Der Grauwertgradient ist dort groß, wo die Helligkeit sich am stärksten ändert (Übergang von hell nach dunkel oder umgekehrt), was für die Kantenübergänge typisch ist. Es wird nach der Faltung eine Schwellwert-Funktion angewandt.
Für die Bestimmung der Kanten im Bild werden die zwei Faltungsmatrizen Sx und Sy benutzt, um den Grauwertgradient in horizontaler und vertikaler Richtung zu berechnen, wie in 8 dargestellt.
Die Maske wird auf jedes Pixel des Eingangsbildes angewendet. Als Beispiel wird das Pixel E22 (Bildpunkt mit den Koordinaten (2, 2) aus dem Eingangsbild) betrachtet, das im Bild 8 im Zentrum der Maske liegt. Das zugehörige Pixel im Ausgangsbild A22 (Bildpunkt mit den Koordinaten (2, 2) aus dem Ausgangsbild) lässt sich in horizontaler und vertikaler Richtung wie folgt berechnen:
A22-Bildpunkt im Ausgangsbild in horizontaler Richtung:
Der horizontale Sobel-Operator Tautet:
A22 = S11·E11 + S12·E12 + S13·E13 + S21·E21 + S22·E22 + S23·E23 + S31·E31 + S32·E32 + S33·E33 = Gx(2, 2)
Wobei Gx(x, y) der Grauwertgradient in horizontaler Richtung ist. Das Eingangsbild wird auf dieser Weise mit horizontalem Sobel-Operator gefaltet. Da auch negative Werte entstehen, wird der Nullpunkt als mittleres Grau dargestellt
A22-Bildpunkt im Ausgangsbild in vertikaler Richtung:
Der vertikale Sobel-Operator lautet
A22 = S11·E11 + S12·E12 + S13·E13 + S21·E21 + S22·E2 + S23·E23 + S31·E31+ S32·E32 + S33·E33 = Gy(2, 2)
Wobei Gy(x, y) der Grauwertgradient in vertikaler Richtung ist. Das Eingangsbild wird auf dieser Weise mit vertikalem Sobel-Operator gefaltet. Da auch negative Werte entstehen, wird der Nullpunkt als mittleres Grau dargestellt
Die Starke der Kante ist der Betrag von der horizontalen und vertikalen Grauwertgradienten:
Wobei G(x, y) der Grauwertgradient in horizontaler und vertikaler Richtung ist.
Die Richtung eines Gradienten erhält man wie folgt:
Der Wert Θ = 0 beschreibt eine vertikale Kante und positive Werte beschreiben eine Drehung gegen den Uhrzeigersinn.
Nach der Faltung wird der Betrag der einzelnen Bildpunkte des Ausgangsbildes (Ausgangsbild mit horizontalern und vertikalem Sobel gefaltet und kombiniert) mit einem Schwellwert verglichen. Bei Warten größer als der Schwellwert wird eine Kante angenommen und die Bildpunkte können z. B. als weiße Bildpunkte in einem Kantenbild kodiert werden. Bei Werten kleiner als der Schwellwert werden die Bildpunkte z. B. als schwarze Bildpunkte kodiert. Dadurch entsteht ein Binärbild in dem sich Kanten durch weiße Pixel vom schwarzen Hintergrund abheben wie in 9 dargestellt.
Mittels der Kantendetektion sind die flächigen Bereiche aus den binären Bildern erkennbar. Ein Kantenübergang besteht in der Regel aus mehreren Pixeln, daher kann eine Kante im kodierten Bild mehrere Bildpunkte umfassen. An einem Beispiel einer Geradeausfahrt mit einem Fahrzeug auf einer Fahrbahn mit Linienmarkierung sind mit Hilfe des Kantendetektionsverfahrens vier rechteckige Bereiche erkennbar wie in 9 dargestellt.
Zu den einzelnen Bereichen gehören die Bildpunkte p(x, y) mit den Koordinaten x und y wie folgt:
Es wird hier senkrechte Kanten angenommen, was auch hoch wahrscheinlich ist
Bereich 1: p₁(x, y) mit 0 ≤ x ≤ i₁ – 1 und 0 ≤ y ≤ m, Breite = i₁ – 1, Höhe = m
Bereich 2: p₂(x, y) mit i₂ + 1 ≤ x ≤ i₃ – 1 und 0 ≤ y ≤ m, Breite = i₃ – i₂ – 2, Höhe = m
Bereich 3: p₃(x, y) mit i₄ + 1 ≤ x ≤ i₅ – 1 und 0 ≤ y ≤ m, Breite = i₅ – i₄ – 2, Höhe = m
Bereich 3: p₄(x, y) mit i₆ + 1 ≤ x ≤ n und 0 ≤ y ≤ m, Breite = n – i₆ – 1, Höhe = m
Die Bildpunkte der Kanten sind wie folgt:
p_Kante1(x, y) mit i₁ ≤ x ≤ i₂ und 0 ≤ y ≤ m, Breite = i₂ – i₁, Höhe = m
p_Kante2(x, y) mit i₃ ≤ x ≤ i₄ und 0 ≤ y ≤ m, Breite = i₄ –i₃, Höhe = m
p_Kante3(x, y) mit i₅ ≤ x ≤ i₈ und 0 ≤ y ≤ m, Breite = i₆ – i₅, Höhe = m
Mit Hilfe einer Klassifizierung kann aufgrund des breiten Informationsspektrums des digitalen Bildes durch Einteilung von Grau- bzw. Farbwerten in Klassen vereinfacht werden. Damit werden die Flächen mit gleichen bzw. ähnlichen Eigenschaften ermittelt und in verschiedenen Klassen zugeordnet.
Also nach der Segmentierung folgt ein Klassifikationsverfahren, dass die flächigen Bereiche in den binären Kantenbildern aus den digitalen Bildern der äußeren Sensorelemente zu den Hauptklassen „Fahrbahnoberfläche", „Fahrbahnmarkierung" und „Fahrbahnrand" zuordnet. Das Verfahren nutzt dazu die digitalen Bilder der inneren Sensorelemente, in der z. B. die Histogramme der Bilder der inneren Sensorelemente mit den Histogrammen der einzelnen Bereiche der Bilder der äußeren Sensorelemente miteinander verglichen werden.
Nachdem die Bereiche nun erkannt sind, sollen die Histogramme der Eingangsbilder und nicht der Ausgangsbilder (Kantenbilder) aller Bereiche erstellt werden. An diesem Beispiel werden Histogramme, von den vier Bereichen des digitalen Bildes eines rechten äußeren Sensorelementes. Diese Histogramme werden mit dem Histogramm von dem digitalen Bildes des rechten inneren Sensorelementes.
Ist das Histogramm eines Bildbereiches dem Histogramm des Bildes des rechten inneren Sensorelementes vergleichbar, dann wird dieser Bereich der Klasse „Fahrbahnoberfläche" zugeordnet. Der Bereich 2 hat z. B. die Breite einer realen Linienmarkierungsbreite und häuft im Bereich2-Histogramm die weiße Farbe, dann wird dieser Bereich als Fahrbahnlinie angenommen und der Klasse Fahrbahnmarkierung" zugeordnet. Ist der Bereich4-Histogramm mit dem Histogramm des Bildes des rechten inneren Sensorelementes nicht vergleichbar, dann wird der Bereich als Fahrbahnrand angenommen und der Klasse „Fahrbahnrand" zugeordnet.
Ein Histogramm H(g) ist die statistische Häufigkeit der Grauwerte bzw. der Farbwerte in einem digitalen Bild und visualisiert die Verteilung der Helligkeitswerte eines Bildes. Zur Berechnung des Histogrammes eines Bildes werden die einzelnen Bildpunkte einer bestimmten Graustufe in ihrer Häufigkeit H abgezählt und über der Grauwertskala g aufgetragen.
Für den Vergleich der Histogramme miteinander soll z. B. die Häufigkeit der einzelnen Grauwerte oder die Grauwerthäufigkeit bestimmter hochwahrscheinlich vorkommenden Grauwerte herangezogen werden. Es kann hier verschiedene Verfahren eingesetzt werden z. B. die Bestimmung des Mittelwerts der Grauwerthäufigkeit mit Berücksichtigung der Standardabweichung oder die Summe der Grauwerthäufigkeit und das bezogen entweder auf die ganze oder nur auf bestimmte Bereiche der Grauwertskala.
Für einen besseren Vergleich der Histogramme sollen die segmentierten Bildbereiche auf eine Einheitsgröße skaliert werden oder sollen die Histogramme relativ und nicht absolut berechnet werden, d. h. die relative Grauwerthäufigkeit eines Grauwertes ist die absolute Grauwerthäufigkeit des Jeweiligen Grauwertes bezogen auf die Grauwerthäufigkeit der gesamten Grauwerte (bei 8 Bit-Grauwertbildern sind 255 Grauwerte) und damit wird die Summe der einzelnen relativen Grauwerthäufigkeit 100%.
Für die Klassifikation sollen neben den momentanen Histogrammen der digitalen Bilder der inneren Sensorelemente noch die während der Fahrt gelernten Histogramme und Histogramme aus einer Datenbasis verwendet werden.
Die gelernten Histogramme werden bei der Anfahrt und während der Fahrt gelernt, z. B. bei einer Anfahrt wird der Bereich 1 als Fahrbahnoberfläche angenommen. Zur Erstellung der Datenbasis sollen möglichst viele digitale Bilder aufgezeichnet werden, die die unterschiedlichen Fahrbahnoberflächen, Fahrbahnränder, Fahrbahnmarkierungen mit Berücksichtigung vieler Einflüsse wie Belichtung, Witterungsbedingungen etc darstellen. Damit wird auch die Straßenzustände erkannt, ob die Fahrbahn glatt, mit Schnee bedeckt, etc.
Es sollen auch Navigationssystem-Daten wie z. B. Fahrzeugposition, Autobahnausfahrt, Straßenerweiterung etc. berücksichtigt werden.
Erfindungsgemäß werden unterschiedliche Vergleiche der Histogramme durchgeführt.
Als eine erste erfindungsgemäßer Vergleiche der Histogramme wird das ?H(g_i)-Verfahren durchgeführt.
ΔH(g_i)-Verfahren: das ist ein Verfahren zum Vergleich der Histogramme, z. B. die Histogramme der Bilder der inneren Sensorelemente und der Bereiche der Bilder der äußeren Sensorelemente einer rechten Seite, das die relative Abweichung der Grauwerthäufigkeit einzelner Grauwerte ΔH(g_i) berücksichtigt.
Nach der Erstellung der Histogramme steht dann für Jeden Grauwert g_i die Grauwerthäufigkeit H(g_i).
Es wird die relative Abweichung der Grauwerthäufigkeit jedes Grauwertes ΔH(g_i) berechnet, in dem erst die Grauwerthäufigketen H(g_i) des Jeweiligen Grauwertes miteinander verglichen werden. Die Abweichung wird wie folgt berechnet:
z. B. H(g_i) eines Grauwertes aus dem Histogramm des Bildes des inneren Sensorelementes ist größer als H(g_i) aus dem Histogramm des Bereiches 1 des Bildes des äußeren Sensorelementes und damit wird H(g_i), dann wird die Grauwerthäufigkeit dieses Grauwertes mit H(g_i)_max bezeichnet
Wobei 0 ≤ ΔH(g_i) ≤ 100%
Bei Grauwerten, die in beiden Histogrammen nicht vorkommen, dann H(gi)max = H(gi)min = 0, und ΔH(gi) = 0%
Aus dieser Formel kann die Abweichung der Grauwerthäufigkeit der einzelnen Grauwerte aus zwei Histogrammen über die Grauwerte in einem Diagramm dargestellt werden. Aus diesen Diagrammen wird festgestellt, wie und in welchen Grauwertbereichen sich die Histogramme ähneln und es wird festgestellt, ob sich der Verlauf der Histogramme ähnelt. Es ist erfindungsgemäß angedacht, da das erzeugt Diagramm für eine Klassifizierung weiter ausgewertet wird. Hierzu kann das Diagramm auch in verschieden Grauwertbereiche unterteilt werden.
Es ist auch abgedacht, einen Vergleich einzelner Grauwertbereiche zweier Histogramme durchzuführen. Dafür wird die relative Abweichung der Grauwerthäufigkeit einzelner Grauwerte ?H(g_i) herangezogen.
Bei einem 8-Bit Graustufenbild können die 255 Grauwerte z. B. gleichmäßig in 5 Grauwertbereichen (Bereich 1 bis 5) unterteilt werden und damit enthält jeder Bereich 51 Grauwerte. In jedem Bereich (z. B. Bereich 1, Grauwerte von 0 bis 51) werden alle dazu gehörigen Grauwerten in ihrer relativen Abweichung zwischen den zwei Histogrammen zum einem Vergleich in Bezug genommen, in dem eine Aussage über die Bildähnlichkeit in dem jeweiligen Bereich getroffen wird. Hier können unterschiedliche Ähnlichkeitsschwellen (z. B. 5%, 10%, ... 90%, 100%) gesetzt werden und in jeder Schwelle wird die Häufigkeit der Grauwerte ausgedrückt, z. B. Bereich 1, Grauwerte von 0 bis 51, 90% dieser Grauwerte liegen bei einer relativen Abweichung der Grauwerthäufigkeit unter 5% (95% Ähnlichkeit) etc. Auf dieser Weise kann die Ähnlichkeit einzelner Grauwertbereiche festgestellt werden. Um unterscheiden zu können, ob ein Grauwertbereich zweier Bilder bzw. Bilderbereiche ähnlich ist, müssen Ähnlichkeitsbedingungen gesetzt werden, z. B. 90% der Grauwerte eines Grauwertbereiches liegen unter 5% relative Abweichung: j(Bereich1, ΔH(gi) ≤ 5%) ≥ 90%
Mittelwert-Verfahren:
Man kann ein zweites Verfahren zum Vergleich der Histogramme und damit die Klassifizierung der digitalen Bilder.
Hier wird der Mittelwert der Grauwerthäufigkeit mit der Standardabweichung eines Histogramms berechnet. Es kann entweder ein Mittelwert für alle Grauwerte oder ein Mittelwert für jeden definierbaren Grauwertbereich berechnet werden. Der Mittelwert und die Standardabweichung der Grauwerthäufigkeit werden wie folgt berechnet
Mittelwert der Grauwerthäufigkeit

bei 8 Bit-Grauwertbildern sind 255 Grauwerte und damit ist N = 255, und damit:
Die Standardabweichung

bei 8 Bit-Grauwertbildern sind 255 Grauwerte und damit ist N = 255, und damit:
Nach der Berechnung der Mittelwert mit der Standardabweichung zweier Histogramme, können diese miteinander verglichen werden.
Vor der Klassifizierung der Bereiche der Bilder der äußeren Sensorelemente werden zunächst mit Hilfe eines Kantenoperators die Übergänge zwischen den flächigen Bereichen erkannt und als Kanten markiert. Als nächstes werden die Histogramme dieser erkannten Bereiche mit den Histogrammen der Bilder der inneren Sensorelemente mit unterschiedlichen Verfahren wie ΔH(g_i)-Verfahren oder Mittelwert-Verfahren verglichen werden. Aufgrund dieser Vergleiche werden die flächigen Bereiche der digitalen Bildern der äußeren Sensorelemente zu den Hauptklassen „Fahrbahnoberfläche", „Fahrbahnmarkierung" und „Fahrbahnrand" zuordnet. Bei diesem Klassifikationsverfahren werden neben den momentanen Histogrammen der digitalen Bilder der inneren Sensorelemente noch die während der Fahrt gelernten Histogramme und Histogramme aus einer Datendasis verwendet werden.
Nach dem die Bereiche der Bilder der äußeren Sensorelemente klassifiziert sind, werden nun die Fläche oder die Anzahl der Bildpunkte einzelner Klassen berechnet. Die Flächen einzelner Klassen eines äußeren Sensorelementes werden je Fahrzeugseite (vorne linke mit hinten links und vorne rechts mit hinten rechts), und vor allem die Fahrzeugseite mit dem Fahrbahnrand, mit einander permanent verglichen.
Die Spurassistenzfunktion wird ab einer bestimmten Geschwindigkeit z. B. 70 km/h aktiviert und deaktiviert. Es kommt aber vor, dass Fahrer nach langer Fahrt auf Landstraßen auch bei einer niedrigeren Geschwindigkeit z. B. 40 km/h einen Sekundenschlaf bekommen und vor allem in frühen Morgenstunden. In diesem Fall verzögert sich das Fahrzeug von sich selbst, also ohne dass der Fahrer z. B. das Brems- oder Kupplungspedal betätigt. Damit das System auch hier helfen kann, soll die Spurassistenzfunktion bei einer Fahrzeugverzögerung von einer bestimmten Geschwindigkeit bis unter z. B. 70 km/h ohne Betätigung z. B. der Bremse oder des Kupplungspedals weiter hin bis z. B. 40 km/h verfügbar sein. Man kann dabei auch die Fahrzeit berücksichtigen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 10125966 A1 [0005]
- DE 3028077 C2 [0006]
- DE 19507957 C1 [0007]

Claims

Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug, mit einer Fahrspurerkennung, wobei eine Fahrbahnranderkennung mittels Sensoren, wie Infrarotsensoren, optischer Einrichtungen, wie einer Kamera oder bildgebender Abstandsmessung mit zum Beispiel Radar- oder Laserscannern, durchgeführt wird und eine Erkennung eines Fahrspurwechsels anhand der Auswertung der Sensorsignale nach Merkmalen, die die oberflächliche Beschaffenheit der Straße und des Straßenrandes repräsentieren, erfolgt und mindestens ein Infrarotsensoren an mindestens einem Stoßfänger angebracht sind, wobei an jedem einzelnen Stoßfänger jeder angebrachte Infrarotsensor mindestens zwei unterschiedlichen Abstrahlöffnungswinkeln zur Abtastung eines relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) aufweist und mittels des Infrarotsensors eine permanente Abtastung des relevanten Bereichs der Fahrbahnoberfläche (22) und des Straßenrands (20) durchgeführt wird und ein Erkennen eines Fahrspurwechsels dann erfolgt, wenn ein Unterschied zwischen mittels der Infrarotsensoren abgetasteten räumlichen Bereich der vorderen rechten Fahrzeugecke und der hinteren rechten Fahrzeugecke und/oder der vorderen linken Fahrzeugecke und der hinteren linken Fahrzeugecke ermittelt wird dadurch gekennzeichnet, dass die Bezugsetzung der ermittelten Signale der abgetasteten relevanten Bereiche der Fahrbahnoberfläche (22) und des Straßenrands (20) in einem digitalen Bild mittels auf das digitale Bild angewandte Kantendetektion ist, die Kantendektion mittels eines horizontalen und vertikalen Sobel-Kantenoperator durchgeführt wird und eine Grauwertgradient ermittelt und durch die Auswertung des Grauwertgradienten ein Binärsignal erzeugt wird und mit Schwellwerten verglichen werden.
Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die relevanten Bereiche der Fahrbahnoberfläche (22) und des Straßenrands (20) in Hauptklassen klassifiziert werden.
Verfahren nach einem der vorangegangenen Ansprüche 1 bis 2 dadurch gekennzeichnet, dass die Auswertung der Grauwertgradienten der relevante n Bereiche der Fahrbahnoberfläche (22) und des Straßenrands (20) durch eine Histogramme erfolgt.
Verfahren nach einem der vorangegangenen Ansprüche 1 bis 3 dadurch gekennzeichnet, eine Auswertung der Histogramme durch Vergleich mittels des ?H(g_i) Verfahrens erfolgt.
Verfahren nach einem der vorangegangenen Ansprüche 1 bis 4 dadurch kennzeichnet, eine Auswertung der Histogramme durch Vergleich mittels eines Mittelwert Verfahrens erfolgt
Verfahren nach einem der vorangegangenen Ansprüche 1 bis 5 dadurch kennzeichnet, dass die Histogramme während der Fahrt erlernt werden.