DE69204239T2

DE69204239T2 - Bordvorrichtung und Verfahren zum Ermitteln und Folgen der Lage eines Fahrzeugs auf die Strasse, und das Verfahren anwendende Fahrhilfsvorrichtung.

Info

Publication number: DE69204239T2
Application number: DE69204239T
Authority: DE
Inventors: Christophe Calesse; Jean Michel Valade
Original assignee: MATRA CAP SYSTEMS SA
Current assignee: MATRA CAP SYSTEMS SA
Priority date: 1991-07-19
Filing date: 1992-07-17
Publication date: 1996-01-25
Anticipated expiration: 2012-07-18
Also published as: FR2679357A1; ES2076712T3; FR2679357B1; DE69204239D1; EP0527665B1; EP0527665A1

Description

Diese Erfindung betrifft das Gebiet der Information an den Fahrer und der Unterstützung beim Fahren eines Straßenfahrzeugs durch Ausgabe von Informationen und Alarmsignalen an den Fahrer im Falle einer unnormalen Ortung oder Bewegung des Fahrzeugs auf der Straße.
Sie macht sich die Tatsache zunutze, daß heute die meisten Strafen eine Zeichengebung am Boden aufweisen, die auf mindestens fünf zehn Meter vor (und eventuell hinter) dem Fahrzeug zu erkennen ist.
Diese Zeichengebung ist leider häufig stellenweise abgenutzt und kann mit Beschädigungen der Fahrbahn oder des Randstreifens verwechselt werden, und sie ist häufig unterbrochen, so daß es auf den ersten Blick den Anschein hat, daß jegliches Stützen auf diese Zeichengebung entweder einen sehr hohen Anteil an falschen Alarmen zur Folge hat oder in vielen Fällen nicht funktioniert.
Es wurde jedoch bereits eine Vorrichtung und ein Verfahren gemäß den Hauptbegriffen von Anspruch 1 bzw. 7 (JP-A-1- 83423) vorgeschlagen.
Desgleichen wurde eine Vorrichtung vorgeschlagen (IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Band 10, Nr. 3, Mai 1988, New York US; MATTHEW A. TURK U. A.: 'VITS - A Vision System for Autonomous Land Vehicle Navigation'), mit der während einer Bearbeitungs-Endphase das Bild einer Kamera wiederherzustellen, die unter Berücksichtigung der Perspektive gehalten wird.
Die Erfindung hat insbesondere zur Aufgabe, eine Bordvorrichtung für ein Straßenfahrzeug zu schaffen, mit der die Position des Fahrzeugs auf der Straße auf Grundlage von Daten, die die Umgebung darstellen, verfolgt werden kann.
Zu diesem Zweck schlägt die Erfindung insbesondere eine Vorrichtung gemäß Anspruch 1 vor.
Die Vorrichtung kann so vorgesehen sein, daß sie nur ein einziges Bild berücksichtigt, das die Lage in einem gegebenen Zeitpunkt darstellt, oder besser die Entwicklung über mehrere Bilder hinweg berücksichtigt, was außer im Stadtbereich oder bei sehr langsamem Verkehrsfluß möglich ist.
Bei einer vorteilhaften Ausführungsart besitzt die Vorrichtung Sensoren für Fahrparameter, insbesondere des Zustands der Richtungswechselanzeiger (Blinker), sowie Anzeigemittel für den Fall der Nichtübereinstimmung zwischen der wirklichen Fahrzeugsituation und den von den Sensoren abgegebenen Signalen.
Die Vorrichtung kann in einer mehr oder weniger erweiterten Form ausgeführt sein, wobei sie eine mehr oder weniger vollständige Fahrhilfe bietet.
In einer einfachen Ausführungsform ist die Vorrichtung so vorgesehen, daß sie nur in einem sogenannten Informationsmodus funktioniert, indem sie dem Fahrer eine Information bezüglich der seitlichen Position des Fahrzeugs und dessen Ortsbestimmung in Bezug zu der verfolgten Bahn anbietet.
Dieser Informationsmodus kann durch die Erzeugung von Alarmsignalen in unnormalen Situationen erweitert werden. Diese Situation kann durch Auswertung des Bildes zu einem gegebenen Zeitpunkt und der von den Sensoren für Fahrparameter zum gleichen Zeitpunkt, d. h. während des gleichen laufenden Zyklus gelieferten Signale identifiziert werden: insbesondere kann ein solches Alarmsignal bei Beginn des Überfahrens einer durchgezogenen Linie oder bei zu hoher Geschwindigkeit im Verhältnis zu der Krümmung einer Kurve, die von der Kamera vor dem Fahrzeug aufgezeigt wird, gegeben werden.
Weitere Alarmsignale können einer Situation entsprechen, die es erfordert, eine Korrelation zwischen Parametern, die während des aktuellen Zyklus erfaßt werden (entsprechend der Auswertung eines Bildes), und Parametern oder Ereignissen, die während eines vorherigen Zyklus erfaßt und gespeichert wurden : dadurch kann beispielsweise die Ausgabe eines Warnsignals verhindert werden, wenn bei anhaltendem Aktivzustand der Blinker ein Überqueren einer unterbrochenen Linie oder ein Abbiegen der Fahrzeuge durch Einwirken auf das Lenkrad innerhalb einer bestimmten Zeitdauer stattfindet.
Das Alarmsignal kann optisch oder akustisch, ja sogar kinesthetisch sein. Es können mehrere Alarmstufen vorgesehen sein, die mehr oder weniger dringlich sind, um bei ausbleibender Reaktion des Fahrers nacheinander aktiv zu werden, wobei die dem Fahrer auf das Alarmsignal jeder Stufe hin zugebilligte Reaktionszeit ein für alle Mal oder dynamisch in Abhängigkeit von den Fahrcharakteristika festgelegt wird.
Die Vorrichtung kann auch so vorgesehen sein, daß sie einen aktivent Betriebsmodus hat, wobei das Umschalten in den Aktivmodus und aus dem Aktivmodus durch den Kontroller gesteuert wird. Die Vorrichtung leistet damit eine wirkliche Hilfe beim Fahren. Dies bedeutet, daß sie durch Betätigungsvorrichtungen erweitert wird, durch die beispielsweise eine zeitweilige Richtungskontrolle möglich wird, um die Richtung zu steuern, um das Fahrzeug in der Mitte der durch Markierungsstreifen am Boden eingegrenzten Fahrbahn zu halten und um dem Fahrer die Anstrengung des Gegenhaltens gegen Seitenwind zu ersparen; der Aktivmodus kann auch für weitere Funktionen vorgesehen sein, beispielsweise dazu, eine vom Fahrer angegebene Geschwindigkeit zu halten, sie jedoch zu drosseln, wenn die Auswertung des von der Kamera gelieferten Bildes das Vorhandensein von Kurven mit kleinem Radius vor dem Fahrzeug anzeigt.
Schließlich kann die Vorrichtung durch zusätzliche Sensoren, insbesondere für die Position des Lenkrades, und durch ein Programm, durch das sie in einem "Wachsamkeitskontrollmodus" zu nennenden Modus arbeiten kann, erweitert werden, wodurch Ermüdung oder Einschlafen des Fahrers erkannt werden kann. Die nachlassende Aufmerksamkeit kann durch Verfolgen der Fahrcharakteristika bei einem bestimmten Fahrer und durch Vergleich der Entwicklung mit bekannten und gespeicherten Folgen des Einschlafens erkannt werden. Jeder bestimmte Fahrer hat im normalen Wachzustand eine ihm eigene Fahrweise, die durch ihre räumlichen und zeitlichen Charakteristika identifiziert werden kann (durchschnittliche Position des Fahrzeugs in seiner Spur bei gerader Strecke, Art der Abweichung von der durchschnittlichen Position, Amplitude und Ablauf der Richtungskorrekturbewegungen des Fahrzeugs beim Beenden einer Kurve, Reaktionszeit bei Beginn einer Kurve usw.). Diese Charakteristika werden durch das Einschlafen verändert: Beispielsweise neigt der ermüdete oder einschlafende Fahrer dazu, in der Mitte der Strafe zu fahren, sein Fahrzeug abdriften zu lassen und abrupt wieder in die richtige Richtung zurückzulenken. Eine solche Überwachung kann insbesondere durch ein Programm von der Art eines Lern-Fachsystems erfolgen.
Um die Vorrichtung effektiv zu machen, ist es erforderlich, daß sie nur einen geringen Prozentsatz falscher Alarme aufweist und daß jede Betriebsstörung oder Ausfall dem Fahrer sofort zur Kenntnis gebracht wird. Die zweite Bedingung bedeutet im allgemeinen, daß die Vorrichtung mit einem Eigendiagnoseprogramm ausgestattet werden muß, das sie in regelmäßigen Abständen auf einwandfreien Betrieb überprüft, beispielsweise mittels Korrelation zwischen den von der Kamera und von den verschiedenen Sensoren gelieferten Signalen und Vergleich mit den Wahrscheinlichkeitskriterien. Bei einer Fahrhilfe- Vorrichtung, die in den Aktivmodus geschaltet werden kann, muß jeder Ausfall einer Betätigungsvorrichtung eine Reaktion im Sinne der Sicherheit bewirken, ob es sich nun um die Betätigung oder das Festhalten des Lenkrads oder um die Steuerung der Geschwindigkeit handelt.
Die Vorrichtung, die im Aktivmodus arbeiten kann, kann so vorgesehen sein, daß das Ignorieren eines Warnsignals einen Eingriff auf die Geschwindigkeit und/oder Richtung des Fahrzeugs zur Folge hat. Die Vorrichtung ist jedoch so vorgesehen, daß der Fahrer in allen Fällen die automatische Funktion ausschalten kann, insbesondere um eine Notsituation zu bewältigen.
Die Erfindung schlägt ferner ein Verfahren zur Ermittelung und Verfolgung der Position eines auf einer Strafe fahrenden Fahrzeugs vor, das dadurch gekennzeichnet ist, daß
- das Bild eines vor dem Fahrzeug befindlichen Bereichs der Straße hergestellt wird, der Markierungsstreifen am Boden aufweist, die mindestens eine Fahrspur abgrenzen,
- das Bild gefiltert wird, um nur die Elemente zu erhalten, die den Spurbegrenzungsstreifen entsprechen,
- das gefilterte Bild in der Ebene des Bodens durch Kompensation der Perspektivwirkungen und geometrische Näherung rekonstruiert wird,
- die Fragmente aufeinanderfolgender Linien, die den Streifen entsprechen, aneinandergekettet werden, um die Spur im Verhältnis zur Position des Fahrzeugs modellhaft darzustellen, und
- die Position des Fahrzeugs angezeigt wird oder ein Warnsignal ausgelöst wird, wenn die Madelldarstellung eine unnormale Situation ergibt.
Die Erfindung geht näher aus der folgenden Beschreibung einer besonderen Ausführungsform hervor, die als nicht einschränkendes Beispiel erfolgt. In der Beschreibung wird Bezug auf die beigefügten Zeichnungen genommen, wobei
- Fig. 1 ein Einbauschema für die Kamera einer erfindungsgemäßen Vorrichtung an einem Fahrzeug zeigt,
- Fig. 2 ein Funktionsschaltbild eines möglichen Aufbaus einer Vorrichtung zeigt, die im Überwachungsmodus und eventuell im Wachsamkeitskontrollmodus arbeiten kann,
- Fig. 3 den Verlauf des von einer Kamera wie in Fig. 1 gelieferten Bildes bei zwei Ausrichungen und zwei verschiedenen Brennweiten zeigt,
- die Figuren 4A-4E aufeinanderfolgende Schritte der Bearbeitung eines von der Kamera von Fig. 1 gelieferten Bildes zeigen,
- die Figuren 54A, 5B, 5C das Herausholen der Mittelpunkte der Markierungsstreifen am Boden aus der Verteilung der Helligkeit L auf einer Abtastungslinie x der Kamera zeigen,
- die Figuren 6 und 7 Schemata des Funktionsprinzips bei der Ermittlung der Strafe bzw. bei der Verfolgung der Straße zeigen,
- Fig. 8 einen Grundlogikplan eines erfindungsgemäßen Verfahrens zur Verfolgung einer Straße und zur Fahrhilfe zeigt,
- Fig. 9 ein mögliches Schema des Moduls zur Modellerfassung der Spur zeigt, auf der das Fahrzeug fährt,
- die Figuren 10, 11 und 12 Logikpläne von Modulen zur Erkennung, Verfolgung und Modelldarstellung, die in dem Verfahren zur Anwendung kommen.
Zunächst wird der Grundaufbau einer erfindungsgemäßen Vorrichtung und die wesentlichen Funktionscharakteristika beschrieben, dann folgt die detaillierte Beschreibung eines Ablaufdiagramms.
Das Haupteingabeteil der Vorrichtung besteht aus einer Kamera 10 (Fig. 1) zur Bereitstellung eines Bildes von der Strafe vor dem Fahrzeug 12, die durch eine Kamera zur Bereitstellung eines Bildes von Angaben bezüglich der Situation hinter dem Fahrzeug 12 ergänzt werden kann. Es wird im allgemeinen eine Matrixkamera oder sogenannte CCD- Kamera verwendet, die im Infrarotbereich aufnimmt, wodurch die Gefahr der Verwechselung von Unregelmäßigkeiten der Straße mit der Bodenmarkierung verringert wird. Im übrigen gibt es CCD-Kameras zu akzeptablen Preisen.
Bei der einfachsten Ausführungsform gibt der Prozessor eine Warninformation an ein akustisches oder optisches Anzeigegerät 30 ab. Er kann auch auf einem Anzeigebildschirm 32 die Position des Fahrzeugs auf der Straße angeben.
In der Praxis verlangt die erforderliche Rechenleistung einen Prozessor mit einem Rechner, der einem IBM-PC des Typs PCI 386 gleichwertig ist, mit einer programmierbaren Karte zur Rechenbeschleunigung MATROX PG 1280 zur Erfassung und zur Bearbeitung des Bildes.
Die Kamera muß ein ausreichendes waagerechtes Feld haben, um die Seitenlinien, die eine Fahrspur eingrenzen, erscheinen zu lassen. Die Wahl der Kameraneigung α ergibt sich aus einem Kompromiß: Eine nach unten gerichtete Kamera mit kurzer Brennweite ergibt ein Feld der in Fig. 3 mit 14 dargestellten Art mit hoher Präzision der seitlichen und winkelmäßigen Positionierung der Linien wie 16 und 18 in der Nähe des Fahrzeugs, jedoch mit geringer Präzision auf Entfernung. Eine Kamera, die näher an der Horizontalen ausgerichtet ist und eine große Brennweite hat, ergibt eine bessere Präzision der entfernteren Straßenbereiche, jedoch auf Kosten der Präzision bezüglich der Position des Fahrzeugs, wie mit 20 angegeben.
In der Praxis ist es erforderlich, ein zufriedenstellendes Bild über eine Distanz a (Fig. 4A) zu erhalten, die von einigen Metern, gewöhnlich 2 bis 4 Metern, bis zu etwa zwanzig oder dreißig Metern reicht.
In Fig. 3 ist zu sehen, daß durch die Perspektive die Begrenzungsstreifen der Fahrspuren eine Anzahl von Pixel pro bildschirmartiger Abtastungslinie darstellen, die in dem Maße abnimmt, wie der Abstand zum Fahrzeug zunimmt. Überdies haben diese Streifen einen unregelmäßigen Verlauf. Die Bildbearbeitungsalgorithmen berücksichtigen diese Phänomene.
Die Kamera 10 ist im allgemeinen mit einer automatischen Blendeneinstellung in Abhängigkeit von den Schwankungen der Lichtverhältnisse ausgestattet. Es ist häufig zweckmäßig, ein Polarisationsfilter vor der Optik vorzusehen. Die Kamera kann an dem Fahrzeug beispielsweise im Innenraum an der üblichen Stelle für einen Rückspiegel oben an der Windschutzscheibe installiert werden.
Die erforderlichen Komponenten für eine Vorrichtung zum Ermitteln und Verfolgen der Position des Fahrzeugs umfassen neben der Kamera 10 und einem Analog-Digital-Umsetzer 22 bei einer Kamera, die die Informationen in analoger Form abgibt, Mittel zur Datenverarbeitung, die mindestens aus einem Prozessor 24, einem Lebendarbeitsspeicher 26 (mit ausreichender Kapazität, um die Charakteristika mehrerer Bilder aufzunehmen, wenn die Fortentwicklung der Szene verwendet wird) und einem Massespeicher 28 mit einem Programm zur Durchführung von Bearbeitungsalgorithmen besteht. Diese Algorithmen können ausführen:
- das Filtern und die Binarisierung des von der Kamera kommenden Bildes, um nur die Elemente zu erhalten, die den Spurbegrenzungsstreifen entsprechen (unterbrochene und durchlaufende Linien),
- die Rekonstruktion des bearbeiteten Bildes in der Ebene des Bodens, d. h. die Kompensation der Perspektivwirkungen und eine (kreisförmige oder sonstige) Näherung, durch die die Unregelmäßigkeiten der wirklichen Linienführung auf der Strafe geglättet werden können,
- das schrittweise Verketten der Linienfragmente.
Zur Abgabe eines Alarms durch Vergleich weist die Vorrichtung desgleichen Fahrparametersensoren 33 wie z. B. die unten definierten auf.
Zur Ermittlung der Charakteristika der Strafe muß der gesamte Vorgang durchgeführt werden. Die weitere Verfolgung kann in Anbetracht der Kontinuität der Linien, die es ermöglicht, auf Grundlage der Position, der Ausrichtung, der Breite und der Krümmung der zuvor identifizierten Linien bei einer genügend raschen Folge der Zyklen (mehr als 10 Hz) einen Voraussage- Algarithmus zu verwenden, vereinfacht werden.
Die aufeinanderfolgenden Schritte eines Identifizierungsprozesses sind in einem Beispiel in den Figuren 4A bis 4E schematisch dargestellt.
Fig. 4A zeigt ein Beispiel eines von der Kamera gelieferten Bildes. Die aufeinanderfolgend durchgeführten Vorgänge werden später im einzelnen beschrieben.
Es werden nun die aufeinanderfolgenden Arbeitsschritte beschrieben, die an einem solchen Bild durchgeführt werden.
Der erste durchzuführende Arbeitsschritt besteht in einem Filtern und Binarisieren, wodurch die Bereiche mit großerüp Leuchtdichte auf Linien zurückgeführt werden können, die mit hoher Wahrscheinlichkeit Streifen am Boden darstellen.
Eine zufriedenstellende Lösung, bei der berücksichtigt wird, daß die gesuchten Elemente Streifen mit starker Leuchtkraft und einer Ausrichtung sind, die im Bild nahe an die Senkrechte herankommt, besteht darin, ein Filtern durchzuführen, das allein auf den Abtastlinien eines Bildes beruht, wobei ein Markierungsstreifen sich als eine Leuchtdichtespitze darstellt.
Fig. 5A zeigt ein Beispiel für die Leuchtdichteänderung in der quer zur Straße verlaufenden Richtung x (d. h. in einer Bildschirm-Abtastlinie). Jeder der Streifen erscheint als eine Spitze 34 (Fig. 5A). Durch das vorhandene Fahrzeug kann ein zusätzlicher Bereich mit grober Leuchtdichte 36 erzeugt werden.
Jede Bildlinie entspricht einem quer verlaufenden Bodenabschnitt, der sich in einem festen und bekannten Abstand vor der Kamera befindet, wo die Perspektivwirkung konstant ist. Bei einer gegebenen Abtastlinie ist die Breite der durch einen Bodenmarkierungsstreifen erzeugten Leuchtdichtespitzen Im wesentlichen konstant und auf alle Fälle kleiner als eine maximale Breite, wodurch es möglich wird, die Extremintensitäten über eine zu große Breite zu vermeiden.
Das Filtern kann daher durch eine Normierung erfolgen, die darin besteht, bei jedem Pixel einen Wert herauszuholen, der gleich der durchschnittlichen Leuchtdichte in einem Bereich mit der Breite 212 ist, der sich beiderseits eines Fensters mit der Breite 11 befindet, welches auf das betreffende Pixel P zentriert ist (Fig. 5A). Bei diesem Filtern, das darauf hinausläuft, die gleichbleibende Komponente der Leuchtdichte um das Fenster mit der Breite 11 abzuziehen, werden die Spitzen mit einer geringeren Breite als 11 durchgelassen und die breiteren Spitzen abgeschwächt.
Dies hat ein Signal mit dem in Fig. 5B gezeigten Verlauf zur Folge. Die Spitzen, die den Streifen entsprechen, können dann durch Vergleich mit einem geeigneten Schwellenwert S identifiziert werden. Die Streifenmitten 38 können dann durch Schwerpunktsberechnungen mittels herkömmlicher Algorithmen und/oder durch Verketten von Punkten, die entlang der Bildspalten nahe beieinander liegen, identifiziert werden.
Auf diese Weise erhält man die Mitten der Streifen in jeder Bildlinie auf ein Pixel genau, sowie die Linien, die an sie angrenzen. Bei Ende des Filterns und Binarisierens ist das verfügbare Bild auf die in Fig. 4B gezeigten Informationen reduziert.
Dann wird ein Rekonstruktionsvorgang in der Ebene des Bodens durchgeführt, wobei die Neigung α der optischen Achse der Kamera berücksichtigt wird (Fig. 1).
Die Koordinaten x und y jedes Pixels in der Ebene z = 0 sind durch einfache mathematische Formeln als Funktion der Koordinaten xi, yi in der Bildebene, trigonometrische Funktionen von α und optische Parameter der Kamera gegeben.
Bei Ende dieses Vorgangs ergibt sich eine Darstellung der in Fig. 4C gezeigten Art, bei der die Perspektivwirkungen ellminiert wurden und die wirkliche Position der Linien in Bezug zu dem Ort 12a des Fahrzeugs zur Verfügung steht.
Der folgende Vorgang besteht in einem Verketten, das die Kontinuität der Linien durch Näherung, beispielsweise bei einem Kreisbogen durch die Methode der kleinsten Fehlerquadrate, wieder herstellt. Die Linienabschnitte werden anhand von Kohärenzkriterien miteinander verglichen, um die unterbrochenen Striche, die den unterbrochenen Streifen auf der Strafe entsprechen, in einer einzigen Linie miteinander zu verschmelzen. Jede erhaltene Linie wird nun durch ein Modell dargestellt (Fig. 4D), das durch mehrere Parameter gekennzeichnet ist:
- Radius und Mitte der Kurve,
- Position und Ausrichtung der Kamera (d. h. y = 0),
- Länge (identifiziert durch den Anfang und das Ende).
Schließlich werden die Linien, die nicht den vorher bestimmten Kohärenzkriterien entsprechen, beispielsweise diejenigen, die einem senkrechten Verkehrszeichen entsprechen, eliminiert (Fig. 4E).
Bei Ende der Bearbeitung sind die signifikativen Linien und ihre Position zum Fahrzeug während eines Abtastzyklus der Kamera verfügbar.
Um eine vollständigere Auswertung der Daten zu ermöglichen, weisen die Bearbeitungsmittel im allgemeinen einen Bildspeicher auf, der mehrere aufeinanderfolgende, gemäß Fig. 4E als Modell dargestellte Bilder speichern kann.
Alle obengenannten Vorgänge werden in einer Ermittlungsphase durchgeführt, bei der die Charakteristika der Strafe erkannt werden sollen, wobei die Linien, die einen Spurbegrenzungsstreifen darstellen, getrennt ermittelt werden. Es kann nämlich große Abstandsunterschiede zwischen den Streifen geben, je nachdem ob man sich auf einer Autobahn oder auf einer Landstraße befindet.
In der Vorrichtung kann ein Anzeiger mit manueller Betätigung vorgesehen werden, mit dem der Fahrer angeben kann, ob er sich auf einer Autobahn oder auf einer Landstraße befindet.
Dies erleichtert dann die Ermittlung, da eine Autobahnstrecke durch zwei parallele Linien rechts und links und durch ähnliche Kurven gekennzeichnet ist, deren Abstand in einem Bereich von genormten Werten liegt. Auf einer Landstraßenstrecke gibt es als Markierung nur die Mittellinie.
Ohne manuellen Anzeiger wird die Ermittlung des Landstraßentyps automatisch aktiviert, wenn innerhalb eines bestimmten Zeitraums keine Autobahnspur erkannt werden konnte. Die Breite der Fahrspur wird dann willkürlich von der Mittellinie aus festgesetzt, z. B. auf 3,30 Meter, d. h. auf einen Wert, der den meisten Situationen entspricht.
Die Ermittlung der Parameter der Strafe kann gemäß dem Ablaufdiagramm von Fig. 6 erfolgen: Ortsbestimmung der Linien, von denen angenommen wird, daß sie Bodenmarkierungsstreifen darstellen, und Speicherung. Von diesem Zeitpunkt an gibt ein Voraussage-Algorithmus den erwarteten Ort an und ermöglicht durch Vergleich, die Gültigkeit der ersten Erkennung zu überprüfen. Die Liste der erhaltenen Linien wird in einen Speicher übertragen, von dem aus die Ermittlung der Strade durch regelmäßige Abfrage erfolgt. Sobald die Straße identifiziert ist, werden ihre Parameter gespeichert.
Sobald die Straße erkannt ist, werden die berechneten und gespeicherten Parameter in ihrer Fortentwicklung verfolgt. Die Bearbeitungssequenz ist dann die in Fig. 7 angegebene. Der mit 40 gekennzeichnete Voraussageschritt besteht darin, Parameter der Position, der Richtung von Kurven und des Abstands zwischen den Linien, die die Fahrspur abgrenzen, mit Überprüfung des Kriteriums der Parallelität zu bestimmen. Die Identifizierung der rechten und/oder linken Linie in dem neuen bearbeiteten Bild ermöglicht es, eine Darstellung wie die in Fig. 4E gezeigte beizubehalten.
In dem Maße, wie das Kamerafeld eine Fahrspur abdeckt, die sich links und/oder rechts von der Fahrspur befindet, die das Fahrzeug einnimmt, werden die entsprechenden Markierungsstreifen erst nachher ermittelt. Es handelt sich nämlich dabei um Linien, die weiter von der Achse entfernt sind und daher stärker von Störungen betroffen sind. Diese Erfassung der seitlichen Spuren ist für die Verwaltung der vom Fahrer durchgeführten Spurwechsel von Nutzen.
Sobald diese Vorgänge erfolgt sind, kann die Verwaltung der Alarme durch einfache Vergleichsoperationen erfolgen, z. B.:
- Ausgabe eines Alarms der ersten Stufe oder Warnsignals bei beginnendem Überfahren eines unterbrochenen Streifens nach links, wenn zuvor die linken Blicker nicht eingeschaltet wurden,
- Alarm der zweiten Stufe bei Überqueren einer durchgehenden Linie nach rechts (Großbritannien) oder nach links (Festland),
- Alarm der ersten Stufe bei Überschreiten der Geschwindigkeit von 90 km/h auf einer Strecke, die als Landstraße identifiziert wurde.
Diese Beispiele sind selbstverständlich in keinerlei Weise einschränkend.
Fig. 8 zeigt verschiedene Sequenzen, die bei der Durchführung des Verfahrens eintreten, wenn dieses dazu vorgesehen ist, eine Fahrhilfe und nicht nur eine optische Anzeige der Position und Bewegung des Fahrzeugs zu leisten.
Mit Initialisierung des Verfahrens findet einerseits eine Erfassung des lokalen Modells der Strecke, wie in Fig. 6 angegeben, und andererseits eine Erfassung der fahrzeuginternen Parameter statt.
Während der Erfassung des lokalen Modells der Strecke findet eventuell eine Bestimmung und Speicherung der Parameter statt, die zur Kennzeichnung des Modells ausreichen, d. h.:
- der Betriebszustand des Systems zur Messung der Fahrzeugposition (Ermittlung der Strafe oder Verfolgung der Straße),
- die seitliche Position der Kamera zur Spur (d. h. der Abstand der Kamera von dem rechten und linken Streifen),
- die Breite der Spur,
- die Ausrichtung der Kamera zur Spur,
- der Kurvenradius und die Kurvenrichtung der Spur, definiert durch den Streifen oder die sie begrenzenden Streifen,
- die Art der Markierung der linken Linie und eventuell der rechten Linie.
Gleichzeitig werden die zu erfassenden fahrzeuginternen Parameter durch mindestens die ersten der folgenden Parameter gebildet:
- Zustand des rechten und des linken Richtungsanzeigers,
- Einschlagwinkel des Lenkrads,
- Geschwindigkeit des Fahrzeugs,
- Beschleunigung, bestimmt durch die Stellung des Gaspedals oder die der Drosselklappe,
- Bremsung (Stellung des Bremspedals, Bremsdruck oder Verzögerungsdruck),
- eingelegter Gang.
Die Lernvorgänge, die bei der Erstellung des lokalen Modells der Strecke stattfinden (während bestimmte Daten feststehen, wie z. B. die Ausrichtung der Kamera), können gemäß dem Ablaufdiagramm von Fig. 9 erfolgen, das zu Fig. 6 vergleichbar ist. Die Ausrichtung der Kamera kann ebenfalls durch einen Lernvorgang bestimmt werden, ausgehend von der Parallelität der betrachteten Spurmarkierungen. Durch dieses Verfahren können die Unterschiede in der Trimmlage aufgrund unterschiedlicher Belastung des Fahrzeugs bedeutungslos gemacht werden
Das Meßmodul, das in dem in Fig. 9 gezeigten Logikplan zur Erfassung zum Einsatz kommt, kann das von Fig. 10 sein, wo sich die Vorgänge wiederfinden, die in den Figuren 4B bis 4E dargestellt sind.
Das Modell der Spurverfolgung oder Verfolgung der Spur, das nach Bestätigung der Messung zum Einsatz kommt, kann den in Fig. 11 gezeigten Aufbau haben, mit Rückkehr zur Messung bei fehlender oder verlorengegangener Korrelation.
Das Modul zur Modellisierung der Fahrzeug- und Fahrercharakteristika seinerseits kann den in Fig. 12 gezeigten Aufbau haben.
Die Erfindung ist nicht auf die oben als Beispiel beschriebenen besonderen Ausführungsarten beschränkt. Sie kann zahlreiche Varianten innerhalb des Rahmens von Äquivalenzen aufweisen, die eine mehr oder weniger umfangreiche Unterstützung bieten.

Claims

1. Bordvorrichtung für Straßenfahrzeuge zur Ermittlung und Verfolgung der Position des Fahrzeugs zu Bodenmarkierungsstreifen, bestehend aus einer Kamera (10) zur Herstellung eines Bildes von der Strafe vor dem Fahrzeug und aus Anzeige- oder Warnmitteln für den Fall einer unnormalen Position des Fahrzeugs zu den Bodenmarkierungsstreifen, dadurch gekeiinzeichnet, daß sie auch einen programmierten Rechner (24-28) mit Mitteln zur Bearbeitung des Bildes aufweist, der tatsächlich eine Rekonstruktion des Bildes aus dem dreidimensionalen Bild ermöglicht, wobei die Perspektive und die Neigung der Kamera berücksichtigt werden, um die wirkliche Position der Linien in Bezug zum Fahrzeug in der Bodenebene herzustellen, und es dann durch Anwendung von Wahrscheinlichkeitskriterien ermöglicht, die Markierungsstreifen (16, 18) zu identifizieren.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Vorrichtung auch Sensoren (33) für Fahrparameter aufweist, wobei die genannten Warnmittel bei Nichtübereinstimmung der wirklichen Fahrzeuglage bezogen auf die Streifen mit den von den Sensoren abgegebenen Signalen, die eine unnormale Position anzeigend, ein Warnsignal abgeben.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Vorrichtung so vorgesehen ist, daß sie bei Überfahren eines unterbrochenen Streifens ohne vorheriges Einschalten des entsprechenden Richtungswechselanzeigers oder bei Überfahren einer durchgehenden Linie ein Warnsignal auslöst.

4. Vorrichtung nach einem der vorherigen Ansprüche, gekennzeichnet durch Mittel, um die Richtung zu steuern und das Fahrzeug in der Mitte der von den Bodenmarkierungsstreifen eingegrenzten Spur zu halten, die vom Fahrer abgeschaltet werden können.

5. Vorrichtung nach einem der vorherigen Ansprüche, wobei der Rechner ein Programm nach der Art eines Lern-Fachsystems aufweist, das die Fortentwicklung der Fahrcharakteristika zwischen aufeinanderfolgenden Bildern bestimmt und eine Entwicklung, die einen Zustand des Einschlafens oder der Ermüdung darstellt, erkennt.

6. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Kamera (10) mit Mitteln zur Ausrichtung durch einen Lernvorgang ausgehend von der Erscheinung der parallelen Markierungen überwachter Spuren versehen ist.

7. Verfahren zur Ermittelung und Verfolgung der Position eines auf einer Straße fahrenden Fahrzeugs, bei dem

- mit Hilfe einer Kamera das Bild eines vor dem Fahrzeug befindlichen Bereichs der Strafe hergestellt wird, der die Bodenmarkierungsstreifen aufweist, die mindestens eine Fahrspur abgrenzen, und die Position des Fahrzeugs zu den Streifen bestimmt wird oder bei unnormaler Position ein Warnsignal ausgelöst wird,

dadurch gekennzeichnet, daß

- das hergestellte Bild gefiltert wird, um nur die Elemente zu erhalten, die den Spurbegrenzungsstreifen entsprechen,

- das gefilterte Bild in der Ebene des Bodens durch Kompensation der Perspektivwirkungen und der Neigung der Kamera sowie durch geometrische Näherung rekonstruiert wird, und

- die Fragmente aufeinanderfolgender Linien, die den Streifen entsprechen, aneinandergekettet werden, um ein Modell der Spur im Verhältnis zur Position des Fahrzeugs zu erzeugen, wobei die unnormale Situation durch das Modell angezeigt wird.

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß das Bild in jeder bildschirmartigen Abtastlinie gefiltert wird, indem von der Leuchtdichte jedes Pixels die gleichbleibende Komponente der Leuchtdichte um ein Fenster herum, das das Pixel umgibt und der maximalen Abmessung des Bildes von dem Streifen in der betreffenden Abtastlinie entspricht, abgezogen wird.

9. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß das Verketten zur Wiederherstellung der Kontinuität der Linien, die die Bodenmarkierungsstreifen darstellen, durch Näherung beim Kreisbogen durch die Methode der kleinsten Fehlerquadrate und durch Überprüfung anhand eines Kohärenzkriteriums erfolgt.