Beschreibung
Vertikale Ausrichtung eines Lidar-Sensors
Die Erfindung betrifft eine Auswerteeinheit für ein Fahrerassistenzsystem für ein Fahrzeug mit einem Eingang zum Empfangen von Bildinformationen, welche von einer Kamera erfasst wurden .
Unter dem Begriff der Fahrerassistenzsysteme (englisch: ADAS, Advanced Driver Assistance Systems) werden Funktionen zusam- mengefasst, welche der Unterstützung des Fahrers eines Kraftfahrzeuges dienen. Ziel der Fahrerassistenzsysteme ist häufig die Steigerung der Sicherheit durch die Vermeidung von Gefah- rensituationen vor deren Entstehung und durch die Unterstützung des Fahrers zur Unfallvermeidung in kritischen Situationen. Weitere Ziele sind die Steigerung des Komforts durch Stressreduktion und Entlastung des Fahrers in Standardsituationen, die Erleichterung der Orientierung durch situations- abhangig aufbereitete und fahrergerecht vermittelte Umfeld- Informationen, sowie die Erhöhung des Fahrspaßes.
Beispiele für Fahrerassistenzfunktionen sind die Antriebsschlupfregelung bzw. Traktionskontrolle wie ABS (Antiblo- ckiersystem) , ASR (Antriebs-Schlupf-Regelung) , ESP (Elektronisches Stabilitatsprogramm) , EDS (Elektronische Differentialsperre) , sowie adaptives Kurvenlicht, Auf- und Abblendassistent für das Fahrlicht, Nachtsichtsysteme (englisch: night vision) , Tempomat, Einparkhilfe, Bremsassistent, ACC (Adapti- ve Cruise Control) bzw. Abstandsregeltempomat, Abstandswar- ner, Abbiegeassistent, Stauassistent, Spurerkennungssystem, Spurhalteassistent, Spurhalteunterstutzung, Spurwechselassistent, ISA (Intelligent Speed Adaption) , ANB (Automatische Notbremsung) , Reifendruckkontrollsystem, Fahrerzustandserken- nung, Verkehrszeichenerkennung, Platooning.
Der Erfindung liegt die Aufgabe zugrunde, eine effiziente Auswerteeinheit für ein Fahrerassistenzsystem, sowie ein entsprechendes Computerprogrammprodukt und ein Verfahren zum Betreiben eines Fahrerassistenzsystems aufzuzeigen.
Diese Aufgabe wird durch eine Auswerteeinheit mit den Merkmalen des Anspruchs 1, sowie durch ein Computerprogrammprodukt und ein Verfahren mit Merkmalen von nebengeordneten Ansprüchen gelost. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteranspruchen .
Die erfindungsgemaße Auswerteeinheit für ein Fahrerassistenzsystem für ein Fahrzeug weist einen Eingang auf zum Empfangen von von einer Kamera erfassten Bildinformationen, sowie Er- mittlungs-Mittel zum Ermitteln zumindest einer einen Neigungswinkel des Fahrzeugs beschreibenden Große unter Verwendung der Bildinformationen. Weiterhin sind Bestimmungs-Mittel vorhanden zum Bestimmen eines Ausgabesignals unter Verwendung der zumindest einen Große, wobei das Ausgabesignal eine ver- tikale Ausrichtung von von einer Sendeeinheit auszustrahlender elektromagnetischer Strahlung betrifft, und ein Ausgang zum Ausgeben des Ausgabesignals.
Von der Auswerteeinheit wird aus Bildinformationen eine oder mehrere Großen ermittelt, welche einen Neigungswinkel des
Fahrzeugs betreffen. Die Große betreffend den Neigungswinkel wird somit aus einer Betrachtung des Umfeldes des Fahrzeugs gewonnen. Der Neigungswinkel bezieht sich auf eine Bezugsgroße, so z.B. auf die Fahrbahnebene oder auf die Neigung eines anderen Fahrzeugs. Vorzugsweise handelt es sich bei der durch die Große beschriebene Neigung um eine Neigung des Fahrzeugs in vertikaler Richtung bzw. um eine Rotation parallel zur Querachse des Fahrzeugs und somit in derjenigen Dimension, in welcher die Sendeeinheit bzw. die von der Sendeeinheit auszu- strahlende elektromagnetische Strahlung gemäß dem Ausgangssignal auszurichten ist.
Die den Neigungswinkel betreffende Große oder Großen wird verwendet, um ein Ausgabesignal betreffend die vertikale Ausrichtung von von der Sendeinheit auszustrahlender elektromagnetischer Strahlung zu bestimmen. Hierbei ist es möglich, dass das Ausgabesignal ausschließlich aus der mindestens einen Neigungswinkel-Große bestimmt wird, oder dass andere Großen in diese Bestimmung einfließen. Die vertikale Ausrichtung bezieht sich hierbei vorzugsweise auf das Bezugssystem des Fahrzeugs; eine Bewegung in vertikaler Richtung bedeutet in diesem Fall eine Bewegung senkrecht zur Ebene der Fahrbahnoberflache. Eine derartige vertikale Ausrichtung wird vorzugsweise durch eine Rotation der Sendeeinheit parallel zur Querachse des Fahrzeugs bewirkt.
Das Ausgabesignal kann zur Steuerung der vertikalen Ausrichtung der elektromagnetischen Strahlung eingesetzt werden. Vorzugsweise sendet die Auswerteeinheit das Ausgabesignal dementsprechend an eine für die Steuerung oder Ausrichtung der Sendeeinheit zustandige Komponente, wie z.B. an einen Elektromotor. Nach Ausrichtung der Sendeeinheit entsprechend dem Ausgabesignal kann die Sendeeinheit in die jeweilige Richtung abstrahlen; alternativ hierzu ist es möglich, dass die Sendeinheit nicht abstrahlt, sondern lediglich zur Abstrahlung in die jeweilige Richtung ausgerichtet ist, so dass bei Bedarf eine Abstrahlung erfolgen kann.
In Weiterbildung der Erfindung sind die Ermittlungs-Mittel derart ausgestaltet, dass die zumindest eine Große unter Verwendung von in den Bildinformationen abgebildeten Fahrbahn- markierungen und/der Fahrbahnbegrenzungen ermittelt wird. Als Fahrbahnmarkierungen kommen hierbei Markierungen zur Abgrenzung verschiedener Fahrspuren voneinander in Betracht, oder Markierungen zur Anzeige des Fahrbahnrandes; als Fahrbahnbegrenzung kommt hierbei z.B. der Rand des Fahrbahnasphalts oder am Fahrbahnrand angeordnete Objekte wie Pfosten oder
Leitplanken in Betracht. Vorzugsweise sind die Ermittlungs- Mittel derart ausgestaltet, dass unter Verwendung der abge-
bildeten Fahrbahnmarkierungen und/der Fahrbahnbegrenzungen ein Straßenverlauf ermittelt wird, und unter Verwendung des ermittelten Straßenverlaufs die zumindest eine Große ermittelt wird. Der Straßenverlauf kann hierbei in Abhängigkeit vom Abstand vom Fahrzeug die vertikale und/oder horizontale Krümmung der Fahrbahn angeben .
Besonders vorteilhaft ist es, wenn die die Ermittlungs-Mittel derart ausgestaltet sind, dass die zumindest eine Große unter Verwendung von einem anderen in den Bildinformationen abgebildeten Fahrzeug ermittelt wird. Dies erlaubt es, die Ausrichtung der von der Sendeeinheit auszustrahlenden elektromagnetischen Strahlung an das andere Fahrzeug anzupassen. Die zumindest eine Große kann in diesem Fall einen Neigungswinkel des Fahrzeugs relativ zu dem anderen Fahrzeug umfassen. Weiterhin kann die zumindest eine Große einen Neigungswinkel des Fahrzeugs relativ zu einer Verbindungslinie zwischen dem Fahrzeug und dem anderen Fahrzeug umfassen. Alternativ zur Verwendung eines abgebildeten Fahrzeugs ist es möglich, die Ermittlung der zumindest einen Große durchzufuhren, ohne dass ein Fahrzeug in den Bildinformationen abgebildet ist.
Einer Weiterbildung der Erfindung gemäß umfasst die zumindest eine Große einen Nickwinkel des Fahrzeugs. Der Nickwinkel be- schreibt hierbei eine Neigung des Fahrzeugs gegen seine Querachse, wobei die Querachse bei ebener Fahrbahn parallel zur Fahrbahnebene verlauft.
In Ausgestaltung der Erfindung ist die Sendeeinheit Bestand- teil eines Systems zur Abstandsbestimmung, wie z.B. eines Li- dar-Systems .
Die Ermittlungs-Mittel können derart ausgestaltet sein, dass die zumindest eine Große unter Verwendung von von einem Nei- gungssensor erfassten Informationen ermittelt wird. In diesem Fall werden zusatzlich zu den Bildinformationen Messungen
eines Neigungssensors berücksichtigt, wenn die zumindest eine Große ermittelt wird.
Das erfindungsgemaße Fahrerassistenzsystem umfasst eine Aus- werteeinheit, die Kamera und die Sendeeinheit für elektromagnetische Strahlung. Vorzugsweise sind weiterhin Mittel vorgesehen zum Bestimmen des Abstandes zu einem anderen Fahrzeug unter Verwendung der Sendeeinheit, sowie Mittel zum Regeln eines Abstandes zu dem anderen Fahrzeug, beispielsweise zum Einhalten eines konstanten Abstandes zu dem anderen Fahrzeug.
Das erfindungsgemaße Computerprogrammprodukt umfasst Ermittlungs-Mittel zum Ermitteln zumindest einer einen Neigungswinkel des Fahrzeugs beschreibenden Große unter Verwendung von Bildinformationen, Bestimmungs-Mittel zum Bestimmen eines
Ausgangssignals unter Verwendung der zumindest einen Große, wobei das Ausgabesignal eine vertikale Ausrichtung von von einer Sendeeinheit auszustrahlender elektromagnetischer Strahlung betrifft, sowie Ausgabe-Mittel zum Ausgeben des Ausgangssignals. Unter einem Computerprogrammprodukt kann im Zusammenhang mit der vorliegenden Erfindung neben dem eigentlichen Computerprogramm (mit seinem über das normale physikalische Zusammenspiel zwischen Programm und Recheneinheit hinausgehenden technischen Effekt) insbesondere ein Aufzeich- nungstrager für das Computerprogramm, eine Dateisammlung, eine konfigurierte Recheneinheit, aber auch beispielsweise eine Speichervorrichtung oder ein Server, auf der bzw. dem zum Computerprogramm gehörende Dateien gespeichert sind, verstanden werden.
Bei dem erfindungsgemaßen Verfahren werden von einer Kamera aufgenommene Bildinformationen empfangen, es wird zumindest eine einen Neigungswinkel des Fahrzeugs beschreibende Große unter Verwendung der Bildinformationen ermittelt, und ein Ausgangssignal wird unter Verwendung der zumindest einen Große bestimmt, wobei das Ausgabesignal eine vertikale Ausrich-
tung von von einer Sendeeinheit auszustrahlender elektromagnetischer Strahlung betrifft.
Das erfindungsgemaße Computerprogrammprodukt und das erfin- dungsgemaße Verfahren eignen sich insbesondere für die erfin- dungsgemaße Auswerteeinrichtung, wobei dies auch auf die Ausgestaltungen und Weiterbildungen zutreffen kann. Hierzu können sie weitere geeignete Mittel bzw. Schritte umfassen.
Im folgenden wird die Erfindung anhand eines Ausfuhrungsbeispiels naher erläutert. Dabei zeigen:
Figur 1: zwei Fahrzeuge,
Figur 2: einen Ausschnitt aus einem Fahrerassistenzsystem eines Fahrzeugs,
Figur 3: ein Flussdiagramm.
Figur 1 zeigt die beiden Fahrzeuge Fl und F2, welche sich hintereinander auf einer Straße S befinden. Das Fahrzeug Fl verfugt über ein Fahrerassistenzsystem mit der Fahrerassistenzfunktion ACC, welche den Abstand zum vorausfahrenden Fahrzeug F2 regeln soll. Zu diesem Zweck wird der Abstand zwischen den Fahrzeugen Fl und F2 von einem Lidar-Sensor L des Fahrzeugs Fl bestimmt. Der Lidar-Sensor L ist hierbei hinter der Windschutzscheibe des Fahrzeugs Fl befestigt; er sendet einen Laserstrahl in Vorwartsrichtung aus und empfangt den vom Fahrzeug F2 reflektierten Laserstrahl. Es wird die Laufzeit zwischen der Versendung des Lasersignals und dem
Empfang des reflektierten Lasersignals bestimmt, welche ein Maß für die Entfernung des Fahrzeugs F2 vom Fahrzeug Fl ist.
Figur 1 zeigt zwei Laserstrahlen Sl und S2 des Lidar-Sensors L, welche sich hinsichtlich ihrer vertikalen Ausrichtung unterscheiden. Unter der vertikalen Ausrichtung wird hierbei die Ausrichtung senkrecht zur Oberflache der Straße S ver-
standen, in Figur 1 durch einen Doppelpfeil angezeigt. Wahrend der Laserstrahl S2 auf das Fahrzeug F2 trifft und somit eine Bestimmung des Abstandes zwischen den Fahrzeugen Fl und F2 ermöglicht, erfolgt die Abstrahlung des Strahls Sl so hoch in vertikaler Richtung, dass der Strahl Sl das Fahrzeug F2 nicht erreicht. Die vertikale Ausrichtung des Lidar-Sensors L ist somit von großer Bedeutung dafür, ob eine Abstandsbestimmung zu einem vorausfahrenden Fahrzeug möglich ist. Fehlausrichtungen des Lidar-Sensors L gewinnen insbesondere mit steigender Entfernung zum voranfahrenden Fahrzeug F2 an Bedeutung .
Das Fahrerassistenzsystem des Fahrzeugs Fl verfugt über eine Videokamera K, welche den Raum vor dem Fahrzeug Fl erfasst. Die Kamera K kann z.B. wie auch der Lidar-Sensor L hinter der Windschutzscheibe des Fahrzeugs Fl installiert sein. Die Kamera K liefert die von ihr erfassten Bilder P an eine in Figur 2 dargestellte Auswerteeinheit A. Die Auswerteeinheit A ermittelt unter Verwendung der Bilder P ein Steuersignal S, welches zur Einstellung der vertikalen Ausrichtung des Lidar- Sensors L verwendet wird. Hierzu ist ein Elektromotor vorgesehen, welcher unter Berücksichtigung des Steuersignals S die vertikale Ausrichtung des Lidar-Sensors L verandern kann.
Figur 3 zeigt ein Flussdiagramm zur Veranschaulichung der Ermittlung des Steuersignals S durch die Auswerteeinrichtung A unter Verwendung der Bilder P. Hierzu wird ein Fahrbahnmodell MOD mit Parametern eingesetzt, welche zumindest u.a. dem Nickwinkel des Fahrzeugs Fl, sowie der vertikalen und hori- zontalen Krümmung der Straße entsprechen. Es findet eine Anpassung der Parameter statt, bis der unter Verwendung dieser angepassten Parameter ermittelte Straßenverlauf möglichst gut mit dem von der Kamera aufgenommenen Straßenverlauf übereinstimmt. Zur Überprüfung der Übereinstimmung werden vorzugs- weise die Fahrbahnmarkierungen betrachtet; alternativ kann der Rand der Fahrbahn betrachtet werden, wobei letzteres insbesondere bei schneebedeckter Fahrbahn relevant ist. Als Er-
gebnis werden die genannten Parameter ausgegeben, so dass der Nickwinkel N des Fahrzeugs Fl und der Straßenverlauf V bestimmt wurden. Der Straßenverlauf V gibt hierbei in Abhängigkeit vom Abstand zum Fahrzeug Fl an, wie groß die horizontale und vertikale Krümmung der Straße ist. Eine derartige Ermittlung von Nickwinkel und Fahrbahnverlauf unter Verwendung eines Fahrbahnmodells wird beschrieben z.B. in E. D. Dickmanns, B. D. Mysliwetz: "3-D road and relative ego- state estimation", IEEE Transactions on PAMI, 14(2), S. 199- 213, Februar 1992.
Zuerst wird die Situation betrachtet, dass die Kamera K kein voranfahrendes Fahrzeug F2 erfasst. Auch in dieser Situation ist eine geeignete vertikale Ausrichtung des Lidar-Sensors L sinnvoll, denn ein gut ausgerichteter Lidar-Sensor L kann ein neu auftauchendes voranfahrendes Fahrzeug F2 schneller erfassen und somit den Abstand zu diesem Fahrzeug bestimmen. Auf diese Weise kann die Fahrerassistenzfunktion ACC rascher genutzt werden, sobald ein sichtbares voranfahrendes Fahrzeug F2 vorhanden ist.
Die Ermittlung des Steuersignals S kann unter Verwendung von lediglich dem Nickwinkel N erfolgen. Der Nickwinkel N beschreibt die Neigung des Fahrzeuges Fl gegen seine Querachse, wobei die Querachse des Fahrzeugs Fl in Figur 1 in die Zeichenebene hinein zeigt. Der Nickwinkel W kann sich andern z.B. aufgrund der Beladung, der Besetzung der Fahrzeugsitzplatze, durch unterschiedliche Reifendrucke, durch Fahrbahnunebenheiten, Beschleunigen, Abbremsen oder Aufschaukeln eines Fahrzeugs. Das Steuersignal S wird so bestimmt, dass der
Nickwinkel N des Fahrzeugs Fl ausgeglichen wird. Dies bedeutet, dass der Lidar-Sensor L in vertikaler Richtung parallel zur Straße ausgerichtet wird. Ist das Fahrzeug Fl beispielsweise aufgrund starker Kofferraum-Beladung nach hinten ge- neigt, wie in Figur 1 dargestellt, so sollte der Lidar-Sensor L gegenüber dem Zustand ohne Kofferraum-Beladung starker nach unten ausgerichtet werden.
Außer dem Nickwinkel N kann auch der Straßenverlauf V bei der Ermittlung des Steuersignals S berücksichtigt werden. Eine Ausrichtung des Lidar-Sensors L wie oben erläutert in vertikaler Richtung parallel zur Straße ist insbesondere dann sinnvoll, wenn die vertikale Steigung der Straße konstant ist, wobei dies sowohl auf einen ebenen Straßenverlauf, als auch auf eine positive oder negative Steigung zutrifft. Nimmt die Steigung jedoch vor dem Fahrzeug Fl zu, so ist es vorteilhaft, den Lidar-Sensor L gegenüber der parallelen Aus- richtung etwas starker nach oben auszurichten; entsprechend ist es für den Fall, dass die Steigung vor dem Fahrzeug Fl abnimmt, gunstig, den Lidar-Sensor L gegenüber der parallelen Ausrichtung etwas starker nach unten auszurichten. Dies lasst sich besonders gut für den Fall illustrieren, dass sich das Fahrzeug Fl auf eine Kuppe oder ein Tal hinbewegt. Dem Straßenverlauf V wird somit entnommen, ob die Steigung der Fahrbahn zu- oder abnimmt, und dementsprechend wird die parallele Ausrichtung des Lidar-Sensors L, welche durch den Ausgleich des Nickwinkels N erreicht wird, abgeändert.
Bislang wurde die Ermittlung des Steuersignals S in Abhängigkeit von den Bildern P ermittelt unter der Voraussetzung, dass von der Kamera K kein vorausfahrendes Fahrzeug F2 er- fasst wird. Ist hingegen in den Bildern P ein vorausfahrendes Fahrzeug F2 enthalten, so kann der relative Neigungswinkel DIFF des Fahrzeugs Fl zur Geraden, welche die Fahrzeuge Fl und F2 verbindet, bestimmt werden. Befindet sich der Lidar- Sensor L auf gleicher vertikaler Position wie die Kamera K, so kann das Steuersignal S direkt auf diesem relativen Nei- gungswinkel DIFF abgeleitet werden. Befindet sich hingegen der Lidar-Sensor L nicht auf gleicher vertikaler Position wie die Kamera K, so kann das Steuersignal S durch Trigonometrie unter Einbeziehung des Abstandes zwischen den Fahrzeugen Fl und F2 berechnet werden. Als Maß für den Abstand kann hierbei eine aus dem von der Kamera K aufgenommenen Bild ermittelte Schätzung dienen. Hierbei ist von Vorteil, dass die Anforderungen an die Genauigkeit der Schätzung gering sind.
Alternativ zur erläuterten Große DIFF ist es möglich, als Große DIFF die Differenz der Steigungen der beiden Fahrzeuge Fl und F2 einzusetzen. Die Bestimmung dieser Differenz DIFF erfolgt unter Verwendung des Straßenverlaufs V. Da der Stra- ßenverlauf V ermittelt wurde, und zudem aus den Bildern P bekannt ist, an welcher Stelle des Straßenverlaufs V sich das Fahrzeug F2 befindet, kann die aktuelle vertikale Fahrbahnsteigung, an welcher sich das Fahrzeug F2 befindet, festgestellt werden. Auch die aktuelle vertikale Fahrbahnsteigung des Fahrzeugs Fl kann dem Straßenverlauf V entnommen werden, so dass die Differenz DIFF dieser beiden Werte bestimmbar ist. Sind die beiden Steigungen gleich groß, so z.B. wenn die beiden Fahrzeuge Fl und F2 wie in Figur 1 dargestellt auf ebener Strecke fahren, oder wenn die beiden Fahrzeuge Fl und F2 einen Anstieg mit konstanter Steigung befahren, wird das Steuersignal S so bestimmt, dass der Lidar-Sensor L parallel zur Straße ausgerichtet wird. Ist die aktuelle Steigung des voranfahrenden Fahrzeugs F2 hingegen großer als diejenige des Fahrzeugs Fl, so sollte der Lidar-Sensor L hoher ausgerichtet werden; umgekehrtes gilt, wenn die aktuelle Steigung des voranfahrenden Fahrzeugs F2 hingegen kleiner als diejenige des Fahrzeugs Fl ist.
Zusatzlich zur Differenz DIFF der Steigungen der beiden Fahr- zeuge Fl und F2 wird der Nickwinkel N des Fahrzeugs Fl berücksichtigt. Denn anhand des Straßenverlaufs V kann zwar eine relative Neigung der Fahrzeuge Fl und F2 bestimmt werden, welche sich aus dem Steigungsverlauf der Straße ergibt; die tatsachliche relative Neigung ergibt sich jedoch aus der Differenz DIFF und dem Nickwinkel N. Hierbei kann der Nickwinkel abhangig davon, in welche Richtung das Fahrzeug Fl aufgrund des Nickwinkels N geneigt ist, die Steigungsdifferenz DIFF erhohen oder reduzieren.
Alternativ zur bisherigen Ausfuhrung, gemäß welcher der Nickwinkel aus den Bildern P der Kamera K ermittelt wurde, ist es auch möglich, den Nickwinkel über einen Nickwinkel-Sensor zu
gewinnen. Ein Nickwinkelsensor kann für andere Fahrzeugkomponenten vorgesehen sein, so z.B. für das ESP-System oder für die Scheinwerfer. Die Messergebnisse des Nickwinkelsensors können auch zusatzlich zu dem anhand des Fahrbahnmodells MOD ermittelten Nickwinkels N eingesetzt werden, indem z.B. ein aus den beiden Werten ermittelter Nickwinkelwert verwendet wird .