DE102005008876A1

DE102005008876A1 - Verfahren zum automatisierten Auffinden von Zielpositionen, die von einem Fahrzeug in einer Umgebung anzufahren sind

Info

Publication number: DE102005008876A1
Application number: DE102005008876A
Authority: DE
Inventors: Roland Claus Dipl.-Ing. Stahn; Andreas Dr.-Ing. Stopp
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2005-02-24
Filing date: 2005-02-24
Publication date: 2006-09-07

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum automatisierten Auffinden von Zielpositionen, die von einem Fahrzeug in einer Umgebung anzufahren sind, DOLLAR A wobei das Fahrzeug eine bilderkennende Einrichtung aufweist sowie eine Einrichtung zum Speichern von erkannten Bildinformationen sowie eine Einrichtung zum Vergleich von aktuellen Bildinformationen mit gespeicherten Bildinformationen, wobei bei einer erkannten Zielposition mittels der bilderkennenden Einrichtung die Umgebung erfasst wird, wobei die erkannten Bildinformationen zu dieser Umgebung gespeichert werden, wobei beim künftigen Aufsuchen von Zielpositionen die gespeicherten Bildinformationen mit aktuellen Bildinformationen verglichen werden, um mittels einer Korrelation zwischen den gespeicherten Bildinformationen und den aktuellen Bildinformationen in einer neuen Umgebung mögliche Zielpositionen zu erkennen.

Description

Die Erfindung betrifft ein Verfahren zum automatisierten Auffinden von Zielpositionen, die von einem Fahrzeug in einer Umgebung anzufahren sind nach dem Oberbegriff des Patentanspruchs 1.

Der Anmelderin sind Verfahren bekannt zum Finden von Einparkpositionen durch eine Mustererkennung in dem Sinne, dass freie Flächen vermessen werden und dass entschieden wird, ob die erkannten freien Flächen ausreichend groß sind, um einen Einparkvorgang zu realisieren.

Aus der DE 102 61 176 A1 ist es bekannt, dass bei einem Parkassistenten eine Anzeige derart realisiert ist, dass in einer Draufsicht die Momentanposition des Fahrzeugs angezeigt wird sowie die nach "Abfahren" einer Trajektorie erreichbare Zielposition. Die Zielposition ist veränderbar durch eine Lenkraddrehung.

Aus der DE 102 560 021 A1 ist es bekannt, dass bei einem Parkassistenten eine Anzeige derart realisiert ist, dass ein Parkplatzsymbol abhängig von Umgebungsdaten, d.h. in einer erkannten Umgebung, auf einem Bildschirm angezeigt wird. Stellt der Fahrer eine Übereinstimmung fest zwischen einem vorhandenen Parkplatz und einer Darstellung des Parkplatzsymbols, kann ein Parkvorgang eingeleitet werden. Die Überprüfung, ob es sich tatsächlich um einen Parkplatz handelt, wird also dem Fahrzeugführer überlassen.

Aus der JP-A-2002-172989 ist eine Anzeige und Zielführung eines Parkassistenten bekannt, wobei bei schwieriger systembedingter Umgebungserkennung vom Fahrzeugführer mittels Markierungen auf der Anzeige die Parkposition vorgegeben werden kann. Kann also von dem System selbsttätig kein Parkplatz gefunden werden, wird dieser von dem Benutzer auf dem Bildschirm markiert und anschließend angefahren.

Der vorliegenden Erfindung liegt das Problem zu Grunde, das Auffinden einer Zielposition zu verbessern.

Diese Aufgabe wird nach der vorliegenden Erfindung gemäß Anspruch 1 gelöst, indem das Fahrzeug eine bilderkennende Einrichtung aufweist sowie eine Einrichtung zum Speichern von erkannten Bildinformationen sowie eine Einrichtung zum Vergleich von aktuellen Bildinformationen mit gespeicherten Bildinformationen, wobei bei einer erkannten oder vorgegebenen Zielposition mittels der bilderkennenden Einrichtung die Umgebung erfasst wird, wobei die erkannten Bildinformationen zu dieser Umgebung gespeichert werden, wobei beim künftigen Suchen von Zielpositionen die gespeicherten Bildinformationen mit aktuellen Bildinformationen verglichen werden, um mittels einer Korrelation zwischen den gespeicherten Bildinformationen und den aktuellen Bildinformationen in einer neuen Umgebung mögliche Zielpositionen zu erkennen.

Vorteilhaft kann also aus einer erkannten oder einer initial vorgegebenen oder gelernten Zielposition für die Zukunft gelernt werden, indem dort die Umgebung erfasst wird und zum späteren Vergleich gespeichert wird. Ebenso kann eine früher bereits erkannte Zielposition auch gegeben sein, wenn der Fahrzeugführer bei der früheren Anfahrt an eine Zielposition diese manuell vorgegeben hat.

Im Zusammenhang mit der Erfindung wird dabei unter einer Zielposition beispielsweise eine Stellposition relativ zu einem Zielobjekt, eine Parkposition oder eine Position relativ zu einer Freifläche bzw. die Freifläche selbst verstanden. Im Sinne der Erfindung werden unter einer bilderkennenden Einrichtung beispielsweise eine 2D-Kamera, 3D-Kamera, Laserscanner oder beliebige andere bildgebende Sensoren verstanden. Neben den damit erfassten Bildinformationen werden im Zusammenhang mit der Erfindung auch geometrische Eigenschaften aus der Fahrzeugumgebung oder von Objekten herangezogen. Die geometrischen Eigenschaften können gleichsam der Bildinformationen in der Form von Daten in einem Speicher hinterlegt sein. Bei den im Zusammenhang mit der Erfindung genannten Fahrzeugen kann es sich beispielsweise um Pkws, Lkws, autonome Transportfahrzeuge (ATF) oder beliebige andere Fahrzeuge handeln.
Die Erkennung von Zielpositionen kann beispielsweise auf einer Korrelation basieren. Falls in Umgebungen in denen es schwierig ist Zielpositionen zu erkennen, eine Korrelation zu aufwändig ist oder keine ausreichend genauen Ergebnisse liefert, kann in einer schwierigeren Umgebung eine Zielposition auch auf Grund von früheren Erfahrungswerten erkannt werden.
Bei der Ausgestaltung des Verfahrens nach Anspruch 2 werden bei der Bestimmung der Korrelation die gespeicherten Umgebungsinformationen, insbesondere die Bildinformationen in Ausschnitten mit den aktuellen Bildinformationen verglichen, wobei die einzelnen Bildausschnitte auch unterschiedliche Ausdehnungen der Umgebung um die erkannte Einparkposition betreffen können.
Die Umgebung kann bei dieser Vorgehensweise also segmentiert werden. Um eine Zielposition zu erkennen, ist die nähere Umgebung besonders wichtig. Deshalb ist es beispielsweise möglich, eine Korrelation und damit eine Zielposition bereits dann festzustellen, wenn lediglich in einer näheren Umgebung eine entsprechende Übereinstimmung festzustellen war.
Fährt ein Fahrzeug beispielsweise rückwärts in senkrechter Fahrtrichtung auf eine Gebäudewand zu, besteht die eine mögliche Beschreibung der Zielposition darin, dass sich das Fahrzeug dann vor der Wand befindet. Steht das Fahrzeug beispielsweise bei der früher erkannten Zielposition mitten vor der Wand, betrifft die Position in der näheren Umgebung aber eine Situation, bei der das Fahrzeug zwar vor eine Wand vorfahren soll, wobei aber in unmittelbarer Nähe eine Ecke des Gebäudes ist, an der die Wand (so weit für die Bilderfassung sichtbar) dann aufhört, kann dennoch durch eine entsprechende Beschränkung des auszuwertenden Bildbereiches eine Korrelation festgestellt werden, so dass die Zielposition erkannt werden kann. Vor allem werden im Zusammenhang mit der Erfindung jedoch Zielpositionen in ihren geometrischen Beziehungen hinsichtlich erkannter oder wieder erkannter 2D-/3D-Umgebungsmerkmalen präzise ermittelt.
Die Beschränkung der Bildausschnitte kann bei der Auswertung und der Bestimmung der Korrelation erfolgen. Diese Beschränkung kann aber auch bereits bei der Speicherung der entsprechenden Bilddaten erfolgen, was den weiteren Vorteil hat, dass die zu speichernde Datenmenge klein gehalten werden kann. Dies ist insbesondere dann von Bedeutung, wenn ent sprechend viele Umgebungsbilder von erkannten Zielpositionen gespeichert werden sollen.
Bei der Ausgestaltung nach Anspruch 3 werden die Ausschnitte in der vertikalen Richtung begrenzt und weisen in horizontaler Richtung unterschiedliche Ausdehnungen auf.
Die Bestimmung der Zielposition wird wesentlich durch die Umgebung seitlich des Fahrzeugs bestimmt. Durch die Beschränkung in der Höhe wird vorteilhaft wieder die zu verarbeitenden bzw. die zu speichernde Datenmenge verringert. Vorteilhaft kann die Höhe des Bildausschnitts abhängig von der Höhe des Fahrzeugs definiert werden.
Bei der Ausgestaltung nach Anspruch 4 werden bei der Korrelation die Kanten und Umrisse der erkannten Objekte berücksichtigt, wobei die Gestaltung von Oberflächen unberücksichtigt bleibt.
Vorteilhaft wird dabei berücksichtigt, dass für die Bestimmung einer Zielposition in erster Linie die Hindernisse eine Rolle spielen. Diese Hindernisse werden aber in ihrer Bedeutung für die Anfahrt an eine Zielposition und die Zielposition durch den Umriss definiert und nicht durch die farbliche oder sonstige Gestaltung der Oberfläche beispielsweise mit bestimmten Mustern.
Durch diese Beschränkung der Auswertung auf bestimmte Charakteristika in den Bildern wird vorteilhaft erreicht, dass die zu verarbeitende und zu speichernde Datenmenge gering gehalten werden kann. Weiterhin wird erreicht, dass die Korrelation verbessert wird, indem die Faktoren, bei denen eventuell keine Korrelation festgestellt werden kann, die aber für die Bewertung der Zielposition irrelevant sind, bei der Bestimmung der Korrelation ausgeblendet werden. Dies betrifft beispielsweise die farbliche Gestaltungen oder auch Muster von Oberflächen.
Bei der Ausgestaltung nach Anspruch 5 sind bestimmte Bildmuster vorab in Zuordnung zu Zielpositionen speicherbar.
Dies betrifft beispielsweise bestimmte Schilder und/oder Markierung, wie z.B. Bodenmarkierungen, die auf eine Zielposition hinweisen. Wenn derartige Schilder in einer zu bewertenden Umgebung wieder erkannt werden, kann darauf geschlossen werden, dass dort eine Zielposition vorliegt. Für diese bestimmten Bildmuster wird dann in jedem Fall auch die Oberflächengestaltung mit gespeichert und bewertet. Dies gilt auch dann, wenn – wie im Falle von Anspruch 4 – diese Oberflächen bezogenen Informationen bei den erkannten Zielpositionen im laufenden Betrieb nicht gespeichert bzw. ausgewertet werden.
Es kann sich dabei um allgemeine Hinweisschilder handeln, die im öffentlichen Raum im Zusammenhang mit Abstellplätzen von Kraftfahrzeugen Verwendung finden.
Ebenso kann es sich hier auch um spezielle Schilder bzw. andere Markierungen handeln mit einer bestimmten Gestaltung, die vom Fahrzeugführer mitgeführt werden und die vor der Anfahrt an eine Zielposition platziert werden können. Vorteilhaft ist in diesem Fall das System so ausgelegt, dass diese bestimmten Markierungen nach deren Positionierung erkannt werden können.
Diese Vorgehensweise lässt sich mit einer anderen Vorgehensweise zur automatischen Suche einer Zielposition durch eine Auswertung und Bewertung der Umgebung kombinieren. Der Fahr zeugführer kann dann die automatische Suche unterdrücken bzw. abbrechen und manuell in den entsprechenden Betriebsmodus wechseln. Wenn automatisch keine Zielposition gefunden werden konnte, kann ein Wechsel in den entsprechenden Betriebsmodus erfolgen, in dem dann der Fahrzeugführer vorteilhaft aufgefordert wird, eine entsprechenden Positionierung der wenigstens einen Markierung vorzunehmen oder selbst zu fahren.
Nach der Positionierung der Markierung wird dann diese Position erkannt und ausgewertet. Die Bestimmung einer Zielposition kann beispielsweise derart erfolgen, dass die Zielposition so festgelegt wird, dass die Position der wenigstens einen Markierung die Mitte des Fahrzeugs hinsichtlich dessen Breite am hinteren Ende des Fahrzeugs darstellt.
Dabei kann die wenigstens eine definierte Markierung eine Zuordnung des Fahrzeugs hinsichtlich der Position sowie der Fahrzeuglängsrichtung in der Zielposition ermöglichen.
Die Zielposition wird dem Fahrer interaktiv auf einem Display angezeigt oder durch Marken in der Umgebung als Lernbeispiel vorgegeben. Die dazugehörige Umgebung wird sodann abgespeichert.
Dazu kann bei Verwendung lediglich einer Markierung diese beispielsweise eine Struktur aufweisen. Dadurch wird es dann möglich, nicht nur die Position der Markierung zu bestimmen sondern auch deren Ausrichtung. Beispielsweise kann die Zielposition dann definiert so festgelegt werden, dass die Fahrzeuglängsrichtung in der Zielposition in Richtung der Struktur der Markierung verläuft oder auch senkrecht zu der Markierung.
Bei Verwendung mehrerer Markierungen kann auf Grund der Position dieser Markierungen zueinander die Fahrzeuglängsrichtung in der Zielposition festgelegt werden.
Weiterhin kann die wenigstens eine definierte Markierung an einem Stativ befestigt werden. Es kann sich bei der Markierung aber beispielsweise auch um einen Stab der von einer Person gehalten wird handeln. Hierbei kann der Stab auch mit Reflektoren versehen sein, sodass dieser in Bildszenen besonders leicht zu erkennen ist. Es ist aber auch möglich, Reflektoren an der Kleidung von Personen anzubringen. Die von einer Person damit angezeigten Positionen können sodann in Bildaufnahmen besonders gut erkannt werden.
Vorteilhaft wird dadurch erreicht, dass die Anbringung der Markierung weitgehend unabhängig von Eigenschaften oder Befestigungsmöglichkeiten in der Umgebung möglich wird.

Claims

Verfahren zum automatisierten Auffinden von Zielpositionen, die von einem Fahrzeug in einer Umgebung anzufahren sind, dadurch gekennzeichnet, dass das Fahrzeug eine bilderkennende Einrichtung aufweist sowie eine Einrichtung zum Speichern von erkannten Bildinformationen sowie eine Einrichtung zum Vergleich von aktuellen Bildinformationen mit gespeicherten Bildinformationen, wobei bei einer erkannten oder vorgegebenen Zielposition mittels der bilderkennenden Einrichtung die Umgebung erfasst wird, wobei die erkannten Bildinformationen zu dieser Umgebung gespeichert werden, wobei beim künftigen Suchen von Zielpositionen die gespeicherten Bildinformationen mit aktuellen Bildinformationen verglichen werden, um mittels einer Korrelation zwischen den gespeicherten Bildinformationen und den aktuellen Bildinformationen in einer neuen Umgebung mögliche Zielpositionen zu erkennen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Bestimmung der Korrelation die gespeicherten Bildinformationen in Ausschnitten mit den aktuellen Bildinformationen verglichen werden, wobei die einzelnen Bildausschnitte unterschiedliche Ausdehnungen der Umgebung um die erkannte Zielposition betreffen.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Ausschnitte in der vertikalen Richtung begrenzt werden und in seitlicher Richtung unterschiedliche Ausdehnungen aufweisen.
Verfahren nach einem der vorher gehenden Ansprüche, dadurch gekennzeichnet, dass bei der Korrelation die Kanten und Umrisse der erkannten Objekte berücksichtigt werden und die Gestaltung von Oberflächen unberücksichtigt bleibt.
Verfahren nach einem der vorher gehenden Ansprüche, dadurch gekennzeichnet, dass bestimmte Bildmuster vorab in Zuordnung zu Zielpositionen speicherbar sind.