DE102017115991A1

DE102017115991A1 - Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug

Info

Publication number: DE102017115991A1
Application number: DE102017115991.6A
Authority: DE
Inventors: Ciaran Hughes; Catherine Enright; Jonathan Horgan; Gustavo Pelaez; Olivia Donnellan; German Feijoo
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2017-07-17
Filing date: 2017-07-17
Publication date: 2019-01-17
Also published as: WO2019016114A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems (2) für ein Kraftfahrzeug (1), bei welchem in einer Trainingsphase des Fahrerassistenzsystems (2), während dem das Kraftfahrzeug (1) von einem Fahrer manuell entlang einer Trajektorie (11) manövriert wird, die Trajektorie (11) aufgezeichnet wird und anhand zumindest eines Bilds, welches mit einer Kamera (4) des Kraftfahrzeugs (1) bereitgestellt wird, eine Mehrzahl von Objektmerkmalen (18), welche Objekte (10) in einem Umgebungsbereich (8) des Kraftfahrzeugs (1) beschreiben, gespeichert werden, und in einer Betriebsphase des Fahrerassistenzsystems (2) das Kraftfahrzeug (1) anhand der aufgezeichneten Trajektorie (11) und der gespeicherten Objektmerkmale (18) zumindest semi-autonom entlang der aufgezeichneten Trajektorie (11) manövriert wird, wobei in der Betriebsphase eine Mehrzahl von Objektmerkmalen (19) erkannt wird, die erkannten Objektmerkmalen (19) den gespeicherten Objektmerkmalen (18) zugeordnet werden und anhand der Zuordnung entschieden wird, ob ein erneutes Speichern der Objektmerkmale (18) und/oder der Trajektorie (11) erforderlich ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug, bei welchem in einer Trainingsphase des Fahrerassistenzsystems, während dem das Kraftfahrzeug von einem Fahrer manuell entlang einer Trajektorie manövriert wird, die Trajektorie gespeichert wird und anhand zumindest eines Bilds, welches mit einer Kamera des Kraftfahrzeugs bereitgestellt wird, eine Mehrzahl von Objektmerkmalen, welche Objekte in einem Umgebungsbereich des Kraftfahrzeugs beschreiben, gespeichert wird, und in einer Betriebsphase des Fahrerassistenzsystems das Kraftfahrzeug anhand der gespeicherten Trajektorie und der gespeicherten Objektmerkmale zumindest semi-autonom entlang der gespeicherten Trajektorie manövriert wird. Darüber hinaus betrifft die vorliegende Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug.
Aus dem Stand der Technik sind Fahrerassistenzsysteme bekannt, mittels welchen das Kraftfahrzeug entlang einer zuvor aufgezeichneten Trajektorie manövriert werden kann. Zum Aufzeichnen der Trajektorie kann das Fahrerassistenzsystem zunächst in einer Trainingsphase betrieben werden. In der Trainingsphase wird das Kraftfahrzeug manuell von einem Fahrer des Kraftfahrzeugs manövriert. Die Trajektorie, die das Kraftfahrzeug während des manuellen Manövrierens zurücklegt, wird von dem Fahrerassistenzsystem aufgezeichnet. Dabei ist es ferner vorgesehen, dass während des manuellen Manövrierens Objekte in der Umgebung des Kraftfahrzeugs erkannt werden und Objektmerkmale, welche diese Objekte beschreiben, gespeichert werden.
In einer nachfolgenden Betriebsphase des Fahrerassistenzsystems kann dann das Kraftfahrzeug semi-autonom oder autonom entlang der aufgezeichneten Trajektorie manövriert werden. Bei den aus dem Stand der Technik bekannten Fahrerassistenzsystemen wird das Kraftfahrzeug zwischen einer Startposition und einer Zielposition entlang der Trajektorie manövriert. Beispielsweise kann das Kraftfahrzeug entlang der gespeicherten Trajektorie manövriert werden, falls erkannt wird, dass das Kraftfahrzeug die Startposition der Trajektorie erreicht hat. Bei dem zumindest semi-autonomen Manövrieren des Kraftfahrzeugs können die zuvor gespeicherten Objektmerkmale als Landmarken herangezogen werden. Auf diese Weise kann der Fahrer des Kraftfahrzeugs beispielsweise bei Parkmanövern in einer Heimatzone unterstützt werden. Hierbei kann der Fahrer beispielsweise bei dem täglichen Einparken des Kraftfahrzeugs in eine Garage seines Hauses oder in einen Parkplatz an seiner Arbeitsstätte unterstützt werden.
Dabei kann es der Fall sein, dass sich die Umgebung, in welcher die Trajektorie aufgezeichnet wurde, in Abhängigkeit von der Zeit verändert. Beispielsweise kann sich die Umgebung in Abhängigkeit von der Jahreszeit verändern. Wenn die Trainingsphase im Sommer durchgeführt wurde, sind an den Bäumen, welche als Objekte erfasst werden, Blätter vorhanden. Diese Blätter sind im Winter nicht mehr vorhanden, wodurch sich die erkannten Objekte und deren Objektmerkmale deutlich verändern. In diesem Fall ist eine erneute Trainingsphase beziehungsweise ein erneutes Aufzeichnen der Trajektorie und der Objektmerkmale erforderlich. Gemäß dem Stand der Technik ist es vorgesehen, dass dieses erneute Aufzeichnen der Objektmerkmale und der Trajektorie von dem Fahrer durch eine Bedieneingabe vorgegeben wird.
In diese Zusammenhang beschreibt die DE 10 2014 018 192 A1 ein Verfahren zum Steuern eines Fahrzeugs, bei welchem aus Fahrdaten des Fahrzeugs eine Solltrajektorie bestimmt wird, welche dem Fahrzeug bei automatischer Fahrt zugrunde gelegt wird. Bei einer geänderten Umgebung des Fahrzeugs wird eine aus aktuellen Fahrdaten des Fahrzeugs ermittelte Trajektorie mit einer Solltrajektorie verglichen und eine Abweichung zwischen der neuen Trajektorie und der Solltrajektorie ermittelt. In Abhängigkeit von der Abweichung wird eine neue Solltrajektorie eingestellt.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein Betrieb eines Fahrerassistenzsystems, bei welchem in einer Lernphase eine Trajektorie aufgezeichnet wird und in einer Betriebsphase ein zumindest semi-autonomes Manövrieren entlang der Trajektorie durchgeführt wird, effizienter und benutzerfreundlicher durchgeführt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einer Ausführungsform eines Verfahrens zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug werden in einer Trainingsphase des Fahrerassistenzsystems, während der das Kraftfahrzeug bevorzugt von einem Fahrer manuell entlang einer Trajektorie manövriert wird, die Trajektorie gespeichert und insbesondere anhand zumindest eines Bilds, welches insbesondere mit einer Kamera des Kraftfahrzeugs bereitgestellt wird, wird eine Mehrzahl von Objektmerkmalen, welche insbesondere Objekte in einem Umgebungsbereich des Kraftfahrzeugs beschreiben, gespeichert. In einer Betriebsphase des Fahrerassistenzsystems wird das Kraftfahrzeug insbesondere anhand der gespeicherten Trajektorie und der gespeicherten Objektmerkmale zumindest semi-autonom entlang der gespeicherten Trajektorie manövriert. Dabei ist es insbesondere vorgesehen, dass in dem Betriebsmodus eine Mehrzahl von Objektmerkmalen erkannt wird. Darüber hinaus werden die erkannten Objektmerkmale insbesondere den gespeicherten Objektmerkmalen zugeordnet. Insbesondere wird anhand der Zuordnung entschieden, ob ein erneutes Speicher der Objektmerkmale und/oder der Trajektorie erforderlich ist.
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug. Hierbei werden in einer Trainingsphase des Fahrerassistenzsystems, während der das Kraftfahrzeug von einem Fahrer manuell entlang einer Trajektorie manövriert wird, die Trajektorie gespeichert und anhand zumindest eines Bilds, welches mit einer Kamera des Kraftfahrzeugs bereitgestellt wird, eine Mehrzahl von Objektmerkmalen, welche Objekte in einem Umgebungsbereich des Kraftfahrzeugs beschreiben, gespeichert. In einer Betriebsphase des Fahrerassistenzsystems wird das Kraftfahrzeug anhand der gespeicherten Trajektorie und der gespeicherten Objektmerkmale zumindest semi-autonom entlang der gespeicherten Trajektorie manövriert. Dabei ist es ferner vorgesehen, dass in dem Betriebsmodus eine Mehrzahl von Objektmerkmalen erkannt wird, die erkannten Objektmerkmale den gespeicherten Objektmerkmalen zugeordnet werden und anhand der Zuordnung entschieden wird, ob ein erneutes Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist.
Mithilfe des Verfahrens soll das Fahrerassistenzsystem des Kraftfahrzeugs zunächst in der Trainingsphase beziehungsweise einer Lernphase trainiert werden. In der anschließenden Betriebsphase oder den anschließenden Betriebsphasen kann das Kraftfahrzeug dann auf Grundlage des Trainings mithilfe des Fahrerassistenzsystems manövriert werden. Beispielsweise kann das Verfahren dazu verwendet werden, das Kraftfahrzeug in eine Garage oder einen Stellplatz des Fahrers einzuparken. Das Verfahren kann auch dazu verwendet werden, das Kraftfahrzeug an einem Stellplatz an der Arbeitsstätte des Fahrers einzuparken. Dabei ist es vorgesehen, dass der Fahrer in der Trainingsphase die Trajektorie vorgibt, welche sich von einer Startposition zu einer Zielposition erstreckt. Entlang dieser Trajektorie kann dann das Kraftfahrzeug zu einem späteren Zeitpunkt in der Betriebsphase zumindest semi-autonom manövriert werden. In der Trainingsphase wird das Kraftfahrzeug ausschließlich von dem Fahrer manuell bedient. In der Trainingsphase wird die Trajektorie, die der Fahrer durch das manuelle Manövrieren vorgibt, mithilfe des Fahrerassistenzsystems aufgezeichnet. Hierzu kann beispielsweise fortlaufend der eingestellte Lenkwinkel und/oder die Umdrehungen zumindest eines Rades des Kraftfahrzeugs aufgezeichnet werden. Zudem können die Startposition und die Zielposition der Trajektorie gespeichert werden. Es kann auch vorgesehen sein, dass die Startposition, die Zielposition und/oder die Trajektorie mithilfe eines satellitengestützten Positionsbestimmungssystems bestimmt werden.
Darüber hinaus wird in der Trainingsphase zumindest ein Objekt in dem Umgebungsbereich des Kraftfahrzeugs erkannt. Bevorzugt werden mehrere Objekte in dem Umgebungsbereich erkannt. Während des manuellen Manövrierens kann mit der Kamera des Kraftfahrzeugs beziehungsweise des Fahrerassistenzsystems der Umgebungsbereich des Kraftfahrzeugs erfasst werden. Insbesondere können mehrere Kameras verwendet werden, um den Umgebungsbereich zu erfassen. Mit der zumindest einen Kamera werden Bilder bereitgestellt, welche den Umgebungsbereich beschreiben. Mithilfe eines entsprechenden Objekterkennungsalgorithmus können in den Bildern dann die Objektmerkmale erkannt werden, welche die Objekte in dem Umgebungsbereich beschreiben. Zusätzlich können auch weitere Umfeldsensoren des Fahrerassistenzsystems verwendet werden, um die Objekte zu erkennen. Dabei können zu einem Objekt auch mehrere Objektmerkmale bestimmt werden. Diese Objektmerkmale und deren Position können dann in einer digitalen Umgebungskarte, welche den Umgebungsbereich des Kraftfahrzeugs beschreibt, gespeichert werden. In dieser Umgebungskarte kann auch die Trajektorie und/oder Punkte der Trajektorie gespeichert werden. Somit ist in der Umgebungskarte eine Information vorhanden, welche die relative Lage der Objektmerkmale zu der gespeicherten Trajektorie beschreibt. Somit können die gespeicherten Objektmerkmale in der nachfolgenden Betriebsphase des Fahrerassistenzsystems als Landmarken zur Orientierung verwendet werden. In der Betriebsphase kann es vorgesehen sein, dass das Kraftfahrzeug semi-autonom mittels des Fahrerassistenzsystems manövriert wird. Dabei greift das Fahrerassistenzsystem in die Lenkung ein und der Fahrer des Kraftfahrzeugs betätigt weiterhin das Gaspedal und das Bremspedal. Bevorzugt wird das Kraftfahrzeug vollautonom entlang der Trajektorie manövriert. In diesem Fall übernimmt das Fahrerassistenzsystem auch den Eingriff in einen Antriebsmotor und ein Bremssystem des Kraftfahrzeugs.
Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist es vorgesehen, dass in der Betriebsphase eine Mehrzahl von Objektmerkmalen erkannt wird. Diese erkannten Objektmerkmale werden dann den gespeicherten Objektmerkmalen zugeordnet. Dies bedeutet, dass auch während der nachfolgenden Betriebsphase beziehungsweise den nachfolgenden Betriebsphase anhand des zumindest einen Bilds, welches mit der Kamera bereitgestellt wird, Objektmerkmale erkannt werden. Diese erkannten Objektmerkmale werden dann den zuvor in der Trainingsphase gespeicherten Objektmerkmalen zugeordnet. Auf Grundlage der Zuordnung kann dann das Kraftfahrzeug entlang der gespeicherten Trajektorie manövriert werden. Vorliegend wird nun anhand der Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen überprüft, ob ein erneutes Speicher der Objektmerkmale und/oder ein erneutes Aufzeichnen der Trajektorie erforderlich ist. Anhand der Zuordnung der erkannten Objektmale zu den gespeicherten Objektmerkmalen kann automatisch erkannt werden, ob sich der Umgebungsbereich beziehungsweise der Bereich, in dem die Objektmerkmale erkannt wurden, verändert hat. Mit anderen Worten wird also anhand der Zuordnung überprüft, ob das Durchführen einer erneuten Trainingsphase erforderlich ist. Insbesondere wird bestimmt, ob die gespeicherten Objektmerkmale und/oder die Trajektorie, welche als Trainingsdaten bestimmt wurden, erneut bestimmt werden müssen. Somit kann automatisch erkannt werden, ob ein erneutes Bestimmten der Trainingsdaten beziehungsweise ein erneutes Durchführen einer Trainingsphase erforderlich ist, ohne dass hierzu eine manuelle Eingabe von dem Benutzer beziehungsweise dem Fahrer erforderlich ist. Auf diese Weise kann das Fahrerassistenzsystem auf sich ändernde Umgebungsbedingungen automatisch eingestellt werden. Diese Änderungen in der Umgebung können durch Veränderungen der Objekte aufgrund der Jahreszeit, der Beleuchtung und/oder der Witterungsbedingungen begründet sein. Somit kann das Fahrerassistenzsystem insgesamt effizienter und benutzerfreundlicher betrieben werden.
Bevorzugt werden die Objektmerkmale und/oder die Trajektorie während einer nachfolgenden Betriebsphase erneut gespeichert, falls entschieden wird, dass ein erneutes Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist. Falls die Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen ergibt, dass ein erneutes Aufzeichnen der Trainingsdaten erforderlich ist, kann dies automatisch in der nachfolgenden Betriebsphase durchgeführt werden. Somit kann sich das Fahrerassistenzsystem automatisch an die sich ändernden Umgebungsbedingungen anpassen, wodurch ein zuverlässiger Betrieb garantiert werden kann. Dieses automatische erneute Speicher der Objektmerkmale und/oder der Trajektorie kann somit fortlaufend durchgeführt werden, ohne dass dies der Nutzer beziehungsweise der Fahrer wahrnimmt. Auf diese Weise können auch Übergange in Umgebungsbedingungen berücksichtigt werden. Dies gilt beispielsweise für den Herbst, in welchem die Bäume nur teilweise die Blätter verloren haben. Somit kann das Fahrerassistenzsystem benutzerfreundlicher betrieben werden.
In einer Ausführungsform wird die Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen mittels eines visuellen Verfahrens der simultanen Lokalisierung und Kartenerstellung durchgeführt. Mit anderen Worten wird ein sogenannter VSLAM-Algorithmus (VSLAM - Visual Simultaneous Localization and Mapping) verwendet. Zusätzlich oder als Alternative können auch Algorithmen im Zusammenhang mit VSLAM verwendet werden, beispielsweise Structure From Motion (Strukturen aus der Bewegung) und oder Bundle Adjustment (Bündelausgleich). Mithilfe des Algorithmus können während der Trainingsphase die Objektmerkmale bestimmt werden und in die Umgebungskarte eingetragen werden. Zudem können Punkte, welche die Trajektorie beschreiben, in die Umgebungskarte eingetragen werden. In der Betriebsphase wird der Algorithmus dazu verwendet, die erkannten Objektmerkmale den gespeicherten Objektmerkmalen, welche in der Trainingsphase bestimmt wurden, zuzuordnen. Anhand der Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen kann der Algorithmus die aktuelle Position des Kraftfahrzeugs relativ zu der aufgezeichneten Trajektorie bestimmen. Somit kann die Zuordnung der Objektmerkmale auf zuverlässige Weise durchgeführt werden.
In einer weiteren Ausführungsform wird für die gespeicherten Objektmerkmale und/oder die erkannten Objektmerkmale ein visueller Deskriptor, welcher das jeweilige Objektmerkmal in dem Bild beschreibt, bestimmt und die Zuordnung wird anhand der visuellen Deskriptoren bestimmt. Für die gespeicherten Objektmerkmale können ein oder mehrere visuelle Deskriptoren bestimmt und gespeichert werden. In gleicher Weise können für die erkannten Objektmerkmale in der Betriebsphase visuelle Deskriptoren bestimmt werden. Bei der Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen können insbesondere die visuellen Deskriptoren der erkannten Objektmerkmale den visuellen Deskriptoren der gespeicherten Objektmerkmale zugeordnet werden. Der jeweilige visuelle Deskriptor stellt insbesondere eine algorithmische Repräsentation dar, wie das Objektmerkmal in dem Bild „aussieht“.
Der jeweilige visuelle Deskriptor kann eine Farbe, eine Form, eine Textur oder dergleichen der Objektmerkmale beschreiben. Dies ermöglicht insgesamt eine zuverlässige Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen.
Weiterhin ist es vorteilhaft, wenn anhand der Zuordnung ein Qualitätsmaß bestimmt wird, welches eine Übereinstimmung zwischen den erkannten Objektmerkmalen und den gespeicherten Objektmerkmalen beschreibt, und anhand des Qualitätsmaßes entschieden wird, ob das erneute Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist. Insbesondere ist es vorgesehen, dass anhand der Übereinstimmung der visuellen Deskriptoren der erkannten Objektmerkmale mit den visuellen Deskriptoren der gespeicherten Merkmale das Qualitätsmaß bestimmt wird. Dieses Qualitätsmaß beschreibt insbesondere, wie gut die Übereinstimmung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen ist. Anhand dieses Qualitätsmaßes kann dann entschieden werden, ob ein erneutes Aufzeichnen der Trainingsdaten erforderlich ist. Hierzu kann das Qualitätsmaß beispielsweise mit einem vorbestimmten Grenzwert verglichen werden.
In einer weiteren Ausführungsform wird eine Anzahl von den erkannten Objektmerkmalen, welche den gespeicherten Objektmerkmalen zugeordnet werden, bestimmt und anhand der Anzahl wird entschieden, ob das erneute Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist. Ein weiteres Kriterium, anhand dessen entschieden wird, ob das erneute Aufzeichnen der Trainingsdaten erforderlich ist, ist die Anzahl der gültigen Übereinstimmungen bei der Zuordnung der erkannten Objektmerkmale zu den gespeicherten Objektmerkmalen. Wenn in der Betriebsphase aus dem Bild die Objektmerkmale extrahiert werden, kann nicht jeden der gespeicherten Objektmerkmale ein erkanntes Objektmerkmal zugeordnet werden. Wenn sich die Umgebungsbedingungen ändern, wird die Anzahl sinken. Falls diese Anzahl beispielsweise einen vorbestimmten Schwellenwert unterschreitet, kann entschieden werden, dass das erneute Bestimmen der Objektmerkmale und/oder der Trajektorie erforderlich ist.
In einer weiteren Ausführungsform wird eines der gespeicherten Objektmerkmale gelöscht, falls diesem Objektmerkmal in einer vorbestimmten Anzahl von Betriebsphasen und/oder für eine vorbestimmte Zeitdauer in den Betriebsphasen kein erkanntes Objektmerkmal zugeordnet wird. Es kann insbesondere vorgesehen sein, dass jedem der gespeicherten Objektmerkmale eine Information zugeordnet wird, welche beschreibt, seit welcher Zeit dieses Objektmerkmal zuletzt in einer Betriebsphase erkannt wurde. In diese Zeit kann eine physikalische Zeit, beispielsweise ein Datum oder eine Uhrzeit, oder die Anzahl der durchgeführten Betriebsphasen sein. Falls die Zeit einen vorbestimmten Grenzwert überschreitet, kann dieses gespeicherte Objektmerkmal gelöscht werden. Hier kann beispielsweise davon ausgegangen werden, dass dieses gespeicherte Objektmerkmal ein Objekt beschreibt, welches nicht mehr vorhanden ist, oder welches fälschlicherweise gespeichert wurde.
In einer weiteren Ausführungsform wird ein weiteres Objektmerkmal gespeichert, falls dieses in einer vorbestimmten Anzahl von Betriebsphase erkannt wird. In jeder Betriebsphase werden Objektmerkmale erkannt, welche keinem der gespeicherten Objektmerkmale zugeordnet werden können. Wenn diese Objektmerkmale in mehreren aufeinanderfolgenden Betriebsphasen erkannt werden, kann davon ausgegangen werden, dass diese von einem neuen Objekt stammen oder dass diese von einer Veränderung der Umgebungsbedingungen stammen. Falls diese Objektmerkmale in mehreren Betriebsphasen beziehungsweise einer vorbestimmten Anzahl von Betriebsphase erkannt werden, können diese gespeichert werden. Die Auswahl der neu gespeicherten Objektmerkmale kann auf Grundlage von Kriterien bestimmt werden, welche die Qualität des Objektmerkmals beschreiben. Hier kann beispielsweise das optische Herausragen und/oder das Rauschen bei der Rekonstruktion berücksichtigt werden. Zudem kann überprüft werden, ob dem Objektmerkmal weiteren Objektmerkmalen zugeordnet werden kann oder ob es ein Ausreißer ist. Dabei kann die Anzahl der neu gespeicherten Objektmerkmale begrenzt werden. Beispielsweise kann die Anzahl der neu gespeicherten Objektmerkmale den zuvor gelöschten Objektmerkmalen entsprechen. Somit kann der Speicherplatz begrenzt werden und der Rechenaufwand reduziert werden.
In einer weiteren Ausführungsform wird in der Trainingsphase und/oder in der Betriebsphase eine Aufnahmeinformation zu den jeweiligen Objektmerkmalen gespeichert und die Zuordnung wird anhand der jeweiligen Aufnahmeinformation durchgeführt. In der Trainingsphase können zusätzlich Aufnahmeinformationen bestimmt werden, welche dann den gespeicherten Objektmerkmalen zugeordnet werden. Diese Aufnahmeinformationen können die Aufnahme des Bilds mittels der Kamera und/oder die Umgebungsbedingungen beschreiben. In gleicher Weise können während des Betriebsmodus Aufnahmeinformationen zu den erkannten Objektmerkmalen bestimmt werden. Bei dem Vergleich der erkannten Objektmerkmale mit den gespeicherten Objektmerkmalen können dann diese Aufnahmeinformationen berücksichtigt werden.
Beispielweise kann überprüft werden, ob die Aufnahmeinformationen ähnlich oder vergleichbar sind. Auf diese Weise kann die Robustheit bei der Zuordnung verbessert werden.
Dabei ist es insbesondere vorgesehen, dass die Aufnahmeinformation eine Beleuchtungssituation in dem Umgebungsbereich, eine Tageszeit und/oder eine Jahreszeit beschreibt. Somit kann beispielsweise berücksichtigt werden, dass unterschiedliche Beleuchtungssituationen bei dem Speichern der Objektmerkmale während der Trainingsphase und beim Erkennen der Objektmerkmale während der Betriebsphase vorliegen. Wenn beispielsweise Objektmerkmale bei hellen Umgebungsbedingungen gespeichert wurden, kann es der Fall sein, dass diese bei dunklen Umgebungsbedingungen in der Betriebsphase nicht erkannt werden. Wenn die gespeicherten Objektmerkmale zu einer anderen Jahreszeit bestimmt wurden, als die Objektmerkmale erkannt werden, können sich ebenfalls Unterschiede ergeben. Beispielsweise können Objektmerkmale gespeichert werden, welche Blätter an Bäumen oder Pflanzen beschreiben, wobei diese während einer Betriebsphase, die im Winter durchgeführt wird, nicht vorhanden sind. Dies ermöglicht eine zuverlässige Zuordnung der Objektmerkmale während der Betriebsphase.
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens und der vorteilhaften Ausgestaltungen davon ausgelegt. Das Fahrerassistenzsystem kann die Kamera umfassen, mit welcher die Objekte in dem Umgebungsbereich des Kraftfahrzeugs erfasst werden können. Darüber hinaus kann das Fahrerassistenzsystem einen Bewegungssensor aufweisen, mit welchem die Bewegung des Kraftfahrzeugs in der Trainingsphase aufgezeichnet werden kann. Darüber hinaus kann das Fahrerassistenzsystem ein elektronisches Steuergerät aufweisen, mittels welchem die Trajektorie aufgezeichnet und die Objektmerkmale und/oder die dazugehörigen optischen Deskriptoren gespeichert werden können. Zudem kann mittels des Steuergeräts eine Lenkung, ein Antriebsmotor und/oder ein Bremssystem während des zumindest semi-autonomen Manövrierens angesteuert werden können. Des Weiteren kann das Fahrerassistenzsystem ein satellitengestütztes Positionsbestimmungssystem aufweisen.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:

1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches ein Fahrerassistenzsystem aufweist;
2 das Kraftfahrzeug, welches manuell entlang einer Trajektorie manövriert wird, wobei das Fahrerassistenzsystem in einer Trainingsphase betrieben wird;
3 das Kraftfahrzeug, welches in einer Betriebsphase des Fahrerassistenzsystems entlang einer Trajektorie manövriert wird; und
4 eine digitale Umgebungskarte, welche die Trajektorie, in der Trainingsphase gespeicherte Objektmerkmale sowie der Betriebsphase erkannte Objektmerkmale beschreibt.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2. Das Fahrerassistenzsystem 2 umfasst wiederum ein elektronisches Steuergerät 3. Darüber hinaus umfasst das Fahrerassistenzsystem 2 zumindest eine Kamera 4. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrerassistenzsystem 2 vier Kameras 4, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Vorliegend ist eine der Kameras 4 in einem Heckbereich 5 des Kraftfahrzeugs 1 angeordnet, eine der Kameras 4 ist in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet und die übrigen zwei Kameras 4 sind in einem jeweiligen Seitenbereich 6, insbesondere in einem Bereich der Seitenspiegel, des Kraftfahrzeugs 1 angeordnet. Die Anzahl und Anordnung der Kameras 4 ist rein beispielhaft zu verstehen.
Mit den Kameras 4 können Objekte 10 in einem Umgebungsbereich 8 des Kraftfahrzeugs 1 erfasst werden. Hierzu können mit den Kameras 4 Bilder beziehungsweise Bildsequenzen bereitgestellt werden, welche die Objekte 10 in dem Umgebungsbereich 8 beschreiben. Diese Bilder können dann von den jeweiligen Kameras 4 an das Steuergerät 3 übertragen werden. Mithilfe eines entsprechenden Objekterkennungsalgorithmus kann dann das Steuergerät 3 die Objekte 10 in dem Umgebungsbereich 8 erkannt werden.
Darüber hinaus umfasst das Fahrerassistenzsystem 2 einen Bewegungssensor 9, mittels welchem eine Bewegung des Kraftfahrzeugs 1 aufgezeichnet werden kann. Mit dem Bewegungssensor 9 kann beispielsweise fortlaufend ein Lenkwinkel und/oder Umdrehungen zumindest eines Rades des Kraftfahrzeugs 1 bestimmt werden. Auch der Bewegungssensor 9 ist zur Datenübertragung dem Steuergerät 3 verbunden. Darüber hinaus kann der Bewegungssensor 9 einen Empfänger für ein satellitengestütztes Positionsbestimmungssystem aufweisen. Mit diesem kann die Position des Kraftfahrzeugs 1 fortlaufend bestimmt werden.
2 zeigt das Kraftfahrzeug 1, wobei das Fahrerassistenzsystem 2 in einer Trainingsphase betrieben wird. In der Trainingsphase wird das Kraftfahrzeug 1 von einem Fahrer des Kraftfahrzeugs 1 manuell entlang einer Trajektorie 11 manövriert. Diese Trajektorie 11, welche mehrere Punkte 12 umfasst, erstreckt sich von einem Startpunkt 13 zu einem Zielpunkt 14. Vorliegend befindet sich der Zielpunkt 14 innerhalb einer Garage 15. Dabei wird das Kraftfahrzeug 1 während des Manövrierens an mehreren Objekten 10 vorbei manövriert. Vorliegend sind in dem Umgebungsbereich 8 Objekte 10 in Form von Pflanzen 16, einem Fußgänger 17 sowie der Garage 15 vorhanden. Während des Manövrierens des Kraftfahrzeugs 1 in der Trainingsphase werden anhand der Bilder, die mit den Kameras 4 bereitgestellt werden, Objektmerkmale 18 der Objekte 10 erkannt und gespeichert. Darüber hinaus wird die Trajektorie 11 beziehungsweise die Punkte 12 der Trajektorie 11 gespeichert. Die Trajektorie 11 beziehungsweise deren Punkte 12 können mithilfe des Bewegungssensors 9 bestimmt werden.
3 zeigt das Kraftfahrzeug 1, wobei das Fahrerassistenzsystem 2 in einer Betriebsphase betrieben wird, welche zeitlich auf die Trainingsphase folgt. Hierbei ist schematisch die Trajektorie 11 dargestellt, welche in der vorhergehenden Trainingsphase bestimmt wurde. Sobald erkannt wurde, dass sich das Kraftfahrzeug 1 an der Startposition 13 der gespeicherten Trajektorie 11 befindet, kann das Kraftfahrzeug 1 entlang der Trajektorie 11 zu dem Zielpunkt 14 in der Garage 15 manövriert werden. Dies gilt für den Fall, dass sich kein Hindernis auf der Trajektorie 11 befindet. Während der Betriebsphase werden Objektmerkmale 19 erkannt und den in der Trainingsphase gespeicherten Objektmerkmalen 18 zugeordnet.
4 zeigt eine Darstellung einer Umgebungskarte 20, welche die Trajektorie 11, die Punkte 12 der Trajektorie 11, die gespeicherten Objektmerkmale 18 und die erkannten Objektmerkmale 19 zeigt, welche den gespeicherten Objektmerkmalen 18 zugeordnet wurden. Dabei erfolgt das Zuordnen der erkannten Objektmerkmale 19 zu den gespeicherten Objektmerkmalen 18 mithilfe eines visuellen Algorithmus zur simultanen Lokalisierung und Kartenerstellung. Vorliegend ist zu erkennen, dass die Anzahl der erkannten Objektmerkmale 19 geringer als die in der Trainingsphase gespeicherten Objektmerkmale 18 ist. In der Trainingsphase kann zu den gespeicherten Objektmerkmalen 18 jeweils zumindest ein visueller Deskriptor bestimmt werden und in der digitalen Umgebungskarte 20 gespeichert werden. In der nachfolgenden Betriebsphase können zu den erkannten Objektmerkmalen 19 ebenfalls visuellen Deskriptoren bestimmt werden. In der Betriebsphase können dann die visuellen Deskriptoren der erkannten Objektmerkmale 19 den visuellen Deskriptoren der gespeicherten Objektmerkmale 18 zugeordnet werden. Somit kann das Kraftfahrzeug 1 anhand der bekannten Punkte 12 der Trajektorie 11 lokalisiert werden.
Aufgrund von sich ändernden Umgebungsbedingungen können sich Unterschiede zwischen den erkannten Objektmerkmalen 19 und den gespeicherten Objektmerkmalen 18 ergeben. Dies kann beispielsweise durch einen Unterschied bezüglich der Jahreszeit, der Tageszeit und/oder der Beleuchtungsverhältnisse begründet sein. Falls sich die Umgebungsbedingungen deutlich geändert haben, ist ein erneutes Aufzeichnen der Trajektorie 11 und/oder der gespeicherten Objektmerkmale 18 erforderlich, um das Fahrerassistenzsystem 2 in den Betriebsphasen zuverlässig betreiben zu können. Vorliegend soll automatisch erkannt werden, wann ein erneutes Aufzeichnen der gespeicherten Objektmerkmale 18 und/oder der Trajektorie 11 erforderlich ist.
In der Betriebsphase werden die erkannten Objektmerkmale 19 den gespeicherten Objektmerkmalen 18 mithilfe des Algorithmus zugeordnet. Auf Grundlage dieser Zuordnung kann ein Qualitätsmaß bestimmt werden, welches die Qualität der Zuordnung beziehungsweise der Übereinstimmung beschreibt. Dieses Qualitätsmaß kann dann als Kriterium verwendet werden, ob ein erneutes Aufzeichnen der gespeicherten Objektmerkmale 18 und/oder der Trajektorie 11 erforderlich ist. Als weiteres Kriterium kann die Anzahl der gültig zugeordneten erkannten Objektmerkmale 19 zu den gespeicherten Objektmerkmalen 18 verwendet werden. Wenn die Objektmerkmale 11 aus dem Bild extrahiert werden, können nicht alle Objektmerkmale 19 den gespeicherten Objektmerkmalen 18 zugeordnet werden. Wenn sich die Umgebungsbedingungen verändern, wird die Anzahl der gültigen Zuordnungen deutlich sinken. Sobald die Anzahl der gültigen Übereinstimmungen unterhalb eines Schwellwerts liegt und/oder das Qualitätsmaß einen vorbestimmten Grenzwert unterschreitet, kann entschieden werden, dass ein erneutes Aufzeichnen der Objektmerkmale 18 und/oder der Trajektorie 11 erforderlich ist. Dabei ist zu beachten, dass der Grenzwert beziehungsweise der Schwellwert so bestimmt werden kann, dass die Betriebsphase zuverlässig durchgeführt werden kann, sich aber Anzeichen ergeben, dass sich die Umgebungsbedingungen verändert haben. Dieses erneute Aufzeichnen der Objektmerkmale 18 und/oder der Trajektorie 11 wird dann automatisch in der nachfolgenden Betriebsphase durchgeführt.
Weiterhin ist es vorgesehen, dass die gespeicherten Objektmerkmale 18 und/oder die visuellen Deskriptoren der gespeicherten Objektmerkmale 18 im Betrieb des Fahrerassistenzsystems 2 dynamisch angepasst werden. Beispielsweise können gespeicherte Objektmerkmale 18, welche in dem Betriebsmodus niemals erkannt werden, gelöscht werden. Grundsätzlich ist eine initiale Trainingsphase erforderlich, in welcher der Fahrer die Trajektorie 11, entlang welcher das Kraftfahrzeug 1 manövriert werden soll, explizit vorgibt. Den Objektmerkmalen 18 kann zudem eine Information zugefügt werden, welche beschreibt, seit welcher Zeit dieses Objektmerkmal 18 zum letzten Mal in der Betriebsphase aufgefunden wurde. Falls diese Zeit einen Schwellwert überschreitet, kann dieses gespeicherte Objektmerkmal 18 aus der digitalen Umgebungskarte 20 gelöscht werden. Es kann auch vorgesehen sein, dass während der Betriebsphase neue Objektmerkmale 19 erkannt werden, welche aber keinem der gespeicherten Objektmerkmale 18 zugeordnet werden können. Hier kann davon ausgegangen werden, dass dieses Objektmerkmal 19 einem neuen Objekt 10 in dem Umgebungsbereich 8 zuzuordnen ist. Falls dieses Objektmerkmal 19 in einer vorbestimmten Anzahl von Betriebsphase erkannt wird, kann dieses ebenfalls gespeichert werden beziehungsweise als gespeichertes Objektmerkmal 18 verwendet werden.
Weiterhin kann es vorgesehen sein, dass den Objektmerkmalen 18, 19 zusätzliche Aufnahmeinformationen hinzugefügt werden. Diese Aufnahmeinformationen können beispielsweise die Tageszeit, die Jahreszeit, den Beleuchtungszustand oder dergleichen beschreiben. Diese Aufnahmeinformationen können dann bei der Zuordnung der erkannten Objektmerkmale 19 zu den gespeicherten Objektmerkmalen 18 berücksichtigt werden. Ferner können diese Aufnahmeinformationen auch bei dem Löschen von gespeicherten Objektmerkmalen 18 berücksichtigt werden.
Insgesamt kann somit ohne Benutzereingabe durch den Fahrer entschieden werden, ob die gespeicherte Trajektorie 11 und/oder die gespeicherten Objektmerkmale 18 erneut aufzuzeichnen ist. Das erneute Aufzeichnen dieser Trainingsdaten kann dann in der nachfolgenden Betriebsphase durchgeführt werden. Somit können die Trainingsdaten fortlaufend aktualisiert werden und an die sich graduell verändernden Umgebungsbedingungen angepasst werden. Dabei ist es nicht erforderlich, dass der Fahrer das erneute Aufzeichnen der Trainingsdaten manuell veranlasst. Dies ermöglicht insgesamt einen zuverlässigen Betrieb des Fahrerassistenzsystems 2.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014018192 A1 [0005]

Claims

Verfahren zum Betreiben eines Fahrerassistenzsystems (2) für ein Kraftfahrzeug (1), bei welchem in einer Trainingsphase des Fahrerassistenzsystems (2), während dem das Kraftfahrzeug (1) von einem Fahrer manuell entlang einer Trajektorie (11) manövriert wird, die Trajektorie (11) gespeichert wird und anhand zumindest eines Bilds, welches mit einer Kamera (4) des Kraftfahrzeugs (1) bereitgestellt wird, eine Mehrzahl von Objektmerkmalen (18), welche Objekte (10) in einem Umgebungsbereich (8) des Kraftfahrzeugs (1) beschreiben, gespeichert werden, und in einer Betriebsphase des Fahrerassistenzsystems (2) das Kraftfahrzeug (1) anhand der gespeicherten Trajektorie (11) und der gespeicherten Objektmerkmale (18) zumindest semi-autonom entlang der aufgezeichneten Trajektorie (11) manövriert wird, dadurch gekennzeichnet, dass in der Betriebsphase eine Mehrzahl von Objektmerkmalen (19) erkannt wird, die erkannten Objektmerkmalen (19) den gespeicherten Objektmerkmalen (18) zugeordnet werden und anhand der Zuordnung entschieden wird, ob ein erneutes Speichern der Objektmerkmale (18) und/oder der Trajektorie (11) erforderlich ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Objektmerkmale (18) und/oder die Trajektorie (11) in einer nachfolgenden Betriebsphase erneut gespeichert werden, falls entscheiden wird, dass ein erneutes Speichern der Objektmerkmale (18) und/oder der Trajektorie (11) erforderlich ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Zuordnung der erkannten Objektmerkmale (19) zu den gespeicherten Objektmerkmalen (18) mittels eines visuellen Verfahrens der simultanen Lokalisierung und Kartenerstellung, Structure From Motion und/oder Bündelausgleich durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die gespeicherten Objektmerkmale (18) und/oder die erkannten Objektmerkmale (19) ein visueller Deskriptor, welcher das jeweilige Objektmerkmal (18, 19) in dem Bild beschreibt, bestimmt wird und die Zuordnung anhand der visuellen Deskriptoren bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Zuordnung ein Qualitätsmaß bestimmt wird, welches eine Übereinstimmung zwischen den erkannten Objektmerkmalen (19) und den gespeicherten Objektmerkmalen (18) beschreibt, und anhand des Qualitätsmaßes entschieden wird, ob das erneute Aufzeichnen der Objektmerkmale (18) und/oder die Trajektorie (11) erforderlich ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Anzahl von den erkannten Objektmerkmalen (19), welche den gespeicherten Objektmerkmalen (18) zugeordnet werden, bestimmt wird und anhand der Anzahl entschieden wird, ob das erneute Aufzeichnen Objektmerkmale (18) und/oder die Trajektorie (11) erforderlich ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eines der gespeicherten Objektmerkmale (18) gelöscht wird, falls diesem Objektmerkmal (18) in einer vorbestimmten Anzahl von Betriebsphasen und/oder für eine vorbestimmte Zeitdauer in den Betriebsphasen keines der erkannten Objektmerkmale (19) zugeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiteres Objektmerkmal gespeichert wird, falls dieses in einer vorbestimmten Anzahl von Betriebsphasen erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Trainingsphase und/oder der Betriebsphase eine Aufnahmeinformation zu den jeweiligen Objektmerkmalen (18, 19) gespeichert wird und die Zuordnung anhand der jeweiligen Aufnahmeinformation durchgeführt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Aufnahmeinformation eine Beleuchtungssituation in dem Umgebungsbereich (8), eine Tageszeit und/oder eine Jahreszeit beschreibt.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), welches zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 11.