DE102022001569A1

DE102022001569A1 - Method for detecting and selecting a parking space

Info

Publication number: DE102022001569A1
Application number: DE102022001569.2A
Authority: DE
Inventors: Hannes Michael Gorniaczyk
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-05-04
Filing date: 2022-05-04
Publication date: 2022-07-14

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs. Erfindungsgemäß werden eine Kopfposition und Kopforientierung sowie eine Blickrichtung eines Fahrers des Fahrzeugs ermittelt. Anhand der ermittelten Kopfposition, Kopforientierung und Blickrichtung sowie anhand von Fahrzeugdaten und/oder Kartendaten wird ermittelt, ob eine Parklückensuche des Fahrers vorliegt. Bei Vorliegen einer Parklückensuche des Fahrers wird eine Mensch-Maschine-Schnittstelle zur Vornahme von für den automatisierten Einparkvorgang betreffenden Benutzereingaben aktiviert.The invention relates to a method for detecting and selecting a parking space for an automated parking process of a vehicle. According to the invention, a head position and head orientation as well as a viewing direction of a driver of the vehicle are determined. Based on the determined head position, head orientation and line of sight and based on vehicle data and/or map data, it is determined whether the driver is searching for a parking space. If the driver is searching for a parking space, a human-machine interface is activated to make user inputs relevant to the automated parking process.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs.The invention relates to a method for detecting and selecting a parking space for an automated parking process of a vehicle.

Aus der DE 10 2017 216 442 A1 ist ein Verfahren für ein automatisches Parken eines Kraftfahrzeugs mit einem automatischen Parksystem bekannt. Das Parksystem umfasst eine Speichereinrichtung zum Speichern einer Besetzungszustandskarte einer Fahrzeugumgebung des Kraftfahrzeugs, wobei die Besetzungszustandskarte ein zweidimensionales Gitter von Zellen umfasst, deren jede mit einem Parameterwert assoziiert ist. Der Parameterwert nimmt einen der möglichen Besetzungszustände „frei“, „besetzt“ und „unbekannt“ an. Das Verfahren umfasst folgende Schritte:

- automatisches Ermitteln freier Bereiche der Fahrzeugumgebung auf der Grundlage der Besetzungszustandskarte als Kandidaten für Parklücken,
- Visualisieren der Fahrzeugumgebung einschließlich der ermittelten Kandidaten für Parklücken,
- Auswählen einer Parklücke aus den ermittelten Kandidaten und Visualisieren der ausgewählten Parklücke,
- Planen eines Fahrwegs von einer aktuellen Fahrzeugposition in die ausgewählte Parklücke unter Berücksichtigung gegebener Fahrzeugparameter und
- automatisches Steuern des Kraftfahrzeugs in die ausgewählte Parklücke entlang des geplanten Fahrwegs.

From the DE 10 2017 216 442 A1 a method for automatically parking a motor vehicle with an automatic parking system is known. The parking system includes storage means for storing an occupancy map of a vehicle environment of the motor vehicle, the occupancy map including a two-dimensional grid of cells each associated with a parameter value. The parameter value assumes one of the possible occupancy states "vacant", "occupied" and "unknown". The procedure includes the following steps:

- automatic determination of free areas of the vehicle environment based on the occupancy state map as candidates for parking spaces,
- Visualizing the vehicle environment including the determined candidates for parking spaces,
- selecting a parking space from the determined candidates and visualizing the selected parking space,
- Planning a route from a current vehicle position to the selected parking space, taking into account given vehicle parameters and
- Automatic control of the motor vehicle in the selected parking space along the planned route.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs anzugeben.The invention is based on the object of specifying a novel method for detecting and selecting a parking space for an automated parking process of a vehicle.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous configurations of the invention are the subject matter of the dependent claims.

In dem Verfahren zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs werden erfindungsgemäß eine Kopfposition und Kopforientierung sowie eine Blickrichtung eines Fahrers des Fahrzeugs ermittelt. Anhand der ermittelten Kopfposition, Kopforientierung und Blickrichtung sowie anhand von Fahrzeugdaten und/oder Kartendaten wird ermittelt, ob eine Parklückensuche des Fahrers vorliegt. Bei Vorliegen einer Parklückensuche des Fahrers wird eine Mensch-Maschine-Schnittstelle zur Vornahme von für den automatisierten Einparkvorgang betreffenden Benutzereingaben aktiviert.According to the invention, a head position and head orientation as well as a viewing direction of a driver of the vehicle are determined in the method for detecting and selecting a parking space for an automated parking process of a vehicle. Based on the determined head position, head orientation and line of sight and based on vehicle data and/or map data, it is determined whether the driver is searching for a parking space. If the driver is searching for a parking space, a human-machine interface is activated to make user inputs relevant to the automated parking process.

Parklücken können beispielsweise mit Ultraschallsensoren detektiert werden, indem ein seitlicher Abstand während einer Vorbeifahrt des Fahrzeugs an einer Parklücke überwacht wird, sofern die Parklücke durch Objekte, wie beispielsweise andere Fahrzeuge begrenzt ist. Bei einer alleinigen Nutzung mittels der Ultraschallsensoren erfasster Daten zur Parklückenerkennung kann eine freie Parklücke erst nach einer Vorbeifahrt des Fahrzeugs an derselben für eine automatisierte Einfahrt angeboten werden. Auch können Einschränkungen bezüglich einer Erkennungsleistung auftreten, beispielsweise wenn andere Objekte Parkplatzgeometrien aufweisen, wenn es keine Parklücke gibt.Parking spaces can be detected with ultrasonic sensors, for example, by monitoring a lateral distance while the vehicle is driving past a parking space if the parking space is delimited by objects, such as other vehicles. In the case of sole use of data recorded by means of the ultrasonic sensors for parking space detection, a free parking space can only be offered for automated entry after the vehicle has driven past the same. Limitations with regard to a recognition performance can also occur, for example when other objects have parking space geometries when there is no parking space.

Des Weiteren können Parklücken mit Kameras detektiert werden, beispielsweise durch Klassifikation mittels neuronaler Netze und auch vor einer Vorbeifahrt des Fahrzeugs an einer Parklücke. Allerdings kann eine Detektionsleistung durch Verdeckung der Parklücken eingeschränkt sein, beispielsweise bei Querparklücken mit unterschiedlich großen Fahrzeugen, die unterschiedlich tief in den Parklücken stehen.Furthermore, parking spaces can be detected with cameras, for example by classification using neural networks and also before the vehicle drives past a parking space. However, a detection performance can be limited by covering the parking spaces, for example in the case of perpendicular parking spaces with vehicles of different sizes that are at different depths in the parking spaces.

Das vorliegende Verfahren ermöglicht in besonders vorteilhafter Weise eine verbesserte Erkennungsleistung bei der Parklückensuche. Dabei kann in zuverlässiger Weise eine Detektion von Parklücken bereits vor einer Vorbeifahrt des Fahrzeugs an einer Parklücke erfolgen. Weiterhin wird eine Vereinfachung eines Bedienkonzepts eines Systems zur Ausführung automatisierter Einparkvorgänge mit optimierter Fahrerinteraktion ermöglicht. Beispielsweise kann mittels der Mensch-Maschine-Schnittstelle durch eine automatisierte Anzeige eines Parkmenüs zumindest eine Parklücke angeboten werden, so dass der Fahrer beispielsweise eine Vorauswahl einer gewünschten Parklücke als Ziel für den automatisierten Einparkvorgang wählen kann.In a particularly advantageous manner, the present method enables improved detection performance when searching for a parking space. Parking spaces can be reliably detected even before the vehicle drives past a parking space. Furthermore, a simplification of an operating concept of a system for executing automated parking processes with optimized driver interaction is made possible. For example, at least one parking space can be offered by means of the human-machine interface through an automated display of a parking menu, so that the driver can, for example, preselect a desired parking space as the destination for the automated parking process.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to a drawing.

Dabei zeigt:

1 schematisch einen Ablauf eines Verfahrens zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs.

It shows:

1 schematically shows a process for detecting and selecting a parking space for an automated parking process of a vehicle.

In der einzigen 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs dargestellt.In the only 1 is a sequence of a possible embodiment of a method for detecting and selecting a parking space for an automated parking process of a vehicle is shown.

In einem Verfahrensschritt VS1 werden eine Kopfposition und Kopforientierung sowie eine Blickrichtung eines Fahrers des Fahrzeugs ermittelt. Dies kann beispielsweise durch eine kamerabasierte Kopf- und Pupillenerkennung erfolgen. In Parksituationen sind Bewegungen des Kopfes und der Augen des Fahrers charakteristisch. Beispielsweise bewegt dieser intuitiv den Kopf weiter nach vorne, um eine bessere Übersicht zu erhalten und tiefer in seitliche Parklücken sehen zu können. Hat ein Fahrer einen möglichen Kandidaten für eine Parklücke identifiziert, wird dieser in der Regel länger betrachtet.In a method step VS1, a head position and head orientation as well as a viewing direction of a driver of the vehicle are determined. This can be done, for example, by camera-based head and pupil recognition. In parking situations, movements of the driver's head and eyes are characteristic. For example, it intuitively moves its head further forward to get a better overview and to be able to see deeper into side parking spaces. If a driver has identified a possible candidate for a parking space, this is usually considered longer.

Dies ermöglicht es, in einem weiteren Verfahrensschritt VS2 mittels aus der Kopfposition, Kopforientierung und/oder Blickrichtung ermittelte, zumindest eine Parklücke betreffende Informationen in einer Datenfusion anhand von erfassten Daten einer Umgebungserfassungssensorik des Fahrzeugs erkannte Parklücken plausibilisiert werden. Die Informationen können so in der Datenfusion dazu verwendet werden, eine Parklückenerkennung zu verbessern und/oder zu bestätigen. Dies kann beispielsweise erfolgen, indem mittels einer Umgebungserfassungskamera erfasste Daten mit den menschlichen Blickzuwendungen plausibilisiert werden.This makes it possible, in a further method step VS2, to check parking spaces for plausibility in a data fusion using information determined from the head position, head orientation and/or viewing direction and relating to at least one parking space using recorded data from an environment detection sensor system of the vehicle. The information can thus be used in the data fusion to improve and/or confirm a parking space detection. This can be done, for example, by checking the plausibility of data recorded by means of an environment detection camera using the human gaze.

Auch können die aus der Kopfposition, Kopforientierung und/oder Blickrichtung ermittelten, zumindest eine Parklücke betreffenden Informationen in einem weiteren Verfahrensschritt VS3 dazu verwendet werden, ein vereinfachtes Starten eines automatisierten Parkmanövers zu ermöglichen. Hierbei wird anhand der ermittelten Kopfposition, Kopforientierung und Blickrichtung sowie anhand von Fahrzeugdaten und/oder Kartendaten ermittelt, ob eine Parklückensuche des Fahrers vorliegt. Beispielsweise kann aufgrund einer Kopfpose und anhand von Fahrzeugdaten, beispielsweise einer Fahrzeuggeschwindigkeit und einer Fahrzeugposition, und Kartendaten darauf geschlossen werden, dass der Fahrer eine Parklücke sucht.The information relating to at least one parking space determined from the head position, head orientation and/or viewing direction can also be used in a further method step VS3 to enable a simplified start of an automated parking maneuver. Here, based on the determined head position, head orientation and viewing direction, as well as on the basis of vehicle data and/or map data, it is determined whether the driver is searching for a parking space. For example, based on a head pose and on the basis of vehicle data, for example a vehicle speed and a vehicle position, and map data, it can be concluded that the driver is looking for a parking space.

Ist dies der Fall, das heißt bei Vorliegen einer Parklückensuche des Fahrers, wird in einem weiteren Verfahrensschritt VS4 eine Mensch-Maschine-Schnittstelle zur Vornahme von für den automatisierten Einparkvorgang betreffenden Benutzereingaben aktiviert. Beispielsweise wird hierzu ein Parkmenü in einem Zentraldisplay des Fahrzeugs angezeigt, in welchem der Fahrer Benutzereingaben im Zusammenhang mit dem automatisierten Einparkvorgang tätigen kann. Dabei können die Blickrichtung des Fahrers und eine Blickzuwendungsdauer dazu verwendet werden, eine mittels einer Umgebungserfassungssensorik, beispielsweise einer kamera- und/oder ultraschallbasierten Umgebungserfassungssensorik bereits oder später, das heißt nach einer Vorbeifahrt des Fahrzeugs an der Parklücke, erkannte Parklücke derart zu selektieren, dass diese dem Fahrer mittels der Mensch-Maschine-Schnittstelle als erster oder einziger Kandidat für ein automatisiertes Parkmanöver angeboten wird.If this is the case, ie if the driver is searching for a parking space, a human-machine interface is activated in a further method step VS4 for making user inputs relevant to the automated parking process. For this purpose, for example, a parking menu is displayed in a central display of the vehicle, in which the driver can make user inputs in connection with the automated parking process. The direction in which the driver is looking and how long he is looking can be used to select a parking space that has already been detected by means of an environment detection sensor system, for example a camera and/or ultrasound-based environment detection sensor system, i.e. after the vehicle has driven past the parking space, in such a way that this is offered to the driver via the human-machine interface as the first or only candidate for an automated parking manoeuvre.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102017216442 A1 [0002]DE 102017216442 A1 [0002]

Claims

Verfahren zur Erkennung und Auswahl einer Parklücke für einen automatisierten Einparkvorgang eines Fahrzeugs, dadurch gekennzeichnet, dass - eine Kopfposition und Kopforientierung sowie eine Blickrichtung eines Fahrers des Fahrzeugs ermittelt werden, - anhand der ermittelten Kopfposition, Kopforientierung und Blickrichtung sowie anhand von Fahrzeugdaten und/oder Kartendaten ermittelt wird, ob eine Parklückensuche des Fahrers vorliegt, - bei Vorliegen einer Parklückensuche des Fahrers eine Mensch-Maschine-Schnittstelle zur Vornahme von für den automatisierten Einparkvorgang betreffenden Benutzereingaben aktiviert wird.Method for detecting and selecting a parking space for an automated parking process of a vehicle, characterized in that - a head position and head orientation as well as a viewing direction of a driver of the vehicle are determined, - based on the determined head position, head orientation and viewing direction and based on vehicle data and/or map data it is determined whether the driver is searching for a parking space, - if the driver is searching for a parking space, a man-machine interface is activated for making user inputs relevant to the automated parking process.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels aus der Kopfposition, Kopforientierung und/oder Blickrichtung ermittelte, die zumindest eine Parklücke betreffenden Informationen in einer Datenfusion anhand von erfassten Daten einer Umgebungserfassungssensorik des Fahrzeugs erkannte Parklücken plausibilisiert werden.procedure after claim 1 , characterized in that by means of the head position, head orientation and / or line of sight determined, the information relating to at least one parking space in a data fusion using detected data from an environment detection sensor of the vehicle detected parking spaces are checked for plausibility.

Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass - anhand der ermittelten Kopfposition, Kopforientierung und/oder Blickrichtung auf eine Position zumindest einer Parklücke in der Fahrzeugumgebung geschlossen wird und - nach einem positiven Abgleich aus der Kopfposition, Kopforientierung und/oder Blickrichtung ermittelter, die zumindest eine Parklücke betreffender Informationen mit den Fahrzeugdaten und/oder Kartendaten über die Mensch-Maschine-Schnittstelle die zumindest eine Parklücke für eine Auswahl als Ziel des automatisierten Einparkvorgangs an den Fahrer ausgegeben wird.procedure after claim 1 or 2 , characterized in that - based on the determined head position, head orientation and/or line of sight, a position of at least one parking space in the vehicle environment is inferred and - after a positive comparison of information determined from the head position, head orientation and/or line of sight relating to the at least one parking space with the vehicle data and/or map data via the human-machine interface, the at least one parking space for selection as the destination of the automated parking process is output to the driver.