DE102017119435A1

DE102017119435A1 - Fahrzeug-einparksteuerung

Info

Publication number: DE102017119435A1
Application number: DE102017119435.5A
Authority: DE
Inventors: Paul A. Donald; Jarvis Chau
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-08-30
Filing date: 2017-08-24
Publication date: 2018-03-01
Anticipated expiration: 2037-08-25
Also published as: US10071730B2; US20180056989A1; CN107792059A; CN107792059B; DE102017119435B4

Abstract

Verfahren und Systeme zum Durchführen eines automatisierten Einparkvorgangs eines Fahrzeugs werden bereitgestellt. Die Verfahren und Systeme bestimmen eine Position einer drahtlosen Fahrervorrichtung, die außerhalb des Fahrzeugs positioniert ist. Ein Sichtsystem stellt Videodaten mit einem Sichtfeld bereit, das auf der Basis der Position der drahtlosen Fahrervorrichtung ausgewählt ist. Die Gestenerkennungsverarbeitung wird auf den Videodaten mit dem ausgewählten Sichtfeld durchgeführt. Mindestens ein Gestenbefehl wird aus der Gestenerkennungsverarbeitung bestimmt. Ein automatisierter Einparkvorgang des Fahrzeugs erfolgt mit dem mindestens einen Gestenbefehl.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft im Allgemeinen Fahrzeuge und insbesondere Verfahren und Systeme zur Einparksteuerung unter Verwendung von Gestenerkennung.
HINTERGRUND
Das Einparken eines Fahrzeugs zwischen zwei anderen Fahrzeugen kann für einen Fahrer eine schwierige Aufgabe sein. Es gibt autonome und halbautonome Einparkassistenzsysteme, die den Fahrer bei einem Einparkmanöver unterstützen. Solche Einparkassistenzsysteme erkennen und zeigen Hindernisse an, die vor oder hinter einem Fahrzeug während des Einparkens positioniert sind, wobei Näherungssensoren verwendet werden, die an verschiedenen Stellen am Fahrzeug angebracht sind. Einige Arten von Einparkassistenzsystemen beinhalten eine Bildgebungsvorrichtung, wie beispielsweise eine Kamera, die an einem vorderen Abschnitt und/oder einem hinteren Abschnitt des Fahrzeugs angebracht ist. Die Kamera erfasst Bilddaten, die einen sichtbaren Bereich vor oder hinter dem Fahrzeug darstellen, und diese werden dem Fahrer innerhalb des Fahrzeugs präsentiert. Das Einparkassistenzsystem kann dann dem Fahrer eine Rückmeldung geben, um anzuzeigen, wie das Fahrzeug in den Parkplatz manövriert wird.
In jüngerer Zeit sind selbstparkende Fahrzeuge verfügbar geworden, die in der Lage sind, einen Einparkvorgang autonom auszuführen, wenn auch mit der Möglichkeit für den Fahrer, den Einparkvorgang des Fahrzeugs zu überwachen, z. B. zur Steuerung desselben, wie zum Beispiel durch Stoppen des Einparkvorgangs. In einigen Fällen kann der Selbstparkvorgang von einem Fahrer außerhalb des Fahrzeugs überwacht werden. Der Fahrer kann es vorziehen, außerhalb des Fahrzeugs und angrenzend an den Parkplatz zu sein, um einen besseren Blick auf das Manöver zu haben. Diese Überwachung von außerhalb des Fahrzeugs wurde durch Rückmeldung an das Einparkassistenzsystem von einem Smartphone oder von einer Smart Watch durchgeführt. Das Smartphone oder die Smart Watch benötigen spezialisierte Geräte, die vom Fahrer getragen und benutzt werden müssen.
Dementsprechend ist es wünschenswert, ein Verfahren und ein System bereitzustellen, das die Überwachung eines Fahrzeugs während eines Einparkvorgangs ermöglicht, der von einem Einparkassistenzsystem von außerhalb des Fahrzeugs durchgeführt wird. Weiterhin sollten die Eingaben des Fahrers in das Einparkassistenzsystem (d. h. die Überwachung), in einer intuitiven Weise aktiviert werden, die die Systemverarbeitungseffizienz nicht unnötig verringert.
Die vorliegende Offenbarung stellt Verfahren, Systeme und Fahrzeuge bereit, um einer oder mehreren der Anforderungen in verschiedenen Ausführungsformen, sowie anderen ähnlichen Anforderungen in verschiedenen Ausführungsformen nachzukommen. Darüber hinaus werden weitere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den hinzugefügten Ansprüchen in Verbindung mit den zugehörigen Zeichnungen und dem vorliegenden Hintergrund der Erfindung ersichtlich.
ZUSAMMENFASSUNG
In einer Ausführungsform wird ein Einparksteuersystem für ein Fahrzeug bereitgestellt, das ein Positionsbestimmungsmodul beinhaltet, das konfiguriert ist, um eine Position einer drahtlosen Fahrervorrichtung zu bestimmen. Ein Sichtsystem-Steuermodul ist so konfiguriert, dass es Videodaten mit einem ausgewählten Sichtfeld basierend auf der Position der drahtlosen Fahrervorrichtung bereitstellt. Ein Gestenbestimmungsmodul ist so konfiguriert, dass es eine Gestenerkennungsverarbeitung auf den Videodaten mit dem ausgewählten Sichtfeld ausführt und mindestens einen Gestenbefehl aus der Gestenerkennungsverarbeitung bestimmt. Ein Einparkassistenzmodul ist so konfiguriert, dass es ein Einparkassistenzsystem des Fahrzeugs mit dem mindestens einen Gestenbefehl steuert.
In einer weiteren Ausführungsform wird ein Fahrzeug bereitgestellt, das ein Einparkassistenzsystem und ein Einparksteuersystem beinhaltet, wobei das Einparksteuersystem umfasst: ein Positionsbestimmungsmodul, das konfiguriert ist, um eine Position einer drahtlosen Fahrervorrichtung zu bestimmen; ein Sichtsystem-Steuermodul, das konfiguriert ist, um Videodaten mit einem ausgewählten Sichtfeld basierend auf der Position der drahtlosen Fahrervorrichtung bereitzustellen; ein Gestenbestimmungsmodul, das konfiguriert ist, um eine Gestenerkennungsverarbeitung auf den Videodaten mit dem ausgewählten Sichtfeld auszuführen und um mindestens einen Gestenbefehl aus der Gestenerkennungsverarbeitung zu bestimmen; und ein Einparkassistenzmodul, das konfiguriert ist, um das Einparkassistenzsystem des Fahrzeugs unter Verwendung des mindestens einen Gestenbefehls zu steuern.
In einer anderen Ausführungsform wird ein Verfahren zum Durchführen eines automatisierten Einparkvorgangs eines Fahrzeugs bereitgestellt. Das Verfahren umfasst das Bestimmen einer Position einer drahtlosen Fahrervorrichtung, die außerhalb des Fahrzeugs positioniert ist. Das Verfahren umfasst das Bereitstellen von Videodaten mit einem Sichtfeld, das auf der Basis der Position der drahtlosen Fahrervorrichtung ausgewählt ist, über ein Sichtsystem. Die Gestenerkennungsverarbeitung wird auf den Videodaten mit dem ausgewählten Sichtfeld durchgeführt. Mindestens ein Gestenbefehl wird aus der Gestenerkennungsverarbeitung bestimmt. Ein automatisierter Einparkvorgang des Fahrzeugs erfolgt mit dem mindestens einen Gestenbefehl.
BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den nachstehenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen und worin:
1 zeigt ein Funktionsblockdiagramm eines Fahrzeugs, das Kameras eines Sichtsystems, drahtlose Signalsensoren und eine Fahrzeugsteuereinheit gemäß einer exemplarischen Ausführungsform beinhaltet;
2 ist ein Datenflussdiagramm, das Computerprogrammmodule als Entitäten und Hardwareentitäten beinhaltet, gemäß einer exemplarischen Ausführungsform; und
3 ist ein Flussdiagramm, das die Schritte eines Computer-Implementierungsverfahrens beinhaltet, gemäß einer exemplarischen Ausführungsform.
AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien.
Obwohl die hierin gezeigten FIGS. ein Beispiel mit bestimmten Anordnungen von Elementen darstellen, können in tatsächlichen Ausführungsformen zusätzliche Zwischenelemente, Vorrichtungen, Merkmale oder Komponenten vorhanden sein. Es sollte bedacht werden, dass 1 lediglich veranschaulichend und u. U. nicht maßstabsgetreu ist.
In 1 wird ein Fahrzeug 1 bzw. Kraftfahrzeug gemäß einer exemplarischen Ausführungsform veranschaulicht. Das Fahrzeug 1 kann eines von einer Reihe von verschiedenen Typen von Automobilen, wie zum Beispiel eine Limousine, ein Kombi, ein Lastwagen oder eine Geländelimousine (SUV), sein, und über einen Zweiradantrieb (2WD) (d. h. Heckantrieb oder Frontantrieb), Vierradantrieb (4WD) oder Allradantrieb (AWD) verfügen.
Das Fahrzeug 1 beinhaltet eine Fahrzeugsteuereinheit 8 zum Steuern eines Einparksteuersystems 2 (in 2 gezeigt) zum Steuern der automatisierten Bewegung des Fahrzeugs 1 während eines Einparkvorgangs zum Steuern eines in 2 gezeigten Sichtsystems 26 und zur Steuerung der Gestenbestimmung für die Fahrerüberwachung des Einparkvorgangs. Es versteht sich, dass das Fahrzeug 1 hierin mit besonderem Schwerpunkt auf dem von der Fahrzeugsteuereinheit 8 ausgeführten Einparksteuersystem 2 beschrieben wird. Das Fahrzeug verfügt über umfangreiche weitere Funktionalitäten, einschließlich mechanischer und elektronischer Steuerungssysteme, die hierin im Interesse der Kürze nicht beschrieben sind.
Das Fahrzeug 1 beinhaltet ein Sichtsystem 26 (in 2 gezeigt) mit einer oder mehreren Kameras 30. In verschiedenen Ausführungsformen ist die Fahrzeugsteuereinheit 8 so konfiguriert, dass sie die eine oder die mehreren Kameras 30, 30' durch Module, die nachfolgend mit Bezug auf 2 beschrieben werden, steuern kann, und zur Steuerungsanalyse von Videodaten, die von der einen oder den mehreren Kameras 30, 30' erfasst werden.
In einer Ausführungsform umfasst das Fahrzeug 1 eine Mehrzahl von Kameras 30, 30', die dazu dienen, Videodaten in Bezug auf diverse unterschiedliche Standorte in Verbindung mit dem Fahrzeug 1 abzurufen. Die Kameras 30, 30' können in oder in der Nähe von jedem von einem Rückspiegel, Seitenspiegeln, dem Frontgrill und dem hinteren Bereich (z. B. Kofferraum oder Hintertür/Heckklappe) enthalten sein. In einer Ausführungsform umfassen die Kameras 30, 30' Videokameras, die über die Fahrzeugsteuereinheit 8 gesteuert werden. In verschiedenen Ausführungsformen können die Kameras 30, 30' ebenfalls in oder in der Nähe einer oder mehrerer anderer Stellen des Fahrzeugs 1 angeordnet sein. So können beispielsweise mehr oder weniger als vier Kameras 30, 30', wie beispielsweise sechs Kameras 30, 30', zum Erfassen der Videodaten der äußeren Umgebung des Fahrzeugs enthalten sein.
In Ausführungsformen ist mindestens eine drehbare Kamera 30' vorgesehen, die beispielsweise auf dem Dach montiert werden kann. Die drehbare Kamera 30' ist mit einem Motor verbunden, um eine Drehung des von der Kamera 30 erfassten Sichtfeldes, wie z. B. 360°-Drehung, zu ermöglichen. In einer zusätzlichen oder alternativen Ausführungsform ist mindestens eine Kamera 30 vorgesehen, die nicht notwendigerweise drehbar ist (obwohl sie wie nachfolgend beschrieben gelenkig bewegbar ist). Die Kameras 30 können so positioniert sein, dass sie eine Rundumansicht der Außenseite des Fahrzeugs 1, wie z. B. von 360°, bereitstellen. Jede Kamera 30, 30' kann separat aktiviert werden, sodass der gesamte Bereich möglicher Videodaten nicht unbedingt erfasst wird. Die Kameras 30, 30' können in der Lage sein, im Infrarotbereich eine verbesserte Bildgebung unter dunklen Bedingungen abzubilden. Die Kameras 30, 30' können in der Lage sein, Videodaten zu erhalten, haben drei Dimensionen, z. B. mit einer Tiefenkomponente. Solche Videodaten können auf bekannte Weise unter Verwendung spektroskopischer Kameras 30, 30' oder Time-of-Flight-Projektionsvorrichtungen erhalten werden, wie weiter unten beschrieben wird.
In einigen Ausführungsformen sind die eine oder die mehreren Kameras 30, 30' jeweils mit einem Artikulator verbunden, um ein Gelenk mit der Kamera 30, 30' zu bilden, um das Sichtfeld zu verändern. Der Artikulator kann einen Motor (nicht dargestellt), ein Getriebe und einen Drehpunkt umfassen, um es der Kamera 30, 30' zu ermöglichen, den Winkel zu ändern.
Das Fahrzeug 1 beinhaltet eine Anordnung von Einparksensoren 44, z. B. Näherungssensoren 44, die um das Fahrzeug 1 verteilt sind. Die Einparksensoren 44 stehen mit der Fahrzeugsteuereinheit 8 in Verbindung, um zumindest eine Benachrichtigung über ein Hindernis während eines automatisierten Einparkvorgangs zu erzeugen, der durch das in 2 gezeigte Einparkassistenzsystem 46 implementiert wird. Die Einparksensoren können Videogeräte, Ultraschall, Radar, Infrarot oder irgendeine andere bekannte Näherungssensormodalität sein.
Das Fahrzeug 1 beinhaltet mindestens einen drahtlosen Signalsensor 28, z. B. eine Anordnung von mindestens drei drahtlosen Signalsensoren 28, die voneinander beabstandet sind. Die drahtlosen Signalsensoren 28 sind zum Erfassen von drahtlosen Signalen von einer drahtlosen Fahrervorrichtung 22 konfiguriert, die außerhalb des Fahrzeugs während eines automatisierten Einparkvorgangs angeordnet ist. Die drahtlose Fahrervorrichtung 22 kann ein Smartphone, ein Schlüsselanhänger, ein Tablet, eine intelligente tragbare oder irgendeine andere tragbare Vorrichtung sein, die in der Lage ist, das drahtlose Signal zu erzeugen. Die drahtlosen Signalsensoren 28 sind so konfiguriert, dass sie das drahtlose Signal und die Eigenschaften davon (wie beispielsweise die Signalstärke) erfassen und erkannte Signale an die Fahrzeugsteuereinheit 8 übermitteln.
Das Fahrzeug beinhaltet verschiedene Stellglieder für den Einsatz bei einem automatisierten Einparkvorgang. Ein Lenkradstellglied 52 arbeitet an einer Lenksäule des Fahrzeugs, um das Fahrzeug 1 während des automatisierten Einparkvorgangs zu lenken. Ein Bremsstellglied 54 wirkt auf die Fahrzeugbremsen, um die Geschwindigkeit und die Stoppbewegung des Fahrzeugs 1 während eines Einparkvorgangs zu steuern. Des Weiteren arbeiten die Motor- und Getriebesteuerungen 56, um die Motorleistung zu übertragen, um das Fahrzeug 1 mit einer ausgewählten Geschwindigkeit zu bewegen und um eine Richtung (rückwärts oder vorwärts) der Fahrzeugbewegung während des Einparkens zu steuern. Diese Stellglieder und Steuerungen 52, 54, 56 reagieren auf Befehle von der Fahrzeugsteuereinheit 8 zur Steuerung des Einparkvorgangs und insbesondere von Modulen der Fahrzeugsteuereinheit 8, die nachfolgend ausführlich beschrieben werden.
In einer Ausführungsform beinhaltet die Fahrzeugsteuereinheit 8 ein Computersystem. Darüber hinaus versteht es sich, dass die Fahrzeugsteuereinheit von der in 1 abgebildeten Ausführungsform abweichen kann. Beispielsweise kann die Fahrzeugsteuereinheit 8 mit einem oder mehreren Ferncomputersystemen verbunden sein oder diese anderweitig verwenden.
Das Computersystem der Fahrzeugsteuereinheit 8 enthält einen Prozessor 16, einen Speicher 12 und einen Bus (nicht gezeigt). Der Prozessor 16 führt die Berechnungen und Steuerfunktionen der Fahrzeugsteuereinheit 8 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltkreise, wie z. B. einen Mikroprozessor oder eine geeignete Anzahl integrierter Schaltkreisvorrichtungen und/oder Leiterplatten umfassen, die zusammenwirken, um die Funktionen einer Verarbeitungseinheit auszuführen. Während des Betriebs führt der Prozessor 16 ein oder mehrere Programme 14 aus, die in dem Speicher 12 enthalten sind, und steuert somit den allgemeinen Betrieb der Fahrzeugsteuereinheit 8 und des Computersystems der Fahrzeugsteuereinheit 8 im Allgemeinen bei der Ausführung der hier beschriebenen Prozesse, wie z. B. die Verfahren, die unter Bezugnahme auf 3 beschrieben werden. Des Weiteren sind das Computerprogramm 14 und der Prozessor 16 in der Lage, die computerimplementierten Module auszuführen, die unten mit Bezug auf die 2 und 3 beschrieben sind.
Bei dem Speicher 12 kann es sich um eine beliebige Art eines geeigneten Speichers handeln. So kann beispielsweise der Speicher 12 verschiedene Arten von dynamischem Speichern mit wahlfreiem Zugriff (DRAM), wie z. B. SDRAM, die verschiedenen Arten statischer RAM (SRAM) und die verschiedenen Arten von nichtflüchtigem Speicher (PROM, EPROM und Flash) beinhalten. Bei bestimmten Beispielen befindet sich der Speicher 12 auf dem gleichen Computerchip wie der Prozessor 16 und/oder ist mit demselben zusammengelegt. In der dargestellten Ausführungsform speichert der Speicher 12 das oben genannte Programm 14 und eine Datenbank mit vorbestimmten Gesten 48 und eine Datenbank mit biometrischen Informationen 58.
Der Bus dient zum Übertragen von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems der Fahrzeugsteuereinheit 8. Der Bus kann aus allen zur Verbindung von Computersystemen und Komponenten geeigneten physischen oder logischen Mitteln bestehen. Dies schließt ohne Einschränkung auch direkt verdrahtete Verbindungen, Faseroptik, sowie Infrarot- und Drahtlosbustechnologien ein. Während des Betriebs wird das Programm 14 im Speicher 12 abgelegt und vom Prozessor 16 ausgeführt.
Obwohl diese exemplarische Ausführungsform im Kontext eines voll funktionierenden Computersystems beschrieben wird, versteht es sich, dass Fachleute auf diesem Gebiet erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nicht flüchtigen computerlesbaren Signalträgermedien verbreitet werden können, die verwendet werden, um das Programm und die zugehörigen Befehle zu speichern und deren Verbreitung auszuführen, wie ein nichtflüchtiges computerlesbares Medium, welches das Programm und Computerbefehle enthält, die darin gespeichert sind, um einen Computerprozessor (wie den Prozessor 16) zu veranlassen, das Programm auszuführen. Ein derartiges Programmprodukt kann vielerlei Formen annehmen, wobei die vorliegende Offenbarung in gleicher Weise, unabhängig von der spezifischen für die Verbreitung verwendeten Art von computerlesbarem Signalträgermedium, Anwendung findet. Zu den Beispielen für Signalträgermedien gehören: beschreibbare Medien, wie z. B. Disketten, Festplatten, Speicherkarten und optische Speicherplatten, sowie Übertragungsmedien, wie z. B. digitale und analoge Kommunikationsverbindungen. Es versteht sich, dass cloudbasierte Speicherung und/oder andere Techniken in bestimmten Ausführungsformen auch zur Anwendung kommen können. Ebenso versteht es sich, dass das Computersystem der Fahrzeugsteuereinheit 8 sich auch anderweitig von der in 1 dargestellten Ausführungsform unterscheiden kann, beispielsweise darin, dass das Computersystem der Fahrzeugsteuereinheit 8 mit einem oder mehreren dezentralen Computersystemen und/oder anderen Steuersystemen verbunden werden oder diese anderweitig nutzen kann.
Der hier verwendete Begriff „Modul“ bezieht sich auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl von Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Eine Ausführungsform kann zum Beispiel verschiedene integrierte Schaltungskomponenten verwenden, wie Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder dergleichen, die eine Mehrzahl von Funktionen unter der Steuerung durch einen oder mehrere Mikroprozessoren oder andere Steuervorrichtungen wahrnehmen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen zusammen mit einer beliebigen Anzahl von Steuerungssystemen einsetzbar sind und das hier beschriebene Fahrzeugsystem lediglich eine exemplarische Ausführungsform ist.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht ausführlich beschrieben. Weiterhin sind die in den verschiedenen FIGS. hierin gezeigten Verbindungslinien dazu bestimmt, exemplarische funktionale Beziehungen und/oder physische Verbindungen zwischen den verschiedenen Elementen darzustellen. Es ist zu beachten, dass in verschiedenen Ausführungsformen zahlreiche alternative oder zusätzliche funktionale Beziehungen oder physische Verbindungen vorhanden sein können.
Gemäß verschiedenen Ausführungsformen ist die Fahrzeugsteuereinheit 8 so konfiguriert, dass sie verschiedene Module ausführt (weiter unten unter Bezugnahme auf 2 und 3 beschrieben), um einen Fahrer 10 zu lokalisieren, um dementsprechend ein Sichtfeld von mindestens einer Kamera 30 auf den Fahrer 10 zu fokussieren und um eine Gestenerkennungsverarbeitung bei der Videodatenerfassung durch die Kamera auszuführen, um einen mit dem Gesten erzeugten Befehl, wie beispielsweise einen Stoppbefehl, dem Einparksteuersystem 2 zum automatisierten Einparken des Fahrzeugs 1 bereitzustellen. Auf diese Weise wird eine Gestenerkennung aus Videodaten eines Fahrers 10 verwendet, um einen Einparkvorgang eines Fahrzeugs 1 zu überwachen. Hand- und Armgesten können verwendet werden. Da die Gesten aus der Analyse von Videodaten über die Fahrzeugsteuerung 8 erhalten werden, kann eine Überwachung durchgeführt werden, ohne dass spezielle Geräte zur Steuerung des Einparkvorgangs erforderlich sind. Das heißt, vorrichtungsfreie Gesten sind erkennbar. Des Weiteren sind die Videodaten im Sichtfeld auf die Position des Fahrers durch die Fahrzeugsteuereinheit 8 beschränkt, die den Fahrer auf der Basis von drahtlosen Signalen lokalisiert, die von dem drahtlosen Signalsensor 28 des Fahrzeugs 1 erfasst werden, die von der drahtlosen Fahrervorrichtung 22 übertragen wurden, das vom Fahrer 10 getragen wird. Auf diese Weise richtet sich die Fahrzeugsteuereinheit 8 automatisch auf den Fahrer 10 aus und führt anschließend eine Gestenerkennungsverarbeitung durch, um die notwendige Verarbeitung zu beschränken. Diese Merkmale der Fahrzeugsteuereinheit 8 und der vorliegenden Offenbarung werden weiter unten in Bezug auf das Flussdiagramm von 2 und 3 beschrieben.
Das Datenflussdiagramm von 2 enthält Hardwareentitäten, wie die drahtlose Fahrervorrichtung 22, Einparksensoren 44, drahtlose Signalsensoren 28 und Kameras 30, 30' sowie Prozessor- und Softwaremodule. 2 zeigt des Weiteren den Durchgang und die Umwandlung von Daten zwischen den verschiedenen Einheiten.
Unter Bezugnahme auf 2 und mit weiterem Bezug auf 1 ist die drahtlose Fahrervorrichtung 22 dargestellt, die dem außerhalb des Fahrzeugs 1 befindlichen Fahrer 10 zugeordnet ist (z. B. wird von diesem getragen). Die drahtlose Fahrervorrichtung 22 kann ein Schlüsselanhänger, ein Smartphone, eine Tablet, ein tragbares Element (z. B. Uhr, Brille usw.) oder jede andere Vorrichtung sein, die bequem mit einem Fahrer 10 an einem mitgeführt werden kann und in der Lage ist, drahtlose Signale 21 zu erzeugen, wie oben beschrieben wurde. Die von der drahtlosen Fahrervorrichtung 22 erzeugten drahtlosen Signale 21 können eine Bluetooth-Übertragung, eine WLAN-Übertragung, eine LiFi-Übertragung, eine Funkfrequenzübertragung oder irgendein anderes bekanntes drahtloses Übertragungssignal sein, wodurch Positionsdaten bestimmt werden können, z. B. triangulierte. Die drahtlosen Signale 21 können sich im Funkfrequenzbereich des elektromagnetischen Spektrums befinden, es können aber auch sichtbare Signale verwendet werden, die mit Raten gepulst werden, die größer sind als diejenigen, die vom menschlichen Auge gesehen werden können.
Weiterhin ist in 2 und auch in 1 die Mehrzahl von drahtlosen Signalsensoren 28 dargestellt, die mindestens drei drahtlose Signalsensoren 28 umfassen können. Die drahtlosen Signalsensoren 28 befinden sich in beabstandeten Positionen um das Fahrzeug 1 herum, um eine Position der Fahrervorrichtung 22 genau zu bestimmen, indem sie mit dem weiter unten beschriebenen Positionsbestimmungsmodul 20 verarbeitet werden. Die drahtlosen Signalsensoren 28 geben Roh-Sensorsignale 29 an das drahtlose Signalsensormodul 24 aus.
Das drahtlose Sensormodul 24 empfängt die Roh-Sensorsignale 29 und verarbeitet die Roh-Sensorsignale 29 in ein zur Weiterverarbeitung geeignetes Format, insbesondere durch das Positionsbestimmungsmodul 20. Insbesondere kann das drahtlose Sensormodul 24 die Roh-Sensorsignale 29 in die verarbeiteten Sensordaten 23 digitalisieren, die des Weiteren Daten enthalten können, die Signalstärke in Bezug auf jeden drahtlosen Signalsensor 28 für Positionsbestimmungszwecke angeben, wie in Bezug auf das Positionsbestimmungsmodul 20 beschrieben.
2 zeigt ein Positionsbestimmungsmodul 20, das konfiguriert ist, um eine Position einer drahtlosen Fahrervorrichtung 22 zu bestimmen und Fahrervorrichtungspositionsdaten 25 auszugeben. Das Positionsbestimmungsmodul 20 empfängt verarbeitete Sensordaten 23 von einem drahtlosen Signalsensormodul 24 und bestimmt unter Verwendung der verarbeiteten Sensordaten 23 eine Position der drahtlosen Fahrervorrichtung 22 relativ zu dem Fahrzeug 1. Das Positionsbestimmungsmodul 20 kann einen Triangulationsprozess verwenden, um die Position der drahtlosen Fahrervorrichtung 22 zu bestimmen. Bei einer exemplarischen Implementierung des Triangulationsprozesses können die Sensordaten 23 Signalstärkeinformationen von jedem der drahtlosen Signalsensoren 28 enthalten, die zur Bestimmung der Position der drahtlosen Fahrervorrichtung 22 gemäß einem bekannten Triangulationsschema trianguliert werden können.
Das Positionsbestimmungsmodul 20 kann eine Winkelposition der Fahrervorrichtung 22 relativ zum Fahrzeug 1 und gegebenenfalls auch einen Abstand der Fahrervorrichtung 22 vom Fahrzeug 1 bestimmen. Die Winkelposition und der Abstand von dem Fahrzeug 1 können relativ zu einem festen Koordinatensystem bestimmt werden, das in dem Fahrzeug 1 zentriert ist. Beispielsweise könnte ein x-, y-Koordinatensystem verwendet werden, wobei x eine Seitenachse des Fahrzeugs ist und y eine Längsachse des Fahrzeugs ist, wobei ein Ursprung des Koordinatensystems in der Mitte des Fahrzeugs 1 ist. Alternativ könnte ein Polarkoordinatensystem von r, θ verwendet werden, wobei r einen radialen Abstand von einer zentralen vertikalen Achse darstellt, die durch das Fahrzeug 1 verläuft und θ einen Winkel um das Fahrzeug 1 herum darstellt.
In 2 ist ein Sichtsystem-Steuermodul 32 gezeigt, das so konfiguriert ist, dass Videodaten 33 mit einem ausgewählten Sichtfeld auf der Basis der Position der drahtlosen Fahrervorrichtung 22, wie sie durch die von dem Positionsbestimmungsmodul 20 empfangenen Fahrervorrichtungspositionsdaten 25 eingestellt ist, bereitgestellt wird. Insbesondere wird ein Sichtfeld der Videodaten 33, die dem Gestenbestimmungsmodul 34 zur Verfügung gestellt werden, beispielsweise so geändert, dass sie einer Stelle der drahtlosen Fahrervorrichtung 22 auf der Basis der Fahrervorrichtungspositionsdaten 25 entsprechen. In einem Aspekt wird eine Winkelposition um das Fahrzeug 1 des Sichtfeldes der Videodaten 33, die dem Gestenbestimmungsmodul 34 bereitgestellt werden, basierend auf den Fahrervorrichtungspositionsdaten 25 so eingestellt, dass sie einer Stelle der drahtlosen Fahrervorrichtung 22 entsprechen.
Das Sichtsystem-Steuermodul 32 ist als Teil des Sichtsystems 26 vorgesehen, das mindestens eine Videokamera 30 enthält, wie oben beschrieben. Die mindestens eine Kamera 30 ist so konfiguriert, dass sie Videodaten 31 erfasst, die von dem Sichtsystem-Steuermodul 32 empfangen werden. In einer Ausführungsform sind mehrere Videokameras 30 vorgesehen, die wahlweise um das Fahrzeug 1 verteilt sind und Videodaten erfassen können, die das Fahrzeug 1 zumindest teilweise umschließen. Die erfassten Videodaten können das Fahrzeug 1 vollständig umschließen. In einer anderen Alternative könnte eine drehbare Videokamera 30' vorgesehen sein, die es ermöglicht, Videodaten in einem Winkel um das Fahrzeug 1, der durch einen Drehwinkel der Kamera 30' eingestellt ist, zu erfassen, wie dies zuvor beschrieben wurde. In einer anderen Möglichkeit sind beide Arten von Kameras 30, 30' vorgesehen.
Die mindestens eine Videokamera 30, 30' kann Tiefenvideodaten oder dreidimensionale Videodaten bereitstellen, um die Gestenerkennung durch das weiter unten beschriebene Gestenbestimmungsmodul 34 zu unterstützen. Beispielsweise könnten stereoskopische Kameras 30, 30' verwendet werden. Die Stereo-Videodaten werden mit einem Stereoabgleichalgorithmus abgeglichen. Alternativ kann eine Zeit der Flugvideokamera aufgenommen werden, um Tiefenvideodaten zu erhalten. Ein Beispiel für eine Flugzeit-Videokamera projiziert ein Licht (z. B. Infrarotmuster) und bestimmt dreidimensionale Videodaten aus dem reflektierten Lichtmuster. Die Flugzeit-Videodaten können mit der herkömmlichen Videobildgebung durch die mindestens eine Kamera 30', 30 und das Sichtsystem-Steuermodul 32 registriert werden.
Die mindestens eine Kamera 30, 30' ist so ausgebildet, dass sie Videodaten aus einem relativ großen Bereich verfügbarer Sichtfelder erfassen kann. Das Sichtsystem-Steuermodul 32 ist so konfiguriert, dass es das Sichtfeld der Videodaten, die dem Gestenbestimmungsmodul 34 zugeführt werden, aus den verfügbaren Sichtfeldern auf der Basis der Fahrervorrichtungspositionsdaten 25 begrenzt. Auf diese Weise kann die mit dem Gestenbestimmungsmodul 34 verbundene Verarbeitungswirkungsgrad erhöht werden, da die zu verarbeitenden Videodaten im Sichtfeld begrenzt sind.
Das Sichtsystem-Steuermodul 32 ist in der Lage, das Sichtfeld der Videodaten in einer Anzahl von möglichen Weisen auf der Basis der Fahrervorrichtungspositionsdaten 25, insbesondere der Fahrervorrichtungspositionsdaten, die eine Winkelposition um das Fahrzeug 1 beinhalten, zu begrenzen. Bei einer Möglichkeit und unter Bezugnahme auch auf 1 ist das Sichtsystem-Steuermodul 32 in der Lage, einen Sichtfeld-Auswahlbefehl 27 zu bestimmen, der von der mindestens einen Videokamera 30, 30' empfangen wird, um ein Sichtfeld der von der mindestens einen Kamera 30, 30' erfassten Videodaten 31 zu steuern, die von dem Sichtsystem-Steuermodul 32 empfangen werden. Beispielsweise kann der Auswahlbefehl 27 einen Kamerawinkelbefehl enthalten. Die drehbare Kamera 30' reagiert auf den Kamerawinkelbefehl, um die Kamera 30' so zu drehen, dass sie ein Sichtfeld mit der drahtlosen Fahrervorrichtung 22 und dem Fahrer 10 aufweist. In einem anderen Beispiel kann der Auswahlbefehl 27 eine Teilmenge, z. B. eine der Mehrzahl von Kameras 30, mit einem Sichtfeld einschließlich der drahtlosen Fahrervorrichtung 22 aktivieren, und die Videodaten werden von der aktivierten Teilmenge der Mehrzahl von Kameras 30 erfasst. In einer anderen Möglichkeit werden die Videodaten 31, die von dem Sichtsystem-Steuermodul 32 empfangen werden, abgeschnitten, um das Sichtfeld auf den Fahrer 10, und die drahtlose Fahrervorrichtung 22 basierend auf den Fahrervorrichtungspositionsdaten 25 von dem Positionsbestimmungsmodul 20 zu begrenzen.
In einer Ausführungsform ist das Sichtsystem-Steuermodul 32 so konfiguriert, dass es mindestens eine Winkelposition um das Fahrzeug 1 von dem Sichtfeld der Videodaten 33 und eine Größe des Sichtfeldes mit mindestens einer von Höhen- und Breitenabmessungen, die dem Gestenbestimmungsmodul 34 bereitgestellt werden, auf der Basis der Fahrervorrichtungspositionsdaten 25 auswählt. Die Größe des Sichtfeldes kann auf der Basis eines Abstands der drahtlosen Fahrervorrichtung 22 von dem in den Fahrervorrichtungspositionsdaten 25 enthaltenen Fahrzeug eingestellt werden. Je näher sich die drahtlose Fahrervorrichtung 22 am Fahrzeug 1, und damit den Videokameras 30, 30' befindet, umso größer ist die erforderliche Größe des Sichtfeldes. Zum Beispiel können vorbestimmte Höhen- und Breitenabmessungen, die aus dem Speicher 12 für das Sichtfeld erhalten werden, basierend auf den Fahrervorrichtungspositionsdaten 25 eingestellt werden. In einer Implementierung kann der Auswahlbefehl 27 einen Zoom oder eine Größe von Sichtfeldeinstellung auf der Basis eines bestimmten Abstands der drahtlosen Fahrervorrichtung 22 von dem Fahrzeug 1 beinhalten. Die mindestens eine Videokamera 30, 30' reagiert auf den Auswahlbefehl 27, um eine darauf basierende Zoom- oder Sichtfeldeinstellung einzustellen. In einer anderen möglichen Implementierung kann das Sichtsystem-Steuermodul 32 die Videodaten 33, die dem Gestenbestimmungsmodul 34 zur Verfügung gestellt werden, zuschneiden, um ein in der Höhe und Breite vergrößertes Sichtfeld zu haben, das einen Winkel um das Fahrzeug 1 aufweist, der auf der Basis der Fahrervorrichtungspositionsdaten 25 eingestellt ist.
Weiter mit Bezug auf 2 umfasst das Einparksteuersystem das Gestenbestimmungsmodul 34, das konfiguriert ist, um eine Gestenerkennungsverarbeitung auf den Videodaten 33 auszuführen, um mindestens einen Gestenbefehl 35 aus der Gestenerkennungsverarbeitung zu bestimmen. Gestenerkennung kann eine verarbeitungsintensive Aufgabe sein. Auf der Basis der vorfiltrierten Videodaten 33 im Hinblick auf das Sichtfeld ermöglicht dies eine verbesserte Verarbeitungseffizienz. Des Weiteren wird der Vorfilterungsprozess effizient durchgeführt, indem der Fahrer 10 unter Verwendung des drahtlosen Signals von der Fahrervorrichtung 22 lokalisiert wird. Das Gestenbestimmungsmodul 34 ist konfiguriert, um Gesten von den Videodaten 33 mit bekannten Gesten aus einer Datenbank 48 zu vergleichen, um eine Geste zu erkennen. Die erkannte Geste kann mit einem Gestenbefehl 35 auf der Basis einer Zuordnung zwischen Gesteninformation und Gestenbefehlen in der Datenbank 48 korreliert werden.
Jede bekannte Form der Gestenerkennungsverarbeitung kann durchgeführt werden. Ein Schritt könnte sein, jeden Rahmen der Videodaten zu segmentieren, um interessierende Bereiche wie Arme und Hände zu extrahieren. Die segmentierten Rahmen können dann zeitlich auf Bewegungen verfolgt werden. Die Bewegung von segmentierten Bildern kann eine Geste bilden, die mit bekannten Gesten aus einer Datenbank 48 aus vorbestimmten Gesten, die aus dem Speicher 12 erhalten werden, verglichen werden kann.
Beispiele für bekannte Gesten, die in der Datenbank 48 gespeichert sind, könnten mindestens eines beinhalten von:
einer oder beiden Händen des Fahrers 10, die in Richtung des Körpers vom Ellbogen winken, was einem Befehl 35 zum Einleiten eines Einparkvorgangs entsprechen kann;
Fortsetzen des Winkens von einer oder beiden Händen des Fahrers 10 in Richtung des Körpers von dem Ellenbogen, was einem Befehl 35 zum Fortsetzen des Einparkvorgangs entsprechen kann;
Halten der Handfläche von einer oder beiden Händen flach in Richtung des Fahrzeugs 1, möglicherweise in Kombination mit gerade vor dem Körper gehaltenen Arm, was einem Befehl 35 entsprechen kann, den Einparkvorgang zu unterbrechen;
Bewegen einer oder beider Hände nach rechts oder links, was einem Befehl 35 entsprechen kann, das Fahrzeug 1 nach rechts oder nach links zu rangieren.
2 veranschaulicht des Weiteren ein Einparkassistenzsystem 50, das Einparksensoren 44, ein Einparkassistenzmodul 40, ein Fahrzeugsteuermodul 42 und Einparkstellglieder 52, 54, 56 (in 1 gezeigt) aufweist. Das Einparkassistenzmodul 40 ist so konfiguriert, dass es einen Einparkvorgang unter Verwendung bekannter Techniken automatisiert. Beispielsweise kann das Einparkassistenzmodul 40 einen Parkplatz unter Verwendung von Videodaten von den Kameras 30, 30' bestimmen, einen Fahrzeugweg in den Parkplatz bestimmen und Geschwindigkeit, Richtung (vorwärts oder rückwärts) und Lenksteuerung durch die Einparkstellglieder 52, 54, 56, um das Fahrzeug 1 entlang der ermittelten Fahrzeugbahn zu bewegen, wodurch das Fahrzeug 1 in dem Parkplatz geparkt wird. Während der Einparkbewegung berücksichtigt das Einparkassistenzmodul 40 die Rückmeldung von Einparksensoren 44 auf jegliche Hindernisse. Beispielsweise können die Einparksensoren 44 Radar-, Infrarot-, Ultraschall-, optische oder andere bekannte Näherungssensoren umfassen. Das Einparkassistenzmodul 40 erzeugt Lenkwinkel-, Bewegungsrichtungs- und Geschwindigkeits- und Bremsbefehle 41, die an das Fahrzeugsteuermodul 42 gesendet werden. Das Fahrzeugsteuermodul 42 wirkt mit dem Lenkradstellglied 52, dem Bremsstellglied 54 und den Motor- und Getriebesteuerungen 56 zusammen, um die Befehle 41 von dem Einparkassistenzmodul 40 auszuführen.
Das Einparkassistenzmodul 40 ist des Weiteren so konfiguriert, dass es Gesten von einem außerhalb des Fahrzeugs 1 befindlichen Fahrer berücksichtigt, insbesondere um den mindestens einen Gestenbefehl 35 von dem Gestenbestimmungsmodul 34 zu berücksichtigen. Beispielsweise kann der Gestenbefehl 35 das Einparkassistenzmodul 40 anweisen, mindestens eines von Folgendem auszuführen: einen Einparkvorgang zu initiieren, den Einparkvorgang fortzusetzen, den Einparkvorgang zu unterbrechen, den Einparkvorgang abzubrechen, das Fahrzeug 1 nach links zu rangieren und das Fahrzeug 1 nach rechts zu rangieren. Der Unterbrechungsbefehl kann durch das Einparkassistenzmodul 40 implementiert werden, das einen Satz von Befehlen 41 für das Fahrzeugsteuermodul 42 erzeugt, die dahingehend wirken, das Fahrzeug 1 sofort zu stoppen.
Das Einparksteuersystem von 2 umfasst des Weiteren ein Fahreraufmerksamkeitsprüfmodul 36, das dafür konfiguriert ist, um die Videodaten 33 mit dem begrenzten Sichtfeld zu empfangen und um zu bestimmen, ob der Fahrer 10 von dem Fahrzeug 1 abgewandt ist. Als Reaktion darauf, dass der Fahrer 10 von dem Fahrzeug abgewandt ist, kann ein Unterbrechungsbefehl 37 an das Einparkassistenzmodul 40 zum Unterbrechen eines Einparkvorgangs gesendet werden. Um zu bestimmen, ob die Aufmerksamkeit des Fahrers dem Fahrzeug 1 gilt, wie es bei einem Einparkvorgang sein sollte, kann ein Erkennungsverfahren für ähnliche Gesten auf den Videodaten 33 ausgeführt werden, wie oben für das Gestenbestimmungsmodul 34 beschrieben ist. Insbesondere kann die Gestenerkennungsverarbeitung auf dem Kopf des Fahrers 10 in den Videodaten 33 durchgeführt werden, um eine Richtung zu ermitteln, der der Fahrer zugewandt ist. Dies könnte durch Segmentierungsverarbeitung zur Bestimmung bestimmter Gesichtsmerkmale ausgeführt werden. Eine geometrische Beziehung zwischen den Gesichtsmerkmalen ermöglicht das Bestimmen der Richtung des Kopfes des Fahrers. Sollte der Fahrer 10 vom Fahrzeug 1 abgewandt sein, wird ein Unterbrechungsbefehl 37 an das Einparkassistenzmodul ausgegeben.
Das Einparksteuersystem 2 von 2 umfasst des Weiteren ein biometrisches Authentifizierungsmodul 38, das dafür konfiguriert ist, dass der Fahrer 10 Videodaten 33 über biometrische Erkennungsverarbeitung authentifiziert. Beispielsweise könnte Gesichtserkennung für biometrische Authentifizierung verwendet werden. Das biometrische Authentifizierungsmodul 38 ist dafür konfiguriert, um biometrische Informationen einer Person in den Videodaten 33 festzustellen und die biometrischen Informationen mit entsprechenden biometrischen Informationen in einer Datenbank der biometrischen Informationen 58 von autorisierten Fahrern zu vergleichen. Sollte eine Nichtübereinstimmung aus dem Vergleich hervorgehen, wird ein Stoppbefehl 39 an das Einparkassistenzmodul 40 zum Stoppen des Einparkvorgangs gesendet.
Die hierin beschriebenen Einparkvorgänge beinhalten nicht nur Bewegen des Fahrzeugs 1 in einen Parkplatz, sondern auch Bewegen des Fahrzeugs 1 aus einem Parkplatz.
Es wird nachfolgend auf das Ablaufdiagramm von 3 Bezug genommen, und mit weiterer Bezugnahme auf 1 und 2. Das Ablaufdiagramm nach 3 beschreibt ein computerimplementiertes Verfahren 120 zur Durchführung eines Einparkvorgangs eines Fahrzeugs 1. Das computerimplementierte Verfahren 120 wird durch Ausführen mindestens eines Computerprogramms 14 durch den mindestens einen Prozessor 16 und durch die zugeordneten Module des Einparksteuersystems 2 in 2 gesteuert.
Das Verfahren 120 kann bei Aktivieren des automatischen Einparkassistenzsystems 46 eingeleitet werden. Die Einparkassistenzsystem 46 kann durch Fahrereingabe von außerhalb des Fahrzeugs 1 oder von innerhalb des Fahrzeugs 1 aktiviert werden. Beispielsweise kann das Aktivieren durch eine Instrumententafel des Fahrzeugs 1, durch die drahtlose Vorrichtung 22 oder durch eine andere Vorrichtung wie eine Taste auf dem Fahrzeug 1 (z. B. von außerhalb des Fahrzeugs 1 zugänglich) von einem Mobiltelefon, einem intelligenten tragbaren Element, einem Tablet, einem Schlüsselanhänger usw. erfolgen. Des Weiteren entdeckt die Fahrzeugsteuerung 8, wenn der Fahrer in einem Bereich ist, durch Hören auf das drahtlose Signal 21 (BLE, LiFi usw.) d. h. von der Fahrervorrichtung 22 (beispielsweise Smartphone, tragbares Element usw.). Sobald die drahtlosen Signale 21 empfangen wurden und der automatisierte Einparkvorgang aktiviert wurde, kann das Verfahren 120 weitergehen.
Bei 100 werden drahtlose Signale 21 durch mindestens einen drahtlosen Signalsensor 28 von einer drahtlosen Fahrervorrichtung 22 empfangen. Insbesondere wird das drahtlose Signal 21 durch eine Anordnung von drahtlosen Signalsensoren 28 (z. B. Antennen) empfangen, die voneinander beabstandet, und in dem Fahrzeug 1 beinhaltet sind. Die drahtloses Fahrervorrichtung 22 wird von einem Fahrer 10 getragen, der sich außerhalb des Fahrzeugs 1 befindet. Die drahtlose Fahrervorrichtung 22 kann die drahtlosen Signale regelmäßig oder als Reaktion auf eine Fahrereingabe, wie durch einen Schlüsselanhängerknopf oder eine Smartphone-Eingabeoberfläche (z. B. ein berührungsempfindlicher Bildschirm) senden. Drahtlose Signaltriangulation unterstützt das Sichtsystem 26 bei der Fokussierung auf den Fahrer 10.
Bei 102 wird eine Position der Fahrervorrichtung 22 mittels des Positionsbestimmungsmoduls 20 bestimmt. Die Position kann in einem mindestens zweidimensionalen Raum in einem Koordinatensystem bezüglich des Fahrzeugs 1 bestimmt werden. Die Position kann bestimmt werden durch ein Triangulationsverfahren mit Signalstärkemaßnahmen von jedem von mindestens drei drahtlosen Signalsensoren 28. Die Anordnung von drahtlosen Sensoren 28 (Antennen) ermöglicht Triangulation des Standorts des Fahrers 10, sodass die mindestens eine Kamera 30, 30' eine Fokussierung auf den Fahrer in nachfolgenden Schritten vornehmen kann (vielleicht unter Ausschluss von Umstehenden). Sollten die drahtlosen Signale verlorengehen oder Triangulation nicht möglich sein, kehrt das Verfahren 120 zu dem anfänglichen Schritt 100 zurück.
Bei 104 wird ein Sichtsystem 26 gesteuert, um Videodaten 33 eines begrenzten Sichtfeldes basierend auf der in Schritt 102 durch das Sichtsystem-Steuermodul 32 ermittelten Position bereitzustellen. Insbesondere Fahrervorrichtungspositionsdaten 25, die in Schritt 102 durch Triangulation bestimmt wurden, werden verwendet, um ein Sichtfeld mindestens einer Kamera 30 des Fahrzeugs 1 aus einem Bereich von möglichen Sichtfeldern auszuwählen. Das ausgewählte Sichtfeld entspricht den Fahrervorrichtungspositionsdaten 25 so, dass die drahtlose Fahrervorrichtung 10 im Sichtfeld beinhaltet ist. Hierdurch werden Videodaten 33 in nachfolgenden Verarbeitungsschritten einschließlich Gestenbestimmung verwendet, die auf die Person (nämlich den Fahrer 10) fokussiert oder beschränkter darauf sind. Beispielsweise wird die Kamera 30' gedreht, sodass ihr Sichtfeld dem Standort des Fahrers 22 entspricht. Alternativ werden die Videodaten 33 von einer ausgewählten aus einer Mehrzahl von Kameras 30 entsprechend dem Standort des Fahrers 10 empfangen. In einer weiteren Alternative werden 360°-Rundum-Videodaten 31 von mehreren Kameras 30 empfangen, und das Sichtfeld wird in der Größe und Winkelposition entsprechend der ermittelten Position des Fahrers 10 beschnitten (wovon angenommen wird, dass sie der Position der drahtlosen Fahrervorrichtung 22 entspricht).
Bei 106 werden die Videodaten 33 analysiert, um den Fahrer 10 biometrisch durch das biometrische Authentifizierungsmodul 38 zu authentifizieren. Jedes biometrische Authentifizierungsverfahren, wie ein Gesichtserkennungsalgorithmus, kann verwendet werden. Dadurch wird eine zusätzliche Sicherheitsüberprüfung bereitgestellt, dass die Fahrergesten durch den berechtigten Fahrer ausgeführt werden. Sollte die biometrische Authentifizierung von Schritt 106 einen unberechtigten Fahrer ermitteln, wird ein Stoppbefehl 39 an das Einparkassistenzsystem 46 gesendet, den Einparkvorgang und die Bewegung des Fahrzeugs 1 zu stoppen. Des Weiteren kehrt das Verfahren 120 bei einer fehlgeschlagenen biometrischen Identifizierung des Fahrers 10 zum anfänglichen Schritt 100 zurück. Durch Kombinieren der drahtlosen Signaltriangulation und der biometrischen Authentifizierung kann die Gefahr, dass ein Umstehender die Steuerung des Fahrzeug 1 übernimmt, indem er vor den Fahrer 10 tritt, wesentlich verringert werden.
Bei 108 werden die Videodaten 33 zur Überprüfung der Fahreraufmerksamkeit durch das Fahreraufmerksamkeitsprüfmodul 36 analysiert. Insbesondere wird geprüft, dass der Fahrer 10 dem Sichtsystem 26, z. B. der mindestens einen Kamera 30, 30' davon, zugewandt ist. Die Videodaten 33 können analysiert werden, um zu bestimmen, welcher Richtung der Fahrer 10 zugewandt ist, mittels Erkennung von Gesichtsmerkmalen, vielleicht durch einen Segmentierungsalgorithmus, wovon eine Richtung des Gesichts ermittelt werden kann. Sollte das Gesicht vom Fahrzeug 1 abgewandt sein, beispielsweise dem Visionssystem 26, dann wird ein Unterbrechungsbefehl 37 an das Einparkassistenzsystem 46 zum Unterbrechen eines Einparkvorgangs und zum Stoppen der Bewegung des Fahrzeugs 1 gesendet. Des Weiteren kehrt das Verfahren 120 zum anfänglichen Schritt 100 zurück. Auf diese Weise kann das Sichtsystem 26 verwendet werden, um zu erkennen, welcher Richtung der Fahrer 10 zugewandt ist, und zum Unterbrechen des Einparkvorgangs, wenn der Fahrer 10 abgelenkt wird und vom Fahrzeug 1 wegschaut.
Einer oder beide Schritte 106, 108 können einen Unterschritt des Bestimmens beinhalten, ob ein Gesicht eines Fahrers 10 sicher ermittelt werden kann. Wenn nicht, dann wird angenommen, dass die biometrische Authentifizierung und/oder Fahreraufmerksamkeitsprüfung fehlgeschlagen sind. Solch ein Unterschritt ermöglicht es, den Einparkvorgang zu stoppen, wenn ein Hindernis in dem Weg eines Gesichts des Fahrers aus anderen Gründen nicht lokalisiert werden kann, sodass das Sichtsystem nicht in der Lage ist, die Sicherheitsprüfungen der Schritte 106, 108 auszuführen.
Angenommen, die Fahreraufmerksamkeits- und biometrischen Authentifizierungsschritte 108, 110 wurden als positiv bestimmt, fährt das Verfahren 120 fort mit Schritt 110. Bei 110 wird eine Fahrergeste aus den Videodaten 33 durch das Gestenbestimmungsmodul 34 bestimmt. Insbesondere werden die Videodaten 33 analysiert, um mindestens eine Fahrergeste zu bestimmen. Die bestimmte Geste wird mit einer Datenbank 48 von vorbestimmten Gesten verglichen und mit einem Gestenbefehl 35 korreliert. Das heißt, Daten von dem Sichtsystem 26 (einschließlich Kameras 30, 30', Infrarotkameras 30, 30', Laserprojektion) werden verarbeitet zur Überwachung des Fahrers 10 auf Bewegungen, sodass der Fahrer 10 leicht verständliche Gesten verwenden kann, wie Winken des Autos nach vorn oder Halten seiner Hand zum Stoppen, um das Fahrzeug 1 während eines automatisierten Einparkvorgangs fernzusteuern. Der Gestenbefehl 35 wird an das Einparkassistenzsystem 46 ausgegeben und dient als Eingabe zur Steuerung eines Einparkvorgangs (z. B. in einen Parkplatz hinein oder aus diesem heraus), was durch das Einparkassistenzsystem 46 automatisiert wird. Beispielsweise kann der Gestenbefehl 35 das Unterbrechen des Einparkvorgangs (und Stoppen der Bewegung des Fahrzeugs 1); Fortsetzen des Einparkvorgangs, Beschleunigen, Abbremsen, Starten des Einparkvorgangs, Abschließen des Einparkvorgangs, Rangieren nach links, Rangieren nach rechts usw. beinhalten.
Bei 112 wird der Gestenbefehl 35 an das Einparkassistenzsystem 46 ausgegeben und dient als Eingabe zur Steuerung eines automatisierten Einparkvorgangs. Der Einparkvorgang wird automatisiert in dem Sinne, dass die Fahrzeugbewegung automatisch gesteuert wird durch das Einparkassistenzmodul 40 und das Fahrzeugsteuermodul, um einer bestimmten Einparkbahn zu folgen. Die Einparkbahn kann auch automatisch bestimmt werden durch das Einparkassistenzmodul 40. Der Einparkvorgang reagiert durch das Einparkassistenzmodul 40 auf jeden Gestenbefehl, der in Schritt 110 bestimmt wurde, und auch auf die Einparksensoren 44, insbesondere bei einem Hindernis, das durch die Einparksensoren 44 erfasst wird.
Verfahren 120 ist ein iteratives Verfahren, das während eines gesamten Einparkvorgangs durchgeführt wird, zum Beispiel mindestens vom Einparkstart bis zum Einparkende davon. Eines oder beide von dem Einparkstart- und -endpunkt können automatisch bestimmt werden durch die Fahrzeugsteuereinheit 8 durch das Einparkassistenzmodul 40 oder durch Gestenerkennung des Fahrers 10. Hinsichtlich Iteration kann der Schritt 102 des Bestimmens einer Position der drahtlosen Fahrervorrichtung 22 und reagierendes Ändern des Sichtfeldes in Schritt 104 basierend auf der Position der Fahrervorrichtung 22 iterativ während des Einparkvorgangs ausgeführt werden. Der Fahrer 10 kann sich während des Einparkvorgangs bewegen und das Sichtsystem 26 kann das Sichtfeld gemäß den Bewegungen des Fahrers auf der Basis der Positionsbestimmung der drahtlosen Fahrervorrichtung 22 anpassen. Des Weiteren kann die Fahreraufmerksamkeitsprüfung 108 während des Einparkvorgangs iterativ durchgeführt werden, um die fortgesetzte Aufmerksamkeit des Fahrers sicherstellen. Des Weiteren kann der Schritt 110 der Bestimmung von Gesten iterativ bei einem Einparkvorgang ausgeführt werden, um sicherzustellen, dass jede neue Geste des Fahrers 10 angemessen bestimmt, und der zugehörige Befehl erzeugt wird, und dass darauf eine Reaktion durch das Einparkassistenzsystem 2 erfolgt. Das iterative Verfahren 120 kann für jeden Frame von Videodaten von der mindestens einen Kamera 30 oder jeder vorbestimmten Anzahl von Frames ausgeführt werden.
Durch Verwendung drahtloser Signaltriangulation kann sich das Sichtsystem 26 auf den Fahrer 10 fokussieren, um Gesten für eine automatisierte Einparksteuerung zu interpretieren, Gesichtserkennung zum Nachweis der Fernüberwachung bei einem Einparkvorgang auszuführen, und biometrische Authentifizierung auszuführen.
Obwohl mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne von dem Umfang der hinzugefügten Patentansprüche und deren rechtlichen Entsprechungen abzuweichen.

Claims

Einparksteuersystem für ein Fahrzeug, umfassend: ein Positionsbestimmungsmodul, das konfiguriert ist, um eine Position einer drahtlosen Fahrervorrichtung zu bestimmen; ein Sichtsystem-Steuermodul, das so konfiguriert ist, dass es Videodaten mit einem ausgewählten Sichtfeld basierend auf der Position der drahtlosen Fahrervorrichtung bereitstellt; ein Gestenbestimmungsmodul, das so konfiguriert ist, dass es eine Gestenerkennungsverarbeitung auf den Videodaten mit dem ausgewählten Sichtfeld ausführt und mindestens einen Gestenbefehl aus der Gestenerkennungsverarbeitung bestimmt; und ein Einparkassistenzmodul, das so konfiguriert ist, dass es ein Einparkassistenzsystem des Fahrzeugs mit dem mindestens einen Gestenbefehl steuert.
Einparksteuersystem nach Anspruch 1, wobei das Positionsbestimmungsmodul so konfiguriert ist, dass es eine Winkelposition der drahtlosen Fahrervorrichtung relativ zum Fahrzeug bestimmt.
Einparksteuersystem nach Anspruch 1, des Weiteren umfassend mindestens einen drahtlosen Signalsensor zum Erfassen drahtloser Signale von der drahtlosen Fahrervorrichtung, wobei das Positionsbestimmungsmodul konfiguriert ist, um die Position der drahtlosen Fahrervorrichtung basierend auf erfassten drahtlosen Daten zu bestimmen, die von dem mindestens einen drahtlosen Signalsensor erhalten werden.
Einparksteuersystem nach Anspruch 1, wobei das Positionsbestimmungsmodul konfiguriert ist, um die Position der drahtlosen Fahrervorrichtung durch Triangulieren von Sensordaten zu bestimmen, die von einer Mehrzahl drahtloser Sensoren erhalten wird, wobei die drahtlosen Signalsensoren zum Erfassen von drahtlosen Signalen konfiguriert sind, die von der drahtlosen Fahrervorrichtung erhalten werden.
Einparksteuersystem nach Anspruch 1, wobei das Sichtsystem-Steuermodul so konfiguriert ist, dass es mindestens eine Winkelposition um das Fahrzeug von dem Sichtfeld der Videodaten, die dem Gestenbestimmungsmodul bereitgestellt werden, auf der Basis der Position der drahtlosen Fahrervorrichtung auswählt.
Einparksteuersystem nach Anspruch 1, wobei das Sichtsystem-Steuermodul so konfiguriert ist, dass es mindestens eine Größe des Sichtfeldes mit mindestens einer von Höhen- und Breitenabmessungen, die dem Gestenbestimmungsmodul bereitgestellt werden, auf der Basis der Position der Fahrervorrichtung auswählt.
Einparksteuersystem nach Anspruch 1, umfassend ein Fahreraufmerksamkeitssteuermodul, das dafür konfiguriert ist, um Videodaten mit dem ausgewählten Sichtfeld zu empfangen und von den Videodaten zu bestimmen, ob ein Fahrer von dem Fahrzeug abgewandt ist, wobei das Fahreraufmerksamkeitsprüfmodul dafür konfiguriert ist, um einen Unterbrechungsbefehl an das Einparkassistenzmodul als Reaktion auf das Bestimmen zu senden, dass der Fahrer vom Fahrzeug abgewandt ist.
Einparksteuersystem nach Anspruch 1, umfassend ein biometrisches Authentifizierungsmodul, das dafür konfiguriert ist, biometrisch einen Fahrer aus den Videodaten mit dem ausgewählten Sichtfeld unter Verwendung biometrischer Erkennungsverarbeitung zu authentifizieren, wobei die biometrische Authentifizierung dafür konfiguriert ist, um einen Stoppbefehl an das Einparkassistenzmodul beim Fehlschlagen der biometrischen Authentifizierung zu senden.
Fahrzeug mit einem Einparkassistenzsystem und einem Einparksteuersystem, das Einparksteuersystem umfassend: ein Positionsbestimmungsmodul, das konfiguriert ist, um eine Position einer drahtlosen Fahrervorrichtung zu bestimmen; ein Sichtsystem-Steuermodul, das so konfiguriert ist, dass es Videodaten mit einem ausgewählten Sichtfeld basierend auf der Position der drahtlosen Fahrervorrichtung bereitstellt; ein Gestenbestimmungsmodul, das so konfiguriert ist, dass es eine Gestenerkennungsverarbeitung auf den Videodaten mit dem ausgewählten Sichtfeld ausführt und mindestens einen Gestenbefehl aus der Gestenerkennungsverarbeitung bestimmt; und ein Einparkassistenzmodul, das so konfiguriert ist, dass es das Einparkassistenzsystem des Fahrzeugs mit dem mindestens einen Gestenbefehl steuert.
Verfahren zum Durchführen eines automatisierten Einparkvorgangs eines Fahrzeugs, umfassend: Bestimmen einer Position einer drahtlosen Fahrervorrichtung, die außerhalb des Fahrzeugs positioniert ist; Bereitstellen von Videodaten mit einem Sichtfeld, das auf der Basis der Position der drahtlosen Fahrervorrichtung ausgewählt ist, über ein Sichtsystem; Durchführen von Gestenerkennungsverarbeitung auf den Videodaten mit dem ausgewählten Sichtfeld; Bestimmen von mindestens einem Gestenbefehl aus der Gestenerkennungsverarbeitung; und Ausführen des automatisierten Einparkvorgangs des Fahrzeugs mit dem mindestens einen Gestenbefehl.