-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft allgemein autonome Fahrzeuge und betrifft insbesondere Systeme und Verfahren zum Bereitstellen von automatisierten Benutzererkennungsfunktionen in einem autonomen Fahrzeug.
-
Die
US 2017 / 0 153 714 A1 beschreibt beispielsweise ein autonomes Fahrzeug, das einen Umgebungssensor aufweist, der eine Umgebung des autonomen Fahrzeugs scannt und die Scandaten zu einer Steuerung überträgt, wobei die Steuerung die Scandaten basierend auf einem Gestenerkennungsalgorithmus analysiert und das autonome Fahrzeug entsprechend steuert.
-
EINLEITUNG
-
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug tastet seine Umgebung mithilfe von einer oder mehreren Sensorvorrichtungen, wie beispielsweise RADAR, LIDAR, Bildsensoren und dergleichen ab. Ein autonomes Fahrzeugsystem nutzt weiterhin Informationen von Positionierungssystemen wie (GPS)-Technologie, Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
-
Autonome Fahrzeuge können als Taxis oder Mietwagen genutzt werden. Für ein Abrechnungs- oder Vermietungsverfahren muss eine Identität eines bestimmten Benutzers durch ein bestimmtes autonomes Fahrzeug bestimmt werden. Um die Identität des Benutzers zu bestimmen, werden Identifikationsdaten von einem Speicher, wie einem Mobiltelefon oder einer anderen persönlichen elektronischen Vorrichtung, zu dem autonomen Fahrzeug übertragen. Dies bedeutet, dass der Benutzer eine persönliche elektronische Vorrichtung haben muss, um das autonome Fahrzeug zu mieten oder zu benutzen.
-
Dementsprechend ist es wünschenswert, ein autonomes Fahrzeug zu mieten oder zu verwenden, ohne eine persönliche elektronische Vorrichtung zu verwenden. Darüber hinaus ist es wünschenswert, einen Benutzer basierend auf biometrischen Informationen zu erkennen. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
-
KURZDARSTELLUNG
-
In verschiedenen Aspekten beinhaltet ein Benutzererkennungssystem zur automatischen Benutzererkennung in einem autonomen Fahrzeug eine Steuerung mit mindestens einem Prozessor, der Funktionen für die automatische Benutzererkennung in dem autonomen Fahrzeug bereitstellt. Das Benutzererkennungssystem beinhaltet mindestens einen Umgebungssensor, der konfiguriert ist, um eine Umgebung des autonomen Fahrzeugs zu scannen und Scandaten der Umgebung zu einem biometrischen Erkennungsmodul des autonomen Fahrzeugs zu übertragen. Das Benutzererkennungssystem beinhaltet ferner ein biometrisches Erkennungsmodul, das konfiguriert ist, um die Scandaten der Umgebung basierend auf einem Gestenerkennungsalgorithmus unter Verwendung des mindestens einen Prozessors zu analysieren. Der Gestenerkennungsalgorithmus analysiert die Scandaten der Umgebung basierend auf mindestens einem biometrischen Merkmal unter Verwendung des mindestens einen Prozessors. Das mindestens eine biometrische Merkmal beinhaltet mindestens eine Herbeiwinken-Geste. Die Steuerung ist konfiguriert, um das autonome Fahrzeug in der Nähe des Benutzers anzuhalten, d. h. an einer Position des Benutzers, d. h. eine deutliche Entfernung von dem Benutzer, und um das autonome Fahrzeug so zu konfigurieren, dass es dem Benutzer die Verwendung des autonomen Fahrzeugs anbietet, wenn der Gestenerkennungsalgorithmus erkennt, dass ein Benutzer eine Herbeiwinken-Geste gemäß dem mindestens einen biometrischen Merkmal in den Scandaten der Umgebung zeigt.
-
In verschiedenen Ausführungsformen beschreibt ein biometrisches Merkmal eine Bewegung von mindestens einer Gliedmaße eines Benutzers. In dieser Ausführungsform wird die Herbeiwinken-Geste durch einen Satz vorgegebener Merkmale beschrieben, die Informationen über eine Ausrichtung von Gliedmaßen eines Benutzers in bestimmten Winkeln zueinander oder eine Bewegung der Gliedmaßen des Benutzers relativ zu seiner Umgebung, d. h. relativ zu aktuellen Hintergrunddaten, umfassen.
-
In verschiedenen Ausführungsformen fokussiert die Steuerung mindestens einen Sensor des autonomen Fahrzeugs auf den Benutzer, wenn der Gestenerkennungsalgorithmus einen Benutzer erkennt, der eine Herbeiwinken-Geste in den Scandaten der Umgebung gemäß dem mindestens einen biometrischen Merkmal zeigt.
-
Um einen Sensor auf einen Benutzer zu fokussieren, ermittelt der Sensor Daten bezüglich des Benutzers. Somit wird der Sensor beispielsweise in Richtung des Benutzers bewegt oder bestimmt nur Daten, die sich auf den Benutzer beziehen.
-
In verschiedenen Ausführungsformen analysiert das biometrische Erkennungsmodul eine Gangart des Benutzers unter Verwendung eines Gangartanalysieralgorithmus, der aktuelle Scandaten der Umgebung analysiert, während sich der Benutzer dem Fahrzeug nähert.
-
In verschiedenen Ausführungsformen wird eine Gangart eines Benutzers analysiert, indem eine Bewegung von mindestens einer Gliedmaße und/oder einem Kopf und/oder einem anderen Körperteil des Benutzers verfolgt wird.
-
In verschiedenen Ausführungsformen beinhaltet das Benutzererkennungssystem einen Server und die Steuerung überträgt Ergebnisse des Gangartanalysieralgorithmus und/oder Ergebnisse des Gestenerkennungsalgorithmus unter Verwendung eines Kommunikationsmoduls an den Server. Der Server ist konfiguriert, um nach Daten zu suchen, die sich auf die Ergebnisse des Gestenerkennungsalgorithmus und/oder der Ergebnisse des Gangartanalysieralgorithmus in einer Datenbank beziehen, und um die Daten, die sich auf die Ergebnisse des Gestenerkennungsalgorithmus und/oder der Ergebnisse des Gangartanalysieralgorithmus beziehen, unter Verwendung des Kommunikationsmoduls an die Steuerung zu übertragen.
-
Das Kommunikationsmodul kann konfiguriert sein, um Informationen zu und von Einheiten außerhalb des autonomen Fahrzeugs drahtlos zu übermitteln, wie beispielsweise Server, die Teil anderer Fahrzeuge („V2V“-Kommunikation) oder einer bestimmten Infrastruktur („V21“-Kommunikation) sein können. Das Kommunikationssystem kann ein drahtloses Kommunikationssystem sein, das so konfiguriert ist, dass es über ein drahtloses lokales Netzwerk (WLAN oder WIFI) unter Verwendung von IEEE 802.11-Standards oder unter Verwendung einer zellularen Datenkommunikation kommuniziert. Im Geltungsbereich der vorliegenden Erfindung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt.
-
In verschiedenen Ausführungsformen beinhalten Daten, die von dem Server zu der Steuerung übertragen werden, mindestens Daten eines Profils des Benutzers, erwartete Gesichtsdaten des Benutzers und eine Sprachkarte des Benutzers.
-
In verschiedenen Ausführungsformen kann der Server eine Datenbank von Benutzerdaten wie Daten eines Profils eines Benutzers, erwartete Gesichtsdaten eines Benutzers und eine Sprachkarte eines Benutzers für zahlreiche Benutzer umfassen.
-
In verschiedenen Ausführungsformen ist die Steuerung so konfiguriert, dass sie den Benutzer von der Verwendung des autonomen Fahrzeugs ausschließt, wenn der Server keine Daten bezüglich der Ergebnisse des Gestenerkennungsalgorithmus und/oder der Ergebnisse des Gangartanalysieralgorithmus in der Datenbank findet.
-
In verschiedenen Ausführungsformen beinhaltet das Benutzererkennungssystem mindestens ein Gesichtserkennungssystem, das konfiguriert ist, um ein Gesicht des Benutzers unter Verwendung eines Gesichtsscansensors, wie z. B. eines zur Abtastung eines Gesichts eines Benutzers konfigurierten Sensors, abzutasten, und um die Scandaten des Gesichts des Benutzers mit den erwarteten Gesichtsdaten abzugleichen, die von dem Server unter Verwendung des mindestens einen Prozessors der Steuerung übertragen werden. Die Steuerung ist konfiguriert, das autonome Fahrzeug zu entsperren und einen Dialog mit dem Benutzer zu starten, wenn die Scandaten des Gesichts des Benutzers mit den erwarteten Gesichtsdaten übereinstimmen, die vom Server übertragen werden.
-
In verschiedenen Ausführungsformen ist der Gesichtsscansensor ein optischer Sensor, wie zum Beispiel eine Kamera, ein Infrarotsensor, ein Laserscanner oder dergleichen.
-
In verschiedenen Ausführungsformen beinhaltet das Benutzererkennungssystem mindestens ein Spracherkennungssystem, das konfiguriert ist, um Sprachdaten, die von dem Benutzer während des Dialogs bereitgestellt werden, unter Verwendung eines Spracherkennungssensors abzutasten. Die Steuerung ist konfiguriert, um die Identität des Benutzers zu bestätigen, wenn die Scandaten der Stimme des Benutzers mit der von dem Server übertragenen Sprachkarte übereinstimmen.
-
In verschiedenen Ausführungsformen ist der Spracherkennungssensor ein Akustiksensor, beispielsweise ein Mikrofon oder dergleichen.
-
In verschiedenen Ausführungsformen beinhaltet der Dialog mindestens eine Frage bezüglich eines Bestimmungsortes des Benutzers.
-
In verschiedenen Ausführungsformen ist das Spracherkennungssystem dazu konfiguriert, Informationen bezüglich des Bestimmungsortes des Benutzers aus Sprachdaten zu extrahieren, die von dem Spracherkennungssensor bereitgestellt werden. Die Steuerung ist konfiguriert, um eine Strecke zu dem Bestimmungsort des Benutzers zu bestimmen und das autonome Fahrzeug zu konfigurieren, um den Benutzer zu dem Bestimmungsort des Benutzers zu fahren.
-
In verschiedenen Ausführungsformen enthalten Daten, die von dem Server zu der Steuerung übertragen werden, eine Liste von Identifikationsdaten von Benutzern, die basierend auf den Ergebnissen des Gangartanalysieralgorithmus und/oder den dem Server übermittelten Ergebnissen des Gestenerkennungsalgorithmus zu erkennen sind. Die Steuerung ist konfiguriert, um die Identität eines einzelnen Benutzers basierend auf den von dem Server übertragenen Daten unter Verwendung eines Gesichtserkennungssystems und/oder eines Spracherkennungssystems zu bestätigen und/oder um Daten, die durch das Gesichtserkennungssystem und/oder das Spracherkennungssystem bestimmt werden zu dem Server zu übertragen, wenn die Identität eines einzelnen Benutzers nicht basierend auf Daten bestätigt wird, die von dem Server unter Verwendung des Gesichtserkennungssystems und/oder des Spracherkennungssystems übertragen werden. Wenn die Steuerung Daten, die durch das Gesichtserkennungssystem und/oder das Spracherkennungssystem bestimmt wurden, an den Server überträgt, ist der Server konfiguriert, um die Identität eines einzelnen Benutzers basierend auf den durch das Gesichtserkennungssystem und/oder das Spracherkennungssystem bestimmten Daten und eine Datenbank mit Gesichtsdaten und/oder Sprachdaten einer Vielzahl von Benutzern zu bestätigen, und zum Übertragen der bestätigten Identität des einen einzelnen Benutzers an die Steuerung.
-
Die Menge an persönlicher Profilinformation, die an die Steuerung des Benutzererkennungssystems gesendet wird, kann auf eine Liste von wahrscheinlichen Kandidaten unter Verwendung der Ergebnisse des Gangartanalysieralgorithmus und/oder der dem Server übermittelten Ergebnisse des Gestenerkennungsalgorithmus reduziert werden. Die Liste der wahrscheinlichen Kandidaten kann für ein Vergleichsverfahren verwendet werden, d. h. für ein Abgleichverfahren, das Daten von bestimmten Kandidaten der Liste wahrscheinlicher Kandidaten mit Ergebnissen von Daten abgleicht, die durch das Gesichtserkennungssystem und/oder das Spracherkennungssystem bestimmt werden. Wenn die Ergebnisse der Daten, die durch das Gesichtserkennungssystem und/oder das Spracherkennungssystem bestimmt wurden, nicht eindeutig sind oder die Ergebnisse nicht mit persönlichen Profilinformationen von mindestens einem Kandidaten übereinstimmen, kann die Steuerung konfiguriert sein, um durch ein Gesichtserkennungssystem bestimmte Gesichtsinformationen an den Server zu senden, wobei eine Analyse, d. h. eine Abgleichverfahren der Daten, die durch das Gesichtserkennungssystem und/oder das Spracherkennungssystem bestimmt werden, gegen einen vollständigen Satz von auf dem Server gespeicherten Benutzerprofilen ausgeführt werden kann.
-
In verschiedenen Ausführungsformen ist die Steuerung konfiguriert, um die Strecke zu dem Bestimmungsort des Benutzers zu bestimmen, indem Informationen bezüglich des Bestimmungsortes des Benutzers, extrahiert aus den Sprachdaten, die durch den Spracherkennungssensor bereitgestellt werden, zu einem Server übertragen werden. Der Server ist konfiguriert, basierend auf den Sprachdaten eine Strecke zu dem Bestimmungsort des Benutzers zu erzeugen und die Strecke unter Verwendung eines Kommunikationsmoduls an die Steuerung zu übertragen.
-
In verschiedenen Ausführungsformen ist das Spracherkennungssystem dazu konfiguriert, Informationen bezüglich eines emotionalen Zustands des Benutzers aus den Sprachdaten zu extrahieren, die von dem Spracherkennungssensor bereitgestellt werden. Ferner ist die Steuerung dazu konfiguriert, ein Fahrverhalten basierend auf dem aktuellen emotionalen Zustand des Benutzers zu modifizieren.
-
In verschiedenen Ausführungsformen analysiert das Spracherkennungssystem Frequenzen und/oder Amplituden in den durch den Spracherkennungssensor bereitgestellten Sprachdaten, und gleicht die Frequenzen und/oder Amplituden mit einem Satz gegebener emotionaler Zustände ab.
-
In verschiedenen Ausführungsformen ist das biometrische Erkennungsmodul so konfiguriert, dass es benutzerbezogene Daten aus den Scandaten der Umgebung extrahiert, indem die Scandaten der Umgebung mit Daten der Umgebung abgeglichen werden, die von mindestens einem zusätzlichen Umgebungssensor des autonomen Fahrzeugs bereitgestellt werden, sodass nur Daten, die sich auf den Benutzer beziehen, von dem Gestenerkennungsalgorithmus verwendet werden, um die Herbeiwinken-Geste zu erkennen, und Daten, die sich auf einen bestimmten Hintergrund beziehen, werden subtrahiert.
-
Durch Subtrahieren von Hintergrundinformationen von einem Datensatz bleiben Daten bezüglich eines bestimmten Benutzers erhalten. Somit können Algorithmen zur Benutzererkennung, wie die Gesten- und/oder Gangartanalysealgorithmen, optimiert werden, da sie nur unter Verwendung von Benutzerdaten ausgeführt werden und daher sehr genau sind.
-
In verschiedenen Ausführungsformen wird der mindestens eine zusätzliche Umgebungssensor aus der folgenden Liste ausgewählt: RADAR-Sensor, LIDAR-Sensor, Ultraschallsensor, Kamera-Sensoren in mehreren Winkeln und Mikrofon-Sensor.
-
In verschiedenen Ausführungsformen basiert der Gestenerkennungsalgorithmus auf einem Verfolgungsalgorithmus des autonomen Fahrzeugs, um Straßenteilnehmer zu verfolgen.
-
In verschiedenen Ausführungsformen ist die Steuerung dazu konfiguriert, das autonome Fahrzeug an einer Position relativ zu dem Benutzer anzuhalten und dem Benutzer das Mieten des autonomen Fahrzeugs anzubieten und durch Identifizieren des Benutzers basierend auf biometrischen Daten des Benutzers, die durch mindestens einen Sensor des autonomen Fahrzeugs erfasst wurden, in Rechnung gestellt zu werden, wenn der Gestenerkennungsalgorithmus einen Benutzer erkennt, der eine Herbeiwinken-Geste gemäß dem mindestens einen biometrischen Merkmal in den Scandaten der Umgebung zeigt.
-
Sofern nicht anders angegeben oder auf eine andere Ausführungsform verwiesen wird, können zwei oder mehrere der vorstehend genannten Ausführungsformen mit dem Benutzererkennungssystem kombiniert werden, insbesondere mit der Steuerung des Benutzererkennungssystems.
-
In verschiedenen Aspekten wird ein autonomes Fahrzeug bereitgestellt, das die Steuerung des Benutzererkennungssystems alleine oder in Kombination mit einer oder mehreren der hierin beschriebenen Ausführungsformen des Benutzererkennungssystems beinhaltet.
-
In verschiedenen Ausführungsformen beinhaltet die Steuerung mindestens einen Umgebungssensor, der zum Scannen einer Umgebung des autonomen Fahrzeugs und zum Senden von Scandaten der Umgebung an ein biometrisches Erkennungsmodul konfiguriert ist, mindestens einen Prozessor, und ein biometrisches Erkennungsmodul zum Analysieren der Scandaten der Umgebung basierend auf einem Gestenerkennungsalgorithmus unter Verwendung des mindestens einen Prozessors der Steuerung. Der Gestenerkennungsalgorithmus analysiert die Scandaten der Umgebung basierend auf mindestens einem biometrischen Merkmal unter Verwendung des mindestens einen Prozessors. Das mindestens eine biometrische Merkmal beinhaltet mindestens eine Herbeiwinken-Geste. Die Steuerung ist konfiguriert, um das autonome Fahrzeug in einer Position relativ zu dem Benutzer anzuhalten und dem Benutzer die Verwendung des autonomen Fahrzeugs anzubieten, wenn der Gestenerkennungsalgorithmus erkennt, dass ein Benutzer eine Herbeiwinken-Geste gemäß dem mindestens einen biometrischen Merkmal in den Scandaten der Umgebung zeigt.
-
Gemäß einem Aspekt wird ein Verfahren zur automatisierten Benutzererkennung in einem autonomen Fahrzeug bereitgestellt.
-
In verschiedenen Ausführungsformen beinhaltet das Verfahren die Schritte: Scannen einer Umgebung des autonomen Fahrzeugs durch Verwenden mindestens eines Umgebungssensors des autonomen Fahrzeugs und Übertragen von Scandaten der Umgebung an ein biometrisches Erkennungsmodul, Analysieren der Scandaten der Umgebung basierend auf einem Gestenerkennungsalgorithmus unter Verwendung des mindestens einen Prozessors der Steuerung, der ein Prozessor des biometrischen Erkennungsmoduls sein kann, Analysieren der Scandaten der Umgebung basierend auf dem Gestenerkennungsalgorithmus unter Verwendung von mindestens einem biometrischen Merkmal unter Verwendung des mindestens einen Prozessors. Das mindestens eine biometrische Merkmal beinhaltet mindestens eine Herbeiwinken-Geste und, wenn der Gestenerkennungsalgorithmus einen Benutzer erkennt, der eine Herbeiwinken-Geste gemäß dem mindestens einen biometrischen Merkmal in den Scandaten der Umgebung zeigt, Anhalten des autonomen Fahrzeugs bei dem Benutzer und dem Benutzer die Verwendung des autonome Fahrzeugs anbieten.
-
In verschiedenen Ausführungsformen beinhaltet das Verfahren die Schritte: Analysieren einer Gangart des Benutzers unter Verwendung eines Gangartanalysieralgorithmus, der aktuelle Scandaten der Umgebung analysiert, während sich der Benutzer dem Fahrzeug nähert, Übertragen von Ergebnissen des Gangartanalysieralgorithmus und/oder von Ergebnissen des Gestenerkennungsalgorithmus an einen Server unter Verwendung eines Kommunikationsmoduls und Suchen nach Daten bezüglich der Ergebnisse des Gestenerkennungsalgorithmus und/oder der Ergebnisse des Gangartanalysealgorithmus in einer Datenbank und Übertragen der Daten bezüglich der Ergebnisse des Gestenerkennungsalgorithmus und/oder der Ergebnisse des Gangartanalysealgorithmus unter Verwendung des mindestens einen Prozessors an die Steuerung. Die von dem Server zu der Steuerung übertragenen Daten beinhalten mindestens Daten eines Profils des Benutzers, erwartete Gesichtsdaten des Benutzers und eine Sprachkarte des Benutzers, Scannen eines Gesichts des Benutzers unter Verwendung eines Gesichtsscansensors und Abgleichen der Scandaten des Gesichts des Benutzers mit den erwarteten Gesichtsdaten, die von dem Server unter Verwendung eines Gesichtserkennungssystems übertragen werden, Entsperren des autonomen Fahrzeugs und Beginnen eines Dialogs mit dem Benutzer, wenn die Scandaten des Gesichts des Benutzers mit den von dem Server unter Verwendung der Steuerung übertragenen erwarteten Gesichtsdaten übereinstimmen, Scannen von Sprachdaten, die von dem Benutzer während des Dialogs bereitgestellt werden, Abgleichen der Scandaten der Sprache des Benutzers mit der von dem Server übertragenen Sprachkarte durch Verwenden des mindestens einen Prozessors, der ein Prozessor des Spracherkennungssystems sein kann, Bestätigen einer Identität des Benutzers, wenn die Scandaten der Stimme des Benutzers mit der von dem Server unter Verwendung der Steuerung gesendeten Sprachkarte übereinstimmen, Extrahieren von Informationen über den Bestimmungsort des Benutzers aus Sprachdaten, die unter Verwendung des Spracherkennungssystems durch den Spracherkennungssensor bereitgestellt werden, Bestimmen einer Strecke zu dem Bestimmungsort des Benutzers und Konfigurieren des autonomen Fahrzeugs zum Fahren des Benutzer zum dem Bestimmungsort des Benutzers unter Verwendung der Steuerung. Der Dialog beinhaltet mindestens eine Frage bezüglich eines Bestimmungsortes des Benutzers.
-
In verschiedenen Ausführungsformen sind das biometrische Erkennungsmodul und/oder das Kommunikationsmodul in der Steuerung enthalten. Alternativ sind das biometrische Erkennungsmodul und/oder das Kommunikationsmodul in einer Box implementiert, die von einer Box getrennt ist, die den Prozessor der Steuerung umfasst. Eine Box, die das biometrische Erkennungsmodul und/oder das Kommunikationsmodul implementiert, kann einen zusätzlichen Prozessor umfassen, der konfiguriert ist, logische und mathematische Operationen des biometrischen Erkennungsmoduls und/oder des Kommunikationsmoduls auszuführen.
-
Es wird angemerkt, dass das Verfahren in verschiedenen Ausführungsformen in Übereinstimmung mit den Funktionen einer oder mehrerer der oben beschriebenen Ausführungsformen des Benutzererkennungssystems und/oder des autonomen Fahrzeugs modifiziert wird.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei gilt:
- 1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Benutzererkennungssystem gemäß einer Ausführungsform veranschaulicht;
- 2 ist ein Funktionsblockdiagramm, das ein Verfahren veranschaulicht, das Funktionen für die automatische Benutzererkennung in einem wie in 1 gezeigten autonomen Fahrzeug bereitstellt, gemäß einer Ausführungsform;
- 3 ist ein Funktionsblockdiagramm, das eine Steuerung gemäß einer Ausführungsform veranschaulicht; und
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende ausführliche Beschreibung dient lediglich als Beispiel. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in allen Kombinationen, unter anderem beinhaltend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
-
Ausführungen der vorliegenden Erfindung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Erfindung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Erfindung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Erfindung darstellt.
-
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Erfindung vorhanden sein können.
-
Mit Bezug auf 1 wird ein Benutzererkennungssystem 100 zur automatischen Benutzererkennung in einem autonomen Fahrzeug gemäß verschiedener Ausführungsformen und Aspekte gezeigt. Das Benutzererkennungssystem 100 umfasst ein autonomes Fahrzeug 10, das im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18 beinhaltet. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16 und 18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar gekoppelt.
-
Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. In verschiedenen Ausführungsformen erzeugt das autonome Fahrsystem ein Notrufsignal und sendet das Notrufsignal an ein Kommunikationssystem, nachdem das Fahrzeug in den vorbestimmten Zustand gebracht wurde und wenn das Bedienerunfähigkeitsauslösesignal noch für eine vorbestimmte Zeitdauer vorhanden ist oder falls der Bediener nicht innerhalb der vorbestimmten Zeitdauer reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
-
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationsmodul 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 gemäß den wählbaren Übersetzungsverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16 und 18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16 und 18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Erfindung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
-
Das Sensorsystem 28 beinhaltet eine oder mehrere Umgebungssensoren 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können RADARE, LIDARE, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Mikrofone und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Einer oder mehrere der Sensoren des Sensorsystems 28 sind biometrische Sensoren, die biometrische Merkmale eines Benutzers in der Umgebung des Fahrzeugs 10 erfassen. In verschiedenen Ausführungsformen können die biometrischen Sensoren Bildsensoren beinhalten, die konfiguriert sind, um ein Bild eines Gesichts eines Benutzers oder andere Merkmale aufzunehmen, Mikrofone, die konfiguriert sind, um die Stimme eines Benutzers aufzuzeichnen, etc., sind aber nicht auf diese beschränkt. Das Stellgliedsystem 30 beinhaltet ein oder mehrere Stellgliedvorrichtungen, um Steuerbefehle von der Steuerung 34 zu empfangen, um ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt (nicht nummeriert).
-
Das Kommunikationsmodul 36 ist konfiguriert, um Informationen zu und von anderen Einheiten 48 drahtlos zu übermitteln, wie beispielsweise, aber nicht beschränkt auf Server, die Teil anderer Fahrzeuge („V2V“-Kommunikation) oder einer bestimmten Infrastruktur („V21“-Kommunikation) sein können. In einer exemplarischen Ausführungsform ist das Kommunikationsmodul 36 ein drahtloses Kommunikationsmodul, das konfiguriert ist, um über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder mittels einer zellularen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Erfindung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden. In verschiedenen Ausführungsformen ist das Kommunikationsmodul 36 zum Empfangen von Informationen von einem externen Server 48 konfiguriert.
-
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung des automatischen Steuerns des autonomen Fahrzeugs 10 und/oder der automatischen Erkennung eines Benutzers. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 Daten, die durch die Umgebungssensoren 40a-40n bestimmt werden
-
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder ein computerlesbares Speichermedium 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Mikroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
-
In verschiedenen Ausführungsformen beinhalten die von der Steuerung 34 bereitgestellten Steuerbefehle ein oder mehrere separate Programme, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Steuerbefehle, wenn diese vom Prozessor 44 ausgeführt werden, empfangen und verarbeiten Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und steuern die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
-
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 zum Bereitstellen von automatisierten Gestenerkennungsfunktionen, wie sie in Bezug auf eine oder mehrere der hierin beschriebenen Ausführungsformen beschrieben sind, verkörpert. Beispielsweise sind eine oder mehrere der Anweisungen in einem Gestenerkennungsmodul enthalten, das einen oder mehrere Gestenerkennungsalgorithmen ausführt, um automatisch eine Geste eines Benutzers zu erkennen. Zum Beispiel analysiert ein Gestenerkennungsalgorithmus die Scandaten der Umgebung, die von den Umgebungssensoren 40a-40n bereitgestellt werden. Das Gestenerkennungsmodul analysiert die Daten basierend auf mindestens einem definierten biometrischen Merkmal eines Benutzers. In einer Konfiguration des hierin offenbarten Benutzererkennungssystems 100 erfasst der Gestenerkennungsalgorithmus Muster in den von den Umgebungssensoren 40a-40n bereitgestellten Scandaten der Umgebung, beispielsweise Muster, die eine Bewegung eines physischen Merkmals eines Benutzers anzeigen, insbesondere Muster, die eine Herbeiwinken-Geste des Arms oder der Hand anzeigen. In verschiedenen Ausführungsformen wird das Muster, das eine Herbeiwinken-Geste anzeigt, durch Anpassen von Daten erkannt, die von den Umgebungssensoren 40a-40n an mindestens ein definiertes biometrisches Merkmal bereitgestellt werden. In verschiedenen Ausführungsformen kann das definierte biometrische Merkmal eine Bewegung von mindestens einer Gliedmaße eines Benutzers beschreiben. In verschiedenen Ausführungsformen kann das definierte biometrische Merkmal von dem externen Server 48 an die Steuerung 34 übertragen werden. In verschiedenen Ausführungsformen können ein oder mehrere definierte biometrische Merkmale durch einen Techniker an die Steuerung 34 bereitgestellt werden. Beispielsweise definiert der Techniker ein bestimmtes biometrisches Merkmal durch Spezifizieren von Bewegungen von Gliedmaßen und/oder einer Ausrichtung von Gliedmaßen zueinander, die für das bestimmte biometrische Merkmal charakteristisch sind.
-
In verschiedenen Ausführungsformen wird die Herbeiwinken-Geste durch einen Satz vorgegebener Merkmale beschrieben, die Informationen über eine Ausrichtung von Gliedmaßen eines Benutzers in bestimmten Winkeln zueinander umfassen. Zum Beispiel wird die Herbeiwinken-Geste durch einen Satz biometrischer Merkmale definiert, die eine Haltung und/oder einen Blick eines Fußgängers beschreiben. Eine Haltung, die als Herbeiwinken-Geste erkannt wird, kann eine in Richtung des autonomen Fahrzeugs 10 zeigende Bewegung eines Arms eines Benutzers, ein in Richtung des autonomen Fahrzeugs bewegter Daumen, ein in einem Kreis bewegter Arm, ein „x“ bildende Arme, ein sich zu dem autonomen Fahrzeug 10 drehender Körper oder dergleichen sein. Insbesondere kann eine Bewegung, die eine Herbeiwinken-Geste anzeigt, nur für diejenigen Benutzer mit Körperausrichtungen erkannt werden, die angeben, dass sie in Richtung des Fahrzeugs blicken. Somit kann die Herbeiwinken-Geste durch ein biometrisches Merkmal definiert werden, das die Ausrichtung eines Kopfes eines Benutzers beschreibt, der in Richtung des autonomen Fahrzeugs 10 zeigt. Dies bedeutet, wenn der Benutzer nicht in die Richtung des autonomen Fahrzeugs 10 schaut, wird die Herbeiwinken-Geste nicht erkannt und das autonome Fahrzeug 10 wird nicht bei dem Benutzer anhalten.
-
Die Steuerung 34 ist konfiguriert, um das autonome Fahrzeug 10 an einer Position relativ zu einem Benutzer anzuhalten, das bedeutet in einem deutlichen Abstand von dem Benutzer, und das autonome Fahrzeug 10 zu konfigurieren, um dem Benutzer die Verwendung des autonomen Fahrzeugs 10 anzubieten, wenn der Gestenerkennungsalgorithmus erkennt, dass ein Benutzer eine Herbeiwinken-Geste gemäß dem mindestens einen biometrischen Merkmal in den durch die Umgebungssensoren 40a-40n bereitgestellten Scandaten der Umgebung zeigt. Somit steuert die Steuerung 34 das autonome Fahrzeug in Reaktion auf einen Befehl, der von dem biometrischen Erkennungsmodul 30 an die Steuerung 34 übertragen wird, was eine erkannte Herbeiwinken-Geste anzeigt.
-
Die Position relativ zu dem Benutzer wird durch ein Fußgängererkennungssystem des autonomen Fahrzeugs oder durch die Steuerung 34 bestimmt. Somit wird die Position des Benutzers unter Verwendung von GPS-Koordinaten oder beliebiger anderer Koordinaten bestimmt, und eine Position relativ zu dem Benutzer, wie beispielsweise eine Position in einer deutlichen Entfernung von dem Benutzer, wird ausgewählt, um das autonome Fahrzeug anzuhalten. Das heißt, die autonomen Steuerfunktionen des autonomen Fahrzeugs werden verwendet, um das autonome Fahrzeug an der Position anzuhalten, die als relativ zu der Position des Benutzers bestimmt ist.
-
Die Steuerung 34 ist konfiguriert, um Steuerbefehle an das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und/oder das Bremssystem 26 zu senden, um das autonome Fahrzeug 10 an einer Koordinate des Benutzers, d. h. an einer von dem Benutzer entfernten Koordinate, anzuhalten, die durch das biometrische Erkennungsmodul 30 unter Verwendung des Gestenerkennungsalgorithmus und der von den Umgebungssensoren 40a-40n bereitgestellten Scandaten der Umgebung bestimmt wurden.
-
Wenn das autonome Fahrzeug 10 bei den Koordinaten des Benutzers anhält, überträgt die Steuerung 34 Steuerbefehle an ein Kommunikationsmodul 36, um dem Benutzer die Verwendung des autonomen Fahrzeugs anzubieten.
-
Um dem Benutzer die Verwendung des autonomen Fahrzeugs 10 anzubieten, beginnt das Kommunikationsmodul 36 unter Verwendung eines Lautsprechers einen Dialog mit dem Benutzer. Natürlich kann das Kommunikationsmodul 36 zusätzlich oder alternativ eine Anzeige oder eine beliebige andere Benutzerschnittstelle verwenden, um den Benutzer zu kontaktieren.
-
Die Steuerung 34 oder eines ihrer funktionalen Module ist konfiguriert, um mindestens einen Benutzer, basierend auf von den Umgebungssensoren 40a-40n bereitgestellten Scandaten der Umgebung, zu identifizieren. Somit analysiert die Steuerung 34 die Scandaten der Umgebung in Bezug auf mindestens ein biometrisches Merkmal, das eine Gangart und/oder eine Geste beschreiben kann. Basierend auf dem mindestens einen biometrischen Merkmal, das beispielsweise von einem Techniker unter Verwendung des Kommunikationsmoduls 36 bereitgestellt werden kann, wird die Steuerung 34 und/oder ein Server, beispielsweise der externe Server 48, verwendet, um eine Liste von Benutzern auf einen Satz von wahrscheinlichen Kandidaten einzugrenzen. Das heißt, die wahrscheinlichen Kandidaten können aus einer Liste von Benutzern basierend auf Daten ausgewählt werden, die sich auf ihre Gangart und/oder Bewegung gemäß den Scandaten der Umgebung beziehen.
-
Um wahrscheinliche Kandidaten aus der Benutzerliste auszuwählen, kann die Steuerung 34 die Scandaten der Umgebung in Bezug auf mindestens ein biometrisches Merkmal analysieren. Dies bedeutet, dass auf das mindestens eine biometrische Merkmal bezogene Daten aus den Scandaten der Umgebung extrahiert und mit vorgegebenen Parametern des mindestens einen biometrischen Merkmals abgeglichen werden. Das Abgleichverfahren kann durch einen Gestenerkennungsalgorithmus wie etwa ein künstliches neuronales Netzwerk, eine Unterstützungsvektormaschine, einen Mustererkennungsalgorithmus oder dergleichen durchgeführt werden.
-
Der Gestenerkennungsalgorithmus basiert auf überwachten oder nicht überwachten Algorithmen. Somit wird der Gestenerkennungsalgorithmus trainiert, indem Trainingsdaten bestimmter Benutzer verwendet werden.
-
Das mindestens eine biometrische Merkmal, das von dem Gestenerkennungsalgorithmus verwendet wird, ist eine Gangart oder eine Herbeiwinken-Geste.
-
Ein biometrisches Merkmal, das eine Herbeiwinken-Geste beschreibt, kann Informationen über eine Ausrichtung von Gliedmaßen eines Benutzers in bestimmten Winkeln zueinander umfassen. Insbesondere kann ein biometrisches Merkmal, das eine Herbeiwinken-Geste beschreibt, Informationen über einen Daumen eines Benutzers umfassen, der in eine Richtung einer Straße zeigt, auf der das autonome Fahrzeug fährt oder der direkt auf das autonome Fahrzeug zeigt. Alternativ oder zusätzlich kann ein biometrisches Merkmal, das eine Herbeiwinken-Geste beschreibt, Informationen über einen Arm eines Benutzers umfassen, der angehoben oder gewunken wird. Natürlich kann das biometrische Merkmal, das eine Herbeiwinken-Geste beschreibt, Informationen über eine spezielle Bewegung umfassen, von der gesagt wird, dass sie von einem Benutzer als eine Herbeiwinken-Geste verwendet werden soll, wie eine Bewegung, die einen Kreis, ein Kreuz oder dergleichen bildet.
-
Wenn der Gestenerkennungsalgorithmus einen oder mehrere Benutzer, d. h. wahrscheinliche Kandidaten, identifiziert, die mit einem bestimmten Satz biometrischer Merkmale oder einem bestimmten biometrischen Merkmal auf der Grundlage von Scandaten der Umgebung übereinstimmen, wird eine Identität eines bestimmten Kandidaten bzw. Benutzers durch Verwendung eines Gesichtserkennungsalgorithmus bestätigt.
-
Der Gesichtserkennungsalgorithmus kann basierend auf einem Satz von Gesichtsmerkmalen ausgeführt werden, die einen Benutzer charakterisieren. Der Satz von Gesichtsmerkmalen wird aus einer Datenbank basierend auf den Benutzern ausgewählt, die durch den Gestenerkennungsalgorithmus erkannt werden. Der Satz von Gesichtsmerkmalen wird durch die Steuerung 34 unter Verwendung des Prozessors 44 der Steuerung 34 und einer Datenbank in dem autonomen Fahrzeug 10 oder durch den externen Server 48 unter Verwendung einer auf dem externen Server 48 gespeicherten Datenbank oder eines mit dem externen Server verbundenen Servers 48 ausgewählt.
-
Der Satz von Gesichtsmerkmalen, der verwendet werden soll, um die Identität des Benutzers zu bestätigen, kann durch den externen Server 48 basierend auf einer Tabelle ausgewählt werden, die die wahrscheinlichen Kandidaten umfasst, wobei die Tabelle, die die wahrscheinlichen Kandidaten umfasst, basierend auf den Ergebnissen des Gestenerkennungsalgorithmus ausgewählt wird. Die Tabelle mit den wahrscheinlichen Kandidaten wird von dem externen Server 48 über das Kommunikationsmodul 36 an die Steuerung 34 übertragen.
-
Wenn das autonome Fahrzeug 10 ein Gesichtserkennungsverfahren basierend auf Benutzerdaten durchführt, die aus einer Datenbank des autonomen Fahrzeugs ausgewählt werden und das Gesichtserkennungsverfahren nicht mit einer Konformation eines Benutzers, d. h. mit einer Konformation eines Kandidaten aus der Liste von wahrscheinlichen Kandidaten, endet, kann der externe Server 48 verwendet werden, um basierend auf Benutzerdaten, die aus einer auf dem externen Server 48 gespeicherten Datenbank oder einem mit dem externen Server 48 verbundenen Server ausgewählt sind, eine zweite Gesichtserkennung durchzuführen.
-
Da der Satz von Gesichtsmerkmalen, der für die Bestätigung der Identität des Benutzers verwendet werden soll, durch den externen Server 48 basierend auf einer Tabelle ausgewählt werden kann, die die durch den Gestenerkennungsalgorithmus erkannten Benutzer umfasst, ist die Anzahl der für die Gesichtserkennung zu verwendenden Benutzern oder wahrscheinlichen Kandidaten in Bezug auf eine Gesamtzahl von wahrscheinlichen Kandidaten beschränkt, die von dem Benutzererkennungssystem erkannt werden können. Somit kann die Gesichtserkennungsgeschwindigkeit erhöht werden, und die Anzahl der Vergleiche, d. h. Übereinstimmungen, wird reduziert, indem wahrscheinliche Kandidaten unter Verwendung des Gestenerkennungsalgorithmus vorausgewählt werden.
-
Die Kombination des Gesichtserkennungsalgorithmus mit dem Gestenerkennungsalgorithmus wird verwendet, um die Identität eines Benutzers zu bestätigen. Es kann jedoch Situationen geben, in denen nach Durchführung des Gesichtserkennungsalgorithmus eine sehr geringe Anzahl wahrscheinlicher Kandidaten übrigbleibt. In diesem Fall können der Gestenerkennungsalgorithmus und der Gesichtserkennungsalgorithmus mit einem Spracherkennungsalgorithmus kombiniert werden.
-
Der Spracherkennungsalgorithmus wird verwendet, um Sprachdaten eines bestimmten Benutzers, der mit dem autonomen Fahrzeug 10 interagiert, mit Spracherkennungsmerkmalen zu vergleichen, die aus einer Datenbank auf der Basis der Benutzer ausgewählt werden, die nach Durchführung der Gesichtserkennung als wahrscheinliche Kandidaten verbleiben. Natürlich kann der Spracherkennungsalgorithmus auch durchgeführt werden, wenn nur ein Benutzer als ein wahrscheinlicher Kandidat übrigbleibt, nachdem beispielsweise die Gesichtserkennung durchgeführt wurde, um ein Sicherheitsniveau zu erhöhen.
-
Die Spracherkennungsmerkmale werden von dem externen Server 48 beispielsweise aus einer Datenbank ausgewählt, die auf dem externen Server 48 gespeichert ist, oder einem Server, der mit dem externen Server 48 verbunden ist. Der externe Server 48 wählt die Spracherkennungsmerkmale, wie beispielsweise eine Sprachkarte eines Benutzers, in Bezug auf die Ergebnisse aus, die durch den Gestenerkennungsalgorithmus und/oder den Gesichtserkennungsalgorithmus bereitgestellt werden.
-
Sobald ein bestimmter Benutzer bekannt ist, bedeutet dies, dass, sobald die Identität des Benutzers aufgrund von Ergebnissen des Gestenerkennungsalgorithmus und des Gesichtserkennungsalgorithmus und/oder des Spracherkennungsalgorithmus bestätigt wird, der Benutzer beispielsweise Zugriff auf Gebühren für sein Konto oder Zugriff auf seine gespeicherten Orte erhält.
-
Da das autonome Fahrzeug 10 für das autonome Fahren konfiguriert, ist das autonome Fahrzeug 10 dazu konfiguriert, während der Bewegung unter Verwendung der Umgebungssensoren 40a-40n eine Umgebung zu verfolgen, wobei die während der Bewegung des autonomen Fahrzeugs bestimmten Daten als Daten zur Durchführung des hierein beschriebenen Verfahrens verwendet werden können oder zum Modifizieren der Daten, die zum Ausführen des hierin beschriebenen Verfahrens verwendet werden. Somit kann die Gangartanalyse optimiert werden, da das autonome Fahrzeug 10 bereits einen erwarteten Hintergrund von LIDAR-Sensoren und Kamera-Sensoren kennt und eine Hintergrundsubtraktion durchführen kann, d. h. eine Subtraktion von Daten, die für die Gangartanalyse eines bestimmten Benutzers irrelevant sind.
-
Ferner kann die zum autonomen Fahren verwendete Fähigkeit zum Verfolgen von Straßenteilnehmern verwendet werden, um einen spezifischen Kunden zu erkennen, der sich dem Fahrzeug nähert.
-
Durch die Verwendung von redundanten Umgebungssensoren 40a-40n kann ein Benutzer aus mehreren Winkeln aufgezeichnet werden, wodurch die Wahrscheinlichkeit einer Okklusion von Benutzermerkmalen minimiert wird.
-
Das hierin beschriebene Benutzererkennungssystem erzeugt eine saubere Benutzererfahrung für autonome Fahrzeugfahrgemeinschafts-Kunden, insbesondere in stark frequentierten Bereichen, in denen zu jeder Zeit mehrere Fahrzeuge verfügbar sein können.
-
Das hierin beschriebene Benutzererkennungssystem kann als ein Verfahren zum Herbeirufen oder Mieten eines Autos ohne Verwendung einer Benutzervorrichtung, wie zum Beispiel eines Smartphones, verwendet werden.
-
Mit Bezug auf 2 ist in verschiedenen Ausführungsformen das in Bezug auf 1 beschrieben autonome Fahrzeug für den Einsatz im Rahmen eines Taxi- oder Shuttle-Systems geeignet. So kann beispielsweise das autonome Fahrzeug mit einem autonomen fahrzeugbasierten Beförderungssystem verbunden sein. 2 veranschaulicht eine exemplarische Ausführungsform eines Benutzererkennungssystems 200 zur automatisierten Benutzererkennung in einem autonomen Fahrzeug 207, wie es in Bezug auf 1 beschrieben wurde.
-
In verschiedenen Ausführungsformen beinhaltet das Benutzererkennungssystem 200 einen Kontoserver 201, einen Abgleichserver 203, einen Streckenserver 205 und das autonome Fahrzeug 207 zum Erkennen, d. h. zum Bestätigen einer Identität eines Benutzers 209, der mit dem Benutzererkennungssystem 200 interagiert.
-
Der Kontoserver 201 enthält eine Kundenprofildatenbank 211, die ein biometrisches Modul 213 und ein Kontomodul 215 beinhaltet.
-
Das biometrische Modul 213 speichert eine Datenbank 217 für biometrische Merkmale, eine Gesichtsmerkmalsdatenbank 219 und eine Spracherkennungsmerkmalsdatenbank 221.
-
Das Kontenmodul 215 speichert Benutzernamen in der Benutzernamensdatenbank 223, benutzerspezifische Orte in der Standortdatenbank 225 und Benutzerabrechnungsinformationen in der Abrechnungsinformationsdatenbank 227.
-
Das autonome Fahrzeug 207 tastet kontinuierlich eine Umgebung des autonomen Fahrzeugs 207 ab, indem Umgebungssensoren wie LIDAR, RADAR, Kameras oder dergleichen in dem Abtastschritt 229 verwendet werden. Wenn der Benutzer 209 im Gestenschritt 231 eine Herbeiwinken-Geste zeigt, wird der Benutzer 209 im Erfassungsschritt 233 unter Verwendung eines Gestenerkennungsalgorithmus erfasst, der die von den Umgebungssensoren ermittelten Daten analysiert. Wenn kein Benutzer erfasst wird, fährt das autonome Fahrzeug 207 fort, die Umgebung im Abtastschritt 229 abzutasten, wie es durch den Pfeil 235 angedeutet ist.
-
Sobald ein Benutzer im Erfassungsschritt 233 erfasst wird, ist das autonome Fahrzeug so konfiguriert, dass es im Anhalteschritt 237 an einer Position relativ zum Benutzer 209 am Straßenrand anhält. Ferner scannt das autonome Fahrzeug 207 den Benutzer 207 in dem Annäherungsabtastschritt 239 unter Verwendung der Umgebungssensoren, während sich der Benutzer dem Fahrzeug nähert. Das heißt, wenn sich der Benutzer 209 dem autonomen Fahrzeug 207 im Annäherungsschritt 241 nähert, extrahiert das autonome Fahrzeug 207 beispielsweise Informationen 243 aus den Daten, die von den Umgebungssensoren gemäß seiner Gangart bereitgestellt werden. Informationen, die verwendet werden können, um die Gangart eines Benutzers zu analysieren, können die Länge und/oder die Häufigkeit und/oder die Trittfrequenz bestimmter Schritte sein. Natürlich kann auch die Größe eines Benutzers verwendet werden, um die Gangart des Benutzers zu analysieren.
-
In einem Abgleichverfahren 245 gleicht der Abgleichserver 203, der Teil des autonomen Fahrzeugs 207 oder ein externer Server sein kann, die Informationen 243 mit biometrischen Merkmalen aus der im biometrischen Modul 213 des Kontoservers 201 gespeicherten biometrischen Merkmaldatenbank 217 ab. Wenn ein Ergebnis des Abgleichverfahrens 245 größer als ein gegebener Schwellenwert ist, fährt das Benutzererkennungssystem 200 mit dem Übertragen von wahrscheinlichen Gesichtskarten und/oder Sprachkarten potenzieller Benutzer gemäß den biometrischen Merkmalen der biometrischen Merkmalsdatenbank 217 fort, die die Informationen 243 in dem Abgleichverfahren 245 mit dem autonomen Fahrzeug 207 abgeglichen haben, wie durch den Pfeil 246 angedeutet. Basierend auf den wahrscheinlichen Gesichtskarten und/oder Sprachkarten potenzieller Benutzer führt das autonome Fahrzeug 207 einen Gesichtserkennungsalgorithmus 247 durch, der die wahrscheinlichen Gesichtskarten potenzieller Benutzer mit Gesichtsdaten des Benutzers 209 abgleicht, die im Gesichtsabgleichschritt 249 durch einen Gesichtserkennungssensor des Fahrzeugs 207 bestimmt werden, wenn der Benutzer 209 im Ankunftsschritt 251 bei dem autonomen Fahrzeug 207 ankommt.
-
Wenn der durch das autonome Fahrzeug 207 durchgeführte Gesichtserkennungsalgorithmus 247 mit einer Erkennungsrate endet, die größer als ein gegebener Schwellenwert ist, wird eine Tür des autonomen Fahrzeugs 207 im Entsperrschritt 253 entsperrt.
-
Wenn der durch das autonome Fahrzeug 207 durchgeführte Gesichtserkennungsalgorithmus 247 mit einer Erkennungsrate endet, die kleiner als ein gegebener Schwellenwert ist, wird ein zweiter Gesichtserkennungsalgorithmus 255 unter Verwendung des Abgleichservers 203 durchgeführt. Der Abgleichserver 203 gleicht die Gesichtsdaten des Benutzers 209, die durch den Gesichtserkennungssensor des Fahrzeugs 207 in Schritt 249 bestimmt wurden, mit jedem Datensatz ab, der in der Gesichtsmerkmalsdatenbank 219 verfügbar ist. Somit ist der zweite Gesichtserkennungsalgorithmus 255, der durch den Abgleichserver 203 durchgeführt wird, viel komplexer als der Gesichtserkennungsalgorithmus 247, der von dem autonomen Fahrzeug 207 ausgeführt wird, da der zweite Gesichtserkennungsalgorithmus 255 durch den Abgleichserver 203 eine viel größere Anzahl von Datensätze von Benutzern verwendet als der Gesichtserkennungsalgorithmus 247, der von dem autonomen Fahrzeug 207 durchgeführt wird, der auf wahrscheinlichen Gesichtskarten und wahrscheinlichen Sprachkarten von Benutzern basiert, die basierend auf der Information 243 ausgewählt werden.
-
Wenn das Ergebnis des zweiten Gesichtserkennungsalgorithmus 255, das durch den Abgleichserver 203 durchgeführt wird, nicht größer als ein gegebener Schwellenwert ist, endet das gesamte Verfahren im Beendigungsschritt 257.
-
Wenn das Ergebnis des zweiten Gesichtserkennungsalgorithmus 255, das durch den Abgleichserver 203 durchgeführt wird, größer als ein gegebener Schwellenwert ist, wird das Verfahren mit einem Spracherkennungsalgorithmus 259 fortgesetzt und die Tür in Schritt 253 entsperrt. Ferner werden Sprachkarten von Benutzern, die wahrscheinlich gemäß des durch den Abgleichserver 203 durchgeführten zweiten Gesichtserkennungsalgorithmus 255 erkannt werden, an das autonome Fahrzeug 207 übertragen.
-
Wenn der durch das autonome Fahrzeug 207 durchgeführte Gesichtserkennungsalgorithmus 247 mit einer Erkennungsrate endet, die größer als der gegebene Schwellenwert ist, wird das Verfahren direkt mit dem Spracherkennungsalgorithmus 259 fortgesetzt, wie durch den Pfeil 261 angedeutet.
-
Wenn der Benutzer 209 beim Eintrittsschritt 263 in das autonome Fahrzeug 207 eintritt, beginnt das autonome Fahrzeug 207 im Dialogschritt 267 einen Dialog mit dem Benutzer 209, indem er den Benutzer 209 mit einem Namen begrüßt, der gemäß der Benutzernamendatenbank 223 den in Schritt 247 bzw. 245 erkannten Gesichtsdaten entspricht und durch Abfragen eines gewünschten Ortes in Frageschritt 265.
-
Wenn der Benutzer 209 in dem Informationsschritt 270 mit dem autonomen Fahrzeug 207 spricht, um sein gewünschtes Ziel einzugeben und/oder Informationen über die Dauer der Reise zu seinem Bestimmungsort zu erhalten, wird ein Spracherkennungsalgorithmus 259 durchgeführt, der Sprachdaten, die von dem Benutzer 209 bereitgestellt und durch Spracherkennungssensoren des autonomen Fahrzeugs 207 bestimmt werden, mit den in Schritt 255 oder 247 übertragenen Sprachkennfeldern abgleicht. Wenn ein Ergebnis des Spracherkennungsalgorithmus 259 größer als ein gegebener Schwellenwert ist, wird auf Standorte, die in der Standortdatenbank 225 gespeichert sind, im Zugriffsschritt 269 durch den Streckenserver 203 zugegriffen.
-
Wenn ein Ergebnis des Spracherkennungsalgorithmus 259 kleiner als der gegebene Schwellenwert ist, ist das autonome Fahrzeug 207 so konfiguriert, dass es den Benutzer 209 im manuellen Schritt 275, als Reaktion auf eine entsprechende Anforderung des Benutzers 209 in Schritt 277, zur manuellen Eingabe seiner Bestimmungsort- und/oder Abrechnungsinformationen auffordert.
-
Wenn der Benutzer 209 seine Bestimmungsort und/oder Abrechnungsinformationen in Reaktion auf Schritt 275 nicht eingibt, endet das Verfahren im Beendigungsschritt 271.
-
Wenn der Benutzer 209 seine Bestimmungsort- und/oder Abrechnungsinformationen als Reaktion auf Schritt 275 eingibt, wird der Bestimmungsort an den Streckenserver 203 übertragen. Der Streckenserver 203 erzeugt im Streckenschritt 273 eine Strecke zum Bestimmungsort und sendet die Strecke an das autonome Fahrzeug 207.
-
Wenn ferner der Benutzer 209 seine Bestimmungsort- und/oder Abrechnungsinformationen als Reaktion auf Schritt 275 eingibt, wird der Benutzer 209 durch Bearbeiten der Benutzerabrechnungsinformation in der Abrechnungsinformationsdatenbank 227 im Abrechnungsschritt 277 belastet.
-
Sobald die Strecke an das autonome Fahrzeug 207 übertragen wird, wird dem Benutzer 207 mitgeteilt, dass die Fahrt im Startschritt 279 startet.
-
Im Fahrschritt 281 wird der Benutzer 209 durch das autonome Fahrzeug 207 zu seinem Bestimmungsort gefahren.
-
Im Ankunftsschritt 283 kommen das autonome Fahrzeug 207 und der Benutzer 209 am Bestimmungsort des Benutzers an.
-
Der Benutzer 209 verlässt das autonome Fahrzeug 207 im Beendigungsschritt 285 und das Verfahren endet.
-
Die wichtigsten Schritte, die die Steuerung durchführen muss, sind: Erkennen der Herbeiwinken-Geste in Schritt 233, dann Analysieren der Gangart des Benutzers für das Abgleichverfahren 245, dann Ausführen einer Gesichtserkennung in Schritt 245 und Schritt 255 und schließlich Ausführen des Spracherkennungsalgorithmus 259.
-
In verschiedenen Ausführungsformen können die Anweisungen der Steuerung je nach Funktion oder System gegliedert sein. Zum Beispiel beinhaltet, wie gemäß einer Ausführungsform in 3 gezeigt, eine Steuerung 300 ein biometrisches Erkennungsmodul 301. Das biometrische Erkennungsmodul 301 beinhaltet das Gestenerkennungsmodul 303, das Gesichtserkennungssystem 305 und das Spracherkennungssystem 307. Die Steuerung 300 steht in kommunikativer Verbindung mit einem Kommunikationsmodul 309. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Erfindung nicht auf die vorliegenden Beispiele beschränkt ist. In verschiedenen Ausführungsformen wird das Verfahren durch die in 1 gezeigte Steuerung 34 implementiert.
-
Das Kommunikationsmodul 309 beinhaltet eine Antenne 311 und einen Transceiver 313. Der Transceiver 313 ist konfiguriert, um ein Signal von externen Quellen wie einem Server 315 zu empfangen und um empfangene Signale an die Steuerung 300 zu übertragen.
-
Der Transceiver 313 ist ferner konfiguriert, um Signale von der Steuerung 300 zu einem externen Empfänger wie dem Server 315 zu übertragen.
-
Das biometrische Erkennungsmodul 301 kann den Prozessor 320 der Steuerung 300 verwenden, um Berechnungen durchzuführen oder einen Prozessor zu verwenden, der in dem biometrischen Erkennungsmodul 301 enthalten ist.
-
Das biometrische Erkennungsmodul 301 ist so konfiguriert, dass es gegebene Daten, die eine Identität eines Benutzers anzeigen, mit Daten abgleicht, die von Sensoren des Benutzererkennungssystems wie in 1 gezeigt erfasst werden, indem ein maschineller Lernansatz verwendet wird, wie beispielsweise ein künstliches neuronales Netzwerk.
-
Das biometrische Erkennungsmodul 301 analysiert Daten, die von einem Umgebungssensor bestimmt wurden. Dies bedeutet, dass das Gestenerkennungsmodul 303 basierend auf Abgleichverfahren, die von dem Gestenerkennungsmodul 303, dem Gesichtserkennungssystem 305 und dem Spracherkennungssystem 307 durchgeführt werden, ein Signal erzeugt, das eine positive oder negative Erkennung eines bestimmten Benutzers anzeigt.
-
Liste der Bezugszeichen
-
- 10
- Fahrzeug
- 12
- Chassis
- 14
- Körper
- 16
- Vorderräder
- 18
- Hinterräder
- 20
- Antriebssystem
- 22
- Übertragungssystem
- 24
- Lenksystem
- 26
- Bremsanlage
- 28
- Sensorsystem
- 30
- biometrisches Erkennungsmodul
- 32
- Datenspeichervorrichtung
- 34
- Steuerung
- 36
- Kommunikationsmodul
- 40a-40n
- Umgebungssensoren
- 42a
- scannende Sensoren
- 42b
- Spracherkennungssensor
- 42n
- Prozessor
- 44
- Prozessor
- 46
- Computerlesbare(s) Speichervorrichtung oder Medium
- 48
- externer Server
- 100
- Benutzererkennungssystem
- 200
- Benutzererkennungssystem
- 201
- Kontoserver
- 203
- Abgleichserver
- 205
- Streckenserver
- 207
- autonomes Fahrzeug
- 209
- Benutzer
- 211
- Profildatenbank
- 213
- biometrisches Modul
- 215
- Kontomodul
- 217
- biometrische Merkmalsdatenbank
- 219
- Gesichtsmerkmalsdatenbank
- 221
- Spracherkennungsmerkmaldatenbank
- 223
- Benutzernamendatenbank
- 225
- Standortdatenbank
- 227
- Abrechnungsinformationsdatenbank
- 229
- Abtastschritt
- 231
- Gestenschritt
- 233
- Erfassungsschritt
- 235
- Pfeil
- 237
- Anhalteschritt
- 239
- Annäherungsabtastschritt
- 241
- Annäherungsschritt
- 243
- Information
- 245
- Abgleichverfahren
- 246
- Pfeil
- 247
- Gesichtserkennungsalgorithmus
- 249
- Gesichtsabgleichschritt
- 251
- Ankunftsschritt
- 253
- Entsperrschritt
- 255
- Gesichtserkennungsalgorithmus
- 257
- Beendigungsschritt
- 259
- Spracherkennungsalgorithmus
- 261
- Pfeil
- 263
- Eintrittsschritt
- 265
- Frageschritt
- 267
- Dialogschritt
- 269
- Zugriffsschritt
- 271
- Beendigungsschritt
- 270
- Informationsschritt
- 273
- Streckenschritt
- 275
- manueller Schritt
- 277
- Abrechnungsschritt
- 279
- Startschritt
- 281
- Fahrschritt
- 283
- Ankunftsschritt
- 285
- Beendigungsschritt
- 300
- Steuerung
- 301
- biometrisches Erkennungsmodul
- 303
- Gestenerkennungsmodul
- 305
- Gesichtserkennungssystem
- 307
- Spracherkennungssystem
- 309
- Kommunikationsmodul
- 311
- Antenne
- 313
- Transceiver
- 315
- Server
- 320
- Prozessor
- 400
- Verfahren
- 401
- Gestenschritt
- 403
- Annäherungsschritt
- 405
- Übertragungsschritt
- 407
- Ankunftsschritt
- 409
- Frageschritt
- 411
- Bestätigungsschritt
- 413
- Streckenschritt
- 415
- Fahrschritt
