Beschreibung
Titel
Verfahren und Fahrzeuqsvstem zur Passaqiererkennunq durch autonome
Fahrzeuge
Die Erfindung betrifft ein Verfahren zur Passagiererkennung durch ein
autonomes Fahrzeug sowie ein Fahrzeugsystem zum Durchführen des
Verfahrens.
Stand der Technik
Aufgrund ihrer vielen positiven Eigenschafften gewinnen autonome Fahrzeuge zunehmend an Bedeutung. Autonome Fahrzeuge sind bereits mit einer Vielzahl an Sensoren ausgestattet und greifen zur Ermittlung einer geeigneten und sicheren Trajektorie auf Sensordaten, Fahrzeugkameras und GPS-Daten zurück. Bisherige Konzepte sehen vor, dass die Fahrfunktionen von autonomen
Fahrzeugen übernommen werden, während sich der Fahrer im Innenraum befindet. Alternativ kann das autonome Fahrzeug auch ohne Fahrer oder Insassen eine definierte Strecke abfahren, beispielsweise um Insassen an einem definierten Startpunkt, wie einer Haltefläche, abzuholen und an ein definiertes Ziel, wie eine weitere Haltefläche, zu bringen. Die Parksituation in Großstädten ist vielerorts problematisch, sodass zum Teil lange Strecken zwischen einem Parkplatz und dem eigentlichen Zielort zu Fuß bewältigt werden müssen.
Insbesondere für körperlich eingeschränkte Personen, aber auch für junge Familien mit Kindern oder im Falle eines zu transportierenden, schweren
Gepäckstücks können lange Wege eine starke Belastung sein.
Eine individuelle Abholung eines Fahrers oder Passagiers durch ein autonomes Fahrzeug an einem variabel wählbaren oder sich dynamisch verändernden Ort ist derzeit nicht bekannt. Insbesondere das Auffinden und eindeutige
Identifizieren des Fahrers oder eines bestimmten Insassen in einer
Menschenmenge oder einer Gruppe von Menschen am Straßenrand stellen hierbei eine besondere technische Herausforderung dar.
Offenbarung der Erfindung
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren und ein Fahrzeugsystem zum präzisen Identifizieren und Abholen eines Passagiers durch autonome Fahrzeuge vorzuschlagen.
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
Nach einem Aspekt der Erfindung wird ein Verfahren zur Passagiererkennung durch ein autonomes Fahrzeug bereitgestellt. In einem Schritt wird mindestens ein Foto der zu transportierenden Person an einen zentralen Server übermittelt.
Es wird in einem weiteren Schritt eine näherungsweise Position der zu transportierenden Person bestimmt.
Es wird das autonome Fahrzeug an die zuvor bestimmte näherungsweise Position der zu transportierenden Person gesteuert bzw. an die Position angenähert.
Anschließend oder währenddessen wird die exakte Position der zu
transportierenden Person anhand von Färb- und Texturmerkmalen und/oder anhand von einer Gangart durch fahrzeuginterne Sensorik ermittelt.
Durch eine Gesichtserkennung wird in einem weiteren Schritt die Identität der ermittelten zu transportierenden Person überprüft.
Schließlich wird das autonome Fahrzeug in einem Einstiegsbereich der zu transportierenden Person positioniert.
In heutigen Zeiten müssen Fahrer ihre nicht autonomen Fahrzeuge, für den Fall, das Passagiere oder Fahrer (nachfolgend wird der Fahrer auch als Passagier
betrachtet) aus- oder einsteigen, auf dafür freigegebenen Freiflächen anhalten und auf den abgeschlossenen Passagiertransfer warten. Für den Fall des Einsteigens ist es üblich auf zuvor vereinbarten Haltepositionen zu warten. Dabei trifft entweder der Passagier zuerst am vereinbarten Ort ein und wartet auf das Fahrzeug oder das Fahrzeug trifft vor dem Passagier am vereinbarten Ort ein und wartet auf das Eintreffen des Passagiert. Mit dem Autonomen Fahren eröffnet sich neue dynamische Möglichkeit den Passagiertransferort zu bestimmen, wobei der Fahrer ebenfalls als Passagier transferiert bzw.
transportiert werden kann und das Fahrzeug autonom und ohne Fahrer, den Fahrer aufsuchen kann.
Bei dem erfindungsgemäßen Verfahren wird ein Foto des aufzunehmenden Passagiers beispielsweise mit Hilfe eines Smartphones und einer App
aufgenommen und an einen zentralen Server übermittelt. Dem System ist daraufhin bekannt, wer überhaupt wiedergefunden bzw. abgeholt werden muss und wie er aussieht. Die Erstaufnahme per Smartphone kann auch durch beliebige andere Kamerasysteme erzielt werden.
Leitet der Passagier einen Abholvorgang ein, kann er dem System seine grobe Position mitteilen. Alternativ kann das GPS Signal seines Smartphones verwendet werden, um die grobe bzw. näherungsweise Position von dem
Passagier oder dem gewünschten Ort zu erhalten. Das autonome Fahrzeug kann sich zum festgelegten Zeitpunkt grob dem Passagier annähern.
Die bordeigenen Sensoren, wie beispielsweise Kameras, aber auch
fahrzeugexterne Kameras, welche auch mit der Cloud vernetzt sind, können eingesetzt werden, um die Person um die grob vorgegebene Position herum zu finden.
Hierdurch kann eine dynamisch Haltepositionen für einen schnellen und unkomplizierten Passagieraustausch bzw. eine Passagieraufnahme durch ein autonomes Fahrzeug bestimmt und umgesetzt werden. Das autonome Fahrzeug kann überall seine Passagiere aufsuchen und transferieren ohne zu parken. Das autonome Fahrzeug muss hierfür lediglich halten.
Da das autonome Fahrzeug den oder die Passagiere nach grober
Suchbereichsvorgabe alleine findet, müssen die Passagiere nicht mehr an vorher festgelegten Parkplätzen auf die Fahrzeuge warten. Ein Passagier kann beispielsweise eine Straße entlang laufen, die zuvor dem System bekannt gegeben wurde und das autonome Fahrzeug würde den Passagier alleine finden und neben ihm anhalten, um den Passagiertransfer zu ermöglichen.
Mittels einer Personenwiedererkennung kann eine Funktion in ein autonomes Fahrzeug bzw. ein Fahrsystem implementiert werden, durch welche der Fahrer und/oder die Passagiere ausgehend von einem Bild der Szene detektiert, wiedergefunden und lokalisiert werden, um dem autonomen Fahrzeug die genaue Position für den Passagieraustausch mitzuteilen. Die präzise
Lokalisierung der zu transportierenden Person kann dabei anhand von Farb- und/oder Texturmerkmalen und/oder anhand von einer Gangart der Person erfolgen. Beispielsweise kann neben einem sogenannten Selfie ein Video der Person von einer fahrzeuginternen oder -externen Steuereinheit ausgewertet werden und somit basierend auf Bewegungsmustern die Identität der Person ermittelt werden. Insbesondere kann hierdurch die zu transportierende Person innerhalb einer Umgebung oder einer Vielzahl an Personen identifiziert und somit auch lokalisiert werden. Für die Wiedererkennung von Personen anhand des Ganges kann beispielsweise maschinelles Lernen, Computer Vision, Deep Learning und dergleichen eingesetzt werden.
Zusätzlich ist durch das Verfahren möglich, dass körperlich eingeschränkte Personen vom autonomen Fahrzeug genau an der Position aufgenommen werden, ab der sie ihre Position nicht mehr aus eigener Kraft verändern können.
Nach einem Ausführungsbeispiel des Verfahrens weist die fahrzeuginterne Sensorik mindestens eine Kamera, einen LIDAR-Sensor und/oder mindestens einen Radarsensor auf. Die fahrzeuginterne Sensorik kann dabei auch eine 360° Rundumsicht ermöglichen. Durch die Sensorik kann das Umfeld im Hinblick auf Färb- und Texturmerkmale des gesuchten Passagiers abgetastet bzw. abgesucht werden.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird das Portrait- Foto der zu transportierenden Person mit einem tragbaren Gerät mit
bildaufnehmenden Funktionen oder einer App durch die zu transportierenden Person aufgenommen und an das autonome Fahrzeug direkt oder indirekt übermittelt. Hierdurch kann dem System übermittelt werden, welche Person wiedergefunden werden muss und wie sie aussieht. Die Erstaufnahme per Smartphone kann auch durch andere Kamerasysteme mit hoher Integrität erzielt werden.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird eine
annäherungsweise Bestimmung der Position der zu transportierenden Person durch einen Zugriff auf die GPS-Daten des tragbaren Gerät mit
bildaufnehmenden Funktionen oder durch Übermittlung eines Aufenthaltsortes durchgeführt. Die näherungsweise Position kann dem autonomen Fahrzeug durch Textnachrichten, wie beispielsweise SMS, E-Mail oder durch
Sprachnachrichten des zu transportierenden Passagiers mitgeteilt werden. Der Passagier kann somit eine Adresse, eine Straße, eine Umgebung bzw. ein Umfeld, markante Punkte oder Sehenswürdigkeiten und dergleichen dem autonomen Fahrzeug als näherungsweise Position mitteilen. Bei einem Erreichen dieser mitgeteilten Position kann eine Detailsuche, beispielsweise durch die Fahrzeugsensorik, initiiert werden und somit eine exakte Position des Passagiers durch das autonome Fahrzeug ermittelt werden. Alternativ oder zusätzlich kann das GPS Signal eines tragbaren Geräts des Passagiers verwendet werden, um die grobe Lokalisierung zu erhalten.
Des Weiteren kann eine planbare Abholung des Passagiers durch ein Auslesen eines elektronischen Kalenders realisiert werden, bei welcher der Passagier abhängig von definierten Terminen automatisiert vom autonomen Fahrzeug an einem gewünschten Ort erwartet wird.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird die ungefähre Bestimmung der Position der zu transportierenden Person von einer internen Steuereinheit oder einer externen Servereinheit durchgeführt. Hierdurch kann das Fahrzeug die erforderlichen Berechnungen selbst durch Steuergeräte erledigen oder rechenintensive Aufgaben auf die externe Servereinheit auslagern. Dies kann beispielsweise eine Gesichtserkennung durch komplexe Algorithmen oder eine Auswertung von umfangreichen fahrzeugextern ermittelten Bilddaten sein.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird zum Ermitteln der Position der zu transportierenden Person und zur Überprüfung der Identität der ermittelten zu transportierenden Person durch das autonome Fahrzeug auf Dateien mindestens einer fahrzeugexternen Sensorik zugegriffen. Durch vernetzte Infrastruktursensorik und Fahrzeugsensorik von anderen Fahrzeugen kann könnten weiterhin andere autonome Fahrzeuge über das
passagieraufnehmende Fahrzeug informiert werden und frühzeitig die Plan- Trajektorie so anpassen, dass ein reibungsloser Verkehrsfluss ermöglicht wird. Des Weiteren kann basierend auf einer derartigen Vernetzung und Fusion der Sensoren ein Datenaustausch realisiert werden, welcher eine schnellere und/oder präzisere Identifizierung und Ortung des Passagiers ermöglichen.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zur
Personenerkennung und zur Personenlokalisierung für das autonome Fahrzeug ein Zugriff auf in einer Cloud hinterlegte Dateien bereitgestellt. Hierdurch kann das autonome Fahrzeug auf gesammelte Daten anderer Verkehrsteilnehmer oder Verkehrseinheiten zugreifen und beispielsweise die Identifizierung bzw. Ortung des Passagiers durchführen.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens werden die Personenerkennung anhand von Färb- und Texturmerkmalen und eine
Gesichtserkennung durch externe Servereinheit oder durch eine fahrzeuginterne Steuereinheit durchgeführt. Hierdurch können rechenintensive Schritte des Verfahrens auf stationäre Rechnereinheiten der externen Servereinheit ausgelagert werden, wodurch die fahrzeuginternen Steuereinheiten weniger leistungsstark ausgelegt sein können. Hierdurch kann eine preiswerter ausgestaltete Fahrzeugausstattung eingesetzt werden.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zur
Personenerkennung und zur Personenlokalisierung für das autonome Fahrzeug ein Zugriff auf Sensoren und Suchfunktionen und/oder Datenaustausch mit gespeicherten Daten anderer Fahrzeuge bereitgestellt.
Als Sensoren für die Detektion, Wiedererkennung und Lokalisierung der Person können primär bordeigene Kameras des Fahrzeuges eingesetzt werden.
Alternativ oder zusätzlich können externe Videoüberwachungskameras (z.B. auf Lichtmasten oder an Häuserwänden) im Rahmen des Verfahrens eingesetzt werden. Ebenfalls in einer weiteren Ausbaustufe können verschiedene vernetzte kollaborierende Fahrzeuge gemeinsam ihre Sensordaten an eine Cloud senden, um Personen wiederzuerkennen, für die Sie jeweils keine Fahraufträge haben und somit zu einer optimierten Stabilität des Systems beitragen.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird die zu transportierenden Person bei einem Nichtauffinden durch das autonome
Fahrzeug benachrichtigt. Wird die Identifizierung und Ortung des Passagiers durch das autonome Fahrzeug abgebrochen oder weist einen Fehler auf, so kann vorzugsweise eine Benachrichtigung dem Passagier mitgeteilt werden. Anschließend kann eine erneute näherungsweise Position dem Fahrzeug durch den Passagier übermittelt werden, wodurch das Verfahren erneut vom Fahrzeug zumindest teilweise durchgeführt werden kann.
Nach einem weiteren Aspekt der Erfindung wird ein Fahrzeugsystem zum Durchführen des erfindungsgemäßen Verfahrens bereitgestellt. Das
Fahrzeugsystem weist mindestens ein autonomes Fahrzeug mit einer
Fahrzeugsensorik und einer fahrzeuginternen Steuereinheit auf. Des Weiteren weist das Fahrzeugsystem eine fahrzeugexterne Servereinheit auf. Über Kommunikationseinheiten kann das mindestens eine autonome Fahrzeug mit der Servereinheit eine datenleitende Kommunikationsverbindung hersteilen. Das Fahrzeugsystem kann darüber hinaus eine optional verwendbare
Infrastruktursensorik aufweisen, welche von der Servereinheit auswertbar ist.
Im Folgenden werden anhand von stark vereinfachten schematischen
Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
Fig. 1 ein schematisches Ablaufdiagramm zum Veranschaulichen eines
erfindungsgemäßen Verfahrens gemäß einer Ausführungsform und
Fig. 2 eine schematische Draufsicht auf ein erfindungsgemäßes
Fahrzeugsystem gemäß einer Ausführungsform.
In den Figuren weisen dieselben konstruktiven Elemente jeweils dieselben Bezugsziffern auf.
Die Figur 1 zeigt ein schematisches Ablaufdiagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens 1 gemäß einer Ausführungsform. Die strukturellen Merkmale beziehen sich auf ein erfindungsgemäßes Fahrzeug- systems 10, welches in der Figur 2 dargestellt ist.
In einem Schritt 2 wird mindestens ein Foto einer zu transportierenden Person an einen zentralen Server 12 eines Fahrzeugsystems 10 übermittelt. Dies kann beispielsweise ein sogenanntes Selfie eines Passagiers 14 sein, welches an eine Cloud 12 bzw. eine fahrzeugexterne Servereinheit 12 übermittelt wird. In der externen Servereinheit 12 können Erkennungsdaten der Person 14 generiert werden. Dies können strukturelle oder Textur-Merkmale sein.
Es wird in einem weiteren Schritt 3 eine näherungsweise Position der zu transportierenden Person 14 bestimmt. Die näherungsweise Position kann beispielsweise eine Straße oder eine Umgebung der Person 14 sein, an welcher sie von einem autonomen Fahrzeug 16 abgeholt werden soll. Die
näherungsweise Position kann beispielsweise durch Nutzen eines GPS-Signals eines tragbaren Geräts des Passagiers 14 ermittelt werden. Bei einem zivilen Einsatz von GPS-Sensoren bleibt jedoch eine Ungenauigkeit von mindestens einigen Metern bestehen, welche durch örtliche Gegebenheiten stärker ausgeprägt sein kann.
Es wird in einem weiteren Schritt 4 das autonome Fahrzeug 16 an die zuvor bestimmte näherungsweise Position der zu transportierenden Person 14 gesteuert bzw. an die Position angenähert.
Anschließend 5 oder währenddessen wird die exakte Position der zu
transportierenden Person 14 anhand von Färb- und Texturmerkmalen durch fahrzeuginterne Sensorik 18 ermittelt. Die Sensorik 18 ist mit einer
fahrzeuginternen Steuereinheit 20 gekoppelt und kann von der Steuereinheit 20 ausgewertet werden. Die Steuereinheit 20 weist darüber hinaus eine nicht dargestellte Kommunikationsvorrichtung auf, durch welche eine drahtlose
Kommunikationsverbindung mit der externen Servereinheit 12 hergestellt werden kann.
Die Servereinheit 12 kommuniziert dabei auch mit einer Sensorik der
Infrastruktur 22 und kann diese auslesen und auswerten. Die
Kommunikationsverbindungen werden durch Pfeile verdeutlicht.
Durch eine Gesichtserkennung wird in einem weiteren Schritt 6 die Identität der ermittelten zu transportierenden Person 14 überprüft.
Schließlich 7 wird das autonome Fahrzeug 16 in einem Einstiegsbereich der zu transportierenden Person 14 positioniert.
Im Folgenden wird das erfindungsgemäße Verfahren 1 gemäß einer
Ausführungsform im Detail beschrieben.
Für die Detektion, Wiedererkennung und Lokalisierung des Passagiers 14 können Methoden aus der Computer Vision, maschinellem Lernen und künstlichen Intelligenz Domäne eingesetzt werden. Das Verfahren wird in zwei Bereiche unterteilt: Einen Nahbereich und einen Fernbereich.
Der Nahbereich ist der Bereich in dem das Gesicht des Passagiers 14 so nah an der Kamera bzw. einer Fahrzeugsensorik 18 ist, dass ein Gesichtswiederer- kennungsverfahren eingesetzt werden kann. Innerhalb dieses Bereiches ist die Wahrscheinlichkeit die Person 14 nicht zu verwechseln sehr groß.
Der Fernbereich ist der Bereich in dem das Gesicht des Passagiers 14 so weit weg von der Kamera 18 ist, dass keine Gesichtswiedererkennungsverfahren eingesetzt werden können. Im Fernbereich werden Färb- und Texturmerkmale aus den Bildern verwendet, um die Person wiederzuerkennen. Das System 10 muss im Fernbereich je nach Dichte von Personen in der Szene mehrere mögliche Passagiere in Erwägung ziehen, bis eine Wiedererkennung in
Nahbereich möglich ist.
Nach der erfolgreichen Lokalisierung des Passagiers 14 kann das autonome Fahrzeug seine Soll-Trajektorie so anpassen um neben dem Passagier 14 zu
halten, dass die für ihn vorgesehene Tür direkt neben ihm 14 zu stehen kommt und der Passagier 14 mühelos in das Fahrzeug 16 einsteigen kann.
Für den Fall, dass das Fahrzeug 16 zu keinem Zeitpunkt den Passagier 14 im Nahbereich erfassen kann, besteht die Möglichkeit über einen Rückkanal zum
Smartphone des Passagiers 14, jenen anzufordern, dass er Richtung Straße guckt, wodurch sein Gesicht wiedererkannt werden kann.
Ist der Passagier 14 aufgenommen fährt das Fahrzeug 16 weiter, um den Verkehr nicht unnötig lange zu blockieren.