DE102021210396A1

DE102021210396A1 - Vorrichtung und verfahren zur steuerung des autonomen fahrens eines fahrzeugs

Info

Publication number: DE102021210396A1
Application number: DE102021210396.0A
Authority: DE
Inventors: Tae Dong OH
Original assignee: Hyundai Motor Co; Kia Corp
Current assignee: Hyundai Motor Co; Kia Corp
Priority date: 2020-09-21
Filing date: 2021-09-20
Publication date: 2022-03-24
Also published as: CN114248801A; KR20220039903A; US11932244B2; US20220089152A1

Abstract

Es werden eine Vorrichtung und ein Verfahren zum Steuern des autonomen Fahrens eines Fahrzeugs bereitgestellt, die während des autonomen Fahrens des Fahrzeugs vorhergesagte Wege eines Fußgängers und eines Zweiradahrzeugs ableiten können, um Unfälle zu minimieren. Das Verfahren umfasst ein Berechnen einer ersten Höheninformation, die einen ersten Gradienten zuweist, der in einer Vorwärtsrichtung von Objekten, einschließlich eines Fahrzeugs und eines Fußgängers, von jeweiligen Positionen der Objekte abfällt, auf der Grundlage dynamischer Informationen der Objekte, ein Berechnen einer zweiten Höheninformation, die einen zweiten Gradienten auf der Grundlage einer Wahrscheinlichkeit zuweist, dass der Fußgänger eine Infrastruktur belegt, ein Berechnen einer endgültigen Höheninformation durch Verschmelzen der ersten Höheninformation und der zweiten Höheninformation, ein Erzeugen eines vorhergesagten Weges des Fußgängers, ein Bestimmen einer Fahrstrategie eines Hostfahrzeugs auf der Grundlage eines vorhergesagten Weges des Hostfahrzeugs und des vorhergesagten Weges des Fußgängers.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Vorrichtung und ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs, das während des autonomen Fahrens des Fahrzeugs vorausgesagte Wege eines Fußgängers und eines Zweiradfahrzeugs ableiten kann, um Unfälle zu minimieren.
HINTERGRUND
Im Allgemeinen erkennt ein autonomes Fahrzeug selbstständig d.h. autonom Straßen und deren Gegebenheiten, ohne dass ein Fahrer ein Gaspedal, ein Lenkrad, eine Bremse usw. betätigen muss, und kann so zu einem Ziel fahren.
Das autonome Fahrzeug muss seinen Fahrweg unter Berücksichtigung der Bewegungen nicht nur anderer Fahrzeuge, die auf der Straße fahren, sondern auch von Fußgängern und Zweiradfahrzeugen, die die Straße überqueren, steuern. Das herkömmliche autonome Fahrzeug prognostiziert die nächste Position eines Fußgängers unter Verwendung der aktuellen Position des Fußgängers und dynamischer Informationen darüber auf der Grundlage eines mathematischen Wahrscheinlichkeitsverteilungsmodells, in dem die Bewegung von Fußgängern und Zweiradfahrzeugen in alle Richtungen berücksichtigt wird.
Da jedoch die lang- und kurzfristigen Bewegungsmerkmale der Fußgänger bei einem Stau auf einer Straße nicht berücksichtigt werden, kann das herkömmliche autonome Fahrzeug Probleme haben, wie z. B. das häufige Auftreten von Fehlwarnungen und Nichtwarnungen.
Die im obigen Abschnitt „Hintergrund“ offenbarten Informationen sollen das Verständnis des Hintergrunds der vorliegenden Offenbarung erleichtern und sind nicht als Anerkennung dafür zu verstehen, dass diese Informationen zum Stand der Technik gehören.
ZUSAMMENFASSUNG
Dementsprechend ist die vorliegende Offenbarung auf eine Vorrichtung und ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs gerichtet, die ein oder mehrere Probleme aufgrund von Einschränkungen und Nachteilen des verwandten Standes der Technik im Wesentlichen beseitigen.
Ziel der vorliegenden Offenbarung ist es, eine Vorrichtung und ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs bereitzustellen, die den vorhergesagten Weg eines Fußgängers genau ableiten können, um Fußgängerunfälle zu minimieren und die Fahrstabilität eines autonomen Fahrzeugs zu gewährleisten.
Ein weiteres Ziel der vorliegenden Offenbarung ist es, eine Vorrichtung und ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs bereitzustellen, die nicht nur auf die einfache Bewegung eines Fußgängers, sondern auch auf ein Modell über die Interaktion mit dem Fahrzeug angewandt werden können und den vorhergesagten Weg des Fußgängers in einer Situation, in der er bei Rot über die Straße geht, sowie in einem Bereich mit einem Zebrastreifen effektiv ableiten.
Zusätzliche Vorteile, Objekte und Merkmale der vorliegenden Offenbarung werden teilweise in der folgenden Beschreibung dargelegt und werden teilweise für diejenigen, die über gewöhnliche Fachkenntnisse auf dem Gebiet der Technik verfügen, bei der Prüfung der folgenden Ausführungen offensichtlich, oder können aus der Praxis der Offenbarung gelernt werden. Die Ziele und sonstigen Vorteile der Offenbarung können durch die in der schriftlichen Beschreibung und den Ansprüchen sowie in den beigefügten Zeichnungen besonders hervorgehobene Struktur verwirklicht und erreicht werden.
Um diese Ziele/Aufgaben und andere Vorteile in Übereinstimmung mit dem Zweck der Offenbarung zu erreichen, wie hierin verkörpert und allgemein beschrieben, umfasst ein Verfahren zum Steuern des autonomen Fahrens eines Fahrzeugs: Berechnen einer ersten Höheninformationen, die einen ersten Gradienten zuweisen, der in einer Vorwärtsrichtung von Objekten, einschließlich eines Fahrzeugs und eines Fußgängers, von jeweiligen Positionen der Objekte aus abfällt, basierend auf dynamischen Informationen der Objekte, Berechnen einer zweiten Höheninformation, die einen zweiten Gradienten zuweist, basierend auf einer Wahrscheinlichkeit, dass der Fußgänger eine andere Infrastruktur als die Objekte besetzt, Berechnen einer endgültigen Höheninformation durch Verschmelzen der ersten Höheninformation und der zweiten Höheninformation, Erzeugen eines vorhergesagten Weges des Fußgängers basierend auf der endgültigen Höheninformation und Modellierungsinformation eines Kreuzungsweges und der Geschwindigkeit des Fußgängers, und Bestimmen einer Fahrstrategie eines Hostfahrzeugs basierend auf einem vorhergesagten Weg des Hostfahrzeugs und dem vorhergesagten Weg des Fußgängers.
In einem anderen Aspekt der vorliegenden Offenbarung enthält eine Vorrichtung zum Steuern des autonomen Fahrens eines Fahrzeugs: einen Prozessor, der konfiguriert ist, um eine erste Höheninformation zu berechnen, die einen ersten Gradienten zuweist, der in einer Vorwärtsrichtung von Objekten, einschließlich eines Fahrzeugs und eines Fußgängers, von jeweiligen Positionen der Objekte abfällt, auf der Grundlage dynamischer Informationen, um eine zweite Höheninformation zu berechnen, die einen zweiten Gradienten zuweist, auf der Grundlage einer Wahrscheinlichkeit, dass der Fußgänger eine andere Infrastruktur als die Objekte besetzt, um eine endgültige Höheninformation zu berechnen, indem die erste Höheninformation und die zweite Höheninformation verschmolzen werden, um einen vorhergesagten Weg des Fußgängers zu erzeugen, der auf der endgültigen Höheninformation und der Modellierungsinformation eines Kreuzungsweges und der Geschwindigkeit des Fußgängers basiert, und um eine Fahrstrategie eines Hostfahrzeugs zu bestimmen, die auf einem vorhergesagten Weg des Hostfahrzeugs und dem vorhergesagten Weg des Fußgängers basiert.
Es versteht sich, dass sowohl die vorangehende allgemeine Beschreibung als auch die folgende detaillierte Beschreibung der vorliegenden Offenbarung beispielhaft und erläuternd sind und dazu dienen, das erfindungsgemäße Konzept bzw. die erfindungsgemäßen Konzepte weiter zu erläutern.
Figurenliste
Die beigefügten Zeichnungen, die zum weiteren Verständnis der vorliegenden Offenbarung dienen und Bestandteil dieser Anmeldung sind, veranschaulichen die Ausführungsform(en) der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung zur Erläuterung des Prinzips der Offenbarung.

1 ist ein schematisches Blockdiagramm einer Vorrichtung zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Offenbarung;
2 ist ein schematisches Blockdiagramm, das ein Beispiel für die Konfiguration eines Fußgängerwegvorhersagers aus 1 zeigt;
3 ist ein schematisches Blockdiagramm, das ein Beispiel für die Konfiguration eines Fahrcontrollers von 1 zeigt;
4 ist ein Flussdiagramm, das ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt;
5 und 6 sind Ansichten, die die Funktionen eines infrastrukturbasierten Höhenbestimmungsmoduls gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen;
7 bis 12 sind Ansichten, die ein Verfahren zur Modellierung des Fußgängerverhaltens zur Einstellung der Funktionen eines objektbasierten Höhenbestimmungsmoduls gemäß einer Ausführungsform der vorliegenden Offenbarung zeigen;
13 ist eine Ansicht, die die Funktionen des objektbasierten Höhenbestimmungsmoduls gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
14 und 15 sind Ansichten, die die Funktionen eines Endhöhenfusionsmoduls gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen;
16 bis 18 sind Ansichten, die ein Verfahren zur Vorhersage eines Fußgängerwegs durch ein Modul zur Erzeugung eines vorhergesagten Fußgängerwegs gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulichen;
19 und 20 sind Ansichten, die ein Verfahren zur Vorhersage eines Fußgängerwegs durch ein Modul zur Erzeugung eines vorhergesagten Fußgängerwegs gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung veranschaulichen;
21 ist eine Ansicht, die ein Verfahren zur Vorhersage eines Fußgängerweges durch ein Modul zur Erzeugung eines vorhergesagten Fußgängerweges gemäß einer dritten Ausführungsform der vorliegenden Offenbarung zeigt;
22 ist eine Ansicht, die Verfahren zur Erzeugung von Ausgaben veranschaulicht, die vom Verschmelzungsmodul für die endgültige Höhenfusion gemäß anderen Ausführungsformen der vorliegenden Offenbarung ausgeführt werden;
23 und 24 sind Ansichten, die die Funktionen eines FahrstrategieBestimmungsmoduls zur Bestimmung der Fahrstrategie gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen;
25 und 26 sind Ansichten, die beispielhaft ein Risikobestimmungsverfahren zur Bestimmung einer Strategie durch das Fahrstrategie-Bestimmungsmodul zeigen;
27 ist eine Ansicht, die die Ergebnisse der Erzeugung von vorhergesagten Fußgängerwegen gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt;
28 ist eine Ansicht, die beispielhaft ein Fahrzeug zeigt, auf das eine autonome Fahrvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird; und
29 ist eine Ansicht, die beispielhaft ein autonomes Fahrsystem zeigt, auf das die autonome Fahrvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird.

AUSFÜHRLICHE BESCHREIBUNG
Es wird nun im Einzelnen auf bevorzugte Ausführungsformen der vorliegenden Offenbarung Bezug genommen, von denen Beispiele in den beigefügten Zeichnungen dargestellt sind. Die Offenbarung des erfindungsgemäßen Konzepts bzw. der erfindungsgemäßen Konzepte ist jedoch nicht auf die hier dargestellten Ausführungsformen beschränkt und kann in verschiedener Weise modifiziert werden. Um die vorliegende Offenbarung klar zu beschreiben, werden in den Zeichnungen Beschreibungen von Elementen, die nicht mit der vorliegenden Offenbarung in Zusammenhang stehen, weggelassen, und gleiche oder ähnliche Elemente werden mit den gleichen Bezugsziffern bezeichnet, selbst wenn sie in verschiedenen Zeichnungen dargestellt sind.
In der folgenden Beschreibung der Ausführungsformen wird davon ausgegangen, dass, wenn ein Teil ein Element „enthält“, das Teil auch andere Elemente enthalten kann und das Vorhandensein solcher anderer Elemente nicht ausschließt, sofern nichts anderes angegeben ist. In der folgenden Beschreibung der Ausführungsformen bezeichnen Teile, die mit den gleichen Bezugszeichen bezeichnet sind, dieselben Elemente.
Eine Vorrichtung zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß der vorliegenden Offenbarung leitet einen vorhergesagten Weg eines Fußgängers unter Berücksichtigung einer Tendenz ab, dass Fußgänger und Zweiradfahrzeuge eher vor einem verlangsamten oder angehaltenen Fahrzeug als vor einem beschleunigenden Fahrzeug vorbeigehen und einen Raum einnehmen, wenn sich kein Fahrzeug dahinter befindet oder wenn ein Fahrzeug dahinter nicht beschleunigt. Zu diesem Zweck erstellt die Vorrichtung eine Gitterkarte unter Verwendung eines Geschwindigkeitsvektors in einem räumlichen Bereich, führt eine Matrixumwandlung der Gitterkarte durch und extrahiert den vorhergesagten Weg des Fußgängers auf der Grundlage von Gradient Descent und einem Long Short-Term Memory des Deep Learning. Daher kann die Vorrichtung die Genauigkeit der Wegvorhersage eines Fußgängers und eines Zweiradfahrzeugs verbessern.
Nachfolgend wird eine Vorrichtung zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß jeder Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben. Zunächst kann ein als Fußgänger bezeichnetes Element durch andere Elemente ersetzt werden, einschließlich eines als Zweiradfahrzeug bezeichneten Elements, das auf einem Gehweg fährt und eine Straße überquert.
1 ist ein schematisches Blockdiagramm einer Vorrichtung zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Offenbarung.
Bezugnehmend auf 1 umfasst die Vorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung eine Sensorvorrichtung 100, einen Kommunikator 110, ein Kartenübertragungsmodul 118, einen Fahrumgebungsbestimmer 120, einen Fußgängerwegvorhersager 200 und einen Fahrcontroller 300.
Die Sensorvorrichtung 100 kann mindestens ein peripheres Fahrzeug erfassen, das sich vor, neben und/oder hinter einem Hostfahrzeug befindet, und kann die Position, Geschwindigkeit und Beschleunigung jedes peripheren Fahrzeugs erfassen. Die Sensorvorrichtung 100 kann verschiedene Sensoren umfassen, wie z.B. ein Lidar 102, eine Kamera 104, ein Radar 106, etc. die an den vorderen, seitlichen und hinteren Teilen des Hostfahrzeugs angebracht sind.
Das Lidar 102 kann den Abstand zwischen dem Hostfahrzeug und dem peripheren Fahrzeug messen. Das Lidar 102 kann den Abstand zum peripheren Fahrzeug und die Form des peripheren Fahrzeugs messen, indem es die räumlichen Positionskoordinaten eines Reflexionspunkts berechnet, indem es einen Laserimpuls auf das periphere Fahrzeug abstrahlt und die Ankunftszeit des vom peripheren Fahrzeug reflektierten Laserimpulses misst.
Die Kamera 104 kann mit Hilfe eines Bildsensors ein Bild von der Peripherie des Hostfahrzeugs aufnehmen. Die Kamera 104 kann einen Bildprozessor enthalten, der das aufgenommene Bild verarbeitet, z. B. Rauschunterdrückung, Bildqualitäts- und Sättigungskontrolle und Dateikompression.
Das Radar 106 kann den Abstand zwischen dem Hostfahrzeug und dem peripheren Fahrzeug messen. Das Lidar 102 kann den Abstand zum peripheren Fahrzeug, die Richtung und Höhe des peripheren Fahrzeugs usw. messen, indem es elektromagnetische Wellen zum peripheren Fahrzeug ausstrahlt und vom peripheren Fahrzeug reflektierte elektromagnetische Wellen empfängt.
Der Kommunikator 110 kann Informationen zur Erfassung der Positionen des Hostfahrzeugs und anderer Fahrzeuge empfangen. Der Kommunikator 110 kann verschiedene Vorrichtungen enthalten, die so konfiguriert sind, dass sie Informationen zur Erfassung der Position des Hostfahrzeugs empfangen, z. B. eine Fahrzeug-zu-Alles-Kommunikationsvorrichtung (V2X) 112, ein Controller Area Network (CAN) 114, ein globales Positionierungssystem (GPS) 116, usw.
Das Kartenübertragungsmodul 118 liefert eine genaue Karte, in der die Fahrspuren unterscheidbar sind. Die genaue Karte kann in Form einer Datenbank (DB) gespeichert werden, kann automatisch in einem regelmäßigen Zyklus über drahtlose Kommunikation aktualisiert werden oder manuell von einem Benutzer aktualisiert werden und kann Informationen über Zusammenführungsabschnitte von Fahrspuren (z. B. einschließlich Positionsinformationen über die Zusammenführungsabschnitte und die Position der gesetzlichen Geschwindigkeitsbegrenzung der Zusammenführungsabschnitte), positionsabhängige Straßeninformationen, Informationen über Straßenverzweigungen, Informationen über Kreuzungen usw. enthalten.
Der Fahrumgebungsbestimmer 120 kann Objektinformationen über das Hostfahrzeug und die anderen Fahrzeuge auf der genauen Karte auf der Grundlage der von der Sensorvorrichtung 10, dem Kartenübertragungsmodul 118 und dem Kommunikator 110 erfassten Informationen fusionieren d. h. verschmelzen und dann die fusionierten Objektinformationen ausgeben. Der Fahrumgebungsbestimmerr 120 der Vorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung kann ein Prozessor sein. Der Prozessor 120 hat einen zugehörigen nicht-übertragbaren Speicher, in dem Softwarebefehle gespeichert sind, die, wenn sie vom Prozessor 120 ausgeführt werden, die Funktionen eines Objektfusionsmoduls 122, eines Straßeninformationsfusionsmoduls 124 und eines Hostfahrzeugpositionserkennungsmoduls 126 bereitstellen. Der Prozessor 120 kann die Form eines oder mehrerer Prozessoren und eines zugehörigen Speichers aufweisen, der Programmanweisungen speichert.
Das Modul 126 zur Positionserkennung des Hostfahrzeugs gibt genaue Positionsinformationen über das Hostfahrzeug aus. Das Modul 126 zur Positionserkennung des Hostfahrzeugs kann die von der Sensorvorrichtung 100 erfassten Informationen, die vom Kommunikator 110 gesammelten GPS-Informationen über das Hostfahrzeug und die vom Kartenübertragungsmodul 118 bereitgestellten präzisen Karteninformationen miteinander vergleichen und so die Positionsinformationen und die Informationen über die Zuverlässigkeit der Positionserkennung des Hostfahrzeugs gemeinsam ausgeben.
Das Straßeninformationsfusionsmodul 124 gibt die genaue Karte der Peripherie des Hostfahrzeugs aus. Das Straßeninformationsfusionsmodul 124 gibt auf der Grundlage der Informationen über die Zuverlässigkeit der Positionserkennung und der präzisen Karteninformationen genaue Karteninformationen über die Umgebung d.h. die Peripherie des Hostfahrzeugs an das Objektfusionsmodul 122 und den Fußgängerwegvorhersager 200 aus.
Das Objektfusionsmodul 122 gibt die fusionierten Objektinformationen an den Fußgängerwegvorhersager 200 aus. Das Objektfusionsmodul 122 empfängt Informationen über Fahrzeuge, die sich auf einer Straße oder in anderen Bereichen neben der Straße befinden, die Positionen, Geschwindigkeiten und Klassifizierungsinformationen von Fußgängern sowie Kontur- und Kasteninformationen in einem fusionierten Zustand von der Sensorvorrichtung 100. Das Objektfusionsmodul 122 fusioniert die von der Sensorvorrichtung 100 eingegebenen Objektinformationen mit den präzisen Karteninformationen über die Peripherie des Hostfahrzeugs und gibt dann die fusionierten Objektinformationen aus.
Der Fußgängerwegvorhersager 200 berechnet endgültige Höheninformationen durch Extrahieren von Höheninformationen aus den fusionierten Objektinformationen, die vom Objektfusionsmodul 122 eingegeben werden, und Höheninformationen aus den präzisen Karteninformationen über die Peripherie des Hostfahrzeugs, die vom Straßeninformationsfusionsmodul 124 eingegeben werden, und gibt den vorhergesagten Weg des Fußgängers basierend auf den endgültigen Höheninformationen aus.
Die Fahrsteuerung 300 kann den Fahrweg des Hostfahrzeugs auf der Grundlage des vom Fußgängerwegvorhersagegerät 200 vorhergesagten Fußgängerwegs bestimmen und so den Fahrzustand des Hostfahrzeugs steuern. Der Fußgängerwegvorhersager 200 und die Fahrsteuerung 300 können die in den 2 und 3 gezeigten Konfigurationen aufweisen.
2 ist ein schematisches Blockdiagramm, das ein Beispiel für die Konfiguration des Fußgängerwegvorhersagers 200 aus 1 zeigt. Der Fußgängerwegvorhersager 200 extrahiert Höheninformationen über Objekte und Höheninformationen über andere Infrastrukturen als die Objekte aus den verschmolzenen Objektinformationen, Straßeninformationen und den genauen Karteninformationen über die Peripherie des Hostfahrzeugs und sagt den Weg des Fußgängers basierend auf den extrahierten Höheninformationen voraus.
Wie in 2 dargestellt, kann der Fußgängerwegvorhersager 200 der Vorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung ein Prozessor sein. Der Prozessor 200 verfügt über einen zugehörigen nicht transitorischen Speicher, in dem Softwarebefehle gespeichert sind, die, wenn sie vom Prozessor 200 ausgeführt werden, die Funktionalitäten eines objektbasierten Höhenbestimmungsmoduls (oder eines ersten Höhenbestimmungsmoduls) 210, eines infrastrukturbasierten Höhenbestimmungsmoduls (oder eines zweiten Höhenbestimmungsmoduls) 212, eines Endhöhenfusionsmoduls 214 und eines Moduls zur Erzeugung eines vorhergesagten Fußgängerwegs 216 bereitstellen. Der Prozessor 200 kann die Form eines oder mehrerer Prozessoren und eines zugehörigen Speichers haben, in dem Programmanweisungen gespeichert sind.
Das Modul 210 zur objektbasierten Höhenbestimmung berechnet objektbasierte Höheninformationen, indem es die vom Objektfusionsmodul 122 eingegebenen präzisen kartenfusionierten Objektinformationen analysiert. Das objektbasierte Höhenbestimmungsmodul 210 kann Höheninformationen berechnen, um den von den Objekten eingenommenen Bereichen und den Bewegungsrichtungen der Objekte einen Gradienten zuzuweisen, abhängig von Typen, Geschwindigkeiten und Positionen der Objekte und den Forminformationen, die in den fusionierten Objektinformationen enthalten sind.
Das infrastrukturbasierte Höhenbestimmungsmodul 212 berechnet infrastrukturbasierte Höheninformationen aus der genauen Karte der Peripherie des Hostfahrzeugs, die vom Modul 124 zur Fusionierung von Straßeninformationen eingegeben wird. Das infrastrukturbasierte Höhenbestimmungsmodul 212 zur infrastrukturbasierten Höhenbestimmung kann Höheninformationen für die Zuweisung eines Grafdienten berechnen, indem es andere Infrastrukturen als die Objekte verwendet, z. B. Straßenformen, Informationen zu Verkehrssignalen, Zebrastreifen usw.
Das Fusionsmodul 214 für die endgültige Höhe empfängt die objektbasierten Höheninformationen, die von dem objektbasiertem Höhenbestimmungsmodul 210 ausgegeben werden, und die infrastrukturbasierten Höheninformationen, die von dem infrastrukturbasiertem Höhenbestimmungsmodul 212 ausgegeben werden. Das Fusionsmodul 214 für die endgültige Höhe berechnet die endgültigen Höhen, indem es die objektbasierten Höheninformationen und die infrastrukturbasierten Höheninformationen kombiniert. Das Fusionsmodul 214 für die endgültige Höhe kann die berechneten endgültigen Höhen in Form einer Matrix ausgeben.
Das Modul 216 zur Erzeugung des vorausgesagten Fußgängerwegs sagt den Weg des Fußgängers auf der Grundlage der vom Modul 214 zur endgültigen Höhenfusion ausgegebenen Höhenmatrix voraus. Das Modul 216 zur Erzeugung des vorausgesagten Fußgängerwegs kann den Weg des Fußgängers durch Gradientenabstieg (Gradient Descent) oder ein maschinelles Lernverfahren vorhersagen, wobei die als Höhenmatrix ausgegebenen Höheninformationen als Gradienteninformationen verwendet werden. Das Modul 216 zur Erzeugung des vorhergesagten Fußgängerweges kann den Weg des Fußgängers vorhersagen, indem es jede Stunde ein Bild mit der vorhergesagten Position des Fußgängers als zukünftige Sequenz ausgibt, indem es mit den Betriebszyklen der Sensoren und der Logik synchronisiert wird.
3 ist ein schematisches Blockdiagramm, das ein Beispiel für die Konfiguration des Fahrcontrollers 300 von 1 zeigt.
Der Fahrcontroller 300 kann das autonome Fahren des Hostfahrzeugs auf der Grundlage der Zielspuren anderer Fahrzeuge, d. h. der Fahrabsichten der anderen Fahrzeuge, steuern, die vom Fußgängerwegvorhersager 200 ermittelt werden.
Unter Bezugnahme auf 3 kann der Fahrcontroller 300 verschiedene Funktionen eines Fahrstrategiebestimmungsmoduls 318, eines Geschwindigkeitsprofilerzeugungsmoduls 316, eines Fahrwegerzeugungsmoduls 314, eines Steuerparameterausgabemoduls 312 und eines Controllers 310 ausführen.
Der Fahrcontroller 300 der Vorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung kann ein Prozessor (z. B. Computer, Mikroprozessor, CPU, ASIC, Schaltungen, logische Schaltungen usw.) sein. Der Fahrcontroller 300 kann durch einen nichttransitorischen Speicher, der z. B. ein oder mehrere Programme, Softwareanweisungen, die Algorithmen wiedergeben, usw. speichert, die, wenn sie ausgeführt werden, den Betrieb verschiedener Komponenten des Fahrzeugs steuern, und einen Prozessor, der so konfiguriert ist, dass er das oder die Programme, die Softwareanweisungen, die Algorithmen wiedergeben, usw. ausführt, implementiert werden. Dabei können der Speicher und der Prozessor als getrennte Halbleiterschaltungen implementiert sein. Alternativ können der Speicher und der Prozessor als eine einzige integrierte Halbleiterschaltung ausgeführt werden. Der Prozessor kann aus einem oder mehreren Prozessoren bestehen.
Das Fahrstrategiebestimmungsmodul 318 bestimmt eine Fahrstrategie auf der Grundlage des vorhergesagten Fußgängerweges, der vom Modul 216 zur Erzeugung des vorhergesagten Fußgängerweges eingegeben wird, und eines Fahrweges und eines Geschwindigkeitsprofils in einem vorherigen Zeitrahmen, die vom Modul 312 zur Ausgabe der Steuerparameter eingegeben werden. Das Fahrstrategiebestimmungsmodul 318 kann ein Kollisionsrisiko zwischen dem vorhergesagten Weg des Hostfahrzeugs und dem vorhergesagten Weg des Fußgängers auf dem Fahrweg des Hostfahrzeugs bestimmen, indem es den Weg des Hostfahrzeugs im vorherigen Zeitrahmen als Eingabe verwendet, und kann somit eine endgültige Fahrstrategie bestimmen, bei der das Hostfahrzeug nicht an der Bewegungsposition des Fußgängers zu einem entsprechenden Zeitpunkt fährt, durch Zeitinformationen über den Fußgänger in einer Reihe Å auf dem Fahrweg des Hostfahrzeugs.
Das Geschwindigkeitsprofilerzeugungsmodul 316 kann ein Geschwindigkeitsprofil erzeugen, das der endgültigen Fahrstrategie entspricht, und zwar auf der Grundlage der genauen Karteninformationen, einschließlich Informationen über Geschwindigkeitsbegrenzungen und Bodenwellen, der endgültigen Fahrstrategie, des vorhergesagten Fußgängerwegs und der verschmolzenen Objektinformationen. Das Geschwindigkeitsprofilerzeugungsmodul 316 erzeugt das Geschwindigkeitsprofil, das das Hostfahrzeug daran hindert, an der Bewegungsposition des Fußgängers zu einem entsprechenden Zeitpunkt zu fahren, anhand von Informationen über die Geschwindigkeit eines Fahrzeugs, das dem Fahrweg des Hostfahrzeugs am nächsten ist, über Geschwindigkeitsbegrenzungen, vordere Geschwindigkeitsschwellen und die Fahrzeitinformationen über den Fußgänger auf dem Fahrweg des Hostfahrzeugs, unter der Annahme des Punkt-Level-Weges (Point-Level-Path; PL) im vorherigen Zeitrahmen.
Das Fahrwegerzeugungsmodul 314 kann anhand des Geschwindigkeitsprofils einen Fahrweg berechnen, der einen vom Fußgänger besetzten Bereich zeitlich umgeht. Dabei kann die Bestimmung, ob das Hostfahrzeug den vom Fußgänger besetzten Bereich zeitlich umgeht oder nicht, durch das Fahrstrategiebestimmungsmodul 318 erfolgen. Die Ausgabe des Fahrwegerzeugungsmoduls 314 ist eine Information, in der der Fahrweg beschrieben ist, die Information kann in Form eines Koeffizienten einer kubischen oder quartischen Gleichung oder einer Koordinatenliste entsprechend dem Zeitrahmen ausgegeben werden, und die Information ist nicht auf eine bestimmte Ausdrucksform beschränkt.
Das Steuerparameterausgabemodul 312 kann das Stanley-Verfahren für die Verfolgung eines seitlichen Steuerwegs, eine PID-Regelung für die Verfolgung eines Geschwindigkeitsprofils oder ähnliches verwenden, um einer Trajektorie zu folgen, die durch das Sammeln des ermittelten Geschwindigkeitsprofils und eines Punkt-Level-Weges (PLP) erzeugt wird.
Der Controller 310 kann das autonome Fahren des Fahrzeugs in Abhängigkeit von den Steuerparametern steuern.
4 ist ein Flussdiagramm, das ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
Es werden objektbasierte Höheninformationen für die Zuweisung eines Gradienten zu den von Objekten belegten Bereichen und den Bewegungsrichtungen des Objekts berechnet (S110).
Es werden infrastrukturbasierte Höheninformationen für die Zuweisung eines Gradienten unter Verwendung anderer Infrastrukturen als der Objekte berechnet (S112).
Die endgültige Höheninformation wird durch Kombination der objektbasierten Höheninformationen und der infrastrukturbasierten Höheninformationen berechnet (S114).
Der Weg eines Fußgängers wird auf der Grundlage der endgültigen Höheninformation (S116) vorhergesagt.
Die Fahrstrategie eines Hostfahrzeugs wird auf der Grundlage des vorhergesagten Wegs des Hostfahrzeugs und des vorhergesagten Wegs des Fußgängers bestimmt (S118).
Das Fahren des Hostfahrzeugs wird auf der Grundlage der bestimmten Fahrstrategie (S120) gesteuert.
5 und 6 sind Ansichten, die die Funktionen des Moduls zur infrastrukturbasierten Höhenbestimmung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen, und zeigen beispielhaft die infrastrukturbasierten Höhen, die in Abhängigkeit von einem Signal eines Verkehrssignalsystems bestimmt werden.
5(a) und 5(b) veranschaulichen beispielhaft die an einem Zebrastreifen einer allgemeinen Straße ermittelten Höhen, und insbesondere veranschaulicht 5(a) beispielhaft die bei rotem Licht ermittelten Höhen und 5(b) veranschaulicht beispielhaft die bei grünem Licht ermittelten Höhen.
Wenn ein Fußgängersignal in einem Bereich mit einem Zebrastreifen eingeschaltet wird, überquert ein Fußgänger den Zebrastreifen. Daher hat der Bereich des Zebrastreifens im Vergleich zu den angrenzenden Bereichen einen sehr hohen Gradienten oder eine sehr hohe Objektfortschritts- und Belegungswahrscheinlichkeit. Der Gradient an dem Zebrastreifen kann je nach Land oder Region im umgekehrten Verhältnis zur Kreuzungsquote von Fußgängern zugeordnet werden.
Wenn das Fußgängersignal in dem vom Zebrastreifen eingenommenen d.h. belegtem Bereich ausgeschaltet wird, überquert der Fußgänger den Zebrastreifen nicht, und die Fahrzeuge passieren den Zebrastreifen, so dass in diesem Fall eine allgemeine Straße und der Zebrastreifen ähnliche Steigungen d.h. Gradienten aufweisen. In diesem Fall kann bei ausgeschaltetem Fußgängersignal eine Modellierung durchgeführt werden, bei der ein Teil der Einfahrt des Zebrastreifens mit einem Gradienten versehen wird, so dass der Fußgänger sichtbar ist. Da es zwei Kreuzungsrichtungen gibt, können die Objekte in zwei Gruppen eingeteilt werden, die den beiden Kreuzungsrichtungen entsprechen. Die allgemeine Straße kann ein Gradientenfeld (oder eine Gitterkarte) aufweisen, in dem die Höhen in allen Richtungen (zwei Arten von Richtungen) bestimmt werden.
In einem Bordsteinabschnitt, der von dem Fußgängersignal einen bestimmten Abstand oder mehr entfernt ist, neigen Fußgänger im Allgemeinen dazu, den Fußgängerüberweg zu überqueren, nachdem die Fahrzeuge den Fußgängerüberweg schnell passiert haben, und gehen daher eher in der Richtung entgegen der Fahrtrichtung der Fahrzeuge, als dass sie in Fahrtrichtung der Fahrzeuge gehen und dann den Fußgängerüberweg überqueren. Daher kann die Steigung so korrigiert werden, dass sie in der Richtung entgegen der Fahrtrichtung der Fahrzeuge verringert wird.
6(a) und 6(b) veranschaulichen beispielhaft die an den Fußgängerüberwegen einer Kreuzung ermittelten Höhen, und insbesondere 6(a) veranschaulicht beispielhaft die Höhen, die ermittelt werden, wenn die Fußgängerüberwege in vier Richtungen installiert sind, und 5(b) veranschaulicht beispielhaft die Höhen, die ermittelt werden, wenn die Fußgängerüberwege in vier Richtungen und diagonalen Richtungen installiert sind.
Da ein Fußgänger auf die andere Straßenseite wechselt, die der Straßenseite gegenüberliegt, auf der sich der Fußgänger gerade befindet, kann die Straßenseite, auf der sich der Fußgänger gerade befindet, die höchste Position aufweisen und die andere Straßenseite kann die niedrigste Position aufweisen. Einem Bereich zwischen den beiden Straßenseiten kann ein Gradient zugewiesen werden, der sich allmählich in der Höhe verändert.
Da es vier Kreuzungsrichtungen gibt, können die Objekte in vier Gruppen eingeteilt werden, die den vier Kreuzungsrichtungen entsprechen, und die Kreuzung kann ein Gitterfeld (oder eine Gitterkarte) aufweisen, in dem (in der) die Höhen in allen Richtungen (vier Arten von Richtungen) bestimmt werden. Da Fußgänger bei einer Steigung auf einer realen Straße lieber bergab als bergauf gehen, kann hier die Summe oder die gewichtete Summe eines realen Gradienten und eines virtuellen Gradienten berechnet werden. Die endgültige Summe der Höhen an den jeweiligen Positionen wird verwendet, um einen endgültigen Gradienten zu berechnen, der anschließend bei der Bildung des vorhergesagten Weges eines Fußgängers verwendet wird.
Hier können Höhenwerte jeweiligen Gitterzellen einer Straße auf einer genauen Karte zugewiesen werden. Die Gitterinformationen einschließlich der Höhenwerte können in eine Matrix umgewandelt und verwendet werden, um einen vorhergesagten Weg auf der Grundlage von Gradient Descent oder einem Long Short-Term Memory (LSTM) des Deep Learning zu erzeugen.
7 bis 12 sind Ansichten, die ein Verfahren zur Modellierung des Fußgängerverhaltens zur Einstellung der Funktionen eines objektbasierten Höhenbestimmungsmoduls gemäß einer Ausführungsform der vorliegenden Offenbarung zeigen.
7 und 8 sind Ansichten, die beispielhaft ein Verfahren zur Modellierung des Verhaltens eines Fußgängers in Abhängigkeit von der Position und Geschwindigkeit eines Fahrzeugs zeigen. 7 ist eine Ansicht, die Situationen eines Fußgängers, der eine Straße überqueren möchte, je nach Fall illustriert, und 8 ist eine Ansicht, die vorhergesagte Wege des Fußgängers in den jeweiligen Fällen illustriert.
<Fall 1 > in 7 zeigt beispielhaft eine Situation, in der ein Fahrzeug langsam und in geringem Abstand zum Fußgänger auf einer Straße fährt, die der Fußgänger überqueren möchte. 8 zeigt den vorhergesagten Weg des Fußgängers unter den Bedingungen von <Fall 1 >. Wie aus 8 hervorgeht, befindet sich das Fahrzeug in <Fall 1> innerhalb des kurzen Abstands, und es besteht daher eine hohe Wahrscheinlichkeit, dass der Fußgänger die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist. Um die Zeit zum Überqueren der Straße zu verkürzen, ist die Wahrscheinlichkeit groß, dass der Fußgänger sich entgegen der Fahrtrichtung des Fahrzeugs bewegt und die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist. In <Fall 1 > kann die Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, auf eine normale TTC eingestellt werden.
<Fall 2> veranschaulicht beispielhaft eine Situation, in der ein Fahrzeug auf einer Straße, die der Fußgänger überqueren möchte, schnell in großer Entfernung vom Fußgänger fährt. 8 zeigt den vorhergesagten Weg des Fußgängers unter den Bedingungen von <Fall 2>. Wie aus 8 hervorgeht, nähert sich das Fahrzeug in <Fall 2> schnell dem Fußgänger, so dass eine hohe Wahrscheinlichkeit besteht, dass der Fußgänger die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist. Um die Zeit zum Überqueren der Straße zu verkürzen, ist die Wahrscheinlichkeit groß, dass der Fußgänger sich entgegen der Fahrtrichtung des Fahrzeugs bewegt und die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist. In <Fall 2> wird die Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, als ähnlich wie die Zeit TTC in <Fall 1 > angesehen und kann daher auf die normale TTC eingestellt werden.
<Fall 3> veranschaulicht beispielhaft eine Situation, in der ein Fahrzeug auf einer Straße, die der Fußgänger überqueren möchte, langsam in großem Abstand zum Fußgänger fährt. 8 zeigt den vorhergesagten Weg des Fußgängers unter den Bedingungen von <Fall 3>. Wie aus 8 hervorgeht, nähert sich das Fahrzeug in <Fall 3> dem Fußgänger langsam aus großer Entfernung, so dass eine hohe Wahrscheinlichkeit besteht, dass der Fußgänger die Straße überquert, bevor das Fahrzeug vorbeifährt. Da in <Fall 3> eine hohe Wahrscheinlichkeit besteht, dass der Fußgänger aus Sicherheitsgründen sofort die Straße überquert, kann die Zeit TTC, die das Fahrzeug braucht, um an dem Fußgänger vorbeizufahren, auf eine lange TTC eingestellt werden.
<Fall 4> veranschaulicht beispielhaft eine Situation, in der ein Fahrzeug in geringem Abstand zum Fußgänger langsam auf einer Straße fährt, die der Fußgänger überqueren möchte. 8 zeigt den vorhergesagten Weg des Fußgängers unter den Bedingungen von <Fall 4>. Wie aus 8 hervorgeht, befindet sich das Fahrzeug in <Fall 4> innerhalb des kurzen Abstands und nähert sich schnell dem Fußgänger, so dass eine hohe Wahrscheinlichkeit besteht, dass der Fußgänger die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist. Da sich das Fahrzeug innerhalb der kurzen Entfernung befindet, besteht außerdem eine hohe Wahrscheinlichkeit, dass der Fußgänger an Ort und Stelle wartet und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist, um die Wegstrecke des Fußgängers zu verkürzen. Daher kann die Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, auf eine kurze TTC festgelegt werden.
9 zeigt beispielhaft ein Verfahren zur Modellierung der Bewegungsgeschwindigkeit des Fußgängers in jedem Fall.
Der Fußgänger, der eine Straße überqueren möchte, bestimmt, ob die Gefahr eines Zusammenstoßes mit einem Fahrzeug besteht oder nicht (S210). Das Risiko eines Zusammenstoßes mit einem Fahrzeug kann sowohl unter Berücksichtigung des Abstands zum Fahrzeug als auch der Geschwindigkeit des Fahrzeugs bestimmt werden.
Wenn festgestellt wird, dass keine Gefahr eines Zusammenstoßes mit dem Fahrzeug besteht, wird der Fußgänger mit hoher Wahrscheinlichkeit sofort die Straße überqueren (S212). Diese Situation kann zum Beispiel <Fall 3> entsprechen, in dem der Abstand zwischen dem Fußgänger und dem Fahrzeug groß ist und das Fahrzeug langsam fährt.
Nachdem in S210 festgestellt wurde, dass die Gefahr eines Zusammenstoßes mit dem Fahrzeug besteht, wird ermittelt, ob die Geschwindigkeit des herannahenden Fahrzeugs hoch ist oder nicht (S214).
Wenn festgestellt wird, dass die Geschwindigkeit des Fahrzeugs hoch ist, besteht eine hohe Wahrscheinlichkeit, dass der Fußgänger an Ort und Stelle wartet und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist (S218). Diese Situation kann zum Beispiel <Fall 4> entsprechen, in dem der Abstand zwischen Fußgänger und Fahrzeug gering ist und das Fahrzeug schnell fährt.
Wenn festgestellt wird, dass die Geschwindigkeit des Fahrzeugs niedrig ist, besteht eine hohe Wahrscheinlichkeit, dass der Fußgänger entgegen der Fahrtrichtung des Fahrzeugs geht, d. h. er geht in Richtung des Fahrzeugs und überquert dann die Straße, nachdem das Fahrzeug vorbeigefahren ist (S216). Diese Situation kann beispielsweise <Fall 1 > entsprechen, in dem das Fahrzeug langsam und in geringer Entfernung vom Fußgänger fährt, oder <Fall 2>, in dem der Abstand zwischen Fußgänger und Fahrzeug groß ist, das Fahrzeug aber schnell fährt.
10 zeigt beispielhaft ein Verfahren zur Modellierung der Bewegungsgeschwindigkeit des Fußgängers in Abhängigkeit von der Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren. In 10 gibt Thw die Zeit an, die der Fußgänger auf die Vorbeifahrt des Fahrzeugs warten kann. Thc gibt die Zeit an, die der Fußgänger benötigt, um einen Zusammenstoß mit dem Fahrzeug zu vermeiden, wobei der Bremsweg des Fahrzeugs vor dem Fußgänger berücksichtigt wird. Die Zeit Thc und die Zeit Thw können einer Parameterabstimmung durch Deep Learning unterzogen werden und können durch ein statistisches Verfahren, die Anwendung von Vorschriften oder Ähnliches abgeleitet werden.
Um die Geschwindigkeit des Fußgängers, der eine Straße überqueren will, zu modellieren, wird bestimmt, ob TTC gleich oder kürzer als Thc ist (S310). Das heißt, es wird festgestellt, ob die Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, gleich oder kürzer ist als die Zeit Thc, die der Fußgänger benötigt, um eine Kollision mit dem Fahrzeug zu vermeiden, unter Berücksichtigung des Bremswegs des Fahrzeugs vor dem Fußgänger.
Wenn TTC länger als Thc ist, kann man vorhersagen, dass der Fußgänger sofort die Straße überqueren wird (S312). Das heißt, wenn die Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, länger ist als die Zeit Thc, die der Fußgänger benötigt, um eine Kollision mit dem Fahrzeug zu vermeiden, besteht eine hohe Wahrscheinlichkeit, dass der Fußgänger einen sicheren Zustand feststellt und daher sofort die Straße überquert, bevor das Fahrzeug vorbeifährt (<Fall 3>).
Wenn TTC gleich oder kürzer als Thc ist, besteht eine hohe Wahrscheinlichkeit, dass der Fußgänger aus Sicherheitsgründen die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist. Danach wird ermittelt, ob TTC gleich oder kürzer als Thw ist (S314). Das heißt, es wird festgestellt, dass die Zeit TTC, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, gleich oder kürzer ist als die Zeit Thw, die der Fußgänger auf das vorbeifahrende Fahrzeug warten kann.
Wenn TTC länger als Thw ist, kann man vorhersagen, dass der Fußgänger entgegen der Fahrtrichtung des Fahrzeugs gehen und dann die Straße überqueren wird (S316). Das heißt, wenn die Zeit TTC, die das Fahrzeug zum Vorbeifahren am Fußgänger benötigt, länger ist als die Zeit Thw, die der Fußgänger auf das Vorbeifahren des Fahrzeugs warten kann, besteht eine hohe Wahrscheinlichkeit, dass der Fußgänger, um die Zeit zu verkürzen, entgegen der Fahrtrichtung des Fahrzeugs geht und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist (<Fall 1 > und <Fall 2>).
Wenn TTC kürzer als Thw ist, kann vorausgesagt werden, dass der Fußgänger an Ort und Stelle wartet und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist (<Fall 3>).
11 ist eine Ansicht, die ein Verfahren zur Modellierung der Geschwindigkeit des Fußgängers in Abhängigkeit von TTC zeigt.
In <Fall 4>, in dem die Zeit TTC relativ kurz ist, d. h. die Zeit TTC, die das Fahrzeug braucht, um an dem Fußgänger vorbeizufahren, ist kürzer als die Zeit Thw, die der Fußgänger auf das vorbeifahrende Fahrzeug warten kann, wartet der Fußgänger auf das vorbeifahrende Fahrzeug und überquert dann die Straße.
In <Fall 1 > und <Fall 2>, in denen TTC normal ist, d.h. die Zeit TTC, die das Fahrzeug braucht, um an dem Fußgänger vorbeizufahren, ist länger als die Zeit Thw, die der Fußgänger auf das vorbeifahrende Fahrzeug warten kann, aber kürzer als die Zeit Thc, die der Fußgänger braucht, um eine Kollision mit dem Fahrzeug zu vermeiden, geht der Fußgänger in die Richtung, die der Fahrtrichtung des Fahrzeugs entgegengesetzt ist, und überquert dann die Straße, nachdem das Fahrzeug vorbeigefahren ist.
In <Fall 3>, in dem die Zeit TTC lang ist, d. h. die Zeit TTC, die das Fahrzeug braucht, um den Fußgänger zu passieren, ist länger als die Zeit Thc, die der Fußgänger braucht, um einen Zusammenstoß mit dem Fahrzeug zu vermeiden, überquert der Fußgänger sofort die Straße, bevor das Fahrzeug vorbeifährt.
Die in 11 dargestellten Diagramme zeigen das Ergebnis der Modellierung der Geschwindigkeit des Fußgängers in jedem der oben beschriebenen Fälle. Bei der Modellierung wird die Kreuzungsrichtung des Fußgängers auf die X-Achse, eine Richtung parallel zur Straße auf die Y-Achse, die Kreuzungsgeschwindigkeit des Fußgängers auf VX und die Bewegungsgeschwindigkeit des Fußgängers auf der Straße auf VY gesetzt. Die Graphen stellen jeweils eine Änderung der Kreuzungsgeschwindigkeit Vx des Fußgängers über der Zeit t und eine Änderung der Bewegungsgeschwindigkeit Vy des sich auf der Straße bewegenden Fußgängers über der Zeit t dar.
In <Fall 4>, in dem TTC relativ kurz ist, d. h. TTC ist kürzer als Thw, wartet der Fußgänger an Ort und Stelle und überquert die Straße, nachdem das Fahrzeug vorbeigefahren ist. Daher ist die Kreuzungsgeschwindigkeit VX während der Wartezeit 0, und die Kreuzungsgeschwindigkeit VX wird nach TTC allmählich erhöht, d. h. zu einem Zeitpunkt, zu dem das Fahrzeug vorbeifährt. Die allmählich erhöhte Kreuzungsgeschwindigkeit VX kann eine durchschnittliche Gehgeschwindigkeit aufrechterhalten, bis der Fußgänger die Überquerung der Straße beendet hat. Da der Fußgänger an Ort und Stelle wartet und dann die Straße überquert, bleibt die Bewegungsgeschwindigkeit VY des Fußgängers auf der Straße gleich 0.
In <Fall 1 > und <Fall 2>, in denen TTC normal ist, d. h. TTC ist länger als Thw, aber kürzer als Thc, geht der Fußgänger entgegen der Fahrtrichtung des Fahrzeugs und überquert dann die Straße, nachdem das Fahrzeug vorbeigefahren ist. Daher wird die Bewegungsgeschwindigkeit VY des Fußgängers auf der Straße bis TTC, d. h. dem Zeitpunkt, an dem das Fahrzeug vorbeifährt, beibehalten, und die Kreuzungsgeschwindigkeit VX wird nach TTC allmählich erhöht.
In <Fall 3>, in dem TTC lang ist, d. h. TTC ist länger als Thc, überquert der Fußgänger die Straße sofort, bevor das Fahrzeug vorbeifährt. Daher kann die Kreuzungsgeschwindigkeit VX die durchschnittliche Gehgeschwindigkeit beibehalten, bis der Fußgänger die Straße überquert hat. Da der Fußgänger an Ort und Stelle die Straße sofort überquert, bleibt die Bewegungsgeschwindigkeit VY des Fußgängers entlang der Straße bei 0.
12 ist eine Ansicht, die die Faktoren veranschaulicht, die berücksichtigt werden müssen, wenn das objektbasierte Höhenbestimmungsmodul 210 gemäß einer Ausführungsform der vorliegenden Offenbarung die Höhe eines Objekts bestimmt.
Bei der Berechnung der objektbasierten Höhen müssen nicht nur der vom Objekt tatsächlich eingenommene Raum, sondern auch die Geschwindigkeit des Objekts, d. h. die Geschwindigkeit v eines Fahrzeugs, und die Entfernungen entsprechend der Zeit Thw, die der Fußgänger auf das Vorbeifahren des Fahrzeugs warten kann, und der Zeit Thc, die der Fußgänger benötigt, um eine Kollision mit dem Fahrzeug unter Berücksichtigung des Bremswegs des Fahrzeugs vor dem Fußgänger zu vermeiden, berücksichtigt werden.
Unter Bezugnahme auf 12 kann ein Bereich, der tatsächlich vom Fahrzeug eingenommen wird, mit der größten Höhe dargestellt werden. Ein Abstand Thc*v, auf den sich das Fahrzeug für die Zeit Thc bewegt, die der Fußgänger benötigt, um eine Kollision mit dem Fahrzeug unter Berücksichtigung des Bremswegs des Fahrzeugs vor dem Fußgänger zu vermeiden, kann mit einer geringeren Höhe dargestellt werden. Ein Abstand Thw*v, den das Fahrzeug für die Zeit Thw zurücklegt, in der der Fußgänger auf das vorbeifahrende Fahrzeug warten kann, kann mit einer viel geringeren Höhe dargestellt werden. Bei der Modellierung der Höhe des Objekts werden die Höhen nicht nur einem Bereich um den Umriss des Objekts herum, sondern auch einem Bereich vor dem Objekt zugewiesen, so dass der vorhergesagte Weg des Fußgängers berechnet werden kann.
13 ist eine Ansicht, die ein Verfahren zur Bestimmung der Höhe eines Objekts durch das objektbasierte Höhenbestimmungsmodul 210 gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. In 13 gibt d_cross den Abstand einer Hostfahrzeugspur an, die ein Fußgänger überquert. V_ped zeigt die Kreuzungsgeschwindigkeit des Fußgängers an, und V_veh zeigt die Fahrgeschwindigkeit eines Fahrzeugs an.
Da sich der Fußgänger je nach Fahrzeugtyp unterschiedlich bedroht fühlt, muss die Höhe von Bussen oder Lastwagen anders eingestellt werden als die von Kleinfahrzeugen (siehe 13). Da sich der Fußgänger im Allgemeinen durch ein größeres Fahrzeug stärker bedroht fühlt, muss die Höhe ∝H_BOX eines Objekts, d. h. eines Fahrzeugs, im Verhältnis zur Breite W, Länge L und Höhe H des Fahrzeugs eingestellt werden. Obwohl ein Pkw und ein Lkw gleich groß sind, fühlt sich der Fußgänger im Allgemeinen von einem Lkw mehr bedroht als von einem Pkw, und die Höhen der verschiedenen Fahrzeugtypen können auf unterschiedliche Höhen ∝H_BOX eingestellt werden. Beispielsweise können die verschiedenen Höhen der Fahrzeuge in der Reihenfolge Bus> Baufahrzeug> Lkw> Pkw> Zweiradfahrzeug verringert werden.
Ein Höhenmodell kann so eingestellt werden, dass einem Bereich direkt vor dem Fahrzeug eine größere Höhe zugewiesen wird, wenn das Fahrzeug vorwärts fährt, und die Höhe abnimmt, je weiter der Bereich von der Position des Fahrzeugs in Fahrtrichtung entfernt ist, da sich der Fußgänger bedrohter fühlt, je näher er dem Fahrzeug ist.
Da das Fahrzeug auf einer Straße fährt, kann die Höhe entlang der Fahrspur gebildet werden, auf der das Fahrzeug in Vorwärtsrichtung fährt. Das Fahrzeug, das die Spur wechselt, passiert eine Diskontinuität zwischen den Fahrspurverbindungen, und in diesem Fall kann die Höhe entlang eines gekrümmten Weges für den Spurwechsel in Fahrtrichtung des Fahrzeugs gebildet werden.
Die Länge eines Abschnitts, dessen Höhe in Fahrtrichtung des Fahrzeugs allmählich abnimmt, kann proportional zum Produkt aus der Zeit, die der Fußgänger zum Überqueren der entsprechenden Fahrspur benötigt, und der Geschwindigkeit des Fahrzeugs sein.
Die Gitterinformationen mit den oben beschriebenen Höhenwerten werden in eine Matrix umgewandelt, und der vorhergesagte Weg des Fußgängers wird auf der Grundlage des Gradientenabstiegsalgorithmus (Gradient Descent-Algorithmus) und des Langzeitgedächtnisses (Long Short-Term Memory, LSTM) des Deep Learning extrahiert.
14 und 15 sind Ansichten, die die Funktionen des Fusionsmoduls 214 für die endgültige Höhe gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen, und konkreter ist 14 eine Ansicht, die beispielhaft die ermittelten endgültigen Höhen auf einer allgemeinen Straße veranschaulicht, und 5 ist eine Ansicht, die beispielhaft die ermittelten endgültigen Höhen an einer Kreuzung veranschaulicht.
Die vom objektbasierten Höhenbestimmungsmodul 210 ausgegebenen Höheninformationen und die vom infrastrukturbasierten Höhenbestimmungsmodul 212 ausgegebenen Höheninformationen werden als Eingabe für das Fusionsmodul 214 für die endgültige Höhe verwendet. Die vom objektbasierten Höhenbestimmungsmodul 210 ausgegebenen Höheninformationen sind durch ein Objekt zugewiesene Höheninformationen, und die vom infrastrukturbasierten Höhenbestimmungsmodul 212 ausgegebenen Höheninformationen sind durch die Infrastruktur zugewiesene Höheninformationen, wie z. B. eine Straßenform, Signalinformationen, ein Zebrastreifen oder Ähnliches. Das Fusionsmodul 214 für die endgültige Höhe kann die endgültigen Höhen bestimmen, indem es die durch das Objekt zugewiesenen Höhen und die durch die Infrastruktur zugewiesenen Höhen in geeigneter Weise fusioniert d.h. verschmelzt.
Das Fusionsmodul 214 für die endgültige Höhe kann eine durch gewichtete Summierung ermittelte Höhe entsprechend der Bedeutung des Objekts und der Infrastruktur zuweisen. Wenn beispielsweise die Höhe einer Position (20, 20) einer durch die Infrastruktur bestimmten Gitterzelle 0,3 ist und die Höhe der Position (20, 20) der durch das Objekt bestimmten Gitterzelle 0,4 ist, kann die endgültige Höhe der Position dieser Gitterzelle 0,7 (0,3x1+0,4x1) betragen. Hier kann ein Gewicht ein Abstimmungsparameter sein.
Das Fusionsmodul 214 für die endgültige Höhe kann jeder Position eine Objektbelegungswahrscheinlichkeit zuweisen, die besagt, dass sie im nächsten Zeitrahmen von einem Objekt, z. B. einem Bauwerk, einem Fußgänger oder einem Fahrzeug, belegt sein wird, anstelle von geometrischen Höheninformationen. Hier können die entsprechenden Höheninformationen in jedem Zeitrahmen aktualisiert werden, und bei Bedarf können die Werte zwischen den jeweiligen Zeitrahmen interpoliert werden, um eine genauere Bestimmung zu erreichen. Als Interpolation können lineare Interpolation, nichtlineare Interpolation, maschinelles Lernen usw. verwendet werden, ohne darauf beschränkt zu sein.
Das Fusionsmodul 214 für die abschließende Höhe kann die ermittelten Höheninformationen in eine Matrix von Werten umwandeln, die gleichen Intervallen und entsprechenden diskreten Koordinaten eines zweidimensionalen Gitters zugeordnet sind, und kann diese Matrix dann ausgeben. Hier kann eine aus der Gitterkarte umgewandelte Höhenmatrix ausgegeben werden.
16 bis 18 sind Ansichten, die ein Verfahren zur Vorhersage eines Fußgängerwegs durch ein Modul zur Erzeugung eines vorhergesagten Fußgängerwegs gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulichen. Das Modul 216 zur Erzeugung eines vorhergesagten Fußgängerweges gemäß der ersten Ausführungsform kann den Fußgängerweg auf der Grundlage des Gradientenabstiegs (Gradient Descent) vorhersagen.
Das Modul 216 zur Erzeugung des vorhergesagten Fußgängerweges kann einen Weg suchen, bei dem die Raum- und Zeitverluste unter Berücksichtigung eines Gradienten d.h. einer Steigung von der Startposition eines Fußgängers zur gegenüberliegenden Seite minimiert werden, indem es Gradient Descent (einen Gradientabstieg) verwendet.
Gradient Descent ist darauf ausgelegt, alle möglichen optimalen Lösungen auf einem Weg im gesamten Gebiet zu suchen, und schlägt daher einen Weg vor, auf dem sich der Fußgänger mit vergleichsweise hoher Wahrscheinlichkeit bewegt, und nicht einen vorhergesagten Weg, in dem sich die dynamischen Eigenschaften des Fußgängers kurzfristig widerspiegeln und der daher für eine langfristige Vorhersage geeignet ist. Gradient Descent kann jedoch auch auf die kurzfristige Vorhersage angewandt werden, indem einem Abschnitt, der näher an der aktuellen Position des Fußgängers liegt, ein größeres Gewicht zugewiesen wird.
Die Eingabe in das Modul 216 zur Erzeugung des vorhegesagten Fußgängerweges kann die vom Fusionsmodul 214 für die endgültige Höhe ausgegebene Höhenmatrix enthalten. Wie in 16 dargestellt, kann eine Gitterkarte so konfiguriert werden, dass die Höhe vom Startpunkt eines Fußgängers bis zu einem Punkt auf der gegenüberliegenden Seite allmählich abnimmt. Auf der Gitterkarte von 16 wird eine vom infrastrukturbasierten Höhenbestimmungsmodul 212 berechnete seitliche Steigung nicht berücksichtigt. Da Fahrzeuge vorwärts fahren, kann die Gitterkarte so konfiguriert werden, dass die Höhe von einem vom Fahrzeug eingenommenen Gitterbereich in Vorwärtsrichtung allmählich abnimmt. Ein solcher Längsgradient kann von dem objektbasierten Höhenbestimmungsmodul 210 berechnet werden.
Wie in 17 dargestellt, können die Höhenwerte den jeweiligen Gitterzellen einer Straße auf einer präzisen Karte zugewiesen werden. Die Gitterinformationen mit den Höhenwerten können in eine Matrix umgewandelt werden, und der vorhergesagte Weg kann auf der Grundlage des Gradientenabstiegs (Gradient Descent) erzeugt werden.
Auf der Gitterkarte kann ein Gradient vom Startpunkt, an dem sich der Fußgänger gerade befindet, zur gegenüberliegenden Seite gebildet werden, und in diesem Fall können zwei oder mehr Verfahren des Gradientenabstiegs angewandt werden. Ein Verfahren ist beispielsweise das Single-Path-Routing-Verfahren (Einzelweg-Weglenkungsverfahren), bei dem in jedem Zeitrahmen ein Punkt mit der größten Steigung in negativer Richtung auf einem einzigen Weg gesucht und an einer Verzweigung ein beliebiger Weg ausgewählt wird. Ein anderes Verfahren ist die Mehrwege-Weglenkungsverfahren (Multi-Path-Routing-Verfahren), bei der mehrere Wege zu einem Ziel durch Kopieren eines Weges an jeder Verzweigung gesichert werden und dann ein Weg mit der kürzesten Entfernung gesucht wird. Wenn dabei die Unterscheidung von Höheninformationen nicht eindeutig ist, treten viele Verzweigungen auf, die bei der Verwendung der Multi-Path-Routing-Technik viele Ressourcen beanspruchen können. In diesem Fall kann mit Rücksicht auf die nutzbaren Ressourcen das Single Path Routing-Verfahren oder ein Verfahren, bei dem eine geringere Anzahl von Mehrfachwegen berechnet wird, verwendet werden. Wenn die Ressourcen ausreichen oder die Höhendiskriminierung eindeutig ist und daher nicht viele Verzweigungen auftreten, können unter Berücksichtigung der Anzahl aller Fälle mehrere Wege berechnet werden, und dann kann die kürzeste Entfernung berechnet werden. Außerdem können die oben genannten Verfahren je nach den Umständen kombiniert werden.
18 ist ein Flussdiagramm, das ein schleifenartiges Verfahren zur Erzeugung eines vorhergesagten Fußgängerwegs darstellt.
Um den vorhergesagten Fußgängerweg in der Schleife zu erzeugen, wird ein Koordinatensatz ausgewählt (S410), und es wird bestimmt, ob die Anzahl der auswählbaren Koordinatensätze zwei oder mehr beträgt (S412).
Wenn festgestellt wird, dass die Anzahl der auswählbaren Koordinatensätze zwei oder mehr beträgt, wird der Koordinatensatz mit der geringsten Steigung (d.h. dem geringsten Gradienten) ausgewählt (S414) und in einem entsprechenden Weg gespeichert (S416).
Es wird bestätigt, ob der gespeicherte Weg ein Weg zu einem Ziel ist oder nicht (S418), und wenn bestätigt wird, dass der gespeicherte Weg der Weg zum Ziel ist, wird der kürzeste gespeicherte Weg ausgegeben (S420). Wenn bestätigt wird, dass der gespeicherte Weg nicht der Weg zum Ziel ist, kehrt das Verfahren zu S410 zurück, ein nächster Koordinatensatz wird ausgewählt und dann werden die gleichen Folgeoperationen durchgeführt.
Wenn die Anzahl der auswählbaren Koordinatensätze in S414 weniger als zwei beträgt, wird festgestellt, ob die Anzahl der auswählbaren Koordinatensätze eins oder mehr ist (S412).
Wenn festgestellt wird, dass die Anzahl der auswählbaren Koordinatensätze eins oder mehr ist, wird ein neuer Weg erzeugt (S424) und in dem entsprechenden Weg gespeichert (S426). Es wird bestätigt, ob der gespeicherte Weg der Weg zum Ziel ist oder nicht (S418), und wenn bestätigt wird, dass der gespeicherte Weg der Weg zum Ziel ist, wird der kürzeste gespeicherte Weg ausgegeben (S420). Wenn bestätigt wird, dass der gespeicherte Weg nicht der Weg zum Ziel ist, kehrt das Verfahren zu S410 zurück, ein nächster Koordinatensatz wird ausgewählt und dann werden die gleichen Folgeoperationen durchgeführt.
Wenn die Anzahl der auswählbaren Koordinatensätze kleiner als eins ist, ist der aktuelle Zustand ein Zustand, in dem keine Koordinatensätze mehr auswählbar sind, d. h. ein Zustand, in dem der Weg unterbrochen ist, und somit wird der aktuelle Weg entfernt (S428), und ein vorheriger Koordinatensatz wird in einen nächsten Koordinatensatz eingegeben (S430). Danach kehrt das Verfahren zu S410 zurück, der nächste Koordinatensatz wird ausgewählt, und dann werden die gleichen nachfolgenden Operationen durchgeführt.
Der vorhergesagte Fußgängerweg kann durch das oben beschriebene schleifenartige Verfahren erzeugt werden.
Andernfalls kann ein rekursives Verfahren zur Erzeugung eines vorhergesagten Fußgängerwegs verwendet werden. Nachfolgend wird ein Beispiel für ein rekursives Verfahren zur Erzeugung eines vorausberechneten Fußgängerweges anhand eines Pseudocodes beschrieben.
<Pseudocode für die Erstellung des vorhergesagten Fußgängerwegs>

             def GradientDescernt(CurrentStep):
                    NextStep= FindNextStep(CurrentStep)
                    If NextStep == Destination:
                            SavePath(Path, NextStep)
                            return min(Path)
                    else:
                            If Num(NextStep) > 1:
                                          SavePath(min(NextStep))
                                          GradientDescent(min(NextStep))
                            elif Num(NextStep) == 1:
                                          SavePath(Path, NextStep)
                                          GradientDescent(NextStep)
                            else:
                                          DeletePath(Path)

Wie oben beschrieben, können der Pseudocode und das Flussdiagramm verwendet werden, um Wege unter Verwendung rekursiver und schleifenartiger Algorithmen in der Multiweg-Routing-Technik des Gradientenabstiegs zu erzeugen. Es kann eine Vielzahl von Algorithmen geben, die der oben beschriebenen Logik folgen, auch wenn sie Unterschiede in der Implementierung aufweisen. Zur Ausführung des Verfahrens zur Erzeugung von Fußgängerwegen können verschiedene Verfahren angewendet werden, die einen Weg so ableiten, dass eine Kostenfunktion räumlich und zeitlich in einem Gradienten- oder Höhenfeld minimiert wird.

Die Einweg-Routing-Technik kann als ein Fall (Anzahl der wählbaren Koordinatensätze=1) in die Mehrweg-Routing-Technik einbezogen werden. Bei der Implementierung der Logik kann eine ordnungsgemäße Behandlung eines Rückgabewerts erforderlich sein, um eine rekursive Funktion zu implementieren. Wenn die Logik in Form einer Schleife implementiert wird, kann eine angemessene Behandlung erforderlich sein, um eine unendliche Regression zu vermeiden, indem überprüft wird, ob ein nächster Punkt auf dem vorherigen Weg nicht vorhanden ist. Ein an einem Verzweigungspunkt erzeugter Weg wird als neuer Weg in einer Wegliste gespeichert. Punkte können so gespeichert werden, dass sie direkt proportional oder umgekehrt proportional zur Gesamtlänge der jeweiligen Wege in der Wegliste sind, und dann kann das nachfolgende Modul einen endgültigen Weg in der Reihenfolge der Priorität der Punkte auswählen.

19 und 20 sind Ansichten, die ein Verfahren zur Vorhersage eines Fußgängerweges durch ein Modul zur Erzeugung eines vorhergesagten Fußgängerweges gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung zeigen. Das Modul 216 zur Erzeugung eines vorhergesagten Fußgängerwegs gemäß der zweiten Ausführungsform der vorliegenden Offenbarung kann den Fußgängerweg auf der Grundlage des Long Short-Term Memory (LSTM) des Deep Learning vorhersagen.

Das LSTM ist eine Art von RNN-Modell des tiefen Lernens von Algorithmen des maschinellen Lernens, das eine vorhergesagte zukünftige Sequenz unter Verwendung vergangener kontinuierlicher Sequenzwerte als Eingabe ausgibt. Wenn das LSTM auf das Modul 216 zur Erzeugung eines vorhergesagten Fußgängerweges angewendet wird, kann das Modul 216 zur Erzeugung eines vorhergesagten Fußgängerweges eine geänderte Sequenz empfangen, wie z. B. die frühere Position eines Fußgängers, dynamische Informationen darüber, Informationen über periphere Objekte, Forminformationen usw., und kann einen vorhergesagten Weg ausgeben, der eine Gruppe vorhergesagter Positionen ist.

Das Modul 216 zur Erzeugung des vorhergesagten Fußgängerweges empfängt die Position des Fußgängers und die dynamischen Informationen dazu, die Positionen der Fahrzeuge in der Umgebung und die dynamischen Informationen dazu, Klassifizierungsinformationen, die Forminformationen, wie Konturen und Kästen der Objekte, genaue Kartenwerte und eine vorgegebene Matrix. Diese Eingabewerte können nicht nur aktuelle Eingabewerte, sondern auch frühere Eingabewerte für N Zeitrahmen in der Vergangenheit umfassen und können als Eingabe für das LSTM verwendet werden. Da die Beziehungen zwischen den Eingabewerten der Zeitrahmen erhöht werden, können Informationen über eine größere Anzahl von Zeitrahmen gespeichert werden.

Die Eingabe in das Modul 216 zur Erzeugung des vorausberechneten Fußgängerweges kann die vom Fusionsmodul 214 für die endgültige Höhe ausgegebene Höhenmatrix enthalten. Wie in 19 dargestellt, kann eine Gitterkarte so konfiguriert werden, dass die Höhe vom Startpunkt eines Fußgängers bis zu einem Punkt auf der gegenüberliegenden Seite allmählich abnimmt. Auf der Gitterkarte von 19 wird eine vom infrastrukturbasierten Höhenbestimmungsmodul 212 berechnete seitliche Steigung nicht berücksichtigt. Da Fahrzeuge vorwärts fahren, kann die Gitterkarte so konfiguriert werden, dass die Höhe von einem vom Fahrzeug eingenommenen Gitterbereich in Vorwärtsrichtung allmählich abnimmt. Ein solcher Längsgradient kann von dem objektbasierten Höhenbestimmungsmodul 210 berechnet werden.

Wie in 20 dargestellt, können Höhenwerte den jeweiligen Gitterzellen einer Straße auf einer genauen Karte zugeordnet werden. Die Gitterinformationen mit den Höhenwerten können in eine Matrix umgewandelt werden. Hier können die Matrizen kontinuierlich in N Zeitrahmen in einer Sequenz ausgegeben werden, indem sie mit den Betriebszyklen der Sensoren und der Logik synchronisiert werden. Das Modul 216 zur Erzeugung des vorhergesagten Fußgängerweges kann Matrizen empfangen, die kontinuierlich für die N Zeitrahmen in der Sequenz ausgegeben werden, und kann den vorhergesagten Weg des Fußgängers auf der Grundlage des LSTM erzeugen.

Da eine Bewegung von Objekten und die künftige Position eines Fußgängers der Markov-Kette folgen, besteht trotz genauer Eingabewerte eine höhere Wahrscheinlichkeit, dass die vorhergesagten Positionswerte weiter in der Zukunft ungenauer werden. Je weiter ein Punkt auf dem vorhergesagten Weg entfernt ist, desto geringer kann die Genauigkeit des vorhergesagten Positionswertes an diesem Punkt sein. Daher kann bei der Vorhersage eines kurzfristigen Weges ein größeres Gewicht angewandt werden, aber wenn sich die Situationen der Objekte nicht plötzlich ändern, kann das Ergebnis der langfristigen Vorhersage unter Verwendung einer vergleichsweise genauen Eingabe dem Ergebnis der kurzfristigen Vorhersage ähnlich sein, und daher kann der vorhergesagte Fußgängerweg, der auf dem LSTM basiert, als ein langfristig vorhergesagter Weg verwendet werden.

21 ist eine Ansicht, die ein Verfahren zur Vorhersage eines Fußgängerweges durch ein Modul zur Erzeugung eines vorhergesagten Fußgängerweges gemäß einer dritten Ausführungsform der vorliegenden Offenbarung zeigt. Das Modul 216 zur Erzeugung eines vorhergesagten Fußgängerwegs gemäß der dritten Ausführungsform der vorliegenden Offenbarung kann den Fußgängerweg durch komplementäre Kombination von Gradient Descent und LSTM vorhersagen.

Das Modul 216 zur Erzeugung von vorhergesagten Fußgängerwegen kann Ähnlichkeiten zwischen mehreren Wegen, die auf der Grundlage von Gradient Descent ausgegeben werden, und einem vorhergesagten Weg auf der Grundlage des LSTM unter Berücksichtigung eines Abstands zwischen vorhergesagten Positionen auf den Wegen pro Zeitrahmen durch Vergleich bestimmen.

Bei einem Unterschied zwischen den Positionen der Punkte auf den beiden Wegen pro Zeitrahmen kann den vorhergesagten Werten in der nahen Zukunft eine größere Bedeutung zugewiesen werden, indem der nahen Zukunft ein größeres Gewicht zugewiesen wird. Wenn der auf dem LSTM basierende Weg und der auf dem Gradientenabstieg basierende Weg unterschiedliche Abstände aufweisen, kann dasselbe Verfahren angewendet werden. Auf diese Weise kann die Ähnlichkeit zwischen dem auf Gradient Descent basierenden Weg und dem auf dem LSTM basierenden Weg in eine Bewertung umgewandelt werden. Das Modul 216 zur Erzeugung des vorausgesagten Fußgängerweges kann die endgültige Bewertung in Form einer gewichteten Summe der jeweiligen Bewertungen ermitteln und ist damit in der Lage, den geeignetsten Weg zu berechnen.

Um die beiden Verfahren komplementär zu kombinieren, kann nicht nur ein solches gewichtetes Summationsverfahren, sondern auch ein situatives Umschaltverfahren verwendet werden, und die Kombination der beiden Verfahren ist nicht darauf beschränkt, und es können auch andere Kombinationen verwendet werden, die einen zuverlässigen Weg ableiten können. Das Modul 216 zur Erzeugung eines vorhergesagten Fußgängerweges kann einen endgültigen vorhergesagten Weg bestimmen, der zuverlässig ist, wobei die Längen der Wege auf der Basis von Gradient Descent, in denen sich die Eigenschaften des Fußgängers widerspiegeln, Ähnlichkeiten zwischen den Wegen auf der Basis von Gradient Descent und dem vorhergesagten Weg auf der Basis des LSTM sowie Risiken umfassend berücksichtigt werden.

22 ist eine Ansicht, die die Verfahren zur Erzeugung von Ausgaben veranschaulicht, die vom Fusionsmodul 214 für endgültige Höhen gemäß anderen Ausführungsformen der vorliegenden Offenbarung ausgeführt werden.

Wie in 22 dargestellt, ist ein Verfahren zur Darstellung von Fußgängern, Objekten, einem Hostfahrzeug und der Form von Straßen in der Umgebung nicht auf die Gitterkarte beschränkt. Das Verfahren kann auf jedes beliebige Datenausdrucksverfahren erweitert werden, das geometrische Informationen und Informationen zur Beschreibung der jeweiligen Objekte zusammen ausdrücken kann.

<Segmentausdruck> ist ein Verfahren, das Fahrspurverbindungen auf einer genauen Karte in kleine Stücke unterteilt, den jeweiligen Stücken Segmente zuweist und einem bestimmten Segment Höheninformationen zuordnet.

<Anordnungsausdruck> ist ein Verfahren, das 3-dimensionale Fahrspuren einer Straße aufspreizt, jede Fahrspur in eine 1-dimensionale geradlinige Form bringt und Positionen in der Längsrichtung entsprechende Höhen zuordnet. <Anordnungsausdruck> kann implementiert werden, weil die Verbindungsbeziehungen auf der genauen Karte bekannt sind.

In <Gitterkartenausdruck> kann eine jedem Gitterbereich zugewiesene Höhe als Wahrscheinlichkeit interpretiert werden, dass sich ein Objekt im nächsten Zeitrahmen an der entsprechenden Position befindet. Wenn die Höhe als Objektbesetzungswahrscheinlichkeit interpretiert wird, können mehrere vorhergesagte Wege, die der Ausgabe entsprechen, als eine Gruppe von Positionen interpretiert werden, deren fortschreitende Wahrscheinlichkeiten einen bestimmten Schwellenwert überschreiten.

23 und 24 sind Ansichten, die die Funktionen des Moduls 318 zur Bestimmung der Fahrstrategie gemäß einer Ausführungsform der vorliegenden Offenbarung zeigen.

23 ist ein schematisches Diagramm, das ein Verfahren zur Bestimmung der Fahrstrategie veranschaulicht, das von dem Fahrstrategie-Bestimmungsmodul 318 gemäß einer Ausführungsform der vorliegenden Offenbarung ausgeführt wird.

Die Eingabe in das Modul 318 zur Bestimmung der Fahrstrategie kann die endgültige Ausgabe des vorausberechneten Fußgängerwegs vom Modul 216 zur Erzeugung des vorausberechneten Fußgängerwegs, Positionserkennungsinformationen einschließlich der Position des Hostfahrzeugs, dynamische Informationen darüber und die genaue Karte, einen Fahrweg im vorherigen Zeitrahmen usw. umfassen.

Das Modul 318 zur Bestimmung der Fahrstrategie bestimmt, ob eine Kollisionswahrscheinlichkeit zwischen dem endgültigen, vom Modul 216 zur Erzeugung des vorhergesagten Fußgängerwegs bestimmten Fußgängerweg und einem im vorherigen Zeitrahmen vorhergesagten Weg des Hostfahrzeugs besteht oder nicht. Wenn festgestellt wird, dass eine Kollisionswahrscheinlichkeit besteht, berechnet das Fahrstrategie-Bestimmungsmodul 318 repräsentative Fahrwege des Hostfahrzeugs, die nicht mit dem Fußgänger kollidieren, auf der Grundlage der Mehrweg-Routing-Technik und wählt eine endgültige Fahrstrategie durch Bestimmung des Kollisionsrisikos zwischen dem endgültigen vorhergesagten Weg des Fußgängers und den jeweiligen Fahrwegen aus.

Wenn die Fahrstrategie festgelegt ist, können ein auf Mehrweggenerierung basierendes Steuerungsverfahren, ein Verfahren zur Steuerung der Längsbeschleunigung und -verzögerung, ein Verfahren zur Steuerung der Querlenkung/Spurwechsel und ein Verfahren zur Steuerung der Längs- und Querintegration verwendet werden.

Bei dem auf der Generierung mehrerer Wege basierenden Steuerverfahren werden nach der Erzeugung mehrerer Zufallswege natürliche Wege ausgewählt, die nicht mit der Position eines Fußgängers auf einem vorhergesagten Fußgängerweg kollidieren, und dann verfolgt ein Hostfahrzeug den am besten geeigneten Weg.

Bei dem Verfahren zur Steuerung der Beschleunigung und Abbremsung in Längsrichtung wird ein im vorherigen Zeitrahmen ermittelter Fahrweg beibehalten, und die Geschwindigkeit eines Hostfahrzeugs wird nur in Längsrichtung beschleunigt oder abgebremst, so dass das Hostfahrzeug einen Fußgänger nicht zu einem Zeitpunkt kreuzt, zu dem das Hostfahrzeug mit dem vorhergesagten Weg des Fußgängers kollidiert.

Bei der Querlenkungs-/Spurwechselsteuerung wird ein herkömmliches Geschwindigkeits-Längsprofil beibehalten, ein Hostfahrzeug wird in die einem Fußgänger entgegengesetzte Richtung abgelenkt oder wechselt die Spur nur in der Querrichtung des Hostfahrzeugs, um eine Kollision mit dem Fußgänger zu vermeiden.

Bezugnehmend auf 24, werden bei dem Längs- und Querintegrationssteuerverfahren in einer Situation, in der es schwierig ist, jedes der Längsbeschleunigungs- und -verzögerungssteuerverfahren und das Querablenkungs-/Spurwechselsteuerverfahren zu verwenden, oder in einer Situation, in der die integrierte Verwendung der zwei Verfahren natürlicher einen Fahrgewinn verursacht, die zwei Verfahren integriert und verwendet, so dass ein Hostfahrzeug um einen Fußgänger herum beschleunigt (oder abbremst) und gleichzeitig eine Ablenkungsfahrt durchführt oder die Spur wechselt, um eine Kollision mit dem Fußgänger stabiler zu vermeiden.

Die vier Verfahren zur Bestimmung einer Fahrstrategie, das auf der Erzeugung mehrerer Wege basierende Steuerungsverfahren, das Verfahren zur Steuerung der Längsbeschleunigung und -verzögerung, das Verfahren zur Steuerung der Querneigung/Spurwechsel und das Verfahren zur Steuerung der Längs- und Querintegration, können unabhängig voneinander angewendet werden oder sich gegenseitig ergänzen, um eine effektivere Fahrstrategie zu bestimmen. Um eine effektive Bestimmung der Fahrstrategie durchzuführen, kann eine Strategie ausgewählt werden, die so konfiguriert ist, dass eine gefährliche Situation minimiert wird, indem ein Kollisionsrisiko zwischen dem Fahrweg, der von der Strategie eines Hostfahrzeugs abhängt, und dem vorhergesagten Weg eines Fußgängers bestimmt wird.

Die Ausgabe des Moduls 318 zur Bestimmung der Fahrstrategie kann Informationen über das vorausfahrende/vorbeifahrende/einscherende Fahrzeug zur Erstellung des Geschwindigkeitsprofils, genaue Karteninformationen (Geschwindigkeitsbegrenzungen, Geschwindigkeitsschwellen, Straßenformen, Fahrspurinformationen usw.) und Informationen über Objekte von peripherem Interesse zur Erstellung des Fahrwegs umfassen.

25 und 26 sind Ansichten, die beispielhaft ein Risikobestimmungsverfahren zur Bestimmung einer Strategie durch das Fahrstrategie-Bestimmungsmodul 318 zeigen.

Unter Bezugnahme auf 25 kann das Fahrstrategie-Bestimmungsmodul 318 eine Kollisionswahrscheinlichkeit zwischen dem endgültigen vorausgesagten Weg des Fußgängers, der von dem Modul 216 zur Erzeugung des vorausgesagten Fußgängerwegs bestimmt wurde, und dem vorausgesagten Weg des Hostfahrzeugs, der im vorherigen Zeitrahmen vorausgesagt wurde, bestimmen.

Ein Bereich TTC, in dem ein Fußgänger mit voller Geschwindigkeit in seitlicher Richtung läuft und somit mit dem Hostfahrzeug kollidiert, kann fächerförmig ausgebildet sein, wie in <Verfahren zur Auswahl des Fußgängers von Interesse> gezeigt. Dabei kann die Breite des fächerförmigen Bereichs TTC mit zunehmender Höchstgeschwindigkeit des Fußgängers und mit abnehmender Geschwindigkeit des Fahrzeugs zunehmen. Fußgänger, die sich innerhalb des fächerförmigen Bereichs TTC befinden, können als Fußgänger von Interesse ausgewählt werden.

Bei der Bestimmung der Risiken kann das Modul 318 zur Bestimmung der Fahrstrategie Risiken bestimmen, indem es feststellt, ob eine Differenz zwischen einem im vorherigen Zeitrahmen gespeicherten Zielfahrweg des Hostfahrzeugs und den Positionen des Fußgängers nach der Zeit auf den jeweiligen Wegen in der Liste der vorhergesagten Wege des Fußgängers gleich oder kleiner als ein bestimmter Schwellenwert ist. Darüber hinaus können die Risiken auf der Grundlage von längs/quer verlaufenden TTCs zwischen dem Hostfahrzeug und dem Fußgänger ermittelt werden, die nicht auf einem Zeitpunkt basieren, an dem sich das Hostfahrzeug und der Fußgänger auf dem vorhergesagten Weg kreuzen. In diesem Fall kann zur Berechnung der TTCs die vom vorhergehenden Modul Information über den vorhergesagten Weg verwendet werden. Ferner können die Risiken auf der Grundlage der Fahrspur, die der Fußgänger betritt, und der Position des Fußgängers bestimmt werden. Um Informationen über die Fahrspur, die der Fußgänger betritt, zu erhalten, können die vom vorherigen Modul vorhergesagten Weginformationen verwendet werden.

Die jeweiligen Risiken, die durch das oben beschriebene Verfahren ermittelt wurden, können als Bewertungen für jeden der jeweiligen vorhergesagten Wege auf der Liste der vorhergesagten Wege des Fußgängers gespeichert werden, und die entsprechenden Bewertungen können als direkt proportional oder umgekehrt proportional zu den Risiken in Abhängigkeit von einer Entwurfsabsicht bestimmt werden.

26 ist eine Ansicht, die ein Verfahren zur Bestimmung des Kollisionsrisikos zwischen einem Fußgänger von Interesse und dem vorhergesagten Weg eines Hostfahrzeugs zeigt.

Da ein autonomes Fahrzeug auf der Grundlage eines Geschwindigkeitsprofils und eines im Voraus erstellten Steuerwegs fahren kann, kann der geplante Weg des Hostfahrzeugs bekannt sein. Der vorhergesagte Weg des Fußgängers, der von dem Modul 216 zur Erzeugung des vorhergesagten Weges ausgegeben wird, und der vorhergesagte Weg des Hostfahrzeugs, der im vorherigen Zeitrahmen vorhergesagt wurde, können Positionsinformationen von Objekten nach der Zeit enthalten. Daher können die vorhergesagten relativen Abstände d_points(t) zwischen den jeweiligen Objekten in Abhängigkeit von der Zeit berechnet werden. Eine Kollusionswahrscheinlichkeit zwischen den beiden Objekten kann durch Vergleich des vorhergesagten Abstands d_points(t) zwischen den jeweiligen Objekten bestimmt werden.

Wenn der Abstand d_points(t) zwischen dem Fußgänger und dem Hostfahrzeug zu einem Zeitpunkt t sehr gering ist, so dass er nahe an einem tatsächlichen Kollisionsabstand liegt (<Min_T, wobei Min_T die Mindestzeit ist, die das Hostfahrzeug benötigt, um eine Kollision zu vermeiden), kann der entsprechende Weg des Hostfahrzeugs ein großes Risiko darstellen und daher von den Kandidaten ausgeschlossen werden. Da der Abstand zwischen dem Fußgänger und dem Hostfahrzeug über der Zeit immer größer wird, kann der entsprechende Weg als sicherer Weg bestimmt werden. Um eine solche Situation zu ermitteln, kann ein Fall, in dem umfassend festgestellt wird, dass der Abstand zwischen den beiden Objekten groß ist, durch ein sinnvolles statistisches Verfahren ausgewählt werden, bei dem die Summe der Abstände zwischen den beiden Objekten zu den jeweiligen Zeitpunkten sowie der Durchschnittswert, der Mindestwert und der Medianwert der Abstände zwischen den beiden Objekten verwendet werden. Mit zunehmender Genauigkeit der vorhergesagten Wege kann die Kollisionswahrscheinlichkeit genauer bestimmt werden.

27 ist eine Ansicht, die die Ergebnisse der Erzeugung von vorhergesagten Wegen von Fußgängern und einem Zweiradfahrzeug an einem Zebrastreifen gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.

In 27 befinden sich der Fußgänger A und das Zweiradfahrzeug B direkt vor dem Zebrastreifen. Der Fußgänger C befindet sich an einer vom Zebrastreifen abweichenden Position. Die Höhen der auf einer Straße fahrenden Fahrzeuge können auf einer Gitterkarte in Abhängigkeit von den Geschwindigkeiten und Fahrtrichtungen der Fahrzeuge angezeigt werden.

Der Fußgänger A und das Zweiradfahrzeug B befinden sich direkt vor dem Zebrastreifen, und es wird daher vorhergesagt, dass sie die Straße am Zebrastreifen überqueren werden.

Der Fußgänger C befindet sich an der Position, die vom Zebrastreifen abweicht. Es wird somit vorhergesagt, dass sich der Fußgänger C auf den Zebrastreifen zubewegt und dann die Straße am Zebrastreifen überquert.

28 ist eine Ansicht, die beispielhaft ein Fahrzeug zeigt, auf das eine autonome Fahrvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird.

Wie in 28 dargestellt, kann ein 3D-Dachlidar an dem Fahrzeug angebracht sein, an dem die autonome Fahrvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung verwendet wird, um die Erkennung von Objekten in der Umgebung zu verbessern.

Um den vorhergesagten Weg eines Fußgängers zu berechnen, ist es notwendig, die Verdeckung von Objekten in der Umgebung zu minimieren. Wenn beispielsweise einige Objekte aufgrund von toten Winkeln verdeckt sind, kann den Bereichen, in denen sich die verdeckten Objekte befinden, ein Gradient zugewiesen werden, so dass die Bereiche bei der Berechnung des vorhergesagten Weges des Fußgängers als anfahrbare Bereiche erkannt werden. Daher können Kostenfunktionswerte aller Wege, die durch die entsprechenden Bereiche oder deren Umgebung führen, abnormal berechnet werden. Infolgedessen kann ein Weg, der einen lokalen Mindestwert aufweist, als globaler Mindestwert berechnet werden, und in diesem Fall kann ein Weg, den ein Objekt umgehen muss, als endgültiger Weg festgelegt werden. Außerdem kann ein globaler Minimalwert, der in Wirklichkeit nicht existiert, auf die endgültige Ausgabe gesetzt werden, und in diesem Fall kann ein Fehler auftreten, bei dem ein Weg, auf dem das Hostfahrzeug nicht in der Lage ist, tatsächlich weiterzufahren, auf einen endgültigen Weg gesetzt wird.

Um diese Fehler zu reduzieren, kann ein 3D-Dachlidar auf dem autonomen Fahrzeug angebracht werden. Wenn sich das 3D-Dachlidar am vergleichsweise hohen oberen Ende des Fahrzeugdachs befindet, kann das 3D-Dachlidar Objekte auf einer Straße ohne Verdeckung messen. Ein Lidar-Signal vom 3D-Dachlidar kann mit Radar-, Kamera- und V2X-Informationen verschmolzen werden, so dass die Zuverlässigkeit des Lidar-Signals sichergestellt werden kann und dadurch verschmolzene Objektinformationen, die relativ wenig Verdeckung verursachen, erfasst werden können.

29 ist eine Ansicht, die beispielhaft ein autonomes Fahrsystem zeigt, auf das die autonome Fahrvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung angewendet wird, und konkreter ein System, das Informationen über periphere Objekte oder Gitterkarten unter Verwendung von V2X-Kommunikation überträgt.

Die Infrastruktur kann Informationen (Klassifizierungsinformationen, Größen- und dynamische Informationen usw.) über eine Gitterkarte (oder andere Datenstrukturen) oder periphere Objekte (Fahrzeuge, Fußgänger, Strukturen usw.) unter Verwendung von V2I-Kommunikation übermitteln, und dadurch kann das autonome Fahrsystem schließlich die vorhergesagten Wege der Fußgänger berechnen. Wenn die Ressourcen der Infrastruktur für die V2I-Kommunikation ausreichen, kann das autonome Fahrsystem eine periphere Situation erkennen, die erkannten Informationen in eine Gitterkarte umwandeln und die Gitterkarte an die peripheren Fahrzeuge übertragen. Andernfalls kann das autonome Fahrsystem nur Informationen über periphere Objekte an die peripheren Fahrzeuge übertragen, und dann können die jeweiligen Fahrzeuge eine Gitterkarte auf verteilte Weise berechnen.

Das autonome Fahrzeug kann Informationen über periphere Objekte über V2V-Kommunikation empfangen und schließlich die vorhergesagten Wege der Fußgänger berechnen. Wenn das autonome Fahrzeug bei der Berechnung der vorhergesagten Fußgängerwege V2V-Kommunikation verwendet, können tote Winkel beseitigt und die Zuverlässigkeit der Daten sichergestellt werden.

Wie oben beschrieben, werden gemäß dieser Ausführungsform der vorliegenden Offenbarung unter Berücksichtigung der Tatsache, dass ein Fußgänger eine Straße vor einem abbremsenden Fahrzeug oder einem angehaltenen Fahrzeug und nicht vor einem beschleunigenden Fahrzeug überquert und einen Raum einnimmt, wenn sich kein Fahrzeug dahinter befindet oder ein Fahrzeug dahinter nicht beschleunigt, Bedingungen, unter denen der Fußgänger die Straße überquert, modelliert, die Bewegungswege von Objekten unter Verwendung von Höheninformationen über die Objekte, wie z. B. den Fußgänger, und die Infrastruktur außer den Objekten vorhergesagt, wodurch die Genauigkeit des vorhergesagten Weges des Fußgängers, der die Straße überquert, verbessert werden kann. Daher kann das Unfallrisiko während des autonomen Fahrens verringert und die Stabilität des autonomen Fahrens verbessert werden.

Die Vorrichtung und das Verfahren gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung können als computerlesbarer Code in einem computerlesbaren Aufzeichnungsmedium implementiert werden, in dem Programme aufgezeichnet sind. Solche computerlesbaren Aufzeichnungsmedien können alle Arten von Aufzeichnungsmedien umfassen, in denen von Computersystemen lesbare Daten gespeichert sind. Beispielsweise können die computerlesbaren Aufzeichnungsmedien ein Festplattenlaufwerk (HDD), ein Solid-State-Laufwerk (SSD), ein Siliziumplattenlaufwerk (SDD), ein ROM, ein RAM, eine CD-ROM, ein Magnetband, eine Diskette, ein optisches Datenspeichergerät usw. umfassen.

Wie aus der obigen Beschreibung ersichtlich ist, kann eine Vorrichtung und ein Verfahren zur Steuerung des autonomen Fahrens eines Fahrzeugs gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung den vorhergesagten Weg eines Fußgängers unter Berücksichtigung der Tatsache ableiten, dass der Fußgänger eine Straße vor einem abbremsenden oder angehaltenen Fahrzeug und nicht vor einem beschleunigenden Fahrzeug überquert und einen Raum einnimmt, in dem sich kein Fahrzeug befindet oder in dem ein dahinter befindliches Fahrzeug nicht beschleunigt, wodurch die Genauigkeit des vorhergesagten Weges des Fußgängers verbessert werden kann.

Darüber hinaus können die Vorrichtung und das Verfahren gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung nicht nur auf die Bewegung eines einzelnen Fußgängers angewandt werden, sondern auch auf ein Modell der Interaktion zwischen einem Fußgänger und einem Fahrzeug ausgeweitet werden und den vorhergesagten Weg des Fußgängers nicht nur in einem Bereich mit einem Zebrastreifen, sondern auch in einer Situation mit unachtsamem Gehen auf einer allgemeinen Straße effektiv ableiten, wodurch das Unfallrisiko verringert und die Stabilität des autonomen Fahrens verbessert wird.

Durchschnittsfachleute in dem technischen Gebiet werden erkennen, dass verschiedene Modifikationen und Variationen in der vorliegenden Offenbarung vorgenommen werden können, ohne vom Geist oder Umfang der Offenbarung abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung die Modifikationen und Variationen der hier dargestellten beispielhaften Ausführungsform im Rahmen der beigefügten Ansprüche und ihrer Äquivalente abdeckt.

Claims

Verfahren zum Steuern des autonomen Fahrens eines Fahrzeugs, wobei das Verfahren umfasst: Berechnen einer ersten Höheninformation, die einen ersten Gradienten zuweist, der in einer Vorwärtsrichtung von Objekten, die ein Fahrzeug und einen Fußgänger umfassen, von jeweiligen Positionen der Objekte abfällt, auf der Grundlage von dynamischen Informationen der Objekte; Berechnen einer zweiten Höheninformation, die einen zweiten Gradienten auf der Grundlage einer Wahrscheinlichkeit zuweist, dass der Fußgänger eine andere Infrastruktur als die Objekte belegt; Berechnen einer endgültigen Höheninformation durch Verschmelzung der ersten Höheninformation und der zweiten Höheninformation; Erzeugen eines vorhergesagten Weges des Fußgängers auf der Grundlage der der endgültigen Höheninformation und von Modellierungsinformationen über einen Kreuzungsweg und eine Geschwindigkeit des Fußgängers; und Bestimmen einer Fahrstrategie eines Hostfahrzeugs auf der Grundlage eines vorhergesagten Weges des Hostfahrzeugs und des vorhergesagten Weges des Fußgängers.
Verfahren nach Anspruch 1, wobei bei dem Berechnen der ersten Höheninformation, in Abhängigkeit von wenigstens einem Typ, einer Breite, einer Höhe oder einer Länge des Fahrzeugs unterschiedliche Höhen vorgesehen sind.
Verfahren nach Anspruch 1, wobei das Berechnen der ersten Höheninformation umfasst: Berechnen der Länge eines Abschnitts mit dem ersten Gradienten auf der Grundlage der Geschwindigkeit des Fußgängers und der Zeit, die der Fußgänger benötigt, um eine Straße vor dem Fahrzeug zu überqueren.
Verfahren nach Anspruch 1, wobei bei dem Berechnen der zweiten Höheninformation, wenn es sich bei der Infrastruktur um einen Zebrastreifen handelt und ein Zebrastreifensignal für den Fußgänger eingeschaltet ist, eine Höhe eines vom Zebrastreifen eingenommenen Bereichs unter den Höhen von angrenzenden Bereichen am größten ist.
Verfahren nach Anspruch 1, wobei bei dem Berechnen der zweiten Höheninformation, eine Höhe auf einer Straßenseite eines Zebrastreifens, auf der sich der Fußgänger befindet, unter den Höhen der angrenzenden Bereiche am größten ist und die Höhe in Richtung auf eine andere Straßenseite des Zebrastreifens allmählich abnimmt.
Verfahren nach Anspruch 1, wobei das Berechnen der endgültigen Höheninformation umfasst: Unterteilen einer Straße auf einer Karte in entsprechende Bereiche einer Gitterkarte; Abbilden der endgültigen Höheninformation, die durch Verschmelzen der ersten Höheninformation und der zweiten Höheninformation gewonnen wurde, auf die jeweiligen Bereiche der Gitterkarte; und Umwandeln der abgebildeten endgültigen Höheninformationen in eine Matrix und Ausgaben der Matrix.
Verfahren nach Anspruch 6, wobei das Erzeugen eines vorhergesagten Weges des Fußgängers umfasst: Erzeugen des vorhergesagten Weges des Fußgängers durch Anwendung von Gradient Descent und/oder einem Long Short-Term Memory (LSTM) auf die Matrix, die die endgültige Höheninformation enthält.
Verfahren nach Anspruch 7, wobei, wenn der Gradient Descent auf die Matrix angewendet wird, die die endgültige Höheninformation enthält, das Verfahren ferner umfasst: Empfangen der Matrix mit Höheninformationen für jedes Zeitfenster; Suchen von Punkten mit dem größten Gradienten in einer negativen Richtung aus Matrizen, die von einer Startposition des Fußgängers aus eingegeben werden; Erzeugen mindestens eines vorhergesagten Weges durch Verbinden der gesuchten Punkte; und Auswählen eines Weges, der konfiguriert ist, um Zeit- und Raumverluste minimiert, als endgültiger vorhergesagter Weg des Fußgängers aus dem mindestens einen vorhergesagten Weg.
Verfahren nach Anspruch 7, wobei, wenn das LSTM auf die Matrix angewendet wird, die die endgültige Höheninformation enthält, das Verfahren ferner umfasst: Erzeugen eines endgültigen vorhergesagten Weges des Fußgängers durch Empfangen von vergangenen kontinuierlichen Punkten, die vergangene Positionen des Fußgängers umfassen, dynamischen Informationen darüber, Informationen über periphere Objekte und Forminformationen, und kontinuierliches Ausgeben zukünftiger Positionen, die aus den vergangenen kontinuierlichen Punkten erwartet werden.
Verfahren nach Anspruch 7, wobei die Modellierungsinformationen umfassen: ein Bewegungsweg- und Geschwindigkeitsmodell eines Fußgängers, von dem vorhergesagt wird, dass er die Straße überquert, bevor das Fahrzeug vorbeifährt; ein Bewegungsweg- und Geschwindigkeitsmodell eines Fußgängers, von dem vorhergesagt wird, dass er in eine Richtung geht, die der Bewegungsrichtung des Fahrzeugs entgegengesetzt ist, und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist; und ein Bewegungsweg- und Geschwindigkeitsmodell eines Fußgängers, von dem vorhergesagt wird, dass erwartet und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist.
Verfahren nach Anspruch 10, wobei die Modellierungsinformationen auf der Grundlage einer Zeit, die das Fahrzeug benötigt, um an dem Fußgänger vorbeizufahren, einer Zeit, die der Fußgänger in der Lage ist, auf das Vorbeifahren des Fahrzeugs zu warten, und einer Zeit, die der Fußgänger benötigt, um eine Kollision mit dem Fahrzeug zu vermeiden, unter Berücksichtigung eines Anhaltewegs des Fahrzeugs vor dem Fußgänger modelliert werden.
Verfahren nach Anspruch 1, wobei das Bestimmen einer Fahrstrategie umfasst: Bestätigen einer Kollisionswahrscheinlichkeit durch Vergleichen des vorhergesagten Weges des Fußgängers mit dem vorhergesagten Weg des Hostfahrzeugs, der in einem vorherigen Zeitfenster bestimmt wurde; Suchen von Wegen des Hostfahrzeugs, die keine Kollisionswahrscheinlichkeit mit dem vorhergesagten Weg des Fußgängers aufweisen; und Bestimmen eines Weges mit einem geringsten Risiko als Fahrstrategie unter den gesuchten Wegen.
Verfahren nach Anspruch 12, wobei das Bestimmen einer Fahrstrategie ferner umfasst: Bestimmen der Fahrstrategie auf der Grundlage von mindestens einem der folgenden Verfahren: einem auf der Erzeugung mehrerer Wege basierenden Steuerverfahren, einem Verfahren zur Steuerung der Beschleunigung und Verzögerung in Längsrichtung, einem Verfahren zur Steuerung der seitlichen Ablenkung oder einem Verfahren zur Steuerung des seitlichen Spurwechsels, wobei das Verfahren zur Steuerung der Beschleunigung und Verzögerung in Längsrichtung so ausgeführt wird, dass nach der Erzeugung mehrerer zufälliger Wege natürliche Wege, die so konfiguriert sind, dass sie nicht mit einer Position des Fußgängers gemäß der Zeit auf dem vorhergesagten Fußgängerweg kollidieren, ausgewählt werden und dann einer der natürlichen Wege bestimmt wird, wobei das Verfahren zur Steuerung der Beschleunigung und Verzögerung in Längsrichtung so ausgeführt wird, dass ein in dem vorhergehenden Zeitfenster bestimmter Fahrweg beibehalten wird und eine Geschwindigkeit des Hostfahrzeugs in einer Längsrichtung beschleunigt oder verzögert wird, so dass das Hostfahrzeug den Fußgänger nicht zu einem Zeitpunkt kreuzt, zu dem das Hostfahrzeug mit dem vorhergesagten Weg des Fußgängers kollidiert, wobei das Verfahren zur Steuerung der seitlichen Ablenkung derart ausgeführt wird, dass ein bestehendes Längsgeschwindigkeitsprofil beibehalten wird und das Hostfahrzeug in einer seitlichen Richtung gegenüber dem Fußgänger abgelenkt wird, und wobei das Verfahren zur Steuerung des seitlichen Spurwechsels derart ausgeführt wird, dass das bestehende Längsgeschwindigkeitsprofil beibehalten wird und das Hostfahrzeug die Spur in der seitlichen Richtung gegenüber dem Fußgänger wechselt.
Nicht-transitorisches, computerlesbares Aufzeichnungsmedium, das ein Programm zum Ausführen des Verfahrens nach Anspruch 1 speichert.
Vorrichtung zur Steuerung des autonomen Fahrens eines Fahrzeugs, wobei die Vorrichtung einen Prozessor umfasst, der konfiguriert ist zum: Berechnen einer ersten Höheninformation, die einen ersten Gradienten zuweist, der in einer Vorwärtsrichtung von Objekten, die ein Fahrzeug und einen Fußgänger umfassen, von jeweiligen Positionen der Objekte abfällt, auf der Grundlage von dynamischen Informationen der Objekte; Berechnen einer zweiten Höheninformation, die einen zweiten Gradienten auf der Grundlage einer Wahrscheinlichkeit zuweist, dass der Fußgänger eine andere Infrastruktur als die Objekte belegt; Berechnen einer endgültigen Höheninformation durch Verschmelzung der ersten Höheninformation und der zweiten Höheninformation; Erzeugen eines vorhergesagten Weges des Fußgängers auf der Grundlage der der endgültigen Höheninformation und von Modellierungsinformationen über einen Kreuzungsweg und eine Geschwindigkeit des Fußgängers; und Bestimmen einer Fahrstrategie eines Hostfahrzeugs auf der Grundlage eines vorhergesagten Weges des Hostfahrzeugs und des vorhergesagten Weges des Fußgängers.
Vorrichtung nach Anspruch 15, wobei der Prozessor eine Straße auf einer Karte in entsprechende Bereiche einer Gitterkarte unterteilt, die endgültige Höheninformation, die durch Verschmelzen der ersten Höheninformationen und der zweiten Höheninformationen gewonnen wurden, auf die entsprechenden Bereiche der Gitterkarte abbildet, die abgebildeten Höheninformation in eine Matrix umwandelt und die Matrix ausgibt.
Vorrichtung nach Anspruch 16, wobei der Prozessor den vorhergesagten Weg des Fußgängers durch Anwenden eines Gradient Descent und/oder eines Long Short-Term Memory (LSTM) auf die Matrix, die die endgültige Höheninformation enthält, erzeugt.
Vorrichtung nach Anspruch 15, wobei die Modellierungsinformationen umfassen: ein Bewegungsweg- und Geschwindigkeitsmodell eines Fußgängers, von dem vorhergesagt wird, dass er die Straße überquert, bevor das Fahrzeug vorbeifährt; ein Bewegungsweg- und Geschwindigkeitsmodell eines Fußgängers, von dem vorhergesagt wird, dass er in eine Richtung geht, die der Bewegungsrichtung des Fahrzeugs entgegengesetzt ist, und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist; und ein Bewegungsweg- und Geschwindigkeitsmodell eines Fußgängers, von dem vorhergesagt wird, dass erwartet und dann die Straße überquert, nachdem das Fahrzeug vorbeigefahren ist.
Vorrichtung nach Anspruch 15, wobei der Prozessor eine Kollisionswahrscheinlichkeit bestätigt, indem er den vorhergesagten Weg des Fußgängers mit dem vorhergesagten Weg des Hostfahrzeugs vergleicht, der in einem früheren Zeitfenster bestimmt wurde, Wege des Hostfahrzeugs sucht, die keine Kollisionswahrscheinlichkeit mit dem vorhergesagten Weg des Fußgängers aufweisen, und einen Weg mit dem geringsten Risiko als Fahrstrategie aus den gesuchten Wegen bestimmt, wobei der Prozessor die Fahrstrategie auf der Grundlage von mindestens einem der folgenden Verfahren bestimmt: einem auf der Erzeugung mehrerer Wege basierenden Steuerverfahren, einem Verfahren zur Steuerung der Beschleunigung und Verzögerung in Längsrichtung, einem Verfahren zur Steuerung der seitlichen Ablenkung oder einem Verfahren zur Steuerung des seitlichen Spurwechsels, wobei das Verfahren zur Steuerung der Beschleunigung und Verzögerung in Längsrichtung so ausgeführt wird, dass nach der Erzeugung mehrerer zufälliger Wege natürliche Wege, die so konfiguriert sind, dass sie nicht mit einer Position des Fußgängers gemäß der Zeit auf dem vorhergesagten Fußgängerweg kollidieren, ausgewählt werden, und dann einer der natürlichen Wege bestimmt wird, wobei das Verfahren zur Steuerung der Beschleunigung und Verzögerung in Längsrichtung so ausgeführt wird, dass ein im vorherigen Zeitfenster bestimmter Fahrweg beibehalten wird und eine Geschwindigkeit des Hostfahrzeugs in einer Längsrichtung beschleunigt oder verzögert wird, so dass das Hostfahrzeug den Fußgänger zu einem Zeitpunkt nicht kreuzt, zu dem das Hostfahrzeug mit dem vorhergesagten Weg des Fußgängers kollidiert, wobei das Verfahren zur Steuerung der seitlichen Ablenkung derart ausgeführt wird, dass ein bestehendes Längsgeschwindigkeitsprofil beibehalten wird und das Hostfahrzeug in einer seitlichen Richtung gegenüber dem Fußgänger abgelenkt wird, und wobei das Verfahren zur Steuerung des seitlichen Spurwechsels derart ausgeführt wird, dass das bestehende Längsgeschwindigkeitsprofil beibehalten wird und das Hostfahrzeug die Spur in der seitlichen Richtung gegenüber dem Fußgänger wechselt.