DE102020210188A1

DE102020210188A1 - Fahrzeugumgebungserkennungseinrichtung

Info

Publication number: DE102020210188A1
Application number: DE102020210188.4A
Authority: DE
Inventors: Quan Nguyen; Ioannis Souflas; Syed Adnan Yusuf
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2022-02-17
Also published as: WO2022034815A1

Abstract

Eine Fahrzeugumgebungserkennungseinrichtung für ein Trägerfahrzeug 1, das einen optischen Sensor 2 enthält, der mit der Fahrzeugumgebungserkennungseinrichtung 10 kommunikationstechnisch verbunden ist, wobei die Fahrzeugumgebungserkennungseinrichtung 10 konfiguriert ist, eine Folge von Bilddaten auszugeben, die mindestens die zukünftige Entfernung zwischen dem Trägerfahrzeug 1 und dem einen oder den mehreren detektierten Objekten O1, O2 enthält.

Description

Die vorliegende Offenbarung bezieht sich auf eine Fahrzeugumgebungserkennungseinrichtung für ein Trägerfahrzeug, die insbesondere die Komplexität z. B. der Hardware, die verwendet wird, verringert, die eine erhöhte Genauigkeit und Zuverlässigkeit der Ausgabe schafft und die allgemein verwendbar ist, weil sie einfach in Fahrzeuge oder Monokameras integriert werden kann.
Hintergrund
Autonome Fahrzeuge greifen auf Sensoren zurück, um die Umgebung (die Umwelt), die Objekte enthält, zu erkennen. Typische Software-Architekturen autonomer Fahrzeuge fusionieren Informationen von mehreren Sensoren wie z. B. Kameras, LiDAR-Geräten und Radargeräten, um die Umgebung genau wahrzunehmen. Kameras werden verwendet, um Objekttypen wie z. B. Fahrzeuge, Verkehrszeichen, Fußgänger usw. zu detektieren und zu klassifizieren. LiDAR-Geräte werden verwendet, um die Position und die Orientierung von Objekten zu messen, während Radargeräte verwendet werden, um die Geschwindigkeit zu messen.
Es ist allerdings ein Nachteil, dass das Fahrzeug die Eingabe von mehreren verschiedenen Sensoren erfordert, wie oben beschrieben ist, was die Komplexität der Hardware-Architektur sowie der softwarebasierten Datenverarbeitung erhöht.
Ferner beschreibt US 2019/0 317 519 A1 eine Systemarchitektur, die ein Modul zur dreidimensionalen (3D) Entfernungsbestimmung verwendet, das eine Entfernung zu einem Objekt auf der Grundlage einer 3D-Darstellung, die eine Abmessung besitzt, die am besten mit den Abmessungen (z. B. eine Länge, eine Breite oder eine Fläche, z. B. Länge mal Breite) eines zweidimensionalen (2D) Begrenzungs-/Abgrenzungsrahmens übereinstimmt, bestimmt. Das Modul zur Entfernungsschätzung verwendet einen Suchalgorithmus wie z. B. eine gierige Suche oder eine binäre Suche als Grundlage. Die Entfernung zum Objekt zur aktuellen Zeit kann nur geschätzt werden, nachdem die Orientierung und die 3D-Größe des Objekts geschätzt wurden.
WO 2019/177562A1 beschreibt eine Systemarchitektur, die Modelle zum maschinellen Lernen verwendet, um ein Objekt in einem Bild zu detektieren und um die Entfernung zum detektieren Objekt zur aktuellen Zeit zu bestimmen.
Allerdings ist immer noch ein Ermöglichen einer weiter erhöhten Zuverlässigkeit und Genauigkeit der Objektdetektion und der Informationen, die durch eine Fahrzeugumgebungserkennungseinrichtung geliefert werden, nötig, insbesondere wenn weniger komplexe Hardware-Systeme z. B. Systeme, die auf die Eingabe (lediglich) einer Monokamera statt mehrerer Fahrzeugsensoren zurückgreifen, verwendet werden.
Problem und Lösung
Eine Aufgabe der hier beschriebenen Offenbarung ist, eine Lösung zu schaffen, die insbesondere die Genauigkeit und die Zuverlässigkeit der Ausgabe einer Fahrzeugumgebungserkennungseinrichtung, die in Fahrzeugen, bevorzugt autonomen Fahrzeugen, verwendet werden kann, verbessert und die die Verwendung einer weniger teuren und weniger komplexen Hardware-Architektur, die leicht integriert werden kann, ermöglicht.
Insbesondere schlägt die vorliegende Offenbarung eine Technik vor, die verwendet werden kann, um die Stellung (d. h. die Position, die Orientierung und ihre Ableitungen) und die Ausdehnung umgebender Objekte aus einem einzelnen optischen Sensor, z. B. eine (Mono-)Kamera, gleichzeitig zu schätzen und vorherzusagen. Ein Vorteil sind die geringere Komplexität und die geringeren Kosten im Vergleich zu vorhandenen Lösungsversuchen, die mehrere Sensoren (z. B. Kamera, LiDAR-Gerät, Radar) erfordern, um möglicherweise die Genauigkeit und die Zuverlässigkeit der vorliegenden Offenbarung zu erzielen.
Insbesondere werden die folgenden Aspekte geschaffen:
Eine Fahrzeugumgebungserkennungseinrichtung für ein Trägerfahrzeug, das einen optischen Sensor enthalten kann, der mit der Fahrzeugumgebungserkennungseinrichtung kommunikationstechnisch verbunden ist. Der optische Sensor kann ein Bilderzeugungshalbleiter, d. h. ein Bildsensor wie z. B. ein CCD- oder CMOS-Sensor, sein oder er kann eine Kamera, die ferner optische Linsen und dergleichen enthält, sein. Am stärksten bevorzugt ist der optische Sensor ein einzelner Sensor oder eine Monokamera. Die Verwendung einer Monokamera kann Kosten sparen und verringert die Systemkomplexität z. B. im Vergleich zu einer Stereokamera oder einer Kombination verschiedener Sensoren wie z. B Lidar oder Radar.
Die Fahrzeugumgebungserkennungseinrichtung kann mindestens eine Recheneinheit umfassen oder in sie integriert sein und kann konfiguriert sein, Bilddaten zu einer aktuellen Zeit t vom optischen Sensor, der am Trägerfahrzeug montiert ist, zu empfangen. Der Ausdruck „aktuelle Zeit t“ kann bevorzugt die Ist-Zeit angeben, während eine Zeit t - n der Vergangenheit angehört und die Zeiten t + k und t + Dt zukünftige Zeiten sind. Die Bilddaten können bevorzugt zur aktuellen Zeit t empfangen werden. Bevorzugt kann die Bilddatenverarbeitung wie z. B. die Objektdetektion zur aktuellen Zeit t starten.
Die Fahrzeugumgebungserkennungseinrichtung kann ferner konfiguriert sein, Objekte in den empfangenen Bilddaten zu detektieren, wobei ein Objekt sich auf Personen, Fußgänger, Tiere, Fahrzeuge, Fahrbahnen, Fahrspurmarkierungen, Gefahren und Objekte im Allgemeinen in Bezug auf die Position des Fahrzeugs beziehen kann. Sie kann ferner konfiguriert sein, mindestens die Entfernung zwischen einem (oder jedem) detektierten Objekt und dem Trägerfahrzeug sowie die Geschwindigkeit eines (oder jedes) detektierten Objekts zu bestimmen. Die Entfernung und die Geschwindigkeit werden für die aktuelle Zeit t, was bevorzugt bedeutet, zu der Zeit, zu der das Bild aufgenommen wurde/empfangen wurde/seine Verarbeitung gestartet wurde, bestimmt.
Ferner kann die Fahrzeugumgebungserkennungseinrichtung konfiguriert sein, mindestens eine zukünftige Entfernung eines (oder jedes) detektierten Objekts zum Trägerfahrzeug vorherzusagen. Bevorzugt werden mehrere zukünftige Entfernungswerte für ein (oder jedes) detektiertes Objekt für ein vordefiniertes Zeitintervall beginnend von der aktuellen Zeit t zu einer zukünftigen Zeit t + k bestimmt. Stärker bevorzugt wird ein Satz eines zukünftigen Satzes/einer zukünftigen Folge von Entfernungswerten für ein detektiertes Objekt erzeugt, wobei das zukünftige Zeitintervall in eine vordefinierte Anzahl von Zeitpunkten, für die jeweils ein Entfernungswert erzeugt wird, segmentiert wird. Mit anderen Worten werden bevorzugt für jedes detektierte Objekt mehrere Entfernungswerte zu verschiedenen Zeiten zwischen der Zeit t und der Zeit t + k bestimmt.
Ferner kann die Fahrzeugumgebungserkennungseinrichtung konfiguriert sein, die Bewegung des Trägerfahrzeugs auf der Grundlage einer Verarbeitungs- und Kommunikationszeitverzögerung Dt zur Zeit t + Dt auszugleichen. Das Zeitintervall Dt enthält oder ist die Zeit, die für die Verarbeitung der Objektdetektion und der Vorhersage sowie für die Signalübertragung zwischen Untereinheiten der Fahrzeugumgebungserkennungseinrichtung und/oder in einem Netz erforderlich ist (Latenz). Das Zeitintervall Dt kann durch die Fahrzeugumgebungserkennungseinrichtung, eine weitere Fahrzeugsteuereinrichtung oder eine fest zugeordnete Untereinheit in Echtzeit gemessen werden, es kann auf der Grundlage vorheriger vergleichbarer Szenarien geschätzt werden oder es kann berechnet/bestimmt werden, wenn die relevanten Parameter bekannt oder schätzbar sind. Der Ausgleich ermöglicht, insbesondere die Positionsänderung des Trägerfahrzeugs während des kurzen Zeitintervalls von der Zeit t zur Zeit t + Dt neu zu berechnen.
Ferner kann die Fahrzeugumgebungserkennungseinrichtung konfiguriert sein, eine Folge von Bildern auszugeben, die Bildrahmen im Intervall von der Zeit t (bevorzugt startet das Intervall bei t + Dt) zu t + k enthält. Die Bilder können die Position des Trägerfahrzeugs und die (kartesischen) Positionen sowie die (euklidischen) Entfernungen, Abmessungen usw. des einen oder der mehreren detektierten Objekte enthalten. Die Entfernungen usw. können die ausgeglichene/korrigierte Position des Trägerfahrzeugs zur Zeit t + Dt berücksichtigen. Die Ausgabe kann zu einer Routenplanungseinrichtung eines autonom fahrenden Trägerfahrzeugs, zu einem Navigationssystem und/oder zum Fahrer des Trägerfahrzeugs geliefert werden.
Der vorliegende Aspekt ermöglicht technisch vorteilhaft, dass selbst lediglich unter Verwendung einer Monokamera (eines einzelnen optischen Sensors) eine hohe Genauigkeit und Zuverlässigkeit der Ausgabeinformationen über detektierte Objekte erzielt werden kann. Die Informationen über die Positionen und weitere Informationen der detektierten Objekte in der (nahen) Zukunft ermöglichen eine genauere Routenplanung, die z. B. die Sicherheit im Hinblick auf das Vermeiden von Kollisionen erhöht. Die Genauigkeit wird außerdem aufgrund der Positionskorrektur der Trägerfahrzeugposition, die sich während des Zeitintervalls des Empfangens des einen oder der mehreren Bilder vom optischen Sensor zum Abschluss des Verarbeitens des einen oder der mehreren Bilder ändert, erhöht. Die vorliegende Vorrichtung kann diese Verschiebung der Position für eine weiter verbesserte Genauigkeit und Zuverlässigkeit berücksichtigen. Die Komplexität des Systems ist im Vergleich zu Trägerfahrzeugsystemen, die mehrere verschiedene Eingangsquellen zum Detektieren und Erkennen der Umgebung des Trägerfahrzeugs erfordern, z. B. um die Komplexität der Kalibrierung zwischen mehreren Sensoren, verringert. Ferner kann z. B. die Integration in vorhandene Fahrzeugkameras, insbesondere Monokameras aufgrund des technischen Vorteils, dass eine Kalibrierung von Kameraparametern oder dergleichen nicht nötig ist, leicht durchgeführt werden.
Darüber hinaus kann die Fahrzeugumgebungserkennungseinrichtung eine Detektionseinheit umfassen, die mindestens mit dem optischen Sensor des Trägerfahrzeugs und einer Vorhersageeinheit kommunikationstechnisch verbunden sein kann. Die Vorhersageeinheit, die bevorzugt Teil der Fahrzeugumgebungserkennungseinrichtung ist, kann mindestens mit der Detektionseinheit und einer Trägerfahrzeugausgleichseinheit, die Teil der Fahrzeugumgebungserkennungseinrichtung sein kann, kommunikationstechnisch verbunden sein. Die Trägerfahrzeugausgleichseinheit kann mindestens mit einer Verarbeitungs- und Kommunikationszeitverzögerungsbestimmungseinheit, die Teil einer weiteren Vorrichtung sein kann, einer Trägerfahrzeugfahrparametereinheit, die Teil einer weiteren Vorrichtung sein kann und die Daten von Sensoren des Trägerfahrzeugs wie z. B. Geschwindigkeitssensoren, Giersensoren, Positionssensoren, Kraftmaschinenparametersensoren usw. empfangen kann, der Vorhersageeinheit und einer Ausgabebilddateneinheit, die Teil der Fahrzeugumgebungserkennungseinrichtung sein kann, kommunikationstechnisch verbunden sein.
Ferner kann die Detektionseinheit konfiguriert sein, die Bilddaten vom optischen Sensor zu einer aktuellen Zeit t zu empfangen, ein oder mehrere Objekte in den Bilddaten zu detektieren und Objektinformationsdaten über das eine oder die mehreren detektierten Objekte zur Vorhersageeinheit auszugeben, wobei die Objektinformationsdaten jedes des einen oder der mehreren detektierten Objekte mindestens die Entfernung zum Trägerfahrzeug und die Geschwindigkeit zur aktuellen Zeit t enthalten. Ferner können die Objektinformationsdaten unter anderem weiterhin die Orientierung des Objekts, seine Begrenzungsrahmenkoordinaten und seine Abmessungen enthalten.
Die Vorhersageeinheit kann konfiguriert sein, mindestens auf der Grundlage der Objektinformationsdaten, die von der Detektionseinheit empfangen wurden, zukünftige Objektinformationsdaten über das eine oder die mehreren detektierten Objekte vorherzusagen. Die zukünftigen Objektinformationsdaten jedes des einen oder der mehreren detektierten Objekte können mindestens zukünftige Entfernungswerte zum Trägerfahrzeug zwischen der aktuellen Zeit t und einer zukünftigen Zeit t + k enthalten. Ferner können die zukünftigen Objektinformationsdaten unter anderem weiterhin die Orientierung des Objekts, seine Begrenzungsrahmenkoordinaten und seine Abmessungen enthalten.
Die Trägerfahrzeugausgleichseinheit kann konfiguriert sein, die Position des Trägerfahrzeugs zu einer Zeit t + Dt auf der Grundlage von Trägerfahrzeugfahrdaten, die von der Trägerfahrzeugfahrparametereinheit empfangen wurden, und der Verarbeitungszeitverzögerung Dt, die von der Verarbeitungszeitverzögerungsbestimmungseinheit empfangen wurde, zu korrigieren. Die Trägerfahrzeugfahrdaten können die Geschwindigkeit, das Gieren und dergleichen des Trägerfahrzeugs enthalten. Die Verarbeitungszeitverzögerungsbestimmungseinheit kann konfiguriert sein, das Zeitintervall Dt (die Latenz) zu messen, zu schätzen, zu berechnen und/oder zu bestimmen.
Die Ausgabebilddateneinheit kann konfiguriert sein, die korrigierte Position des Trägerfahrzeugs zur Zeit t + Dt, die Objektinformationsdaten, die durch die Detektionseinheit ausgegeben wurden, und die zukünftigen Objektinformationsdaten, die durch die Vorhersageeinheit ausgegeben wurden, zu empfangen und eine Folge von Bilddaten von der Zeit t + Dt zur Zeit t + k in einem Zeitintervall von der Zeit t bis t + Dt zu erzeugen. Mit anderen Worten ist das Zeitintervall von der Zeit t bis t + Dt das Zeitintervall, während dessen die Verarbeitung/Erzeugung der zukünftigen Bilddaten/der Objektinformationsdaten durchgeführt wird. Die Bilddaten können mindestens alle detektierten Objekte, die ihre (zukünftigen) Objektinformationsdaten sowie die Position des Trägerfahrzeugs enthalten, enthalten.
Die zuvor erläuterten technischen Vorteile werden auch für den oben erläuterten bevorzugten Aspekt erreicht. Zusätzlich erlaubt der Aufbau der kommunikationstechnisch verbundenen Einheiten, die empfangenen Bilddaten in verschiedenen Anwendungsszenarien flexibel zu verarbeiten. Zum Beispiel kann im Vergleich zum Stand der Technik die Objektentfernungsschätzung von der Objektdetektion getrennt sein und somit können zwei spezialisierte und deshalb genauere Einheit, die für einen bestimmten Zweck konfiguriert/trainiert sind, eingesetzt werden. Ferner können die Einheiten über verschiedene Standorte in einem System, das möglicherweise entfernte Recheneinheiten, die Recheneinheit im Trägerfahrzeug und dergleichen enthält, verteilt sein, was ermöglicht, die Hardware-Architektur an verschiedene Szenarien anzupassen.
Ferner können die Bilddaten, die durch die Detektionseinheit zur aktuellen Zeit t empfangen werden, eine Folge von Bildrahmen, die mehrere Rahmen von einer Zeit t - n zur aktuellen Zeit t enthält, umfassen/können als eine solche formatiert sein, wobei t - n eine Zeit in der Vergangenheit in Bezug auf die aktuelle Zeit t ist. Die Anzahl von Rahmen kann durch eine Zeit (oder eine Zeitdifferenz) oder durch einen vordefinierten Wert definiert sein, z. B. kann sie derart definiert sein, dass ein Zeitrahmen für jede Millisekunde oder kürzer oder länger gesetzt ist, oder sie kann derart definiert sein, dass im Zeitintervall t - n bis t eine vordefinierte Anzahl (unabhängig von der Dauer des Intervalls) von Rahmen verwendet werden/vorhanden sein soll.
Ein Verwenden von Folgen von Bildern/Bildrahmen als eine Eingabe in die Vorrichtung, die zur Zeit t geliefert wird, verbessert die Datenbasis zur Detektion von Objekten und die Vorhersageverarbeitung zum Berechnen der Bilder des zukünftigen Zeitintervalls. Dadurch können eine erhöhte Genauigkeit und eine erhöhte Zuverlässigkeit erreicht werden.
Die Objektdetektion, die bevorzugt Teil von/integriert in die Detektionseinheit sein kann, kann ein trainiertes Modell für maschinelles Lernen (ML-Modell) und/oder ein trainiertes Modell für künstliche Intelligenz (Al-Modell) zum Detektieren eines Objekts verwenden. Das eine oder die mehreren Modelle können in der Detektionseinheit enthalten sein oder die Detektionseinheit kann mit den Modellen kommunikationstechnisch verbunden sein, wenn jene von der Detektionseinheit getrennt gespeichert sind (z. B. in einem netzbasierten Server/einer netzbasierten Recheneinheit). Das Modell für maschinelles Lernen und/oder das Modell für künstliche Intelligenz der Detektionseinheit können trainiert werden, als die Objektinformationsdaten für jedes detektierte Objekt den Typ des detektierten Objekts die Orientierung des detektierten Objekts in Bezug auf ein trägerfahrzeugbasiertes Koordinatensystem, einen Begrenzungsrahmen des detektierten Objekts und der Koordinaten im trägerfahrzeugbasierten Koordinatensystem, die Abmessungen (oder die Größe) des detektierten Objekts, die Entfernung zum Trägerfahrzeug und/oder die Geschwindigkeit des detektierten Objekts zu bestimmen.
Der Typ eines Objekts kann, wie oben erläutert wurde, z. B. die Objekte in Fußgänger, Personenkraftwagen, Lastkraftwagen, Hindernis oder dergleichen kategorisieren. Die Orientierung eines detektierten Objekts kann in Bezug auf das Trägerfahrzeug detektiert werden und kann z. B. die Richtung seiner Achse, z. B. die Längsachse, angeben. Der Begriff Begrenzungsrahmen kann bevorzugt ein rechteckiger oder ein viereckiger Bereich sein, der die Außenabmessungen des detektierten Objekts in der Bildebene (so nahe wie möglich ohne die Außenbegrenzungslinien des Objekts zu schneiden) umgibt. Der Begrenzungsrahmen kann durch die Koordinaten seiner oberen linken Ecke und seiner unteren rechten Ecke definiert sein. Die Abmessungen können die Länge, die Breite, die Höhe usw. des detektierten Objekts enthalten und die Größe kann die Fläche oder eine der Abmessungen angeben.
Die Entfernung kann bevorzugt auf der Grundlage eines Koordinatensystems definiert sein, das seinen Ursprung beim optischen Sensor des Trägerfahrzeugs oder einer beliebigen weiteren wohldefinierten Position des Trägerfahrzeugs haben kann.
Die oben beschriebene Kombination/der oben beschriebene Satz von Parametern ermöglicht, die Position und das Verhalten eines detektierten Objekts in einer sehr genauen Weise zu detektieren und zu bestimmen, während gleichzeitig die Anzahl von Parametern relativ niedrig ist, was den Rechenaufwand und den Datenverkehr verringert. Mit anderen Worten kann die gesamte Vorrichtung eine hohe Genauigkeit/Präzision mit einer geringen Komplexität der erforderlichen Hardware-/Software-Architektur erzielen.
Ferner kann die Vorhersage, die bevorzugt in der Vorhersageeinheit enthalten/in sie integriert ist, ein trainiertes Modell für maschinelles Lernen und/oder ein trainiertes Modell für künstliche Intelligenz zum Durchführen z. B. einer Zeitreihenanalyse zum Vorhersagen der zukünftigen Informationsdaten verwenden. Das eine oder die mehrere Modelle können in der Vorhersageeinheit enthalten sein oder die Vorhersageeinheit kann mit den Modellen kommunikationstechnisch verbunden sein, wenn sie von der Vorhersageeinheit getrennt gespeichert sind (z. B. in einem netzbasierten Server).
Das Modell für maschinelles Lernen und/oder das Modell für künstliche Intelligenz können trainiert werden, als die zukünftigen Objektinformationsdaten für jedes detektierte Objekt und für eine Folge von Bildrahmen in einem Zeitintervall zwischen der aktuellen Zeit t oder t + Dt und einer zukünftigen Zeit t + k die Orientierung des detektierten Objekts in Bezug auf ein trägerfahrzeugbasiertes Koordinatensystem, einen Begrenzungsrahmen des detektierten Objekts und der Koordinaten im trägerfahrzeugbasierten Koordinatensystem, die Abmessungen (oder die Größe) des detektierten Objekts, die Entfernung zum Trägerfahrzeug und/oder die Geschwindigkeit des detektierten Objekts zu bestimmen.
Ein Bereitstellen der Bilder für das vorhergesagte zukünftige Verhalten, die Position und/oder dergleichen jedes detektierten Objekts ermöglicht eine überlegene Genauigkeit und Sicherheit der Routenplanung oder des Fahrens des Trägerfahrzeugs.
Ferner können das Modell für maschinelles Lernen und/oder das Modell für künstliche Intelligenz ein neuronales Faltungsnetz für die Detektion und eine rekurrentes neuronales Netz für die Prädiktion enthalten.
Die Verwendung spezialisierter neuronaler Netze, die speziell für die beabsichtigen Aufgaben ausgelegt sind, ermöglicht eine noch weiter verbesserte Präzision und Zuverlässigkeit der Ausgangsdaten/Ergebnisse.
Ferner kann die Detektion der Entfernung jedes detektierten Objekts zum Trägerfahrzeugs zu einer aktuellen Zeit t durch einen getrennten Schritt durchgeführt werden, was bevorzugt bedeuten kann, dass die Detektionseinheit und die Prädiktionseinheit getrennte Einheiten sein/verschiedene ML/AI-Modelle verwenden können. Die Bestimmung der Entfernung kann durch ein Modell für maschinelles Lernen und/oder ein Modell für künstliche Intelligenz durchgeführt werden, die zum Bestimmen der Entfernung von den Eingangsbilddaten, die vom optischen Sensor des Trägerfahrzeugs zur aktuellen Zeit t empfangen werden, trainiert sind, wobei die empfangenen Eingangsbilddaten bevorzugt eine Folge von Bildrahmen mit Rahmen von einer vergangenen Zeit t - n zur aktuellen Zeit t enthalten können.
Ferner können die Daten in Bezug auf die Objektdetektion und die Prädiktion und die ausgeglichenen Trägerfahrzeugfahrdaten in jedem Bildrahmen einer Folge von Bildrahmen in einem Zeitintervall von der Zeit t + Dt zur zukünftigen Zeit t + k zusammengeführt werden.
Jedes Bild im Zeitintervall von der Zeit t + Dt zur zukünftigen Zeit t + k kann in ein Belegungsgitter (OCG oder ocg) der Umgebung/Umwelt des Trägerfahrzeugs transformiert werden. Die Transformation kann durch eine fest zugeordnete ocg-Generatoreinheit durchgeführt werden, die mathematische Transformationen zum Erzeugen der ocgs auf der Grundlage der (zukünftigen) Objektinformationsdaten durchführen kann. Die Umgebung des Trägerfahrzeugs kann bevorzugt die Nähe des Trägerfahrzeugs und sehr bevorzugt mindestens den Bereich, der mit dem Bereich, der durch den einen oder die mehreren optischen Sensoren aufgenommen wird, überlappt, enthalten.
Ferner kann eine Folge von Belegungsgitterbildrahmen in einem Zeitintervall von der Zeit t + Dt zur zukünftigen Zeit t + k ausgegeben werden.
Die Bereitstellung zukünftiger Belegungsgitter (einer Folge mehrerer Belegungsgitterbilder, die in zeitlicher Reihenfolge angeordnet sind) ermöglicht dem Fahrer des Trägerfahrzeugs, die zukünftige Verkehrsentwicklung intuitiv zu verstehen, derart, dass sie/er das Fahren anpassen kann, und sie ermöglicht dann, wenn das Trägerfahrzeug autonom fährt, den automatisch bestimmten Fahrkurs präzise und zuverlässig anzupassen, z. B. wenn die ocgs in eine Routenplanungseinrichtung/-einheit oder eine Navigationseinrichtung/-einheit des Trägerfahrzeugs eingegeben werden. Ferner kann die Bewertung der Ausgabe außerdem ermöglichen, Steueraktionen wie z. B. automatisiertes Bremsen, automatisiertes Beschleunigen, automatisiertes Lenken und dergleichen automatisch abzuleiten.
Ferner kann die Kompensationseinheit der Position des Trägerfahrzeugs Informationen über die Verarbeitungsverzögerungszeit Dt, die durch die Detektions- und die Prädiktionsverarbeitung und die Kommunikationsverzögerung verursacht wird, und über die Ist-(Linear-)Geschwindigkeit und die Gierrate des Trägerfahrzeugs zur Zeit t empfangen und kann eine korrigierte Position des Trägerfahrzeugs zu einer Zeit t + Dt berechnen/bestimmen. Das Berechnen kann zuvor trainierte Szenarios wie z. B. das Verwenden eines Durchschnittswerts oder dergleichen als Grundlage verwenden oder es kann gemessene Parameter wie z. B. die Rechenleistung der Recheneinheit, die Übertragungsgeschwindigkeit der Kommunikationsverbindungen und dergleichen verwenden, um in jedem Fall den korrekten Wert Dt zu berechnen. Ferner kann der Wert Dt z. B. durch Aufnehmen der Zeit, zu der die Bilddaten vom optischen Sensor empfangen wurden, und durch Aufnehmen der Zeit, zu der die verarbeiteten Daten verfügbar sind, (zu einem zuvor definierten Punkt/Schritt im Ablauf der Verarbeitung) gemessen werden. Im vorhergehenden Beispiel würde die Zeitdifferenz der Wert Dt sein.
Die Geschwindigkeit und die Gierrate können durch Sensoren des Trägerfahrzeugs geliefert werden, die zur Trägerfahrzeugfahrinformationseinheit, die die Daten zur beanspruchten Vorrichtung/dem Ausgleichsbestimmungsschritt liefern kann, Bericht erstatten können.
Die Ausgleichsbestimmung erhöht ferner die Präzision der Datenausgabe, weil der Positionsfehler des Trägerfahrzeugs, der durch die Zeit verursacht wird, die zum Verarbeiten der Eingangsdaten und die Datenübertragung zwischen verschiedenen Einheiten benötigt wird, entfernt wird. Der Ausgleich kann eine Schätzung einer Bewegung eines Fahrzeugs unter Verwendung eines physikbasierten Fahrzeugmodells als Grundlage verwenden. Bei Kenntnis der anfänglichen kartesischen Position des Fahrzeugs, z. B. (X, Y), sowie der Ist-Geschwindigkeit und der Ist-Gierrate des Trägerfahrzeugs kann die Position (X, Y) im nächsten Zeitschritt bestimmt/geschätzt werden.
Ferner kann die Fahrzeugumgebungserkennungseinrichtung eine Kennungsverfolgereinheit enthalten, die mit einer Speichereinheit, die Daten zuvor detektierter Objekte speichern kann, kommunikationstechnisch verbunden ist. Die Kennungsverfolgereinheit kann konfiguriert sein, für jedes der detektierten Objekte zu bestimmen, ob das Objekt ein neu detektiertes Objekt oder ein zuvor detektiertes Objekt ist, und die Objektprädiktion kann konfiguriert sein, von der Kennungsverfolgereinheit Informationen darüber zu empfangen, ob das detektierte Objekt ein neu detektiertes Objekt oder ein verfolgtes zuvor detektiertes Objekt ist.
Wenn die Kennungsverfolgereinheit eingesetzt wird, kann die Verarbeitungszeit wesentlich verringert werden, weil zuvor bestimmte Parameter/Daten aus dem Speicher gelesen werden können, anstatt sie durch das trainierte Modell neu zu bestimmen, oder das Trainingsmodell mindestens einen definierten Startpunkt zur Bestimmung besitzt, was den Rechenaufwand verringert.
Ferner kann die Fahrzeugumgebungserkennungseinrichtung (teilweise) ein Computerprogrammprodukt sein, das computerlesbare Anweisungen umfasst, die in einem Computersystem, das einen oder mehrere Computer enthält, ausführbar sind, wobei die Einheiten Hardware- und/oder Software-Einheiten sind. Die Computer können im Trägerfahrzeug angeordnet (im Trägerfahrzeug installiert) sein und/oder sich entfernt vom Trägerfahrzeug befinden, wie z. B. an vernetzten entfernten Orten vorgesehen sein. Falls die Fahrzeugumgebungserkennungseinrichtung ein Computerprogramm sein soll, können die oben erläuterten Einheiten Software-Module/-Einheiten sein, die in einem Speicherraum gespeichert sind, der für den einen oder die mehreren Computer zugänglich ist. Die Fahrzeugumgebungserkennungseinrichtung kann außerdem eine Kombination von Hardware und Software sein und einige Einheiten können entweder Software- oder Hardware-Einheiten sein.
Ferner können die Einheiten über Hardware- und/oder Software-Signalkommunikationskanäle kommunikationstechnisch verbunden sein und über ein oder mehrere Netze kommunikationstechnisch verbunden sein, wobei die Einheiten entweder in einer einzelnen Hardware angeordnet sind oder über verschiedene Hardware-Vorrichtungen, die Recheneinheiten/Hardware im Trägerfahrzeug enthalten, verteilt sein.
Die Einheiten, die oben diskutiert werden, können Teil einer einzelnen Einheit sein oder jede Einheit kann eine getrennte Einheit sein. Die Fahrzeugumgebungserkennungseinrichtung kann selbst Teil einer Monokamera, die den optischen Sensor enthält und in einem Trägerfahrzeug installiert ist, sein, wobei die Kamera/die Fahrzeugumgebungserkennungseinrichtung mit der Steuereinheit des Trägerfahrzeugs wie z. B. ihrem zentralen Steuercomputer oder dergleichen kommunikationstechnisch verbunden ist.
Eine bevorzugte Architektur kann die Rechenaufgaben mit hohem Aufwand wie z. B. die Detektion von Objekten, die Bestimmung von Parametern eines detektierten Objekts und die Vorhersageverarbeitung zu netzbasierten (entfernten) Rechenbetriebsmitteln verteilen, während die trägerfahrzeugbasierten Einheiten Rechenaufgaben mit geringerem Aufwand durchführen können. Dies ermöglicht eine schnelle und zuverlässige Verarbeitung der Eingangsdaten. Wenn allerdings die Zuverlässigkeit im Hinblick auf das Vermeiden von Unterbrechungen mobiler Datenübertragung erhöht werden soll, können die oben erläuterten Einheiten ihre Verarbeitung soweit technisch möglich vollständig/überwiegend in der Recheneinheit im Trägerfahrzeug durchführen. Die netzbasierten Betriebsmittel können dann Unterstützungsdaten wie z. B. Kartendaten von einem Karten-Server, Positionsinformationen, zuvor gespeicherte Fahrdaten oder dergleichen bereitstellen. Daher kann die Architektur an das beabsichtigte Szenario flexibel angepasst werden, was einen weiteren technischen Vorteil schafft.
Ferner wird ein Computerprogramm offenbart, das in einer oder mehreren Recheneinheiten wie z. B. der einen oder den mehreren Recheneinheiten des Trägerfahrzeugs und/oder entfernt angeordneten Recheneinheiten, die mit dem Trägerfahrzeug über ein Netz verbunden sind, installiert werden kann.
Ferner wird ein System offenbart, das einen optischen Sensor wie z. B. eine (Mono-)Kamera und die Fahrzeugumgebungserkennungseinrichtung mindestens eines der oben beschriebenen Aspekte enthalten kann. Das System kann außerdem entfernte Recheneinheiten, das Trägerfahrzeug mit einer Steuereinrichtung, Speichereinheiten und ein oder mehrere Netze, die entfernt angeordnete Recheneinheiten und/oder Speichereinheiten und das Trägerfahrzeug kommunikationstechnisch verbinden, enthalten.
Die hier offenbarte Vorrichtung und das hier offenbarte System und das hier offenbarte Computerprogrammprodukt ermöglichen, eine weniger komplexe Architektur insbesondere im Hinblick auf die Sensor-Hardware des Trägerfahrzeugs zu verwenden, die bevorzugt lediglich auf eine Einzelsensorquelle für die Eingabe von Daten über die Umgebung des Fahrzeugs (außer allgemeinen Informationen wie z. B. Kartendaten oder dergleichen, die von Recheneinheiten, die sich im Netz befinden, bereitgestellt werden) zurückgreifen, während die Ausgabeinformationen äußerst zuverlässig und genau sind und selbst Informationen in der (nahen) Zukunft über detektierte Objekte in der Umgebung des Fahrzeugs bereitstellen können. Darüber hinaus ist ein technischer Vorteil, dass die offenbarte Vorrichtung, das offenbarte System und das offenbarte Computerprogrammprodukt keine Kenntnis der intrinsischen Parameter der Kamera (wie z. B. die Brennweite usw.) erfordern, was den Lösungsversuch auf eine beliebige (vorhandene) Monokularkamera anwendbar macht, ungeachtet der Zwischenraumspezifikation der Kamera. Die Integration in vorhandene Fahrzeuge oder Kameras kann einfach durchgeführt werden.
Figurenliste

1 zeigt schematisch ein Beispiel eines Systems der vorliegenden Offenbarung.
2a zeigt schematisch eine Beispielkonfiguration einer Fahrzeugumgebungserkennungseinrichtung gemäß der vorliegenden Offenbarung.
2b zeigt schematisch eine Beispielkonfiguration einer Steuereinrichtung eines Trägerfahrzeugs gemäß der vorliegenden Offenbarung.
3 zeigt ein Beispiel eines Modelltrainingsverarbeitungsablaufs gemäß der vorliegenden Offenbarung.
4 zeigt ein Beispiel für einen Fahrzeugumgebungserkennungsverarbeitungsablauf gemäß der vorliegenden Offenbarung.
5 zeigt ein Beispiel der Auswirkung der Ausgleichsverarbeitung der vorliegenden Offenbarung.
6 zeigt ein Beispiel für einen Fahrzeugumgebungserkennungsverarbeitungsablauf gemäß der vorliegenden Offenbarung.
7 zeigt schematisch die Verarbeitung eines Bilds, das durch einen optischen Sensor gemäß der vorliegenden Offenbarung aufgenommen wurde.
8a und 8b zeigen schematisch die Erzeugung eines Belegungsgitters (OCG) oder einer Belegungsgitterkarte gemäß der vorliegenden Offenbarung.

Genaue Beschreibung beispielhafter Ausführungsformen
Im Folgenden werden bevorzugte Aspekte und Beispiele unter Bezugnahme auf die begleitenden Figuren genauer beschrieben. Dieselben oder ähnliche Merkmale in verschiedenen Zeichnungen und Beispielen werden durch ähnliche Bezugszeichen bezeichnet. Es versteht sich, dass sich die genaue Beschreibung unten auf verschiedene bevorzugte Aspekte bezieht und bevorzugte Beispiele nicht dazu bestimmt sind, den Umfang der vorliegenden Offenbarung zu beschränken.
1 zeigt ein Schaubild eines Systems 100, das ein Trägerfahrzeug 1 mit einem optischen Sensor 2 (der hier als eine bevorzugt verwendete Monokamera gezeigt ist), der mit einer Recheneinheit 3 kommunikationstechnisch verbunden ist (was durch die fettgedruckten gestrichelten Pfeile in den Figuren angegeben ist), enthält. Die Recheneinheit 3 ist im Trägerfahrzeug 1 installiert. Die Recheneinheit 3, die beispielhaft durch 1 gezeigt ist, enthält eine Fahrzeugumgebungserkennungseinrichtung 10 gemäß der vorliegenden Offenbarung und eine Steuereinheit/-einrichtung 4 sowie eine Speichereinheit 5. Wenn die Fahrzeugumgebungserkennungseinrichtung 10 als ein Software-Programmprodukt verkörpert werden soll, kann es auch in der Speichereinheit 5 gespeichert sein, die in 1 nicht dargestellt ist. Alternativ kann eine Recheneinheit ein integrierter Teil der Steuereinrichtung 4 und/oder der Fahrzeugumgebungserkennungseinrichtung 10 sein. Ferner können die zwei Vorrichtungen/Einheiten 4, 10 auch in einer einzelnen Steuereinrichtung integriert sein oder können in mehr als eine oder zwei Einheiten getrennt sein. Die Kommunikationsverbindungen/-leitungen/-kanäle insbesondere zwischen den Untereinheiten in einer Vorrichtung/Einheit sind in den Figuren aus Gründen der Lesbarkeit nicht dargestellt. Im Allgemeinen sind die Untereinheiten in einer übergeordneten Einheit oder Vorrichtung verbunden, um Informationen oder Signale mittels Software- oder Hardware-Kommunikationsschnittstellen und/oder -Kommunikationsleitungen miteinander auszutauschen.
Die Recheneinheit 3 ist mit einem oder mehreren Netzen 6, die durch die schematische Wolke in 1 angegeben sind, kommunikationstechnisch verbunden; ferner sind eine oder mehrere entfernt angeordnete Speichereinheiten 7 und eine oder mehrere entfernt angeordnete Recheneinheiten 8a, 8b mit dem Netz 6 verbunden. Die Recheneinheiten 8a, 8b, die mit dem Netz 6 verbunden sind, können z. B. einen Karten-Server enthalten, der Navigationsdaten wie z. B. Kartendaten zum Trägerfahrzeug 1 liefert, und ferner können entfernte Recheneinheiten 8a, 8b Teile der hier offenbarten Fahrzeugumgebungserkennungseinrichtung 10 enthalten, was insbesondere im Falle von rechenintensiven Operationen wie z. B. der Verarbeitung, die durch AI/ML-Modelle durchgeführt wird, bevorzugt ist. Die Anzahl entfernt angeordneter Recheneinheiten 8a, 8b kann niedriger oder höher als die zwei, die in 1 gezeigt sind, sein. Der eine oder die mehreren Speicherräume 7 können eine beliebige Art Fahrdaten oder beliebige weitere Daten speichern, die den Betrieb der hier beschriebenen Fahrzeugumgebungserkennungseinrichtung 10 oder den Betrieb der Recheneinheit 3 im Trägerfahrzeug 1 oder dergleichen unterstützen können.
2 zeigt ein Schaubild der Fahrzeugumgebungserkennungseinrichtung 10 und der Steuereinrichtung 4. 2a deutet an, dass die Fahrzeugumgebungserkennungseinrichtung 10 mehrere Untereinheiten enthält (obwohl auch eine einzelne Untereinheit oder mehr oder weniger Untereinheiten als die Anzahl dargestellter Untereinheiten verwendet werden können), die, wie unten weiter beschrieben wird, eine Detektionseinheit 11, eine Vorhersageeinheit 12, eine Trägerfahrzeugausgleichseinheit 13 und eine Ausgabeeinheit 14 sowie eine OCG-Erzeugungseinheit 15 enthalten. Bevorzugt kann die Fahrzeugumgebungserkennungseinrichtung 10 außerdem eine Verarbeitungszeitverzögerungsbestimmungseinheit 16 und eine Kennungsverfolgereinheit 17, die Daten von der fahrzeuginternen Speichereinheit 5 oder der entfernten Speichereinheit 7 empfangen kann, enthalten.
Die Fahrzeugumgebungserkennungseinrichtung 10 kann ihre eigene Recheneinheit (die nicht dargestellt ist) enthalten und kann ihre eigene Speichereinheit (die nicht dargestellt ist) besitzen, wenn die Fahrzeugumgebungserkennungseinrichtung 10 eine getrennte Hardware-Einheit ist. Dasselbe gilt für die Steuereinrichtung 4. Ferner kann die Steuereinrichtung 4 außerdem mit der Fahrzeugumgebungserkennungseinrichtung 10 zusammengeführt werden, wie zuvor beschrieben wurde.
Die Steuereinrichtung 4 enthält eine oder mehrere Untereinheiten wie z. B. eine Trägerfahrzeugsteuereinheit 41, eine Sensordatenverarbeitungseinheit 42, eine Bremssteuereinheit 43, eine Kraftmaschinensteuereinheit 44 und dergleichen. Darüber hinaus können eine oder mehrere Bewegungsplanerzeugungs- und Bewegungsplanbereitstellungseinheiten 45 in der zuvor beschriebenen Steuereinrichtung 4 oder in einer Recheneinheit 8a, 8b, die entfernt vom Trägerfahrzeug 1 angeordnet ist, vorgesehen sein.
Außerdem kann die Steuereinrichtung 4 eine Trägerfahrzeugfahrparametereinheit 46 enthalten, die Daten von Sensoren (die nicht dargestellt sind) des Trägerfahrzeugs 1 oder weiteren nicht dargestellten Quellen wie z. B. GPS-Signaldaten oder dergleichen empfängt.
Die Trägerfahrzeugsteuereinheit 41 kann z. B. konfiguriert sein, ein autonomes Fahren des Trägerfahrzeugs 1 durchzuführen, und kann eine Eingabe empfangen oder Steueranweisungen zu weiteren Untereinheiten wie z. B. der Sensordatenverarbeitungseinheit 42, die Trägerfahrzeugfahrparametereinheit 46 empfangen kann, liefern und kann fahrrelevante Daten zur Trägerfahrzeugsteuereinheit 41 liefern. Ferner kann die Trägerfahrzeugsteuereinheit 41 die Bremssteuereinheit 43 und die Kraftmaschinensteuereinheit 44, die die Bremsen bzw. die eine oder die mehreren Kraftmaschinen des Trägerfahrzeugs 1 steuern können, steuern. Eine Bewegungsplan-Erzeugungs-/Ausgabe-Einheit 45 kann in das Trägerfahrzeug 1 integriert sein oder kann in die eine oder die mehreren entfernten Recheneinheiten 8a, 8b integriert sein und kann ein autonomes Fahren durch Setzen der Route, der das autonom gefahrene/gesteuerte Trägerfahrzeug 1 folgen soll, unterstützen. Die Route kann zur Trägerfahrzeugsteuereinheit 41 geliefert werden. Das Trägerfahrzeug 1 oder seine Recheneinheit 3 oder seine Steuereinrichtung 4 kann ferner Informationen wie z. B. Kartendaten von einem Karten-Server entfernt über das Netz 6 empfangen, wie z. B. durch das Bezugszeichen 8a oder 8b gezeigt ist. Es kann auch eine beliebige Art zuvor gespeicherter Daten von der entfernt angeordneten Speichereinheit 7 empfangen.
Die Detektionseinheit 11 sowie die Vorhersageeinheit 12 kann ein oder mehrere AI- und/oder ML-Modelle (die nicht dargestellt sind), die gemäß dem schematischen Ablaufplan nach 3 trainiert werden, enthalten.
3 zeigt den prinzipiellen Ablauf des Trainings-/Lernprozesses des einen oder der mehreren Modelle derart, dass sie für einen vordefinierten Zweck verwendet werden können. Als ein Beispiel dieses Trainings zeigt 3 einen Ablaufplan der Trainingsschritte und der dargestellte Ablaufplan ist in Kombination mit der Trainingseinheit 50 gezeigt, die die folgenden Trainingsschritte durchführt: Zuerst werden Bildrohdaten (wobei roh bedeuten soll, dass sie nicht vorverarbeitet sind) sowie Messwerte von Sensoren wie z. B. Lidarsensoren, Radarsensoren, optische Sensoren, GPS-Daten usw. in einen Prozess/eine Einheit 51 zur Datenkennzeichnung und Datenvorbereitung eingegeben. Die Daten werden derart gekennzeichnet und vorbereitet (verarbeitet, abgeglichen usw.), dass sie zum Training z. B. eines neuronalen Netzes verwendet werden können. Die Kennzeichnung und Vorbereitung der Daten kann in Übereinstimmung mit Prinzipien/Prozessschritten, die im Gebiet bereits bekannt sind, durchgeführt werden. Dann werden die vorbereiteten Daten in den Lernprozess/die Lerneinheit 52 eingegeben, wie in 3 gezeigt ist. In der Lerneinheit 52 werden die Daten zum Lernen des Modells verwendet und danach wird das Modell überprüft, wie in diesem Gebiet bereits bekannt ist. Das Modelllernen und die Modellprüfung werden wiederholt, solange es nötig ist, um bei der nötigen/gewünschten Präzision des trainierten Modells anzukommen. Dies kann vorgegeben sein, z. B. durch Vorgeben der Anzahl von Iterationen/Wiederholungen. Nach dem Lernprozess ist das Model ausreichend/gut trainiert, um als ein Detektormodell oder ein Prädiktormodell verwendet zu werden, und wird von der Trainingseinheit 50 ausgegeben.
4 zeigt ferner einen prinzipiellen Ablauf der Verarbeitung, die in der zuvor beschriebenen Fahrzeugumgebungserkennungseinrichtung 10 gemäß 2a und/oder dem System 100, das in 1 gezeigt ist, ausgeführt wird. Speziell zeigt 4, dass ein optischer Sensor 2, der bevorzugt eine Monokamera ist, um die Systemkomplexität zu verringern, Bilder in einem Zeitraum/Intervall von t - n bis t aufnimmt, wobei t die aktuelle Zeit ist.
Der optischer Sensor 2 liefert (Schritt S1) die Bilder als eine Folge von Bildrahmen, wobei mehrere Bildrahmen als eine Folge eingegeben werden. Die Folge kann als eine Baugruppe/Anordnung zeitlich geordneter Bilder (die in 4 schematisch angegeben sind) betrachtet werden. Die Folge wird in die eine oder die mehreren Detektions- und Prädiktionseinheiten 11, 12 eingegeben (Schritt S2). Zuerst verwendet die Detektionseinheit 11 die Folge von Bildrahmen, die durch den optischen Sensor 2 geliefert wird, um Objekte von Interesse für das Trägerfahrzeugfahren zu detektieren. Die Objekte O1, O2 können Fußgänger, weitere Personenkraftwagen oder Lastkraftwagen, Hindernisse, Fahrbahnmarkierungen, Fahrbahngrenzen, Gebäude und dergleichen enthalten und die Detektionseinheit 11 oder ein bestimmtes Objektinformationsdatenmodell (das in der Detektionseinheit 11 oder in einer getrennten Untereinheit, die in 2a nicht dargestellt ist, enthalten sein kann) bestimmt die folgenden Objektinformationsdaten. Die Objektinformationsdaten, die durch die Detektionseinheit 11 detektiert/bestimmt werden, können Objekt-Begrenzungs-/Abgrenzungsrahmen-Koordinaten enthalten.
Der Begrenzungsrahmen B kann als ein rechteckiger Bereich/Rahmen betrachtet werden, der um das detektierte Objekt O1, O2 angeordnet ist, derart, dass das detektierte Objekt O1, O2 präzise in den Rahmen B, der bevorzugt ein zweidimensionaler Rahmen ist, der im Bildrahmen angeordnet ist, passt. Die Begrenzungsrahmenkoordinaten können die Koordinaten der oberen linken und der unteren rechten Ecke sein, die die rechteckige Form des Rahmens B vollständig definieren. Darüber hinaus können die Objektinformationsdaten den Typ des Objekts, bevorzugt die Orientierung des Objekts in Bezug auf das Koordinatensystem des optischen Sensors des Trägerfahrzeugs 1, eine Entfernung vom Objekt zum optischen Sensor oder zum Ursprung des Koordinatensystems des Trägerfahrzeugs, die Abmessung oder die Größe des detektierten Objekts und seine Geschwindigkeit enthalten.
In einer bevorzugten Alternative/Änderung kann außerdem eine Kennungsverfolgereinheit 17 in der Fahrzeugumgebungserkennungseinrichtung 10 enthalten sein, zu der die Informationen über das detektierte Objekt 01, 02 gesendet werden können, um Informationen darüber zu empfangen, ob das detektierte Objekt O1, O2 bereits vorab detektiert worden ist oder ob es neu detektiert wird. Dies wird unten genauer beschrieben.
Das Prädiktormodell 12 verwendet außerdem ein trainiertes Modell aus einem neuronalen Netz (das nicht dargestellt ist) und wendet eine Zeitreihenanalyse auf die Informationen jedes detektierten Objekts O1, O2 an, um zukünftige Objektinformationsdaten herzuleiten/abzuleiten. Die zukünftigen Objektinformationsdaten können die Begrenzungsrahmenkoordinaten, die eine oder die mehreren Orientierungen, die Entfernung, die eine oder die mehreren Abmessungen und/oder die Geschwindigkeit jedes detektierten Objekts in einem zukünftigen Zeitintervall, das sich von einer aktuellen Zeit t (oder t + Dt) zu einer zukünftigen Zeit t + k erstreckt, enthalten. Die Anzahl von Werten für sämtliche zukünftigen Objektinformationsdaten kann vordefiniert, z. B. in der Speichereinheit 7 gespeichert sein oder kann in Übereinstimmung mit der Anzahl kürzerer Zeitintervalle zwischen der Zeit t + Dt und der Zeit t + k sein.
Mit der Detektion und der Prädiktion, die durchgeführt werden, empfängt die Trägerfahrzeugausgleichseinheit 13 Daten (Schritt S3) von der Trägerfahrzeugfahrparametereinheit 46 sowie einer Verarbeitungszeitverzögerungsbestimmungseinheit 16, um die Position des Trägerfahrzeugs 1 in Bezug auf die Zeit, die zwischen der aktuellen Zeit t, zu der das letzte Bild des Zeitintervalls zwischen t - n und t aufgenommen wurde (oder die Verarbeitung begonnen hat), und dem Abschließen der Detektions- und Prädiktionsverarbeitung sowie der entsprechenden Kommunikationsvorzögerungen vergangen ist (Latenz), zu korrigieren. Die Verarbeitungszeitverzögerungsbestimmungseinheit 16 kann diese Zeit, die als „Dt“ bezeichnet wird, messen, sie kann die Zeit auf der Grundlage vorhergehender Fälle schätzen oder sie kann die Zeit berechnen, wenn entsprechende Parameterdaten verfügbar sind. Die Trägerfahrzeugfahrparametereinheit 46 liefert darüber hinaus die Ist-Lineargeschwindigkeit und das Gieren des Trägerfahrzeugs 1 zur Zeit t, auf deren Grundlage z. B. durch Extrapolation die neue Position des Trägerfahrzeugs 1 zur Zeit t + Dt ausgeglichen/korrigiert/bestimmt werden kann.
Der Ausgleich weist selbstverständlich eine Wirkung auf die Entfernungen, die durch die Detektoreinheit und die Prädiktoreinheit 11, 12 während ihrer entsprechenden Verarbeitung detektiert werden, auf. Daher werden bevorzugt die Werte auch ausgeglichen. In dieser Hinsicht soll wiederholt werden, dass die Entfernungen zwischen dem Trägerfahrzeug 1 und einem beliebigen detektierten Objekt 01, 02 durch ein getrenntes AI-/ML-Modell, d. h. getrennt vom Detektormodell oder Prädiktormodell bestimmt werden können. Das eine oder die mehreren getrennten Modelle (die nicht dargestellt sind) können Untereinheiten des Detektormodells/Prädiktormodells sein; die Modelle können Teil der Vorrichtung 10, die durch 2A gezeigt ist, sein. Die Entfernungsbestimmung kann durch das trainierte Modell auf der Grundlage der Eingabe der Bilddaten, die durch den optischen Sensor 2 geliefert werden, durchgeführt werden.
Nachdem der Trägerfahrzeugausgleich ausgeführt worden ist und mit den Daten von der Detektionseinheit und der Prädiktionseinheit 11, 12 können Bilder, die in einer Folge von Bildrahmen zwischen der Zeit t (oder der Zeit t + tD) und t + k vorgesehen sind, durch die Ausgabeeinheit 14 oder die OCG-Erzeugungseinheit 15 erzeugt werden (Schritt S4), wobei die Ausgabeeinheit 14 und die OCG-Erzeugungseinheit 15 eine einzelne Einheit sein können (was vom Aufbau, der in 2a dargestellt ist, verschieden ist). Die Erzeugung der Ausgabe, bevorzugt einer Folge von Belegungsgittern im Zeitintervall zwischen der Zeit t + Dt und t + k wird in Verbindung mit 7 und 8 unten erläutert.
Die Wirkung des Trägerfahrzeugausgleichs wird darüber hinaus durch 5, die die relative Entfernung/Position eines detektierten Objekts 01, 02 und des Trägerfahrzeugs 1 abhängig von dem Zeitpunkt, der die aktuelle Zeit t zu der Zeit ist, zu der die Bilder durch den optischen Sensor 2 aufgenommen wurden, und der Zeit t + Dt, nach der die Verarbeitung der Objektdetektion und - prädiktion abgeschlossen wurde, zeigt, schematisch beschrieben. Im Einzelnen zeigt 5 den Beispielfall, in dem das Trägerfahrzeug eine Lineargeschwindigkeit von 10 m/s besitzt und ein geparkter Personenkraftwagen 01 (dessen Geschwindigkeit 0 m/s ist) detektiert wird. Allerdings hat sich das Trägerfahrzeug 1 zur Zeit t, da die Verarbeitung der Objektdetektion usw. die Zeit Dt (die in 5 als Δt gezeigt ist) erfordert, um die Entfernung Δd von der ursprünglichen Position bewegt. Der Ausgleich berücksichtigt dies und 5 zeigt die Differenzen im Hinblick auf die relativen Entfernungen/Positionen des detektierten Objekts O1 und des Trägerfahrzeugs 1.
Darüber hinaus ist ein Beispielfluss von Daten-/Kommunikationsmustern zwischen den verschiedenen Einheiten, der beim optischen Sensor 2 startet und Bilder zum Objektdetektormodell in der Detektionseinheit 11 und zu einem Latenzschätzer, der in der Verarbeitungszeitverzögerungsbestimmungseinheit 16 enthalten ist, liefert, durch 6 gezeigt. Das Detektormodell detektiert Objekte O1, O2 in den Bildern und liefert Informationen über die detektierten Objekte zu einer Kennungsverfolgereinheit 17, die darüber hinaus Informationen über zuvor verfolgte Objekte von einer Speichereinheit (z. B. die Einheit 7 oder 5) empfängt. Auf der Grundlage der empfangenen Informationen bestimmt die Kennungsverfolgereinheit 17, ob das detektierte Objekt O1, O2 zuvor detektiert wurde und seine Informationen im Speicher gespeichert wurden. Wenn ja, kann der Kennungsverfolger die Informationen über die detektierten Objekte O1, O2 und ob sie neu detektiert wurden oder nicht zum Objektprädiktormodell in der Vorhersageeinheit 12 weiterleiten. Die Vorhersageeinheit 12 kann Informationen zum Latenzschätzer und zum Trägerfahrzeugausgleich weiterleiten. Der Latenzschätzer kann z. B. die Zeit t, zu der die Bilder in das Objektdetektormodell eingegeben wurden, und die Zeit, zu der das Objektprädiktormodell die vorhergesagten/zukünftigen Informationen ausgibt, empfangen. Die Zeitdifferenz kann für die Berechnung/Schätzung der Latenz/Zeitverzögerung, die in den Trägerfahrzeugausgleich eingegeben wird, verwendet werden.
Mit anderen Worten empfängt die Verarbeitungszeitverzögerungsbestimmungseinheit 16 Informationen von den aktuellen Bildern zur Zeit t und dem Vorhersagemodell und liefert eine Schätzung über die Verzögerungszeit/Latenz zur Trägerfahrzeugausgleichseinheit 13, die darüber hinaus mindestens Informationen über die Lineargeschwindigkeit und die Gierrate des Trägerfahrzeugs 1 zur aktuellen Zeit t empfängt. Die Ausgabe der Trägerfahrzeugausgleichseinheit 13 und der Objektvorhersagemodelleinheit 12 enthält dann zukünftige Objektinformationsdaten in einem Zeitintervall zwischen der Zeit t + Dt und der zukünftigen Zeit t + k. Auf dieser Grundlage kann, wie oben beschrieben ist, eine Folge von Bildrahmen im zukünftigen Zeitintervall zwischen t (t + Dt) und t + k, die bevorzugt Belegungsgitterkarten sind, wie unten weiter erläutert wird, erzeugt werden.
Ein Beispiel für die Belegungserzeugung ist durch 7 und 8 gezeigt. 7 zeigt ein mögliches Bild, das durch den optischen Sensor 2 des Trägerfahrzeugs 1 aufgenommen wurde. Das Bild zeigt eine Fahrbahn, die nicht weiter spezifizierte Umgebung der Fahrbahn (die in 8 auch als ein „unbekannter Bereich“ bezeichnet wird) und ein weiteres Fahrzeug (Objekt O1). Nach der Objektdetektion ist ein Begrenzungsrahmen B um das Objekt O1, das durch die Objektdetektion detektiert wurde und als „Personenkraftwagen“ identifiziert wurde, angeordnet.
Ferner sind in 7 ein Zentrum des Bilds (des Bildrahmens) P1 und ein Zentrum des Begrenzungsrahmens B (der als „P2“ markiert ist) ebenso gezeigt, wie eine virtuelle Linie, die „P1“ durchquert, und eine virtuelle Linie, die „P1“ und „P2“ verbindet, wobei in 7 die erste als L1 bezeichnet ist und die zweite als L2 bezeichnet ist. Der (Polar-)Winkel zwischen den zwei Linien L1, L2 wird detektiert. Der Winkel wird in 7 als „Theta“ identifiziert. Mit dem Begrenzungsrahmen B, der zuvor beschrieben wurde, dem Zentrum des Begrenzungsrahmens, das in 2 als „P2“ angegeben ist und z. B. in der Mitte der Unterseite des Begrenzungsrahmens B angeordnet ist, und dem Zentrum des Bildrahmens „P1“ (das z. B. die Mittenposition der Unterkante des Bildrahmens ist, wenn der optische Sensor 2 als an diesem Ort befindlich angenommen werden soll) kann der Polarwinkel, der in 7 als „Theta“ gezeigt ist, berechnet werden und auf dieser Grundlage kann der Ort des detektierten Objekts O1, O2 in einem kartesischen Koordinatensystem berechnet werden. Insbesondere können der Polarwinkel „Theta“ und die Entfernung vom Objekt O1 zum Trägerfahrzeug verwendet werden, um den Ort des Objekts 01 in kartesischen Koordinaten zu berechnen.
Auf der Grundlage der oben beschriebenen Informationen, d. h. einschließlich des Bildrahmens, des kartesischen Koordinatensystems und der Positionen des einen oder der mehreren Objekte O1, O2 kann ein Belegungsgitter (OCG) erzeugt werden. Speziell wird ein belegter Bereich eines OCG auf der Grundlage der (zukünftigen) Objektinformationsdaten, insbesondere der Orientierung, der Abmessung, der Entfernung zum Trägerfahrzeug 1 und des Begrenzungsrahmens B berechnet. Unter Verwendung des Standorts des detektierten Objekts, seiner Orientierung und seiner Abmessung kann der von diesem Objekt O1, O2 in der Belegungsgitterkarte belegte Bereich bereitgestellt werden. In 8 ist ein Beispiel zum Umwandeln eines Bilds mit den detektierten Objekten O1, O2 (8a) in ein Belegungsgitter (8b) gezeigt.
In 8a ist ersichtlich, dass ein Lastkraftwagen und ein Personenkraftwagen als die Objekte O1 und O2, die auf der detektierten Fahrbahn fahren, detektiert wurden. Das Detektionsmodell hat Begrenzungsrahmen B um die zwei Objekte O1, O2 gelegt und auf der Grundlage der weiteren (zukünftigen) Objektinformationsdaten, die oben diskutiert werden, kann eine Transformation des Bilds, das in 8a gezeigt ist, derart durchgeführt werden, dass ein Belegungsgitterkarte, die in 8b gezeigt ist, erzeugt werden kann. Jedes der Belegungsgitter vom Zeitrahmen tD + t zum Zeitrahmen t + k wird Bereiche, die durch detektierte Objekte O1, O2 belegt sind, bevorzugt in einer Vogelperspektive sowie die Fahrbahn (die als „freier (d. h. nicht blockierter) Fahrbahnraum“ markiert ist), die Umgebung der Fahrbahn (die hier als „unbekannter Bereich“ markiert ist) und wahlweise einen Teil des Trägerfahrzeugs anzeigen.
Die OCG-Folge für das Zeitintervall zwischen der Zeit t (t + Dt) und der Zeit t + k kann derart zu einer Anzeigevorrichtung im Trägerfahrzeug 1 ausgegeben werden, dass der Fahrer des Trägerfahrzeugs 1 die Informationen zum Anpassen der Fahrroute oder dergleichen verwenden kann. Zusätzlich oder alternativ kann die Ausgabe zu einer Steuereinheit des (halb)autonomen Trägerfahrzeugs 1 derart geliefert werden, dass die Steuereinheit die Fahrtroute des Trägerfahrzeugs 1 auf der Grundlage der Informationen von der einen oder den mehreren OCG-Folgen automatisch steuern kann.
Zusammenfassend werden eine Fahrzeugumgebungserkennungseinrichtung 10 und ein System 100 sowie ein in Beziehung stehendes Computerprogrammprodukt beschrieben, die eine erhöhte Zuverlässigkeit und Sicherheit bereitstellen, weil unter anderem Objektinformationen in der Zukunft vorhergesagt werden können. Diese Informationen können verwendet werden, um Kollisionen während der Navigation mit dem Trägerfahrzeug 1 oder dann, wenn das Trägerfahrzeug 1 ein autonomes Fahrzeug ist, zu vermeiden. Ferner kann die Genauigkeit der Ausgangsdaten unter anderem aufgrund des Trägerfahrzeugpositionsausgleichs verbessert werden.
Eine genaue Belegungsgitterkarte kann mit mehr Objektinformationen, die vom Modell ausgegeben werden, versehen werden und eine Folge von Belegungsgitterkarten kann erzeugt werden, wobei die belegten Bereiche der detektierten Objekte statisch oder dynamisch repräsentiert werden. Das System kann lediglich eine Monokamera oder dergleichen statt mehrerer Sensorquellen, wie im Stand der Technik beschrieben ist, verwenden.
Es sollte festgehalten werden, dass z. B. 1 und 2 ein mögliches Beispiel der Architektur der hier beschriebenen Vorrichtung 10 und des Systems 100 zeigen und z. B. die Verteilung von Untereinheiten/Einheiten verschieden sein kann. Zum Beispiel können sich einige der Untereinheiten der Fahrzeugumgebungserkennungseinrichtung 10 bei einer oder beiden der Recheneinheiten 8a, 8b befinden oder die gesamte Fahrzeugumgebungserkennungseinrichtung 10 kann sich in der einen oder den mehreren Recheneinheiten 8a, 8b befinden, während die Daten, insbesondere die Ausgangsdaten zur Steuereinrichtung 3 des Trägerfahrzeugs 1 direkt zur weiteren Verarbeitung und/oder zu einer Anzeigevorrichtung des Trägerfahrzeugs 1 geliefert werden.
Wie durch Fachleute begrüßt werden wird, kann die vorliegende Offenbarung, die hier oben und in den begleitenden Figuren beschrieben ist, als ein Verfahren (z. B. ein computerimplementierter Prozess oder ein beliebiger weiterer Prozess), eine Vorrichtung (die eine Einrichtung, eine Maschine, ein System, ein Computerprogrammprodukt und/oder eine beliebige weitere Vorrichtung enthält) oder eine Kombination des Vorhergehenden verkörpert sein.
Aspekte/Beispiele der vorliegenden Offenbarung können vollständig eine Software (die Firmware, residente Software, Mikrocode usw. enthält) oder eine Kombination von Software- und Hardware-Aspekten, die als ein „System“ bezeichnet werden kann, sein. Darüber hinaus kann die vorliegende Offenbarung die Form eines Computerprogrammprodukts in einem computerlesbaren Medium, das computerausführbaren Programmcode enthält, der im Medium verkörpert ist, annehmen.
Es sollte festgehalten werden, dass Pfeile in Zeichnungen verwendet werden können, um eine Kommunikation, eine Übertragung oder eine weitere Aktivität, die zwei oder mehr Einheiten einbezieht, zu repräsentieren. Doppelseitige Pfeile geben im Allgemeinen an, dass in beide Richtungen eine Aktivität auftreten kann (z. B. eine Anweisung/Anforderung in einer Richtung mit einer entsprechenden Antwort zurück in die andere Richtung oder Peer-to-Peer-Kommunikationen, die durch eine der beiden Einheiten initiiert werden), obwohl in einigen Situationen nicht notwendigerweise eine Aktivität in beide Richtungen auftreten muss.
Einseitige Pfeile geben im Allgemeinen eine Aktivität ausschließlich oder überwiegend in eine Richtung an, obwohl festgehalten werden sollte, dass in bestimmten Situationen eine derartige gerichtete Aktivität tatsächlich Aktivitäten in beide Richtungen umfassen kann (z. B. eine Nachricht von einem Sender zu einem Empfänger und eine Bestätigung zurück vom Empfänger zum Sender oder ein Aufbau einer Verbindung vor einer Übertragung und eine Beendigung der Verbindung nach der Übertragung). Somit ist der Typ eines Pfeils, der in einer bestimmten Zeichnung verwendet wird, um eine bestimmte Aktivität zu repräsentieren, beispielhaft und sollte nicht als einschränkend betrachtet werden.
Die vorliegende Offenbarung kann unter Bezugnahme auf Ablaufplandarstellungen und/oder Blockdiagramme von Verfahren und Vorrichtungen und unter Bezugnahme auf eine Anzahl von Beispielansichten einer graphischen Anwenderschnittstelle, die durch die Verfahren und/oder die Vorrichtungen erzeugt wird, beschrieben werden. Es versteht sich, dass jeder Block der Ablaufplandarstellungen und/oder Blockdiagramme und/oder Kombinationen von Blöcken in den Ablaufplandarstellungen und/oder Blockdiagrammen sowie die graphische Anwenderschnittstelle durch computerausführbaren Programmcode implementiert werden können.
Der computerausführbare Programmcode kann zu einem Prozessor eines allgemein verwendbaren Computers, eines Computers für einen speziellen Zweck oder einer weiteren programmierbaren Datenverarbeitungsvorrichtung geliefert werden, um eine bestimmte Maschine derart zu erstellen, dass der Programmcode, der über den Prozessor des Computers oder eine weitere programmierbare Datenverarbeitungsvorrichtung ausgeführt wird, Mittel zum Implementieren der Funktionen/Vorgänge/Ausgaben, die im Ablaufplan, in einem oder mehreren Blockdiagrammblöcken, in Figuren und/oder einer geschriebenen Beschreibung festgelegt sind, erstellt.
Der computerausführbare Programmcode kann außerdem in einem computerlesbaren Speicher gespeichert sein, der einen Computer oder eine weitere programmierbare Datenverarbeitungsvorrichtung anweisen kann, in einer bestimmten Weise zu arbeiten, derart, dass der Programmcode, der im computerlesbaren Speicher gespeichert ist, einen Herstellungsgegenstand erstellt, der Anweisungsmittel enthält, die die Funktion/den Vorgang/die Ausgabe, die im Ablaufplan, in einem oder mehreren Blockdiagrammblöcken, in Figuren und/oder einer geschriebenen Beschreibung festgelegt sind, implementieren.
Der computerausführbare Programmcode kann außerdem in einen Computer oder eine weitere Datenverarbeitungsvorrichtung geladen werden, um zu verursachen, dass eine Reihe von Operationsschritten im Computer oder in der weiteren programmierbaren Vorrichtung durchgeführt wird, um einen computerimplementierten Prozess derart zu erstellen, dass der Programmcode, der im Computer oder in der weiteren programmierbaren Vorrichtung ausgeführt wird, Schritte zum Implementieren der Funktionen/Vorgänge/Ausgaben, die im Ablaufplan, in dem einen oder den mehreren Blockdiagrammblöcken, in den Figuren und/oder in der geschriebenen Beschreibung festgelegt sind, bereitstellt. Alternativ können computerprogrammimplementierte Schritte oder Vorgänge mit bediener- oder menschenimplementierten Schritten oder Vorgängen kombiniert werden, um eine Ausführungsform der Offenbarung auszuführen.
Es sollte festgehalten werden, dass Begriffe wie z. B. „Server“ und „Prozessor“ hier verwendet werden können, um Einrichtungen zu beschreiben, die in bestimmten Aspekten der vorliegenden Offenbarung verwendet werden können, und nicht ausgelegt werden sollten, die vorliegende Offenbarung zu einem bestimmten Einrichtungstyp zu beschränken, sofern es der Kontext nicht anders erfordert. Somit kann eine Einrichtung ohne Einschränkung eine Brücke, einen Router, einen Brücke-Router (Brouter), einen Switch, einen Knoten, einen Server, einen Computer, eine Vorrichtung oder weitere Typen einer Einrichtung enthalten. Derartige Einrichtungen enthalten typischerweise eine oder mehrere Netzschnittstellen zum Kommunizieren über ein Kommunikationsnetz und einen Prozessor (z. B. ein Mikroprozessor mit einem Speicher und weitere Peripheriegeräte und/oder anwendungsspezifische Hardware), der entsprechend konfiguriert ist, um Einrichtungsfunktionen durchzuführen.
Kommunikationsnetze können im Allgemeinen öffentliche und/oder private Netze enthalten; können lokale Netze, Großraumnetze, Metropolregionsnetze, Speichernetze und/oder weitere Typen von Netzen enthalten und können Kommunikationstechniken einsetzen, die analoge Technologien, digitale Technologien, optische Technologien, Drahtlostechnologien (z. B. Bluetooth), Netztechnologien und Internettechnologien enthalten, jedoch nicht darauf beschränkt sind.
Es sollte außerdem festgehalten werden, dass Einrichtungen Kommunikationsprotokolle und Nachrichten (z. B. Nachrichten, die durch die Einrichtung erstellt, gesendet, empfangen, gespeichert und/oder verarbeitet werden) verwenden können und derartige Nachrichten durch ein Kommunikationsnetz oder ein Kommunikationsmedium übermittelt werden können.
Sofern es der Kontext nicht anders erfordert, sollte die vorliegende Offenbarung nicht auf einen bestimmten Kommunikationsnachrichtentyp, ein bestimmtes Kommunikationsnachrichtenformat oder ein bestimmtes Kommunikationsprotokoll eingeschränkt ausgelegt werden. Somit kann eine Kommunikationsnachricht im Allgemeinen ohne Beschränkung einen Rahmen, ein Paket, ein Datagramm, ein Anwenderdatagramm, eine Zelle oder einen weiteren Typ einer Kommunikationsnachricht enthalten.
Sofern es der Kontext nicht anders erfordert, sind Bezüge auf bestimmte Kommunikationsprotokolle beispielhaft und es versteht sich, dass Alternativen, wie jeweils anwendbar ist, Variationen derartiger Kommunikationsprotokolle (z. B. Änderungen oder Erweiterungen des Protokolls, die von Zeit zu Zeit gemacht werden können) oder weitere Protokolle, die entweder bekannt sind oder in der Zukunft entwickelt werden, einsetzen können.
Es sollte außerdem festgehalten werden, dass Logikabläufe hier beschrieben werden können, um verschiedene Aspekte der Offenbarung zu zeigen, und nicht ausgelegt werden sollten, die vorliegende Offenbarung auf einen bestimmten Logikablauf oder eine bestimmte Logikimplementierung einzuschränken. Die beschriebene Logik kann in verschiedene Logikblöcke (z. B. Programme, Module, Funktionen oder Unterroutinen) unterteilt werden, ohne die Gesamtergebnisse zu ändern oder auf andere Weise vom wahren Umfang der Offenbarung abzuweichen.
Häufig können Logikelemente hinzugefügt, geändert, ausgelassen, in einer verschiedenen Reihenfolge durchgeführt oder unter Verwendung verschiedener Logikkonstrukte (z. B. Logikgatter, Schleifengrundelemente, bedingte Logik und weitere Logikkonstrukte) implementiert werden, ohne die Gesamtergebnisse zu ändern oder auf andere Weise vom Umfang der Offenbarung abzuweichen.
Die vorliegende Offenbarung kann in vielen verschiedenen Formen verkörpert werden, die eine Graphikverarbeitungseinheit sowie eine Computerprogrammlogik zur Verwendung mit einem Prozessor (z. B. ein Mikroprozessor, ein Mikrocontroller, ein digitaler Signalprozessor oder ein allgemein verwendbarer Computer), eine programmierbare Logik zur Verwendung mit einer programmierbaren Logikeinrichtung (z. B. eine feldprogrammierbare Gate-Anordnung (FPGA) oder eine weitere PLD), diskrete Komponenten, eine integrierte Schaltungsanordnung (z. B. eine anwendungsspezifische integrierte Schaltung (ASIC)) oder beliebige weitere Mittel einschließlich einer beliebigen Kombination davon enthalten, jedoch nicht darauf beschränkt sind. Eine Computerprogrammlogik, die einen Teil der oder die gesamte beschriebene Funktionalität implementiert, ist typischerweise als ein Satz von Computerprogrammanweisungen implementiert, der in eine computerausführbare Form umgesetzt wird, als solcher in einem computerlesbaren Medium gespeichert wird und durch einen Mikroprozessor unter der Steuerung eines Betriebssystems ausgeführt wird. Eine hardwarebasierte Logik, die einen Teil der oder die gesamte beschriebene Funktionalität implementiert, kann unter Verwendung einer oder mehrerer geeignet konfigurierter FPGAs implementiert werden.
Eine Computerprogrammlogik, die die gesamte oder einen Teil der Funktionalität, die zuvor hier beschrieben wurde, implementiert, kann in verschiedenen Formen verkörpert werden, die eine Quellcodeform, eine computerausführbare Form und verschiedene Zwischenformen (z. B. Formen, die durch einen Assembler, einen Kompilierer, einen Linker oder einen Locator erzeugt werden) enthalten, jedoch nicht darauf beschränkt sind.
Quellcode kann eine Reihe von Computerprogrammanweisungen enthalten, die in einer beliebigen von verschiedenen Programmiersprachen (z. B. ein Objektcode, eine Assemblersprache oder eine Hochsprache wie z. B. Fortran, Python, C, C++, JAVA, JavaScript oder HTML) zur Verwendung mit verschiedenen Betriebssystemen oder Betriebsumgebungen implementiert sind. Der Quellcode kann verschiedene Datenstrukturen und Kommunikationsnachrichten definieren und verwenden. Der Quellcode kann in einer computerausführbaren Form (z. B. durch einen Interpreter) vorliegen oder der Quellcode kann (z. B. über einen Translator, einen Assembler oder einen Kompilierer) in eine computerausführbare Form umgewandelt werden.
Computerausführbarer Programmcode zum Ausführen von Operationen von Ausführungsformen der vorliegenden Ausführungsform kann in einer objektorientierten, skriptbasierten oder nicht skriptbasierten Programmiersprache wie z. B. Java, Perl, Smalltalk, C++ oder dergleichen geschrieben sein. Allerdings kann der Computerprogrammcode zum Ausführen von Operationen von Aspekten der vorliegenden Offenbarung außerdem in herkömmlichen prozeduralen Programmiersprachen wie z. B. die „C“-Programmiersprache oder ähnliche Programmiersprachen geschrieben sein.
Eine Computerprogrammlogik, die die gesamte oder einen Teil der Funktionalität, die zuvor hier beschrieben wurde, implementiert, kann zu verschiedenen Zeiten in einem einzelnen Prozessor (z. B. zeitlich überlappend) ausgeführt werden oder kann zur gleichen Zeit oder zu verschiedenen Zeiten auf mehreren Prozessoren ausgeführt werden und kann unter einem einzelnen Betriebssystem-Prozess/Thread oder unter verschiedenen Betriebssystem-Prozessen/Threads laufen.
Somit bezieht sich der Begriff „Computerprozess“ im Allgemeinen auf die Ausführung eines Satzes Computerprogrammanweisungen, ungeachtet dessen, ob verschiedene Computerprozesse in denselben oder verschiedenen Prozessoren ausgeführt werden, und ungeachtet dessen, ob verschiedene Computerprozesse unter demselben Betriebssystem-Prozess/-Thread oder verschiedenen Betriebssystem-Prozessen/-Threads laufen.
Das Computerprogramm kann in einer beliebigen Form festgehalten sein (z. B. Quellcodeform, computerausführbare Form oder eine Zwischenform), entweder permanent oder transitorisch in einem materiellen Speichermedium wie z. B. einer Halbleiterspeichereinrichtung (z. B. ein RAM, ein ROM, ein PROM, ein EEPROM oder ein flash-programmierbarerer RAM), einer magnetischen Speichereinrichtung (z. B. eine Diskette oder eine Festplatte), einer optischen Speichereinrichtung (z. B. eine CD-ROM), einer PC-Karte (z. B. eine PCMCIA-Karte) oder einer weiteren Speichereinrichtung.
Das Computerprogramm kann in einer beliebigen Form in einem Signal festgehalten sein, das unter Verwendung einer beliebigen von verschiedenen Kommunikationstechniken, die analoge Technologien, digitale Technologien, optische Technologien, Drahtlostechnologien (z. B. Bluetooth), Netztechnologien und Internettechnologien enthalten, jedoch nicht darauf beschränkt sind, zu einem Computer gesendet werden kann.
Das Computerprogramm kann in einer beliebigen Form als ein entnehmbares Speichermedium mit begleitender gedruckter oder elektronischer Dokumentation (z. B. eingeschrumpfte Software) verteilt werden, in einem Computersystem (z. B. in einem System-ROM oder einer Festplatte) vorgeladen sein oder von einem Server oder einer elektronischen Pinnwand über das Kommunikationssystem (z. B. das Internet oder das weltweite Netz) verteilt werden.
Hardware-Logik (die programmierbare Logik zur Verwendung mit einer programmierbaren Logikeinrichtung enthält), die die gesamte oder einen Teil der Funktionalität, die hier zuvor beschrieben wurde, implementiert, kann unter Verwendung traditioneller manueller Verfahren entworfen werden oder kann elektronisch unter Verwendung verschiedener Werkzeuge wie z. B. computergestützten Entwurfs (CAD), einer Hardware-Beschreibungssprache (z. B. VHDL oder AHDL) oder einer PLD-Programmiersprache (z. B. PALASM, ABEL oder CUPL) entworfen, aufgenommen, simuliert oder dokumentiert werden.
Ein beliebiges geeignetes computerlesbares Medium kann verwendet werden. Das computerlesbare Medium kann z. B. ein Elektronik-, Magnet-, Optik-, Elektromagnet-, Infrarot- oder Halbleiter-System, eine entsprechende Vorrichtung, eine entsprechende Einrichtung oder ein entsprechendes Medium sein, ohne jedoch darauf beschränkt zu sein.
Spezifischere Beispiele des computerlesbaren Mediums enthalten eine elektrische Verbindung, die einen oder mehrere Drähte besitzt, oder ein weiteres materielles Speichermedium wie z. B. eine tragbare Computerdiskette, eine Festplatte, einen Schreib-/Lese-Speicher (RAM), einen schreibgeschützten Speicher (ROM), einen löschbaren programmierbaren schreibgeschützten Speicher (EPROM oder Flash-Speicher), einen kompakten Datenträger mit schreibgeschütztem Speicher (CD-ROM) oder eine weitere optische oder magnetische Speichereinrichtung, sind jedoch nicht darauf beschränkt.
Eine programmierbare Logik kann entweder permanent oder transitorisch in einem materiellen Speichermedium wie z. B. einer Halbleiterspeichereinrichtung (z. B. ein RAM, ein ROM, ein PROM, ein EEPROM oder ein programmierbarer Flash-RAM), einer Magnetspeichereinrichtung (z. B. eine Diskette oder eine Festplatte), einer optischen Speichereinrichtung (z. B. eine CD-ROM) oder einer weiteren Speichereinrichtung festgehalten sein.
Die programmierbare Logik kann in einem Signal festgehalten sein, das unter Verwendung einer beliebigen von verschiedenen Kommunikationstechniken, die analoge Technologien, digitale Technologien, optische Technologien, Drahtlostechnologien (z. B. Bluetooth), Netztechnologien und Internettechnologien enthalten, jedoch nicht darauf beschränkt sind, zu einem Computer gesendet werden kann.
Die programmierbare Logik kann als ein entnehmbares Speichermedium mit begleitender gedruckter oder elektronischer Dokumentation (z. B. eingeschrumpfte Software) verteilt werden, in einem Computersystem (z. B. in einem System-ROM oder einer Festplatte) vorgeladen sein oder von einem Server oder einer elektronischen Pinnwand über das Kommunikationssystem (z. B. das Internet oder das weltweite Netz) verteilt werden. Selbstverständlich können einige Ausführungsformen der Offenbarung als eine Kombination sowohl von Software (z. B. ein Computerprogrammprodukt) als auch Hardware implementiert werden. Nochmals weitere Aspekte der vorliegenden Offenbarung sind vollständig als Hardware oder vollständig als Software implementiert.
Während bestimmte beispielhafte Aspekte in den begleitenden Zeichnungen beschrieben und gezeigt worden sind, versteht sich, dass derartige Ausführungsformen lediglich die breite Offenbarung veranschaulichend und sie nicht einschränkend sind und dass die Aspekte der vorliegenden Offenbarung nicht auf die spezifischen Konstruktionen und Anordnungen, die gezeigt und beschrieben werden, beschränkt sind, da verschiedene weitere Änderungen, Kombinationen, Auslassungen, Änderungen und Ersetzungen zusätzlich zu denen, die in den oben beschriebenen Absätzen dargelegt sind, möglich sind.
Fachleute werden begrüßen, dass verschiedene Anpassungen, Änderungen und/oder Kombinationen der gerade beschriebenen Aspekte und Beispiele konfiguriert werden können. Deshalb versteht sich, dass im Umfang der beigefügten Ansprüche die Offenbarung anders als hier speziell beschrieben praktiziert werden kann. Zum Beispiel können, sofern es nicht ausdrücklich anders angegeben ist, die Schritte von Prozessen, die hier beschrieben werden, in Reihenfolgen durchgeführt werden, die von denen, die hier beschrieben werden, verschieden sind, und ein oder mehrere Schritte können kombiniert, geteilt oder gleichzeitig durchgeführt werden. Fachleute werden außerdem begrüßen, dass, im Hinblick auf die Offenbarung verschiedene Aspekte oder Beispiele der Offenbarung, die hier beschrieben ist, kombiniert werden können, um weitere Aspekte oder Beispiele der Offenbarung zu bilden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019/0317519 A1 [0004]
WO 2019/177562 A1 [0005]

Claims

Fahrzeugumgebungserkennungseinrichtung für ein Trägerfahrzeug (1), das einen optischen Sensor (2) enthält, der mit der Fahrzeugumgebungserkennungseinrichtung (10) kommunikationstechnisch verbunden ist, wobei die Fahrzeugumgebungserkennungseinrichtung (10) konfiguriert ist zum Empfangen von Bilddaten vom optischen Sensor (2), der am Trägerfahrzeug (1) montiert ist, zu einer aktuellen Zeit t; Detektieren eines oder mehrerer Objekte (O1, O2) in den Bilddaten; Bestimmen mindestens der Entfernung zum Trägerfahrzeug (1) und der Geschwindigkeit des einen oder der mehreren detektierten Objekte (O1, O2) zur Zeit t; Vorhersagen mindestens einer zukünftigen Entfernung zum Trägerfahrzeug (1) des einen oder der mehreren detektierten Objekte (O1, O2) in einem vordefinierten Zeitintervall von der Zeit t zu einer zukünftigen Zeit t + k; Ausgleichen der Position des Trägerfahrzeug (1) auf der Grundlage einer Verarbeitungszeitverzögerung Dt zur Zeit t + Dt und Ausgeben einer Folge von Bilddaten, die mindestens die zukünftige Entfernung zwischen dem Trägerfahrzeug (1) und dem einen oder den mehreren detektierten Objekten (O1, O2) im Intervall von der Zeit t + Dt zur Zeit t + k enthält.
Vorrichtung nach Anspruch 1, die Folgendes umfasst: - eine Detektionseinheit (11), die mindestens mit dem optischen Sensor (2) des Trägerfahrzeugs (1) und einer Vorhersageeinheit (12) kommunikationstechnisch verbunden ist; - die Vorhersageeinheit (12), die mindestens mit der Detektionseinheit (11) und einer Trägerfahrzeugausgleichseinheit (13) kommunikationstechnisch verbunden ist; - die Trägerfahrzeugausgleichseinheit (13), die mindestens mit einer Verarbeitungszeitverzögerungsbestimmungseinheit (16), einer Trägerfahrzeugfahrparametereinheit (46), der Vorhersageeinheit (12) und einer Ausgabebilddateneinheit (14) kommunikationstechnisch verbunden ist; und - die Ausgabebilddateneinheit (14); wobei die Detektionseinheit (11) konfiguriert ist, die Bilddaten vom optischen Sensor (2) zu einer aktuellen Zeit t zu empfangen, ein oder mehrere Objekte (O1, O2) in den Bilddaten zu detektieren und Objektinformationsdaten über das eine oder die mehreren detektierten Objekte (O1, O2) zur Vorhersageeinheit (12) auszugeben, wobei die Objektinformationsdaten jedes des einen oder der mehreren detektierten Objekte (O1, O2) mindestens die Entfernung zum Trägerfahrzeug (1) und die Geschwindigkeit zur aktuellen Zeit t enthalten; die Vorhersageeinheit (12) konfiguriert ist, mindestens auf der Grundlage der Objektinformationsdaten, die von der Detektionseinheit (11) empfangen wurden, zukünftige Objektinformationsdaten über das eine oder die mehreren detektierten Objekte (O1, O2) vorherzusagen, wobei die zukünftigen Objektinformationsdaten jedes des einen oder der mehreren detektierten Objekte (O1, O2) mindestens zukünftige Entfernungswerte zum Trägerfahrzeug (1) zwischen der aktuellen Zeit t und einer zukünftigen Zeit t + k enthalten; die Trägerfahrzeugausgleichseinheit (13) konfiguriert ist, die Position des Trägerfahrzeugs (1) zu einer Zeit t + Dt auf der Grundlage von Trägerfahrzeugfahrdaten, die von der Trägerfahrzeugfahrparametereinheit (46) empfangen wurden, und der Verarbeitungszeitverzögerung Dt, die von der Verarbeitungszeitverzögerungsbestimmungseinheit (16) empfangen wurde, zu korrigieren; und die Ausgabebilddateneinheit (14) konfiguriert ist, die korrigierte Position des Trägerfahrzeugs (1) zur Zeit t + Dt, die Objektinformationsdaten, die durch die Detektionseinheit (11) ausgegeben wurden, und die zukünftigen Objektinformationsdaten, die durch die Vorhersageeinheit (12) ausgegeben wurden, zu empfangen und eine Folge von Bilddaten in einem Zeitintervall von der Zeit t + Dt zur Zeit t + k zu erzeugen.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei die Bilddaten, die durch die Detektionseinheit (11) zur aktuellen Zeit t empfangen werden, eine Folge von Bildrahmen, die mehrere Rahmen von einer vergangenen Zeit t - n zur aktuellen Zeit t enthalten, enthält.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei die Objektdetektion ein trainiertes Modell für maschinelles Lernen und/oder ein trainiertes Modell für künstliche Intelligenz zum Detektieren eines Objekts verwendet und das Modell für maschinelles Lernen und/oder das Modell für künstliche Intelligenz trainiert ist, als die Objektinformationsdaten für jedes detektierte Objekt (O1, O2) den Typ des detektierten Objekts (O1, O2), die Orientierung des detektierten Objekts (O1, O2) in Bezug auf ein trägerfahrzeugbasiertes Koordinatensystem, einen Begrenzungsrahmen des detektierten Objekts (O1, O2) und der Koordinaten im trägerfahrzeugbasierten Koordinatensystem, die Abmessungen des detektierten Objekts (O1, O2), die Entfernung zum Trägerfahrzeug (1) und die Geschwindigkeit des detektierten Objekts (O1, O2) zu bestimmen.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei die Vorhersage ein trainiertes Modell für maschinelles Lernen und/oder ein trainiertes Modell für künstliche Intelligenz zum Durchführen einer Zeitreihenanalyse zum Vorhersagen der zukünftigen Informationsdaten verwendet und das Modell für maschinelles Lernen und/oder das Modell für künstliche Intelligenz trainiert ist, als die zukünftigen Objektinformationsdaten für jedes detektierte Objekt (O1, O2) und für eine Folge von Bildrahmen in einem Zeitintervall zwischen der aktuellen Zeit t + Dt und einer zukünftigen Zeit t + k die Orientierung des detektierten Objekts (O1, O2) in Bezug auf ein trägerfahrzeugbasiertes Koordinatensystem, einen Begrenzungsrahmen des detektierten Objekts (O1, O2) und der Koordinaten im trägerfahrzeugbasierten Koordinatensystem, die Abmessungen des detektierten Objekts (O1, O2), die Entfernung zum Trägerfahrzeug (1) und die Geschwindigkeit des detektierten Objekts (O1, O2) zu bestimmen.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche 4 bis 5, wobei das Modell für maschinelles Lernen und/oder das Modell für künstliche Intelligenz ein neuronales Faltungsnetz zur Detektion und ein rekurrentes neuronales Netz zur Prädiktion enthält.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei die Detektion der Entfernung jedes detektierten Objekts (O1, O2) zum Trägerfahrzeug (1) zu einer aktuellen Zeit t durch einen getrennten Schritt durchgeführt wird, der ein Modell für maschinelles Lernen und/oder ein Modell für künstliche Intelligenz verwendet, das zum Bestimmen der Entfernung aus den Eingangsbilddaten, die vom optischen Sensor (2) des Trägerfahrzeugs (1) zur aktuellen Zeit t empfangen wurden, trainiert ist, wobei die empfangenen Eingangsbilddaten eine Folge von Bildrahmen mit Rahmen von einer Zeit t - n zur aktuellen Zeit t enthalten.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei die Daten, die mit der Objektdetektion und der Prädiktion in Beziehung stehen, und die ausgeglichenen Trägerfahrzeugfahrdaten in jedem Bildrahmen einer Folge von Bildrahmen in einem Zeitintervall von der Zeit t + Dt zur zukünftigen Zeit t + k zusammengeführt werden und jedes Bild jedes Bildrahmens im Zeitintervall von der Zeit t + Dt zur zukünftigen Zeit t + k in ein Belegungsgitter der Umgebung des Trägerfahrzeugs (1) transformiert wird.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei eine Folge von Belegungsgitterbildrahmen in einem Zeitintervall von der Zeit t + Dt zur zukünftigen Zeit t + k ausgegeben wird.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei der Ausgleich Informationen über die Verarbeitungsverzögerungszeit Dt, die durch die Detektions- und die Prädiktionsverarbeitung und die Kommunikationsverzögerung verursacht wird, und über die Ist-Geschwindigkeit und die Gierrate des Trägerfahrzeugs (1) zur Zeit t empfängt und eine korrekte Position des Trägerfahrzeugs (1) zu einer Zeit t + Dt bestimmt.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, die ferner eine Kennungsverfolgereinheit (17) enthält, die mit einer Speichereinheit (5, 7), die Daten zuvor detektierter Objekte (O1, O2) speichert, kommunikationstechnisch verbunden ist, wobei die Kennungsverfolgereinheit (17) konfiguriert ist, für jedes der detektierten Objekte (O1, O2) zu bestimmen, ob das Objekt ein neu detektiertes Objekt oder ein zuvor detektiertes Objekt ist, und die Objektprädiktion konfiguriert ist, von der Kennungsverfolgereinheit (17) Informationen über das detektierte Objekt (O1, O2), das ein neu detektiertes Objekt oder ein verfolgtes zuvor detektiertes Objekt ist, zu empfangen.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei die Vorrichtung ferner ein Computerprogrammprodukt ist, das computerlesbare Anweisungen umfasst, die in einem Computersystem ausführbar sind, das eine oder mehrere Recheneinheiten (3, 8a, 8b) enthält.
Vorrichtung nach mindestens einem der vorhergehenden Ansprüche, wobei ferner die Einheiten der Fahrzeugumgebungserkennungseinrichtung 10 und eine Steuereinrichtung (4) des Trägerfahrzeugs (1) über Hardware- und/oder Software-Signalkommunikationskanäle kommunikationstechnisch verbunden sind und die Recheneinheit (3) des Trägerfahrzeugs (1) und sich entfernt befindende Recheneinheiten (8a, 8b) über ein oder mehrere Netze (6) kommunikationstechnisch verbunden sind.
System, das einen optischen Sensor (2) und ein Trägerfahrzeug (1) mit einer Fahrzeugumgebungserkennungseinrichtung (10) nach mindestens einem der vorhergehenden Ansprüche enthält.