-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft im Allgemeinen Fahrzeug-zu-Fahrzeug-Kommunikation und insbesondere die fahrzeugübergreifende Zusammenarbeit zur Selbsthöhenschätzung von Fahrzeugen.
-
ALLGEMEINER STAND DER TECHNIK
-
Fahrzeuge durchqueren oft Strecken, die Höheneinschränkungen aufweisen, wie zum Beispiel Unterführungen, Tunnel und Parkstrukturen usw. Die Höhe eines Fahrzeugs kann jedoch dynamisch sein. Zum Beispiel kann ein Bediener Objekte wie zum Beispiel ein Fahrrad oder einen Gepäckträger an dem Fahrzeug anbringen oder einen Anhänger an dem Fahrzeug anbringen. Bei derartigen Szenarien kann der Bediener vergessen, dass das Fahrzeug höher als normalerweise ist (oder kennt unter Umständen die Höhe des Fahrzeugs von vornherein nicht). Fahrzeuge und stationäre Infrastrukturobjekte beinhalten zunehmend Kameras und andere Sensoren (wie etwa LiDAR usw.) und sind dazu in der Lage, durch fahrzeugübergreifende Kommunikation mit Fahrzeugen zu kommunizieren. Dieses fahrzeugübergreifende Kommunikationsnetzwerk wird mitunter als Fahrzeug-zu-Fahrzeug-(vehicle-to-vehicle - V2V-)Kommunikation und Fahrzeug-zu-Infrastruktur-(V2I-) Kommunikation bezeichnet (mitunter übergreifend als V2X-Kommunikation bezeichnet).
-
KURZDARSTELLUNG
-
Die beigefügten Ansprüche definieren diese Anmeldung. Die vorliegende Offenbarung fasst Aspekte der Ausführungsformen zusammen und sollte nicht zum Einschränken der Ansprüche verwendet werden. Andere Umsetzungen werden in Übereinstimmung mit den hier beschriebenen Techniken in Betracht gezogen, wie dem Durchschnittsfachmann bei der Durchsicht der folgenden Zeichnungen und detaillierten Beschreibung ersichtlich wird, und es ist beabsichtigt, dass diese Umsetzungen innerhalb des Schutzumfangs dieser Anmeldung liegen.
-
Es sind beispielhafte Ausführungsformen für eine fahrzeugübergreifende Zusammenarbeit zur Selbsthöhenschätzung von Fahrzeugen offenbart. Ein beispielhaftes Fahrzeug beinhaltet ein fahrzeugübergreifendes Kommunikationsmodul und ein Karosseriesteuermodul. Das Karosseriesteuermodul überträgt eine Anforderung von Bildern über das fahrzeugübergreifende Kommunikationsmodul. Das Karosseriesteuermodul führt auch semantische Segmentierung an den Bildern durch, erzeugt ein zusammengesetztes Bild des Fahrzeugs auf Grundlage der segmentierten Bilder und erzeugt eine dreidimensionale Darstellung des Fahrzeugs auf Grundlage des zusammengesetzten Bildes. Unter Verwendung der dreidimensionalen Darstellung bestimmt das Karosseriesteuermodul eine Höhe des Fahrzeugs und steuert das Fahrzeug auf Grundlage der Höhe, um Hindernisse zu meiden.
-
Ein beispielhaftes Verfahren beinhaltet das Übertragen einer Anforderung von Bildern über ein fahrzeugübergreifendes Kommunikationsmodul. Das beispielhafte Verfahren beinhaltet auch das Durchführen von semantischer Segmentierung an den als Reaktion auf die übertragene Anforderung empfangenen Bildern, Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder und Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage des zusammengesetzten Bildes. Zusätzlich beinhaltet das beispielhafte Verfahren das Verwenden der dreidimensionalen Darstellung, Bestimmen einer Höhe des Fahrzeugs und autonome Steuern des Fahrzeugs, um Infrastruktur zu meiden, die niedrigere Freiraumanforderungen als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
-
Figurenliste
-
Zum besseren Verständnis der Erfindung kann auf Ausführungsformen Bezug genommen werden, die in den folgenden Zeichnungen gezeigt sind. Die Komponenten in den Zeichnungen sind nicht zwingend maßstabsgetreu und zugehörige Elemente können weggelassen sein oder in einigen Fällen können Proportionen vergrößert dargestellt sein, um so die hier beschriebenen neuartigen Merkmale hervorzuheben und deutlich zu veranschaulichen. Darüber hinaus können Systemkomponenten verschiedenartig angeordnet sein, wie im Fach bekannt. Ferner sind in den Zeichnungen entsprechende Teile in den verschiedenen Ansichten durch gleiche Bezugszeichen gekennzeichnet.
- 1 veranschaulicht ein Fahrzeug, das gemäß den Lehren dieser Offenbarung betrieben wird.
- 2 veranschaulicht eine virtuelle Kamera, die eine Höhe des Fahrzeugs aus 1 schätzt.
- 3 ist ein Blockdiagramm elektronischer Komponenten des Fahrzeugs aus 1.
- 4 ist ein Ablaufdiagramm eines Verfahrens zum Schätzen einer Höhe des Fahrzeugs unter Verwendung von über fahrzeugübergreifende Kommunikation empfangenen Bildern, das durch die elektronischen Komponenten aus 3 umgesetzt werden kann.
-
DETAILLIERTE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
-
Wenngleich die Erfindung in verschiedenen Formen ausgeführt werden kann, sind in den Zeichnungen einige beispielhafte und nicht einschränkende Ausführungsformen gezeigt und nachfolgend beschrieben, wobei es sich versteht, dass die vorliegende Offenbarung als Veranschaulichung der Erfindung anzusehen ist und damit nicht beabsichtigt wird, die Erfindung auf die konkreten dargestellten Ausführungsformen zu beschränken.
-
Um Strecken zu planen, verwendet ein Fahrzeug Informationen in Bezug auf Höheneinschränkungen entlang der Strecke und Höheninformationen in Bezug auf das Fahrzeug. Ein Fahrzeug erfasst bevorstehende Strukturen mit Höheneinschränkungen unter Anwendung von Techniken wie zum Beispiel Bild-/Sensoranalyse von Kameras und/oder Reichweitenerfassungssensoren (z. B. Radar, LiDAR, Ultraschallsensoren usw.), Koordinaten von (einer) geographischen Datenbank(en) und einem globalen Positionierungssystem (GPS) und/oder durch Empfangen von Höheninformationen über bevorstehende Strukturen über fahrzeugübergreifende Kommunikation usw. Das Bestimmen einer Höhe des Fahrzeugs ist ebenfalls wichtig. Jedoch basieren Techniken zum Bestimmen der Höhe des Fahrzeugs oft darauf, dass der Fahrer relevante Informationen liefert. Der Fahrer kann über falsche Informationen verfügen oder kann vergessen, dass sich die Höhe des Fahrzeugs durch eine Handlung geändert hat. Zum Beispiel kann der Fahrer vergessen, nach dem Anbringen eines Gepäckträgers auf dem Fahrzeug Informationen in das Fahrzeug einzugeben.
-
Fahrzeuge und Infrastrukturobjekte (z. B. Ampeln, Brücken, Polizeiüberwachungseinheiten, Laternenpfähle usw.) beinhalten zunehmend fahrzeugübergreifende Kommunikationsmodule, die eine Kommunikation zwischen Fahrzeugen, Infrastruktur und Fußgängern erleichtern. Diese Fahrzeuge und Infrastrukturobjekte beinhalten und/oder weisen zunehmend Hilfsleistungen durch Drittanbieter für Kameras (z. B. Farbkameras, monochrome Kameras, Laufzeitkameras, Stereokameras, monokulare Kameras usw.) und andere Sensoren (z. B. LiDAR usw.) auf, die zum Aufnehmen von Bildern von nahegelegenen Objekten und Fahrzeugen zur Verfügung stehen.
-
Wie nachfolgend erörtert, überträgt von Zeit zu Zeit (z. B. periodisch, als Reaktion auf ein Ereignis usw.) ein Fahrzeug (manchmal als ein „Host-Fahrzeug“ bezeichnet) eine Anforderung von Bildern und Sensordaten (z. B. Radardaten, LiDAR-Daten, Ultraschallsensordaten usw.) von anderen Fahrzeugen (manchmal als „Zielfahrzeuge“ bezeichnet) und/oder Infrastrukturmodulen mit ermöglichter fahrzeugübergreifender Kommunikation (manchmal als „straßenseitige Einheiten“ bezeichnet) in der Nähe unter Verwendung eines fahrzeugübergreifenden Kommunikationsmoduls (manchmal als ein „Fahrzeug-an-Fahrzeug-(V2V-)Modul oder ein „Modul für dedizierte Nahbereichskommunikation (dedicated short range communication - DSRC“ bezeichnet). Die Anforderung beinhaltet Informationen, die den Zielfahrzeugen das Lokalisieren und/oder Identifizieren des Host-Fahrzeugs vereinfacht, sodass das Zielfahrzeug ein oder mehrere Bilder des Host-Fahrzeugs erfassen kann. Zum Beispiel kann die Anforderung die Position, die Fahrtrichtung, die Geschwindigkeit, die Farbe und/oder das Modell des Host-Fahrzeugs usw. beinhalten. Als ein anderes Beispiel kann die Anforderung ein Bild oder einen Satz an Merkmalspunkten von einem oder mehreren Abschnitten des Fahrzeugs beinhalten, um die Zielfahrzeuge zu vereinfachen. Das Host-Fahrzeug empfängt die Bilder und die Sensordaten von den Zielfahrzeugen. Während die Bilder empfangen werden, führt das Host-Fahrzeug semantische Segmentierung durch, um unterschiedliche Objekte (z. B. das Host-Fahrzeug) und/oder Teile von Objekten (z. B. Objekte, die an dem Host-Fahrzeug angebracht sind) in den Bildern zu identifizieren und erzeugt progressiv ein zusammengesetztes Bild des Fahrzeugs unter Anwendung eines Vorgangs des dreidimensionalen Motiv-Stitchings wie etwa einer Struktur-aus-Bewegung-Technik und/oder Sensorfusion. Unter Verwendung der Segmentierungsinformationen, des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher gespeichert ist, erzeugt das Fahrzeug eine dreidimensionale Punktwolke des Fahrzeugs und eines beliebigen Objekts, das an dem Fahrzeug angebracht ist. Sensorfusion kombiniert Sensordaten (z. B. dreidimensionale Sensordaten wie zum Beispiel von Radar, LiDAR, Ultraschallsensoren usw.), die von den Zielfahrzeugen empfangen werden, um die dreidimensionale Struktur des Host-Fahrzeugs weiter zu definieren. Unter Verwendung einer virtuellen Kamera zum Beobachten der Punktwolke schätzt das Fahrzeug die Höhe des Fahrzeugs auf Grundlage des Beobachtungswinkels und des simulierten Standortes der virtuellen Kamera. In einigen Beispielen basiert der Vorgang des Schätzens der Höhe des Fahrzeugs auf Beobachtungen mehrerer virtueller Kameras. Zusätzlich können in einigen Beispielen andere Abmessungen des Fahrzeugs mit anderen simulierten Standorten von virtuellen Kameras geschätzt werden.
-
Das Fahrzeug überwacht den Bereich um das Fahrzeug herum auf Infrastruktur, die einen niedrigeren Freiraum als die geschätzte Höhe des Fahrzeugs aufweist. Das Hindernis kann sich in der unmittelbaren Nähe des Fahrzeugs befinden oder kann sich entlang der aktuell geplanten Strecke des Fahrzeugs befinden. Wenn das Fahrzeug ein Problem erfasst, agiert es, um das Problem zu verbessern. In einigen Beispielen stellt das Fahrzeug dem Fahrzeugführer eine Warnung bereit. Alternativ oder zusätzlich berechnet das Fahrzeug in einigen Beispielen die Strecke des Fahrzeugs neu. In einigen Beispielen agiert das Fahrzeug autonom, um zu verhindern, dass das Fahrzeug auf die Infrastruktur trifft, die den niedrigeren Freiraum als die geschätzte Höhe des Fahrzeugs aufweist.
-
1 veranschaulicht ein Host-Fahrzeug 100, das gemäß dieser Offenbarung betrieben wird. Bei dem Host-Fahrzeug 100 kann es sich um ein standardmäßiges benzinbetriebenes Fahrzeug, ein Hybridfahrzeug, ein Elektrofahrzeug, ein Brennstoffzellenfahrzeug und/oder einen Fahrzeugtyp mit beliebiger anderer Antriebsart handeln. Das Host-Fahrzeug 100 kann eine beliebige Art von Kraftfahrzeug wie etwa ein Auto, ein Truck, ein Sattelschlepper oder ein Motorrad usw. sein. Zusätzlich schleppt das Host-Fahrzeug 100 in einigen Beispielen einen Anhänger (der, wie nachstehend erörtert, als ein Teil des Host-Fahrzeugs 100 behandelt werden kann), der zum Beispiel andere Objekte wie etwa Boote, Pferde, Rasenausrüstung usw. beinhalten kann. Das Host-Fahrzeug 100 beinhaltet Teile, die mit Mobilität in Verbindung stehen, wie etwa einen Antriebsstrang mit einem Verbrennungsmotor, ein Getriebe, eine Aufhängung, eine Antriebswelle und/oder Räder usw. Das Host-Fahrzeug 100 kann nichtautonom, halbautonom (z. B. werden einige routinemäßige Fahrfunktionen durch das Host-Fahrzeug 100 gesteuert) oder autonom (z. B. werden Fahrfunktionen ohne direkte Fahrereingabe durch das Host-Fahrzeug 100 gesteuert) sein. Das Fahrzeug kann während der Bildaufnahme stationär sein oder sich in Bewegung befinden. In dem veranschaulichten Beispiel beinhaltet das Host-Fahrzeug 100 ein fahrzeugübergreifendes Kommunikationsmodul (inter-vehicle communication module - IVCM) 102, ein bordeigenes Kommunikationsmodul (on-board communication module - OBCM) 104 und ein Karosseriesteuermodul (body control module - BCM) 106.
-
Das fahrzeugübergreifende Kommunikationsmodul 102 beinhaltet (eine) Antenne(n), (ein) Radio(s) und Software, um Nachrichten zu übertragen und Kommunikation zwischen dem Host-Fahrzeug 100 und Zielfahrzeugen 108, straßenseitigen Einheiten 110 und mobilvorrichtungsbasierten Modulen (nicht gezeigt) herzustellen. Weitere Informationen über das fahrzeugübergreifende Kommunikationsnetzwerk und darüber, wie das Netzwerk mit Hardware und Software von Fahrzeugen kommunizieren kann, sind verfügbar im System Requirements Specification (SyRS) Report des US-Verkehrsministeriums vom Juni 2011 (verfügbar unter http://www.its.dot.gov/meetings/pdf/CoreSystem_SE_SyRS_RevA%20(2011-06-13).pdf), der hiermit durch Bezugnahme in seiner Gesamtheit gemeinsam mit allen Unterlagen aufgenommen ist, die auf den Seiten 11 bis 14 des SyRS-Reports aufgeführt sind. Die fahrzeugübergreifenden Kommunikationssysteme können an Fahrzeugen und am Straßenrand an Infrastruktur installiert sein. Die fahrzeugübergreifenden Kommunikationssysteme, die in Infrastruktur (z. B. Ampeln, Straßenbeleuchtung, kommunale Kameras usw.) eingebaut sind, sind als „straßenseitige(s)“ System oder Einheit bekannt. Fahrzeugübergreifende Kommunikation kann mit anderen Technologien kombiniert werden, wie etwa dem globalen Positionierungssystem (Global Position System - GPS), Visual Light Communications (VLC), Mobilfunkkommunikation und Nahbereichsradar, die vereinfachen, dass die Fahrzeuge ihre Position, Geschwindigkeit, Richtung, relative Position zu anderen Objekten kommunizieren und Informationen mit anderen Fahrzeugen oder externen Computersystemen austauschen. Fahrzeugübergreifende Kommunikationssysteme können in andere Systeme wie etwa Mobiltelefone integriert sein.
-
In einigen Beispielen setzt das fahrzeugübergreifende Kommunikationsmodul 102 das Protokoll für dezidierte Nahbereichskommunikation (Dedicated Short Range Communication - DSRC) um. Gegenwärtig wird das DSRC-Netzwerk durch die Abkürzung oder Bezeichnung DSRC identifiziert. Mitunter werden jedoch andere Bezeichnungen verwendet, die sich üblicherweise auf ein Fahrzeugkonnektivitätsprogramm oder dergleichen beziehen. Die meisten dieser Systeme sind entweder reine DSRC oder eine Variante des WLAN-Standards IEEE 802.11. Jedoch sollen neben dem reinen DSRC-System auch dedizierte drahtlose Kommunikationssysteme zwischen Autos und einem straßenseitigen Infrastruktursystem abgedeckt sein, die mit GPS integriert sind und auf einem IEEE-802.11-Protokoll für drahtlose lokale Netzwerke (wie etwa 802.11p usw.) basieren.
-
Das bordeigene Kommunikationsmodul 104 beinhaltet drahtgebundene oder drahtlose Netzwerkschnittstellen, um eine Kommunikation mit externen Netzwerken zu ermöglichen. Das bordeigene Kommunikationsmodul 104 beinhaltet Hardware (z. B. Prozessoren, Arbeitsspeicher, Datenspeicher, Antenne usw.) und Software, um die drahtgebundenen oder drahtlosen Netzwerkschnittstellen zu steuern. In dem veranschaulichten Beispiel beinhaltet das bordeigene Kommunikationsmodul 104 eine oder mehrere Kommunikationssteuerungen für standardbasierte Netzwerke (z. B. das Global System for Mobile Communications (GSM), Universal Mobile Telecommunications System (UMTS), Long Term Evolution (LTE), Code Division Multiple Access (CDMA), WiMAX (IEEE 802.16m); ein drahtloses lokales Netzwerk (einschließlich IEEE 802.11 a/b/g/n/ac oder andere) und Wireless Gigabit (IEEE 802.11ad) usw.). In manchen Beispielen beinhaltet das bordeigene Kommunikationsmodul 104 eine drahtgebundene oder drahtlose Schnittstelle (z. B. einen Hilfsanschluss, einen Universal-Serial-Bus-(USB-)Anschluss, einen Bluetooth®-Drahtlosknoten usw.), um kommunikativ mit einer mobilen Vorrichtung (z. B. einem Smartphone, einer Smartwatch, einem Tablet usw.) verbunden zu sein. In derartigen Beispielen kann das Host-Fahrzeug 100 über die gekoppelte mobile Vorrichtung mit dem externen Netzwerk kommunizieren. Das externe Netzwerk kann/die externen Netzwerke können ein öffentliches Netzwerk, wie etwa das Internet; ein privates Netzwerk, wie etwa ein Intranet; oder Kombinationen davon sein und kann/können eine Vielfalt von Netzwerkprotokollen nutzen, die derzeit zur Verfügung stehen oder später entwickelt werden, einschließlich unter anderem TCP/IP-basierten Netzwerkprotokollen. In einigen Beispielen kommuniziert das Host-Fahrzeug 100 über das bordeigene Kommunikationsmodul 104 mit einem externen Server, um Informationen in Bezug auf Höheneinschränkungen von Infrastruktur nahe eines aktuellen Standortes des Host-Fahrzeugs 100 und/oder entlang einer aktuellen Strecke des Host-Fahrzeugs 100 zu empfangen.
-
Das Karosseriesteuermodul 106 steuert verschiedene Teilsysteme des Host-Fahrzeugs 100. Zum Beispiel kann das Karosseriesteuermodul 106 elektrische Fensterheber, eine Zentralverriegelung, eine Wegfahrsperre und/oder elektrisch verstellbare Außenspiegel usw. steuern. Das Karosseriesteuermodul 106 beinhaltet Schaltungen, um zum Beispiel Relais anzusteuern (z. B. zum Steuern von Scheibenwischerflüssigkeit usw.), Gleichstrom-(DC-)Bürstenmotoren anzusteuern (z. B. zum Steuern von elektrisch verstellbaren Sitzen, Zentralverriegelung, elektrischen Fensterhebern, Scheibenwischern usw.), Schrittmotoren anzusteuern und/oder LEDs anzusteuern usw. In dem veranschaulichten Beispiel beinhaltet das Karosseriesteuermodul 106 einen Höhendetektor 112. Alternativ kann der Höhendetektor 112 in einigen Beispielen in ein anderes Fahrzeugmodul integriert sein, wie zum Beispiel eine Infotainment-Haupteinheit oder eine Autonomieeinheit, die autonome Funktionen des Fahrzeugs steuert.
-
Der Höhendetektor 112 schätzt die Höhe des Host-Fahrzeugs 100 und eines beliebigen angebrachten Objekts unter Verwendung von Bildern und/oder Daten, die von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 110 empfangen werden. Von Zeit zu Zeit bestimmt der Höhendetektor 112 (a) eine raumbezogene Ausrichtung des Host-Fahrzeugs 100, die verwendet wird, um zu vereinfachen, dass die Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 110 den relativen Standort des Host-Fahrzeugs 100 verglichen mit ihrem Standort bestimmen und (b) überträgt eine Anforderungsnachricht unter Verwendung des fahrzeugübergreifenden Kommunikationsmoduls 102. In einigen Beispielen sendet der Höhendetektor 112 die Anforderung periodisch (z.B. stündlich, täglich usw.) oder als Reaktion auf ein Ereignis (z. B. jeden Schlüsselzyklus, Eintritt in einen dicht bevölkerten Bereich usw.). Alternativ oder zusätzlich sendet der Höhendetektor 112 die Anforderungsnachricht in einigen Beispielen als Reaktion auf das Erfassen von Änderungen des Status des Host-Fahrzeugs 100. Zum Beispiel kann der Höhendetektor 112 eine Änderung des Gesamtbruttogewichts, Änderungen in der Fahrzeugdynamik und/oder Anschluss an einen Anhänger 116 erfassen.
-
Die Anforderungsnachricht fordert, dass die Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 110 in der Nähe Bilder und/oder Sensordaten des Host-Fahrzeugs 100 mit ihren Kameras 114 (z. B. Farbkameras, monochromen Kameras, Laufzeitkameras, Stereokameras, monokularen Kameras usw.) und/oder ihren Reichweitenerfassungssensoren (z. B. Radar, LiDAR, Ultraschallsensoren usw.) erfassen. Die Anforderungsnachricht beinhaltet Informationen in Bezug auf die raumbezogene Ausrichtung des Host-Fahrzeugs 100. Die Informationen über die raumbezogene Ausrichtung beinhalten den Standort (z. B. Koordinaten des globalen Positionierungssystems (GPS) usw.), die Ausrichtung (z. B. die Ausrichtung, in die das Vordere des Host-Fahrzeugs 100 zeigt usw.) und/oder Eigenschaften (z. B. Farbe, Marke, Modell usw.), die vereinfachen, dass die Zielfahrzeuge 108 und/oder die straßenseitigen Einheiten das Host-Fahrzeug 100 lokalisieren und identifizieren. Zum Beispiel können die Informationen über die raumbezogene Ausrichtung für das Host-Fahrzeug 100 GPS-Koordinaten, eine Fahrtrichtung und eine Fahrzeugfarbe beinhalten. In einigen Beispielen beinhalten die Informationen über die raumbezogene Ausrichtung auch Informationen über Objekte in der Nähe des Host-Fahrzeugs 100, die als Orientierungspunkte dienen können, um weiter zu vereinfachen, dass die Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 110 das Host-Fahrzeug 100 lokalisieren. In einigen derartigen Beispielen werden die Objekte über Radar und/oder LiDAR durch den Höhendetektor 112 erfasst. Alternativ oder zusätzlich verwendet der Höhendetektor 112 in einigen Beispielen die GPS-Koordinaten des Host-Fahrzeugs 100, um Navigationsdaten (z. B. Karten usw.) zu analysieren, um zu bestimmen, welche Objekte sich in der Nähe des Host-Fahrzeugs 100 befinden.
-
Um die Höhe zu schätzen, führt der Höhendetektor 112 semantische Segmentierung an den empfangenen Bildern durch, erzeugt ein zusammengesetztes Bild unter Verwendung der empfangenen Bilder und erzeugt eine dreidimensionale Darstellung des Host-Fahrzeugs 100 unter Verwendung der semantischen Segmentierung, des zusammengesetzten Bildes und eines Modells des Host-Fahrzeugs 100, das in Speicher gespeichert ist.
-
Semantische Segmentierung ist eine Bildklassifizierungstechnik, die verschiedenen Bestandteilen Pixel eines Bildes zuweist. Zum Beispiel kann der Höhendetektor 112 Abschnitte eines Bildes identifizieren, die mit dem Host-Fahrzeug 100, dem Anhänger 116, einem Gepäckträger, Fahrrädern, anderen Fahrzeugen, Fußgängern, Lackwerk usw. verbunden sind. Um semantische Segmentierung durchzuführen, verwendet der Höhendetektor 112 Techniken wie zum Beispiel neuronale Faltungsnetzwerke (z. B. vollständige Faltungsnetzwerke (fully convolutional networks - FCN), erweiterte Faltungen, Encoder-Decoder-Faltungen, tiefe neuronale Faltungsnetzwerke mit vollständig verbundenen bedingten Zufallsfeldern usw.). Beispielhafte Techniken zum Durchführen von semantischer Segmentierung sind beschrieben von (a) Zhao et al. in „Pyramid Scene Parsing Network“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); (b) Long et al. in „Fully Convolutional Networks for Semantic Segmentation“, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); (c) Badrinarayanan et al. in „SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation“, IEEE Transactions on Pattern Analysis and Machine Intelligence, Band 39, Nr. 12, Jan. 2017, S. 2481-2495; (d) Yu et al. in „Multi-Scale Context Aggregation by Dilated Convolutions,“ 2015; (e) Chen et al. in „DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs“, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017; Lin et al. in „RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); und (f) Peng, Chao, et al. „Large Kernel Matters - Improve Semantic Segmentation by Global Convolutional Network“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), die hier durch Bezugnahme in ihrer Gesamtheit aufgenommen sind.
-
Der Höhendetektor 112 verwendet Struktur aus Bewegung, um ein zweidimensionales oder dreidimensionales zusammengesetztes Bild des Host-Fahrzeugs 100 unter Verwendung der empfangenen Bilder zu bilden. In einigen Beispielen verwendet der Höhendetektor 112 die Ergebnisse der semantischen Segmentierung der empfangenen Bilder, um Objekte in den Bildern zu entfernen, die sich nicht auf das Host-Fahrzeug 100 beziehen und/oder sich im Laufe der Zeit ändern. Unter Verwendung einer Struktur-aus-Bewegung-Technik werden Merkmalspunkte 118 des Host-Fahrzeugs 100 in den empfangenen Bildern identifiziert. Der Höhendetektor 112 verwendet das Positionieren der Merkmalspunkte und ein dreidimensionales Modell des Host-Fahrzeugs 100, um mindestens Teile der Bilder zusammenzufügen, um das zusammengesetzte Bild des Host-Fahrzeugs 100 zu erzeugen. Beispielhafte Struktur-aus-Bewegung-Techniken sind beschrieben in Crandall, David J., et al. „SfM with MRFs: Discrete-continuous optimization for large-scale structure from motion“, IEEE transactions on pattern analysis and machine intelligence 35.12 (2013): 2841-2853, das hier durch Bezugnahme in ihrer Gesamtheit aufgenommen ist.
-
Unter Verwendung des zusammengesetzten Bildes, von Reichweitenerfassungssensordaten von den Zielfahrzeugen 108, eines Modells des Host-Fahrzeugs 100, das in Speicher gespeichert ist, erfasst der Höhendetektor 112 ein dimensionales Modell des Host-Fahrzeugs 100, das den aktuellen Zustand des Host-Fahrzeugs 100 und von Objekten (z. B. Fahrrädern, Gepäckträgern, Anhängern usw.), die an dem Host-Fahrzeug 100 angebracht sind, darstellt. Der Höhendetektor 112 erzeugt eine dreidimensionale Punktwolke des Host-Fahrzeugs 100, indem äußere Pixel unter Anwendung einer statistischen Analysetechnik, wie zum Beispiel K Nachbarabstände, von dem dreidimensionalen Modell entfernt werden. Da an dem Host-Fahrzeug 100 andere Objekte angebracht sein können, verwendet der Höhendetektor 112 in einigen Beispielen die Informationen über die semantische Segmentierung, um die Punktwolke für das Host-Fahrzeug 100 und eine Punktwolke für das/die andere(n) Objekt(e) zu erzeugen. In einigen derartigen Beispielen sind die Proportionen der Punktwolke auf Grundlage des Modells des Host-Fahrzeugs 100 in Speicher kalibriert und ist/sind die Punktwolke(n) für das/die andere(n) Objekt(e) skaliert, sodass sie der Kalibrierung entspricht/entsprechen. In einigen Beispielen wandelt der Höhendetektor 112 die Punktwolke(n) in ein Gittermodell um. Das Modell des Host-Fahrzeugs 100, das in Speicher gespeichert ist, kann auch verwendet werden, um Informationen in der Punktwolke zu ergänzen, die von dem zusammengesetzten Bild nicht verfügbar sind, weil zum Beispiel die Kameras 114 der Zielfahrzeuge 108 und/oder der straßenseitigen Einheiten 110 gegebenenfalls nicht dazu in der Lage sind, bestimmte Winkel des Host-Fahrzeugs 100 zu erfassen.
-
Wie in 2 veranschaulicht, legt der Höhendetektor 112 eine oder mehrere virtuelle Kameras 202 fest, die (eine) Ansicht(en) des/der dreidimensionalen zusammengesetzten Bildes/Punktwolke/Gittermodells 204 in einem Abstand und Beobachtungswinkel (θO) von dem Host-Fahrzeug 100 darstellt/darstellen. In einigen Beispielen basiert der Abstand und Beobachtungswinkel (θO) auf dem dreidimensionalen Modell des Host-Fahrzeugs 100 in Bezug auf die Merkmalspunkte 118 in den empfangenen Bildern. Der oberste Merkmalspunkt 118 gibt das höchste erfassbare Merkmal von den empfangenen Bildern an. Wenn mehr Bilder mit Perspektiven aus unterschiedlichen Höhen und unterschiedlichen Winkeln empfangen werden, kann sich der oberste Merkmalspunkt 118 ändern. Eine derartige Änderung bewirkt, dass der Höhendetektor 112 die Höhe des Host-Fahrzeugs 100 neu berechnet. Somit kann der Höhendetektor 112 die geschätzte Höhe des Host-Fahrzeugs 100 ständig aktualisieren, wenn mehr Bilder verfügbar werden. Der Höhendetektor 112 wählt den Beobachtungswinkel (θO) als den Blickwinkel aus, in dem die Perspektive 208 der virtuellen Kamera den oberen Rand 210 des Host-Fahrzeugs 100 in Bezug auf die Bodenebene der Straße freigibt. Um die Höhe des Host-Fahrzeugs 100 zu bestimmen, berechnet der Höhendetektor 112 einen Sinus des Beobachtungswinkels (θO) über dem Host-Fahrzeug 100 relativ zu der Bodenebene der Straße multipliziert mit einer Fahrzeuglänge in der Perspektive der virtuellen Kamera. In einigen Beispielen verwendet der Höhendetektor 112 mehrere Positionen der virtuellen Kamera, um die Höhe des Host-Fahrzeugs 100 zu bestimmen. In einigen Beispielen erfasst der Höhendetektor 112 die Länge und/oder Breite des Host-Fahrzeugs 100 durch Verwenden eines Blickwinkels und von Merkmalspunkten in Verbindung mit Seitenrändern des Host-Fahrzeugs 100. Einige Oberflächen, wie zum Beispiel die Oberfläche 212, können aufgrund der Umgebung um das Host-Fahrzeug 100 herum und/oder dessen, wie das Host-Fahrzeug 100 aktuell geparkt ist, nicht belegt werden. Zum Beispiel kann mit dem an dem Host-Fahrzeug 100 angebrachten Objekt der Höhendetektor 112 gegebenenfalls nicht dazu in der Lage sein, einen Abschnitt der Punktwolke zu konstruieren, um die fehlende Oberfläche 212 darzustellen. In einigen Beispielen stellt der Höhendetektor 112 einen Alarm bereit, dass die Höhenschätzung gegebenenfalls nicht vollständig ist, da ein Abschnitt des angebrachten Objekts in der Punktwolke nicht modelliert werden kann (z. B. kann eine größere Oberfläche auf der fehlenden Oberfläche vorhanden sein). Alternativ oder zusätzlich kann der Höhendetektor 112 in einigen Beispielen die Form der fehlenden Oberfläche 212 auf Grundlage der Punktwolke extrapolieren.
-
Der Höhendetektor 112 speichert die geschätzte Höhe in Speicher und agiert autonom, um potentielle Höhenfreiraumprobleme bei der aktuellen Strecke des Host-Fahrzeugs 100 zu verbessern. In einigen Beispielen stellt der Höhendetektor 112 eine visuelle, akustische und/oder haptische Warnung an den Fahrzeugführer des Host-Fahrzeugs 100 bereit. In einigen Beispielen weist der Höhendetektor 112 ein Navigationssystem an, die Strecke des Host-Fahrzeugs 100 zu ändern. In einigen Beispielen steuert der Höhendetektor 112 die Bewegungsfunktionen (z. B. Lenken, Beschleunigen usw.) des Host-Fahrzeugs 100, um zu verhindern, dass das Host-Fahrzeug 100 einen Bereich durchquert, in dem das Host-Fahrzeug 100 größer als die Höheneinschränkungen der Infrastruktur ist. Alternativ oder zusätzlich stellt in einigen Beispielen der Höhendetektor 112 die Höhe des Host-Fahrzeugs 100 durch (a) eine aktive Aufhängung, die Druck von Erschütterungen und/oder Streben einstellt, um die Höhe des Host-Fahrzeugs 100 zu ändern und/oder (b) ein aktives Reifendrucksystem, das eine autonome Reduzierung von Reifendruck (z. B. durch ein elektronisch gesteuertes Ventil) vereinfacht, ein, um die Höhe des Host-Fahrzeugs 100 zu reduzieren.
-
3 ist ein Blockdiagramm elektronischer Komponenten 300 des Host-Fahrzeugs 100 aus 1. In dem veranschaulichten Beispiel beinhalten die elektronischen Komponenten 300 das fahrzeugübergreifende Kommunikationsmodul 102, das bordeigene Kommunikationsmodul 104, das Karosseriesteuermodul 106 und einen Fahrzeugdatenbus 302.
-
In dem veranschaulichten Beispiel beinhaltet das Karosseriesteuermodul 106 einen Prozessor oder eine Steuerung 304 und einen Speicher 306. In dem veranschaulichten Beispiel ist das Karosseriesteuermodul 106 so strukturiert, dass es den Höhendetektor 112 beinhaltet. Alternativ kann in einigen Beispielen der Höhendetektor 112 in eine andere elektronische Steuereinheit (electronic control unit - ECU) mit eigenem Prozessor und Speicher (wie etwa eine Infotainment-Haupteinheit usw.) eingebaut sein. Bei dem Prozessor oder der Steuerung 304 kann es sich um eine beliebige geeignete Verarbeitungsvorrichtung oder Reihe von Verarbeitungsvorrichtungen handeln, wie etwa unter anderem: einen Mikroprozessor, eine mikrocontrollerbasierte Plattform, eine geeignete integrierte Schaltung, einen oder mehrere feldprogrammierbare Gate-Arrays (field programmable gate array - FPGAs) und/oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (application-specific integrated circuit - ASICs). Bei dem Speicher 306 kann es sich um flüchtigen Speicher (z. B. RAM, der nichtflüchtigen RAM, magnetischen RAM, ferroelektrischen RAM und beliebige andere geeignete Formen beinhalten kann), nichtflüchtigen Speicher (z. B. Plattenspeicher, FLASH-Speicher, EPROMs, EEPROMs, memristorbasierten nichtflüchtigen Festkörperspeicher usw.), unveränderbaren Speicher (z. B. EPROMs), Festwertspeicher und/oder Speichervorrichtungen mit hoher Kapazität (z. B. Festplatten, Festkörperlaufwerke etc.) handeln. In einigen Beispielen beinhaltet der Speicher 306 mehrere Speicherarten, insbesondere flüchtigen Speicher und nichtflüchtigen Speicher.
-
Bei dem Speicher 306 handelt es sich um computerlesbare Medien, auf denen ein oder mehrere Sätze von Anweisungen, wie etwa die Software zum Ausführen der Verfahren der vorliegenden Offenbarung, eingebettet sein können. Die Anweisungen können eines oder mehrere der Verfahren oder eine Logik, wie hier beschrieben, verkörpern. In einer bestimmten Ausführungsform können sich die Anweisungen während der Ausführung der Anweisungen vollständig oder mindestens teilweise innerhalb eines beliebigen oder mehreren des Speichers 306, des computerlesbaren Mediums und/oder innerhalb des Prozessors 304 befinden.
-
Die Begriffe „nichttransitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ sind so zu verstehen, dass sie ein einzelnes Medium oder mehrere Medien beinhalten, wie etwa eine zentralisierte oder verteilte Datenbank und/oder damit assoziierte Zwischenspeicher und Server, auf denen ein oder mehrere Sätze von Anweisungen gespeichert sind. Die Begriffe „nichttransitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ beinhalten zudem ein beliebiges physisches Medium, das zum Speichern, Verschlüsseln oder Tragen eines Satzes von Anweisungen zur Ausführung durch einen Prozessor in der Lage ist oder das ein System dazu veranlasst, ein beliebiges oder mehrere der hier offenbarten Verfahren oder Vorgänge durchzuführen. Im hier verwendeten Sinne ist der Ausdruck „physisches computerlesbares Medium“ ausdrücklich so definiert, dass er jede beliebige Art von computerlesbarer Speichervorrichtung und/oder Speicherplatte beinhaltet und das Verbreiten von Signalen ausschließt.
-
Der Fahrzeugdatenbus 302 koppelt das fahrzeugübergreifende Kommunikationsmodul 102, das bordeigene Kommunikationsmodul 104 und das Karosseriesteuermodul 106 kommunikativ. In einigen Beispielen beinhaltet der Fahrzeugdatenbus 302 einen oder mehrere Datenbusse. Der Fahrzeugdatenbus 302 kann gemäß einem Controller-Area-Network-(CAN-)Bus-Protokoll laut der Definition der International Standards Organization (ISO) 11898-1, einem Media-Oriented-Systems-Transport-(MOST-)Bus-Protokoll, einem CAN-Flexible-Data-(CAN-FD-)Bus-Protokoll (ISO 11898-7) und/oder einem K-Leitungs-Bus-Protokoll (ISO 9141 und ISO 14230-1) und/oder einem Ethernet™-Bus-Protokoll IEEE 802.3 (ab 2002) usw. umgesetzt sein.
-
4 ist ein Ablaufdiagramm eines Verfahrens zum Schätzen einer Höhe des Host-Fahrzeugs 100 unter Verwendung von über fahrzeugübergreifende Kommunikation empfangenen Bildern, das durch die elektronischen Komponenten 300 aus 3 umgesetzt werden kann. Das Verfahren beginnt, wenn ein Ereignis (z. B. zeitbasiertes Ereignis, eine Änderung eines Status des Host-Fahrzeugs 100 usw.) auslöst, dass das Host-Fahrzeug 100 die Höhe des Host-Fahrzeugs 100 bestimmt. Anfangs bestimmt der Höhendetektor 112 bei Block 402 den raumbezogenen Zustand des Host-Fahrzeugs 100. Zum Beispiel kann der Höhendetektor 112 die GPS-Koordinaten des Host-Fahrzeugs 100, die Ausrichtung des Host-Fahrzeugs 100 bestimmen. Zusätzlich beinhalten die Informationen, die in dem raumbezogenen Zustand des Host-Fahrzeugs 100 enthalten sind, auch andere Informationen, um das Lokalisieren des Host-Fahrzeugs 100 zu vereinfachen, wie zum Beispiel die Farbe des Host-Fahrzeugs 100 oder die Kennzeichennummer des Host-Fahrzeugs 100 usw. Bei Block 404 überträgt der Höhendetektor 112 eine Anforderung an Zielfahrzeuge 108 und/oder straßenseitige Einheiten 110, Bilder des Host-Fahrzeugs 100 zu erfassen. Die Anforderung beinhaltet die Informationen in Bezug auf den raumbezogenen Zustand des Host-Fahrzeugs 100 und andere Informationen, um das Lokalisieren des Host-Fahrzeugs 100 zu vereinfachen, um Bilder des Host-Fahrzeugs 100 zu erfassen.
-
Bei Block 406 führt der Höhendetektor 112 semantische Segmentierung an den Bildern von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 110 durch, um Pixel, die dem Host-Fahrzeug 100 und verbundenen Objekten (z. B. Anhänger, Gepäckträger, Fahrräder usw.) entsprechen, innerhalb der Bilder zu identifizieren. Wenn der Höhendetektor 112 Bilder empfängt, identifiziert der Höhendetektor 112 das Host-Fahrzeug 100 in den Bildern, sodass der Höhendetektor 112 über Darstellungen des Host-Fahrzeugs aus unterschiedlichen Winkeln und Abständen verfügt. Bei Block 408 konstruiert der Höhendetektor 112 ein dreidimensionales zusammengesetztes Bild des Host-Fahrzeugs 100 unter Verwendung von Struktur-aus-Bewegung-Techniken. Bei Block 410 bestimmt der Höhendetektor 112, ob eine ausreichende Anzahl an Bildern empfangen worden ist, um ein zusammengesetztes Bild zu konstruieren, das verwendet werden kann, um die Höhe des Host-Fahrzeugs 100 zu bestimmen. Zum Beispiel kann der Höhendetektor 112 bestimmen, welcher Prozentsatz des Host-Fahrzeugs 100 in dem zusammengesetzten Bild neu erstellt wird oder kann bestimmen, ob das zusammengesetzte Bild einen Abschnitt des Host-Fahrzeugs 100 beinhaltet, der eine Ansicht der Höhe des Host-Fahrzeugs 100 bereitstellt. Wenn eine ausreichende Anzahl an Bildern empfangen worden ist, wird das Verfahren bei Block 412 fortgesetzt. Ansonsten, wenn keine ausreichende Anzahl an Bildern empfangen worden ist, kehrt das Verfahren zu Block 406 zurück.
-
Bei Block 412 konstruiert der Höhendetektor 112 eine dreidimensionale Darstellung des Host-Fahrzeugs 100 unter Verwendung des zusammengesetzten Bildes, von Reichweitenerfassungssensordaten von dem/den Zielfahrzeug(en) 108 und/oder eines dreidimensionalen Modells des Host-Fahrzeugs 100, das in Speicher gespeichert ist (z. B. dem Speicher 306 aus der vorstehenden 3). Um die Darstellung zu erzeugen, filtert und/oder skaliert der Höhendetektor 112 die Bestandteile (z. B. das Host-Fahrzeug 100 und die daran befestigten Objekte). In einigen Beispielen ist die dreidimensionale Darstellung eine Punktwolke oder ein Gittermodell. In einigen Beispielen führt der Höhendetektor 112 Sensorfusion durch, um die Punktwolke oder das Gittermodell zu erzeugen. In derartigen Beispielen werden die dreidimensionalen Daten von den Sensordaten, die von den Zielfahrzeugen 108 empfangen werden, verwendet, um die Punktwolke zu konstruieren und/oder zu filtern. In einigen Beispielen werden die dreidimensionalen Sensordaten mit der Punktwolke, die unter Verwendung der Bilder erzeugt wird, unter Anwendung einer Technik eines willkürlichen Konsensmodells (random consensus model - RANSAC) kombiniert. Bei Block 414 unterscheidet der Höhendetektor 112 das Host-Fahrzeug 100 von den befestigten Objekten in der dreidimensionalen Darstellung. Bei Block 416 bestimmt der Höhendetektor 112 die Höhe des Host-Fahrzeugs 100 auf Grundlage der dreidimensionalen Darstellung. Bei Block 418 bestimmt der Höhendetektor 112, ob es entlang der aktuellen Strecke des Host-Fahrzeugs 100 ein Hindernis gibt, das eine Höhenbegrenzung aufweist, die niedriger als die bei Block 416 bestimmte Höhe ist. Zum Beispiel kann der Höhendetektor 112 Navigationsdaten analysieren und/oder Übertragungen über das fahrzeugübergreifende Kommunikationsmodul 102 von straßenseitigen Einheiten 110 empfangen, die die Freiraumhöhen von Infrastruktur in der Nähe des Host-Fahrzeugs 100 angeben. Wenn es ein derartiges Hindernis gibt, wird das Verfahren bei Block 420 fortgesetzt. Andernfalls, wenn es kein derartiges Hindernis gibt, wird das Verfahren bei Block 422 fortgesetzt.
-
Bei Block 420 führt der Höhendetektor 112 eine oder mehrere Handlungen durch, um auf das bevorstehende Hindernis zu reagieren. In einigen Beispielen stellt der Höhendetektor 112 einen visuellen, akustischen und/oder haptischen Alarm an den Fahrzeugführer des Host-Fahrzeugs 100 bereit. In einigen Beispielen weist der Höhendetektor 112 das Navigationssystem autonom an, die aktuelle Strecke des Host-Fahrzeugs 100 zu ändern, um das Hindernis zu meiden. In einigen Beispielen steuert der Höhendetektor 112 autonom eine oder mehrere der Bewegungsfunktionen des Host-Fahrzeugs 100, um zu verhindern, dass das Host-Fahrzeug 100 auf das Hindernis trifft. Bei Block 422 bestimmt der Höhendetektor 112, ob sich der Zustand des Host-Fahrzeugs 100 geändert hat. Zum Beispiel kann sich der Zustand des Host-Fahrzeugs 100 in einem Schlüsselzyklus ändern. Als ein anderes Beispiel kann sich der Zustand des Host-Fahrzeugs 100 ändern, wenn der Anhänger 116 verbunden ist und/oder wenn Sensoren des Host-Fahrzeugs 100 Anzeichen erfassen, dass sich die Höhe des Host-Fahrzeugs 100 geändert haben kann. Wenn sich der Zustand des Host-Fahrzeugs 100 geändert hat, kehrt das Verfahren zu Block 402 zurück. Andernfalls, wenn sich der Zustand des Host-Fahrzeugs 100 nicht geändert hat, kehrt das Verfahren zu Block 418 zurück.
-
Das Ablaufdiagramm aus 4 stellt maschinenlesbare Anweisungen dar, die in einem Speicher (wie etwa dem Speicher 306 aus 3) gespeichert sind, welche ein oder mehrere Programme umfassen, das/die bei der Ausführung durch einen Prozessor (wie etwa den Prozessor 304 aus 3) das Host-Fahrzeug 100 veranlassen, den beispielhaften Höhendetektor 112 aus 1 und 3 umzusetzen. Obwohl das/die beispielhafte/n Programm(e) in Bezug auf das in 4 veranschaulichte Ablaufschema beschrieben ist/sind, können ferner alternativ dazu viele andere Verfahren zum Umsetzen des beispielhaften Höhendetektors 112 verwendet werden. Beispielsweise kann die Reihenfolge der Ausführung der Blöcke geändert werden und/oder einige der beschriebenen Blöcke können verändert, beseitigt oder kombiniert werden.
-
In dieser Anmeldung soll die Verwendung der Disjunktion die Konjunktion beinhalten. Die Verwendung von bestimmten oder unbestimmten Artikeln soll keine Kardinalität anzeigen. Insbesondere soll ein Verweis auf „das“ Objekt oder „ein“ Objekt auch eines aus einer möglichen Vielzahl derartiger Objekte bezeichnen. Außerdem kann die Konjunktion „oder“ dazu verwendet werden, Merkmale wiederzugeben, die gleichzeitig vorhanden sind, anstelle sich gegenseitig ausschließender Alternativen. Anders ausgedrückt ist die Konjunktion „oder“ so aufzufassen, dass sie „und/oder“ beinhaltet. Im hier verwendeten Sinne beziehen sich die Begriffe „Modul“ und „Einheit“ auf Hardware mit Schaltkreisen zum Bereitstellen von Kommunikations-, Steuer- und/oder Überwachungsfunktionen, oftmals in Verbindung mit Sensoren. „Module“ und „Einheiten“ können zudem Firmware einschließen, welche auf dem Schaltkreis ausgeführt wird. Die Ausdrücke „beinhaltet“, „beinhaltend“ und „beinhalten“ sind einschließend und weisen jeweils den gleichen Umfang auf wie „umfasst“, „umfassend“ bzw. „umfassen“.
-
Die vorstehend beschriebenen Ausführungsformen und insbesondere etwaige „bevorzugte“ Ausführungsformen sind mögliche Beispiele für Umsetzungen und lediglich zum eindeutigen Verständnis der Grundsätze der Erfindung dargelegt. Es können viele Variationen und Modifikationen an der bzw. den vorstehend beschriebenen Ausführungsform(en) vorgenommen werden, ohne wesentlich von Geist und Grundsätzen der hier beschriebenen Techniken abzuweichen. In dieser Schrift sollen sämtliche Modifikationen im Schutzumfang dieser Offenbarung beinhaltet und durch die folgenden Ansprüche geschützt sein.
-
Gemäß der vorliegenden Erfindung ist ein Fahrzeug bereitgestellt, aufweisend ein fahrzeugübergreifendes Kommunikationsmodul; und ein Karosseriesteuermodul für Folgendes: Übertragen einer Anforderung von Bildern über das fahrzeugübergreifende Kommunikationsmodul; Durchführen von semantischer Segmentation an den Bildern; Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder; Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage der zusammengesetzten Bilder; Bestimmen einer Höhe des Fahrzeugs unter Verwendung der dreidimensionalen Darstellung; Steuern des Fahrzeugs, um Hindernisse zu meiden, auf Grundlage der Höhe.
-
Gemäß einer Ausführungsform beinhaltet die Anforderung raumbezogene Informationen in Bezug auf das Fahrzeug, um Empfängern der Anforderung zu erleichtern, das Fahrzeug zu lokalisieren.
-
Gemäß einer Ausführungsform beinhalten die raumbezogenen Informationen Koordinaten des Fahrzeugs, eine Ausrichtung des Fahrzeugs und mindestens eines von einer Farbe des Fahrzeugs oder einem Modell des Fahrzeugs.
-
Gemäß einer Ausführungsform ist die dreidimensionale Darstellung eine Punktwolke auf Grundlage des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist.
-
Gemäß einer Ausführungsform führt das Karosseriesteuermodul zum Bestimmen der Höhe des Fahrzeugs Folgendes durch: Festlegen einer virtuellen Kamera in Bezug auf die dreidimensionale Darstellung; und Berechnen der Höhe auf Grundlage eines Blickwinkels der virtuellen Kamera, wobei der Blickwinkel ein Winkel ist, bei dem eine Perspektive der virtuellen Kamera einen oberen Rand der dreidimensionalen Darstellung in Bezug auf eine Bodenebene einer Straße freigibt.
-
Gemäß einer Ausführungsform ist die dreidimensionale Darstellung ein Gittermodell auf Grundlage einer Punktwolke, das unter Verwendung des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist, erzeugt wird.
-
Gemäß einer Ausführungsform sind die Hindernisse Infrastruktur, die eine niedrigere Freiraumanforderung als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
-
Gemäß einer Ausführungsform weist das Karosseriesteuermodul ein Navigationssystem an, eine Strecke des Fahrzeugs zu ändern, um die Hindernisse zu meiden.
-
Gemäß einer Ausführungsform steuert das Karosseriesteuermodul autonom Bewegungsfunktionen des Fahrzeugs, um zu verhindern, dass das Fahrzeug auf die Hindernisse trifft, um die Hindernisse zu meiden.
-
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren das Übertragen, über ein fahrzeugübergreifendes Kommunikationsmodul, einer Anforderung von Bildern; Durchführen von semantischer Segmentierung an den als Reaktion auf die übertragene Anforderung empfangenen Bildern mit einem Prozessor eines Fahrzeugs; Erzeugen eines zusammengesetzten Bildes des Fahrzeugs auf Grundlage der segmentierten Bilder; Erzeugen einer dreidimensionalen Darstellung des Fahrzeugs auf Grundlage der zusammengesetzten Bilder; Bestimmen einer Höhe des Fahrzeugs unter Verwendung der dreidimensionalen Darstellung; autonomes Steuern des Fahrzeugs, um Infrastruktur zu meiden, die niedrigere Freiraumanforderungen als die Höhe des Fahrzeugs entlang einer aktuellen Strecke des Fahrzeugs aufweist.
-
Gemäß einer Ausführungsform beinhaltet die Anforderung raumbezogene Informationen in Bezug auf das Fahrzeug, um Empfängern der Anforderung zu erleichtern, das Fahrzeug zu lokalisieren.
-
Gemäß einer Ausführungsform beinhalten die raumbezogenen Informationen Koordinaten des Fahrzeugs, eine Ausrichtung des Fahrzeugs und mindestens eines von einer Farbe des Fahrzeugs oder einem Modell des Fahrzeugs.
-
Gemäß einer Ausführungsform ist die dreidimensionale Darstellung eine Punktwolke auf Grundlage des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist.
-
Gemäß einer Ausführungsform beinhaltet das Bestimmen der Höhe des Fahrzeugs Folgendes: Festlegen einer virtuellen Kamera in Bezug auf die dreidimensionale Darstellung; und Berechnen der Höhe auf Grundlage eines Blickwinkels der virtuellen Kamera, wobei der Blickwinkel ein Winkel ist, bei dem eine Perspektive der virtuellen Kamera einen oberen Rand der dreidimensionalen Darstellung in Bezug auf eine Bodenebene einer Straße freigibt.
-
Gemäß einer Ausführungsform ist die dreidimensionale Darstellung ein Gittermodell auf Grundlage einer Punktwolke, das unter Verwendung des zusammengesetzten Bildes und eines dreidimensionalen Modells des Fahrzeugs, das in Speicher des Fahrzeugs gespeichert ist, erzeugt wird.
-
Gemäß einer Ausführungsform ist die Erfindung ferner dadurch gekennzeichnet, dass als Reaktion auf das Erfassen der Infrastruktur, die die niedrigere Freiraumanforderung als die Höhe des Fahrzeugs entlang der aktuellen Strecke des Fahrzeugs aufweist, die Höhe des Fahrzeugs unter Verwendung von zumindest einem von einem aktiven Aufhängungssystem oder einem aktiven Reifendrucksystem gesenkt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- (ISO) 11898-1 [0029]
- ISO 11898-7 [0029]
- ISO 9141 [0029]
- ISO 14230-1 [0029]