DE102019133948A1

DE102019133948A1 - Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger

Info

Publication number: DE102019133948A1
Application number: DE102019133948.0A
Authority: DE
Inventors: Brendan Keane; Ahmed Fathy; Karim Elessawy
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2021-06-17

Abstract

Ein Verfahren zur Fahrerassistenz umfasst Folgendes: Bereitstellen eines Modells einer Oberfläche (20) als eine Schätzung einer Oberfläche, die von einer ein Fahrzeug (10) umgebenden Umgebung freigelegt wird, Bereitstellen eines Modells für das Fahrzeug auf der Oberfläche (20) und Bereitstellen eines Modells für einen Anhänger auf der Oberfläche (20) in einem Winkel zu dem Modell für das Fahrzeug, wobei die Modelle für das Fahrzeug und den Anhänger den Ort und die Stellung mehrerer Kameras beinhalten. Für jede bestimmte Winkelausrichtung des Fahrzeugs (10) und des Anhängers (16, 16') werden eine oder mehrere Kameras festgelegt, um potentiell Bildinformationen zur Anzeige für jeden aus mehreren Bereichen der Oberfläche (20) bereitzustellen, welche die Modelle des Fahrzeugs und des Anhängers umgeben. Ein Blickpunkt (point of view - POV) für eine virtuelle Kamera definiert ein Anzeigefenster (22); und jedes Pixel des Anzeigefensters (22) ist als eine Funktion von Bildinformationen von der/den Kamera(s) wiedergegeben, die für einen Bereich der Oberfläche, einschließlich einer Projektion des Pixelorts des Anzeigefensters auf die Oberfläche (20) festgelegt sind.

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger.
Hintergrund der Erfindung
Nun Bezug nehmend auf 1, ist bekannt, dass Fahrzeuge, wie etwa ein Auto 10, eine Anzahl von Kameras aufweisen, die an der Vorderseite (FV), am Heck (RV) und am linken und rechten Außenspiegel (ML, MR) des Fahrzeugs angeordnet sind, um Bilder von der das Fahrzeug umgebenden Umgebung aufzunehmen. (Es ist zu beachten, dass die Seitenkameras nicht notwendigerweise an den Außenspiegeln angeordnet sein müssen, und diese können sich an jedem Ort befinden, der geeignet ist, um ein Bild von der Umgebung an den Seiten eines Fahrzeugs zu erfassen). Bilder von diesen Kameras werden in der Regel an eine elektronische Steuereinheit (electronic control unit - ECU) übermittelt, die einen Prozessor umfasst, der die Bilder verarbeitet, bevor er ein oder mehrere verarbeitete Bilder an eine Anzeige 12 bereitstellt, die sich in einem Fahrzeuginnenraum befindet und für einen Fahrer sichtbar ist, um dem Fahrer des Fahrzeugs Unterstützung zu bieten. Weitere Verwendungen von derartigen Kamerainformationen umfassen autonomes oder halbautonomes Fahren, Parken oder Abbremsen des Fahrzeugs sowie beispielsweise Speichern von Bilderfolgen, die von einer oder mehreren der Kameras FV, MR, ML, RV als Dashcam- oder Sicherheitsaufnahmen zum späteren Abruf aufgenommen wurden.
Die deutsche Patentanmeldung Nr. 102019131971.4 (Az.: 2018PF02667) unter dem Titel „An image processing module", eingereicht am 26. November 2019, und die deutsche Patentanmeldung Nr. DE102019126814.1 (Az.: 2019PF00721) unter dem Titel „An electronic control unit‟, eingereicht am 7. Oktober 2019, geben Beispiele für elektronische Steuereinheiten an, die eine Rundumansicht eines Fahrzeugs bereitstellen, um einem Fahrer besonders beim Einparken eines Fahrzeugs zu assistieren.
Solche Fahrzeuge 10 können auch mit Anhängerkupplungen 14 bereitgestellt sein, die ihnen gestatten, Objekte, wie etwa einen Anhänger 16, zu ziehen. In der vorliegenden Anmeldung wird jedes von einem Fahrzeug gezogene Objekt als Anhänger bezeichnet. Es versteht sich, dass Anhänger zu großen toten Winkeln für einen Fahrer führen, da er nicht in der Lage ist, die meisten Zonen um den Anhänger herum einzusehen und es insbesondere für ungeübte Fahrer schwierig sein kann, ohne Assistenz zu versuchen, ein Fahrzeug mit einem Anhänger zurückzusetzen.
Es ist deshalb bekannt, dass in solchen Anhängern auch eine Heckkamera (TV), die von dem Anhänger 16 aus nach hinten gerichtet ist, sowie in einigen Fällen Seitenkameras des Anhängers (TL, TR), die von den jeweiligen Seiten des Anhängers nach außen zeigen, integriert sein können. Bilder von diesen Kameras können von einer ECU-T im Anhänger erfasst werden und entweder über eine drahtgebundene oder drahtlose Verbindung mit dem Fahrzeug 10 übertragen oder anderweitig bereitgestellt werden, wo sie beispielsweise von der Fahrzeug-ECU verwendet werden können, um eine verbesserte Anzeige zum Assistieren eines Fahrers zu erzeugen.
US9908558 offenbart beispielsweise ein Verfahren zum Lenken einer Auto-/Anhänger-Kombination, bei welcher eine mobile Anzeigeeinheit zum Darstellen von mindestens einem Teil der Auto-/Anhänger-Kombination verwendet wird und wobei die mobile Anzeigeeinheit mit dem Fahrzeug über eine drahtlose Verbindung in Kontakt steht und zum Überwachen der Fahrfunktionen des Fahrzeugs verwendet wird und wobei mindestens eine Orientierungshilfe auf der mobilen Anzeigeeinheit abgebildet ist.
EP3342645 (Az.: SIE0455) offenbart ein Verfahren zum Bereitstellen von Informationen aus dem Umgebungsbereich eines Kraftfahrzeugs für einen Fahrer, wobei mindestens ein erstes Bild von einer fahrzeugseitigen Kamera aufgenommen wird und mindestens ein zweites Bild von einer fahrzeugfremden Kamera aufgenommen wird, das im Blickfeld der fahrzeugseitigen Kamera liegt. Aus dem ersten Bild und dem zweiten Bild wird eine Bild-in-Bild-Darstellung erzeugt, um auf einer fahrzeugseitigen Anzeigevorrichtung angezeigt zu werden. Ein erster Bildbereich zum Anzeigen des ersten Bilds und ein zweiter Bildbereich zum Anzeigen des zweiten Bilds, der von dem ersten Bildbereich getrennt ist, werden für die Bild-in-Bild-Darstellung bestimmt.
WO2016/026870 und DE102019122086 (Az.: 2019P00307) unter dem Titel „Driver assistance for a combination“, eingereicht am 16. August 2019, offenbaren Generieren eines ersten Kamerabilds von einer Kamera am Heck eines Fahrzeugs und eines zweiten Kamerabilds von einer Kamera am Heck eines Anhängers, der an das Fahrzeug angekuppelt ist. Ein kombiniertes Bild wird durch Einblenden der Kamerabilder derart generiert, dass das zweite Kamerabild einen Teilabschnitt des ersten Kamerabilds abhängig von einem Kupplungswinkel der Kombination bedeckt.
US 2019/0176698 (Az.: SIE 411) offenbart ein Verfahren zum Assistieren eines Fahrers eines Kraftfahrzeugs beim Manövrieren des Kraftfahrzeugs mit einem Anhänger, wobei Bilddaten von einem das Kraftfahrzeug umgebenden Bereich mit Hilfe von mindestens einer fahrzeugseitigen Kamera sowie mit Hilfe von mindestens einer anhängerseitigen Kamera aufgenommen werden und ein Bild des umgebenden Bereichs erzeugt wird, um auf einer fahrzeugseitigen Anzeigevorrichtung abhängig von den aufgenommenen Bilddaten angezeigt zu werden, wobei ein Blickpunkt, von welchem aus der umgebende Bereich in dem Bild angezeigt wird, abhängig von einem Schwenkwinkel zwischen dem Anhänger und dem Kraftfahrzeug bestimmt wird.
Die vorstehend erwähnten Herangehensweisen können immer noch zum Nichtangeben von toten Winkeln neigen und es ist somit ein Ziel der vorliegenden Erfindung, einem Fahrer des Fahrzeugs eine verbesserte Ansicht einer Umgebung bereitzustellen, die eine Fahrzeug-und-Anhänger-Kombination umgibt.
Zusammenfassung
Gemäß der vorliegenden Erfindung ist ein Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger nach Anspruch 1 bereitgestellt.
Weitere Aspekte beinhalten ein Fahrerassistenzsystem, ein Kraftfahrzeug mit Fahrerassistenz und ein Computerprogrammprodukt, das konfiguriert ist, um das erfindungsgemäße Verfahren auszuführen.
Ausführungsformen verwenden mehrere Kameras von dem Fahrzeug und dem Anhänger, um eine dreidimensionale Ansicht einer ein Fahrzeug umgebenden Umgebung zur Anzeige an einen Fahrer zu erstellen.
Der Fahrer kann einen Ort und eine Winkelausrichtung für eine virtuelle Kamera auswählen und dadurch den Blickpunkt für die dreidimensionale Ansicht der Umgebung definieren, indem er sie um den Anhänger herum aus mehreren unterschiedlichen Ansichten sehen lässt.
Mindestens zwei der Kameras weisen überlappende Sichtfelder auf und Ausführungsformen führen Bildinformationen aus Kombinationen der Kameras an den Außenspiegeln des Fahrzeugs mit den Kameras am Fahrzeugheck und am Anhängerheck und, falls verfügbar, Kameras an den Seiten des Anhängers in zusammengeführten Bereichen zusammen.
Ausführungsformen reagieren auf eine Änderung des Winkels zwischen Anhänger und Fahrzeug, um die Konfiguration von zusammengeführten Bereichen zu ändern, um weiterhin eine dreidimensionale Ansicht der das Fahrzeug umgebenden Umgebung bereitzustellen, je nachdem, wie sich der Winkel ändert.
In einem Bild in einem Anzeigefenster, das dem Fahrer bereitgestellt wird, kann mindestens der Anhänger in einer transparenten oder halbtransparenten Weise wiedergegeben werden, um dem Fahrer zu gestatten, nachdem er einen Blickpunkt an einer Seite der Kombination ausgewählt hat, bis zur gegenüberliegenden Seite des Anhängers hindurch zu sehen. Bei einigen Ausführungsformen kann der Grad der Transparenz des Anhängers vom Fahrer eingestellt werden.
Bei einigen Ausführungsformen kann der Anhänger sowohl mit einer Heckkamera als auch mit Kameras an den Seiten ausgestattet werden, um das Auftreten von toten Winkeln innerhalb der dreidimensionalen Ansicht zu beschränken.
Figurenliste
Nun werden Ausführungsformen der Erfindung Bezug nehmend auf die begleitenden Zeichnungen beispielhaft beschrieben, in denen:

1 eine schematische Ansicht eines Fahrzeugs, das einen Anhänger zieht, gemäß einer Ausführungsform der vorliegenden Erfindung ist;
2 eine virtuelle Umgebung darstellt, die Polygonnetzmodelle eines Fahrzeugs und eines Anhängers beinhaltet;
3 schematisch Bereiche um ein Fahrzeug herum darstellt, die gemäß den Kameras festgelegt sind, von denen Bildinformationen abgeleitet werden, um eine Rundumansicht des Fahrzeugs zu erzeugen;
4 schematisch Bereiche um ein Fahrzeug und einen Anhänger herum in kollinearer Ausrichtung darstellt, die gemäß den Kameras festgelegt sind, von denen Bildinformationen abgeleitet werden, um eine Rundumansicht der Fahrzeug/Anhänger-Kombination gemäß einer ersten Ausführungsform der vorliegenden Erfindung zu erzeugen;
5 schematisch Bereiche um das Fahrzeug und den Anhänger herum in Winkelausrichtung darstellt, die gemäß den Kameras festgelegt sind, von denen Bildinformationen abgeleitet werden, um eine Rundumansicht der Fahrzeug/Anhänger-Kombination gemäß der ersten Ausführungsform der vorliegenden Erfindung zu erzeugen;
6 schematisch Bereiche um das Fahrzeug und den Anhänger herum darstellt, sowohl in kollinearer als auch in Winkelausrichtung, die gemäß den Kameras festgelegt sind, von denen Bildinformationen abgeleitet werden, um eine Rundumansicht der Fahrzeug/Anhänger-Kombination gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zu erzeugen;
7(a) die Oberflächen einer Umgebung, die mit Kamerabildinformationen gemäß einer Ausführungsform der vorliegenden Erfindung wiederzugeben ist, darstellt; und
7(b) ein Anzeigefenster der wiedergegebenen Umgebung von 7(a) darstellt.

Ausführliche Beschreibung der Ausführungsformen
Nun Bezug nehmend auf 2, stellen Ausführungsformen der vorliegenden Erfindung ein Anzeigebild einer dreidimensionalen Umgebung bereit, um einem Fahrer eines Fahrzeugs 10 beim Ziehen eines Anhängers 16 zu assistieren.
Bei der dargestellten Ausführungsform ist die Umgebung durch drei Hauptobjekte definiert: eine Schüssel 20, ein Modell des Fahrzeugs 10 und ein Modell des gezogenen Objekts 16, das hier als Anhänger bezeichnet wird.
Bei der Ausführungsform wird eine Schüsselform als eine Annäherung an die Form der Oberfläche gewählt, die von der das Fahrzeug 10 umgebenden Umgebung freigelegt wird, wobei die Schüssel einen ebenen Boden und eine im Allgemeinen zylindrische Seitenwand aufweist. Dies bedeutet, dass Bilder von der angenommenen im Allgemeinen ebenen Oberfläche, über welche die Fahrzeug/Anhänger-Kombination fährt, mit minimaler Verzerrung auf den ebenen Boden projiziert werden können, wohingegen Bilder von anderen dreidimensionalen Objekten, welche die Fahrzeug/Anhänger-Kombination umgeben, dazu neigen, weniger verzerrt zu sein, wenn sie auf der Oberfläche der Seitenwand der Schüssel abgebildet werden. Es versteht sich jedoch, dass Varianten der Schüsselform von 2 möglich sind und dass beispielsweise in einer einfachen Implementierung oder wo es angemessen ist, eine vollständig ebene Fläche, welche die Fahrzeug/Anhänger-Kombination umgibt, angenommen werden könnte; oder dass die Schüsselform eine durchgehende Form annehmen könnte, die sich um die Fahrzeug/Anhänger-Kombination herum aufwärts krümmt; oder dass, wenn genauere Informationen über die Oberfläche, die von der die Fahrzeug/Anhänger-Kombination umgebenden Umgebung freigelegt wird, verfügbar sind, beispielsweise von LIDAR-Sensoren oder einer aus optischen Bildinformationen aufgebauten Tiefenkarte, und dass diese Oberflächeninformation dann verwendet werden können, um eine komplexere Form für die Schüssel zu bestimmen.
In jedem Fall wird ein dreidimensionales schüsselförmiges Polygonnetz konstruiert, welches jeweilige dreidimensionale Polygonnetzmodelle des Fahrzeugs 10 und des Anhängers 16 enthält.
Der Maßstab der Schüssel 20 bestimmt sich durch die Auflösung und das Sichtfeld der an dem Fahrzeug 10 und dem Anhänger 16 angebrachten Kameras - es ist sicherlich nicht sinnvoll, die Größe der Schüssel 20 so groß einzustellen, dass Bildinformationen von den an dem Fahrzeug 10 und dem Anhänger 16 angebrachten Kameras, wenn sie auf der Oberfläche der Schüssel abgebildet würden, entweder unzumutbar verzerrt würden oder eine schlechte Auflösung für das Anzeigebild bereitstellen würden.
Das Polygonnetzmodell des Fahrzeugs 10 stellt das Fahrzeug in der Umgebung der Schüssel dar und ist standardmäßig in Richtung auf die Mitte der Schüssel platziert. Selbstredend sind alle Informationen zur Größe und Form des Fahrzeugs vom Hersteller verfügbar, einschließlich des Orts, der relativen Ausrichtung und des Projektionsmodells der verschiedenen um das Fahrzeug herum befindlichen Kameras.
Es versteht sich, dass sich der Abstand und die Ausrichtung der Kameras relativ zu der Oberfläche, auf welcher sich das Fahrzeug befindet, gemäß der Beladung des Fahrzeugs oder in Reaktion auf ein Karosseriewanken des Fahrzeugs oder in Reaktion auf eine aktive Steuerung der Fahrzeugaufhängung ändern können, und die Auswirkung auf Änderungen in der Fahrzeuglage, obwohl dies hier nicht ausführlicher erörtert wird, kann beim Anpassen des Polygonnetzmodells des Fahrzeugs berücksichtigt werden, wie in der deutschen Patentanmeldung Nr. 102019114404.3 (Az.: 2018PF02113 (SIE0883)) unter dem Titel „Image acquisition system", eingereicht am 29. Mai 2019, offenbart ist.
Davon abgesehen, kann das Polygonnetzmodell des Fahrzeugs 10 bei Verwendung geändert werden, sodass bestimmte Fahrzeugteile, beispielsweise Räder, Türen oder ein Schiebedach, animiert werden können, oder die Farbe und Textur von bestimmten Teilen, beispielsweise von Fahrtrichtungsanzeigern oder Leuchten, in Reaktion auf Fahrzeugsensor-/-aktuatorinformationen in Echtzeit aktualisiert werden können, um die Wirklichkeitstreue des Polygonnetzmodells des Fahrzeugs 10 und dessen Entsprechung mit dem tatsächlichen Zustand des Fahrzeugs aufrecht zu erhalten.
Fahrzeugsoftware, entweder eine interaktive Anwendung, die unmittelbar in einer Fahrzeugkonsole oder auf einer Vorrichtung läuft, die mit dem Fahrzeug kommuniziert, kann dem Benutzer gestatten, die Farbe des Fahrzeugs zu ändern, oder es kann dem Benutzer bei einigen Ausführungsformen gestattet sein, die Transparenz des Fahrzeugs einzustellen, sodass das Anzeigebild bei bestimmten Ansichten der Umgebung in der Lage sein kann, Kamerainformationen von beiden Seiten des Fahrzeugs zu zeigen.
Das Polygonnetzmodell des Anhängers 16 stellt das hinter dem Fahrzeug 10 gezogene Objekt dar. Wiederum kann das Polygonnetzmodell des Anhängers 16 von dem Hersteller des Anhängers verfügbar sein und dieses kann dem Fahrzeug 10 über eine beliebige Anzahl von Mechanismen bereitgestellt werden. So können die Informationen für das Polygonnetzmodell des Anhängers 16 beispielsweise im Anhänger gespeichert sein und an das Fahrzeug 10 übertragen werden, wenn das Fahrzeug 10 und der Anhänger 16 entweder zusammengekuppelt werden oder sich einfach in großer Nähe zueinander befinden. Alternativ dazu könnte der Anhänger 16 dem Fahrzeug 10 einfach seine Identität und seinen Typ zu erkennen geben, sodass das Fahrzeug 10 über eine Netzverbindung zu einer Datenquelle die erforderlichen Daten für den Anhänger abrufen kann. Alternativ dazu kann der Benutzer die Polygonnetzmodell-Informationen für den Anhänger im Fahrzeug vorab gespeichert haben, um zu vermeiden, dass er sich auf eine Netzverbindung verlassen muss, und auf diese kann dann zugegriffen werden, wenn der Anhänger 16 an das Fahrzeug 10 angekuppelt wird.
Wenn keine vordefinierten Polygonnetzmodell-Informationen für den Anhänger verfügbar sind, kann, beispielsweise, wenn ein Fahrer seine eigene Kamera an einem Anhänger installiert hat, Fahrzeugsoftware dem Fahrer gestatten, seine eigenen Abmessungen für den Anhänger zusammen mit den Details der Kamera einzugeben.
Weitere Techniken zum Generieren des Polygonnetzmodells für den Anhänger 16 könnten maschinelles Sehen unter Verwenden von entweder separaten und/oder Fahrzeugkameras oder Scanning-Techniken einsetzen.
Somit kann jede Kombination der folgenden Techniken eingesetzt werden, um das Polygonnetzmodell des Anhängers 16 für das Fahrzeug 10 verfügbar zu machen:

1) Bereitstellen einer interaktiven Anwendung, die entweder unmittelbar in einer Fahrzeugkonsole oder auf einer Vorrichtung läuft, die mit dem Fahrzeug kommuniziert, um dem Benutzer zu gestatten, Polygonnetzmodell-Informationen des Anhängers einzugeben;
2) Scannen des gezogenen Objekts und Hochladen der gescannten Informationen entweder unmittelbar in das Fahrzeug oder in eine Vorrichtung, die mit dem Fahrzeug kommuniziert;
3) Erlangen von Daten über eine Verbindung mit dem gezogenen Fahrzeug;
4) Herunterladen von Polygonnetzmodell-Informationen des Anhängers über eine Netzverbindung; oder
5) Verwenden von Bildinformationen, die von jeglichen zu dem Anhänger weisenden Fahrzeugkameras erfasst wurden.

In jedem Fall kann Fahrzeugsoftware gestatten, dass die Form des Modells, die Farbe und Einzelheiten des Polygonnetzmodells des Anhängers vom Fahrer nach Bedarf geändert werden können, wiederum entweder als eine interaktive Anwendung, die unmittelbar in einer Fahrzeugkonsole läuft, oder auf einer Vorrichtung, die mit dem Fahrzeug kommuniziert.
Schließlich kann der Fahrer auch die Transparenz des Anhängers spezifizieren, sodass das Anzeigebild in bestimmten Ansichten der Umgebung in der Lage sein kann, Kamerainformationen von beiden Seiten der Fahrzeug/Anhänger-Kombination zu zeigen.
In jedem Fall kann Detektieren, dass ein Anhänger 16 an das Fahrzeug 10 angekuppelt wurde, auf eine Anzahl von Weisen vorgenommen werden, einschließlich über: manuelle Benutzereingabe; Signalisierung über eine drahtgebundene oder drahtlose Verbindung, die zwischen dem Fahrzeug 10 und dem Anhänger 16 hergestellt wurde; automatisches direktes oder indirektes Erfassen einer Verbindung an der Anhängerkupplung des Fahrzeugs; und/oder über eine Bildanalyse, insbesondere unter Verwenden der sich am Fahrzeugheck befindlichen Kamera.
Sobald ein Anhänger 16 als mit dem Fahrzeug verbunden detektiert wird, kann in der dreidimensionalen Umgebung das Anhänger-Polygonnetz hinter das Fahrzeug-Polygonnetz 10 platziert werden, wie in 2 gezeigt. Der exakte Ort der Fahrzeug/Anhänger-Kombination kann standardmäßig als in der Umgebung zentriert eingestellt werden oder dies kann nach Bedarf entweder manuell oder algorithmisch angepasst werden.
Ähnlich ist es möglich, dass die Form und die Größe der Schüssel 20 angepasst werden können, um sowohl das Fahrzeug 10 und den Anhänger 16 innerhalb der Schüssel 20 einzupassen. So könnte die Schüssel für längere Anhänger beispielsweise gestreckt werden, damit sie einen eher elliptischen als kreisförmigen Ausschnitt aufweist, wobei eine Hauptachse parallel zur Längsachse des Fahrzeugs verläuft. Alternativ dazu kann die Seitenwand der Schüssel offener sein, sodass sie eine eher konische als zylindrische Form aufweist.
Wie aus 2 ersichtlich, sind das Fahrzeug 10 und das gezogene Objekt 16 um die Anhängerkupplung 14 gelenkig gelagert, sodass zwischen den Längsachsen des Fahrzeugs und des Anhängers ein Winkel vorliegen kann. Bei der nachstehend beschriebenen Ausführungsform wird angenommen, dass dieser Winkel ein einfacher ist und einen Drehwinkel um eine vertikale Achse angibt, es versteht sich jedoch, dass Ausführungsformen einen zusammengesetzten Winkel und möglicherweise einen sich ändernden zusammengesetzten Winkel zwischen dem Fahrzeug 10 und dem Anhänger 16 berücksichtigen können.
Dieser Winkel kann auf jede Anzahl von Weisen detektiert werden, beispielsweise unter Verwenden von Bildinformationen von einer Kamera am Fahrzeugheck (RV), welche die nach vorn weisende Oberfläche des Anhängers abbildet, um die Drehung des Anhängers um die vertikale Achse, die durch die Anhängerkupplung verläuft, als abgebildete Merkmale des Anhängers zu detektieren, der sich seitlich im Sichtfeld der Kamera bewegt. Gleichermaßen können Bildinformationen von den Kameras an den Fahrzeugaußenspiegeln (ML, MR) Merkmale von der Oberfläche des Anhängers detektieren, der sich seitlich innerhalb ihrer jeweiligen Sichtfelder bewegt, um den relativen Winkel von Fahrzeug und Anhänger zu schätzen. Andere Techniken zum Bestimmen des relativen Winkels von Fahrzeug und Anhänger beinhalten Verwenden von Informationen von nach hinten weisenden Ultraschall- oder Radarsensoren (nicht gezeigt), die am Heck des Fahrzeugs (10) angebracht sind, wobei sich ändernde, von den Sensoren gemessene Differenzen Änderungen des relativen Winkels von Fahrzeug und Anhänger signalisieren. Noch andere Techniken können direktere oder zweckbestimmte Messinstrumente betreffen, die zwischen dem Fahrzeug 10 und dem Anhänger 16 angeordnet sind.
In jedem Fall, sobald der relative Winkel von Fahrzeug und Anhänger bekannt ist, kann dies in der Anordnung der jeweiligen Objekte in der dreidimensionalen Umgebung, wie in 2 gezeigt, dargestellt werden.
Bei Ausführungsformen der Erfindung kann Fahrzeugsoftware dem Fahrer gestatten, mit einer dreidimensionalen Ansicht der Umgebung zu interagieren (wie beispielsweise im Einzelnen in 7(b) gezeigt), um einen Blickpunkt (point of view - POV) für eine virtuelle Kamera in der Umgebung frei zu definieren. In einigen Fällen kann der Benutzer in der Lage sein, für die Kamera einen beliebigen der sechs Freiheitsgrade X, Y, Z, Rx, Ry, Rz in der Umgebung sowie in dem Sichtfeld (field of view - FOV) der Kamera einzustellen - diese definieren ein Anzeigefenster 22, das schließlich wiedergegeben wird, um dem Fahrer des Fahrzeugs deren Ansicht der dreidimensionalen, das Fahrzeug umgebenden Umgebung bereitzustellen.
Bei anderen Implementierungen können der Ort und die Orientierung des POV sowie des FOV der virtuellen Kamera gemäß dem Zustand der Fahrzeug/Anhänger-Kombination oder der Umgebung um die Kombination herum automatisch gewählt und angepasst werden. So kann der POV, beispielsweise, wenn das Fahrzeug 10 bezogen auf den Anhänger links abbiegt, nach links von der Kombination verschoben werden, wie in 2 gezeigt. Wenn andererseits der Fahrer einer solchen Kombination auf der linken Seite des Fahrzeugs säße und die Kombination zurücksetzen würde und ein Objekt nahe der rechten Seite der Kombination detektiert würde, könnte der POV um die Kombination herum zur rechten Seite des Fahrzeugs gedreht werden, um eine bessere Sicht des Objekts bereitzustellen. In der Tat könnte bei einigen Variationen der beschriebenen Ausführungsform ein Polygonnetzmodell eines jeglichen derartigen detektierten Objekts in die Schüsselumgebung integriert und verwendet werden, um die Qualität des wiedergegebenen Anzeigefensters zu verbessern.
In Reaktion auf Erfassen, dass der relative Winkel von Fahrzeug und Anhänger zu groß geworden ist und der Anhänger sich quer zu stellen beginnt, könnte der POV auch in eine höherliegende Position in der Umgebung geändert werden, möglicherweise sogar unmittelbar über der Kombination, um diese Informationen dem Fahrer deutlicher darzustellen.
Nun, da die Umgebung 20, ihre Objekte 10, 16, deren relative Orientierung und POV und FOV einer virtuellen Kamera in der Umgebung bestimmt worden sind, wird mit dem Beschreiben fortgefahren, wie die Schüsseloberfläche wiedergegeben werden kann, bevor das Anzeigefenster 22 für den Fahrer erzeugt wird.
Nun Bezug nehmend auf 3, weist das Fahrzeug 10 in einer Ausführungsform vier Kameras FV, ML, MR, RV auf, wie in 1 beschrieben. Jede dieser Kameras weist ein weites Sichtfeld auf und dieses kann beispielsweise bis zu 180° in der Diagonalen und darüber hinaus betragen. Dies bedeutet, dass sich die Sichtfelder von benachbarten Kameras um die Karosserie des Fahrzeugs herum überlappen, wie durch die Bereiche FV+MR, MR+RV, FV+ML und ML+RV in 3 angegeben. (Es ist zu beachten, dass die Grenzen für diese Bereiche nur schematisch gezeigt sind und nicht notwendigerweise die tatsächliche Geometrie der sich überlappenden Bereiche auf der Oberfläche der Schüssel 20 widerspiegeln.)
Wie in der oben genannten deutschen Patentanmeldung Nr. 102019131971.4 (Az.: 2018PF02667) angegeben, ist bekannt, dass die Kamerainformationen von benachbarten Kameras, die diesen Bereich abdecken, in diesen überlappenden Bereichen zusammengeführt werden. So können, basierend auf der Annahme, dass die Oberfläche der Schüssel 20 annähernd der Form der Oberfläche entspricht, die von der das Fahrzeug 10 umgebenden Umgebung freigelegt wird, und in Kenntnis der relativen Positionen und Orientierungen der benachbarten Kameras relativ zur Schüsseloberfläche, Bildinformationen von den Fahrzeugkameras auf der Oberfläche der Schüssel 20 abgebildet werden und in den überlappenden Bereichen können Bildinformationen von benachbarten Kameras zusammengeführt werden. Somit werden Bereiche, in denen Bildinformationen von mehr als einer Kamera kombiniert werden, um die Oberfläche der Schüssel 20 wiederzugeben, als „zusammengeführte Bereiche“ bezeichnet. Eine relativ einfache Zusammenführungsfunktion umfasst ein Vermischen von Bildinformationen von jeder benachbarten Kamera über die zusammengeführten Bereiche hinweg basierend auf einer einfachen Funktion, wie etwa einer Alphafunktion, wobei die Funktion Bildinformationen von der nächsten der angrenzenden Kameras, die Bildinformationen für den zusammengeführten Bereich für jeden gegebenen Ort des zusammengeführten Bereichs beitragen, schwerer wichtet. Weitere Zusammenführungsfunktionen können Techniken zum Aneinanderheften von Bildern einsetzen, beispielsweise basierend auf einer Merkmalsanalyse, um beim Generieren von zusammengeführten Bildinformationen Bildsemantiken zu berücksichtigen. Wie in der deutschen Patentanmeldung Nr. 102019131971.4 (Az.: 2018PF02667) beschrieben, können auch noch ausgefeiltere Herangehensweisen für das Vermischen oder Aneinanderheften basierend auf generativen neuronalen Netzen eingesetzt werden, um Artefakte, die von Nichtübereinstimmungen zwischen der tatsächlichen Oberfläche der Umgebung und der von der Oberfläche der Schüssel 20 bereitgestellten Schätzung verursacht wurden, abzuschwächen.
Ausführungsformen der vorliegenden Erfindung befassen sich mit einem Anhänger 16 mit einer oder mehreren Kameras, die der Umgebung des Fahrzeugs 10 hinzugefügt werden.
Nun Bezug nehmend auf 4, umfasst der Anhänger 16 in diesem Beispiel eine nach hinten weisende Kamera TV, die auf einer Heckfläche des Anhängers 16 angeordnet ist.
Wie vorstehend erläutert, werden Bildinformationen, die von der Heckkamera des Anhängers TV generiert wurden, dem Fahrzeug 10 zur Verwendung beim Generieren der Ansicht der Umgebung zur Anzeige an den Fahrer des Fahrzeugs bereitgestellt.
In einer ersten Konfiguration, in der das Fahrzeug 10 und der Anhänger 16 kollinear sind, ist eine Anzahl von Bereichen um die Peripherie der Fahrzeug/Anhänger-Kombination herum definiert. In diesem Fall sind die zusammengeführten Bereiche, die in 3 aus einer Kombination von Fahrzeugaußenspiegel (ML, MR) und Heck (RV) generiert wurden, beschnitten, um die Verdeckung der Kamera am Fahrzeugheck RV durch den Anhänger 16 zu berücksichtigen.
Dieser Modifikation der zusammengeführten Bereiche MR+RV und ML+RV werden weitere Bereiche hinzugefügt. Diese Bereiche umfassen einen Bereich, der sich vollständig im Sichtfeld der Kamera am Anhängerheck TV befindet. Auf beiden Seiten dieses Bereiches sind die zusammengeführten Bereiche ML+TV und MR+TV bereitgestellt, wo sich die Sichtfelder der Kamera am Anhängerheck TV und der Kameras an den Fahrzeugaußenspiegeln ML, MR überlappen. Nun versteht es sich, dass diese Bereiche in der Regel weiter weg von den Kameras an den Fahrzeugaußenspiegeln ML, MR als die Kamera am Anhängerheck TV angeordnet sind und somit jedes Zusammenführen der Bildinformationen von den jeweiligen Kameras dieser Bereiche dieses durch entsprechendes Wichten von Bildinformationen von der Kamera am Anhängerheck TV berücksichtigen kann. In der Tat kann es in einigen Fällen bevorzugt sein, wie nachstehend zu sehen ist, Bildinformationen von den Fahrzeugkameras und den Anhängerkameras nicht zusammenzuführen, insbesondere, wenn ihre relativen Stellungen (besonders um die horizontale Achse) nicht konstant oder bestimmt sind.
Jedoch befinden sich zwischen den zusammengeführten Bereichen ML+TV und MR+TV und den beschnittenen zusammengeführten Bereichen MR+RV und ML+RV definierte Bereiche, in denen Bildinformationen allein von den Kameras an den Fahrzeugaußenspiegeln ML, MR abgeleitet werden, um Probleme mit dem Verdecken der Kamera am Fahrzeugheck RV durch den Anhänger 16 abzuschwächen, trotz des Abstands dieser Bereiche von den Kamerastandorten.
Es ist zu beachten, dass die Abgrenzung der verschiedenen Bereiche in 4 schematisch und der Einfachheit halber mit geraden Linien gezeigt ist. Somit versteht es sich, dass der Bereich unmittelbar am Heck des Fahrzeugs in jedem der Bereiche MR+RV und ML+RV für die Kameras an den Fahrzeugaußenspiegeln ML, MR nicht sichtbar ist und diese somit keine Bildinformationen in diesem Bereich beitragen können. Daher kann diese Zone, die sich unmittelbar zwischen dem Fahrzeug 10 und dem Anhänger 16 befindet, entweder ignoriert werden, unter Beachtung, dass die Straßenfläche in dieser Zone sehr wahrscheinlich in jedem Fall vollständig von der Anhängerkupplung verdeckt wird, oder es kann ein weiterer Bereich, der Bildinformationen verwendet, die von der Kamera am Fahrzeugheck RV erhalten wurden, nur für diesen Abschnitt der Oberfläche der Schüssel 20 definiert werden, falls dies als zweckmäßig betrachtet würde.
Nun Bezug nehmend auf 5, versteht es sich, wenn sich der Knickwinkel von Fahrzeug 10 und Anhänger 16 ändert - in diesem Fall, weil das Fahrzeug 10 rechts abgebogen ist - sich deshalb nicht nur die Stellung der Kamera am Anhängerheck TV relativ zu den verbleibenden Kameras des Fahrzeugs ändert und sich somit die Projektion der Bildinformationen von der Kamera am Anhängerheck TV auf die Oberfläche der Schüssel 20 entsprechend mit ändert, sondern sich auch, weil einige Fahrzeugkameras jetzt Bereiche der Umgebung sehen können, die vorher nicht sichtbar waren, während andere Fahrzeugkameras weniger sehen, die Konfiguration der Bereiche, welche die Fahrzeug/Anhänger-Kombination umgeben, in Anzahl, Größe und Form ändert.
Somit zeigt 5, dass, wenn der Knickwinkel groß genug ist, Bildinformationen von der Kamera am Anhängerheck TV nicht länger mit Informationen von anderen Kameras zusammengeführt werden können, und dass dies alleinig zum Wiedergeben der Oberfläche der Schüssel 20 über das gesamte Sichtfeld der Kamera am Anhängerheck TV, allein basierend auf diesen Kamerabildinformationen, beiträgt.
Während ein Teil dieses Bereichs von der Kamera am Fahrzeugaußenspiegel MR sichtbar sein kann, können Bildinformationen von der Kamera am Anhängerheck TV in diesem Bereich von derart höherer Auflösung sein als von der Kamera am Fahrzeugaußenspiegel MR verfügbar ist, sodass es bevorzugt ist, nur diese Bildinformationen zu verwenden an Stelle von Informationen, die von zwei Kameras vermischt wurden. Ein Nichtverwenden des Zusammenführens für diesen Bereich reduziert auch die Gesamtmenge an Verarbeitung, die erforderlich ist, um Anzeigefensterinformationen von einem solchen Abschnitt der Oberfläche der Schüssel 20 zu erzeugen, aber auch aufgrund möglicher Winkelunterschiede um eine horizontale Achse zwischen dem Fahrzeug und dem Anhänger verhindert ein Nichtzusammenführen von Bildinformationen von den Fahrzeugkameras mit den Anhängerkameras, dass Artefakte aus dem Zusammenführen von Bildinformationen von zwei Kameras entstehen, wobei deren relative Stellungen nicht bestimmt oder konstant sind, beispielsweise, wenn die Fahrzeug/Anhänger-Kombination über eine gekrümmte Oberfläche fährt.
In jedem Fall ist der zusammengeführte Bereich von MR+RV jetzt sogar noch mehr beschnitten, als wenn das Fahrzeug 10 und der Anhänger 16 kollinear wären, wohingegen der zusammengeführte Bereich ML+RV andererseits in der gleichen Größe verbleiben kann - mit der Anmerkung wie zuvor, dass die Zone unmittelbar hinter dem Fahrzeug für die Kameras an den Fahrzeugaußenspiegeln ML, MR nicht sichtbar ist.
Ein neuer Bereich RV, der allein auf Bildinformationen von der Kamera am Fahrzeugheck RV basiert, die nicht von dem Anhänger behindert wird, ist in Richtung auf die linke Seite der Kombination bereitgestellt. Dieser Bereich nimmt im Winkelbereich zu, während das Fahrzeug weiterhin relativ zu dem Anhänger 16 nach rechts abbiegt.
Es versteht sich ebenfalls, dass, wenn nur eine Kamera am Anhängerheck TV bereitgestellt ist, Bereiche um die Seiten des Anhängers herum auch sowohl von der Kamera am Fahrzeugheck RV als auch von einer oder beiden der Kameras an den Fahrzeugaußenspiegeln ML, MR verdeckt werden. Diese Zonen werden als tote Winkel festgelegt und es wird in diesen Bereichen keine Wiedergabe der Oberfläche der Schüssel 20 mit Kamerabildinformationen durchgeführt.
Insbesondere ist zu sehen, dass, während der Bereich, der alleinig auf Bildinformationen von der Kamera am Fahrzeugheck RV basiert, im Winkel zunimmt, während das Fahrzeug 10 relativ zu dem Anhänger 16 rechts abbiegt, um einen Bereich abzudecken, der von sowohl der Kamera am Anhängerheck TV und der Kamera am Fahrzeugaußenspiegel ML verdeckt ist, auch die Größe des toten Bereichs an der linken Seite des Anhängers zunimmt.
In dem gezeigten Beispiel wird ein Bereich rechts von dem Anhänger und innerhalb dessen, was der zusammengeführte Bereich MR+RV ist, als das Fahrzeug und der Anhänger kollinear waren, als tot festgelegt. Auch wenn dieser tatsächlich für die Kamera am Fahrzeugaußenspiegel MR sichtbar sein könnte - wenn die Bildauflösung, die für diesen Bereich von der Kamera am Fahrzeugaußenspiegel MR allein bereitgestellt ist, so niedrig oder verzerrt wäre, dass sie nicht zufriedenstellend ist, kann ein derartiger Bereich als tot festgelegt werden.
In dieser Hinsicht versteht es sich, dass, bis das Fahrzeug 10 relativ zum Anhänger 16 rechts abbiegt, bis zu dem Grad, dass der Anhänger über den zusammengeführten Bereich MR+RV, als das Fahrzeug und der Anhänger kollinear waren, hinüberreicht, kann der in 4 mit MR bezeichnete Bereich zwischen dem Anhänger und den zusammengeführten Bereichen MR+RV, obwohl er zunehmend beschnitten wird, als ein Bereich festgelegt werden, von dem nur von der Fahrzeugkamera MR Bildinformationen bezogen werden.
Im Hinblick auf 6 wird nun ersichtlich, dass, wenn ein Anhänger 16' jeweils mit linken und rechten Seitenkameras TL, TR ausgestattet ist, dann zumindest für Bereiche der Oberfläche der Schüssel 20, die anderenfalls als tot festgelegt worden wären, nun festgelegt werden kann, dass sie ihre Bildinformationen allein von den Kameras an den Seiten des Anhängers TL, TR ableiten.
In dem Beispiel ist ersichtlich, dass aufgrund der erhöhten Auflösung, die von den Kameras an den Seiten des Anhängers TL, TR relativ zu den Kameras an den Fahrzeugaußenspiegeln ML, MR verfügbar ist, für die Bereiche an der Seite des Anhängers 16, für die im Beispiel von 4 festgelegt wurde, dass sie ihre Informationen von den Kameras an den Fahrzeugaußenspiegeln ML, MR ableiten, nun festgelegt werden kann, dass sie ihre Bildinformationen nur von den Kameras an den Seiten des Anhängers TL, TR ableiten.
Es ist zu beachten, dass dies bedeutet, dass, wenn das Fahrzeug 10 und der Anhänger 16' kollinear sind, Bildinformationen von den Kameras an den Seiten des Anhängers TL, TR an das Fahrzeug 10 zugeführt werden müssen, was den Datenverkehr zwischen den beiden erhöht. Wenn das Fahrzeug 10 und der Anhänger 16' kollinear sind, können somit bei einigen Ausführungsformen Bildinformationen für diese Bereiche weiterhin von den Kameras an den Fahrzeugaußenspiegeln ML, MR abgeleitet werden.
Es wird auch ersichtlich, dass es abhängig von der Länge des Anhängers 16' bevorzugt sein kann, keine zusammengeführten Bereiche in Richtung auf den Rand des Sichtfelds der Kamera am Anhängerheck TV bereitzustellen, um deren Bildinformationen mit jeweiligen Kameras an den Seiten des Anhängers TL, TR zu vermischen, um sowohl die Gesamtmenge der Verarbeitung zu reduzieren, die erforderlich ist, um die Oberfläche der Schüssel 20 wiederzugeben, und da abhängig von der Positionierung der Kameras an den Seiten des Anhängers TL, TR die Qualität und die Auflösung in diesen Bereichen der Kameras an den Seiten des Anhängers TL, TR eventuell nicht zufriedenstellend ist.
So werden im Beispiel von 6, zumindest wenn das Fahrzeug 10 und der Anhänger 16' kollinear sind, die zusammengeführten Bereiche TL+TV und TR+TV am Rand des Sichtfelds der Kamera am Anhängerheck TV festgelegt, um ihre Bildinformationen mit denen der Kameras an den Seiten des Anhängers TL, TR zu vermischen. Dies kann weiter fortgesetzt werden, bis der Winkel zwischen dem Fahrzeug 10 und dem Anhänger 16' einen Schwellenwert überschreitet, nach dem diese zusammengeführten Bereiche nicht angewendet werden.
Es ist zu beachten, dass, wenn Bildinformationen von einer der Anhängerkameras TL, TR, TV mit denen einer anderen Kamera vermischt werden, eine jegliche Änderung der Lage des Anhängers auf der Oberfläche der Schüssel berücksichtigt werden muss, beispielsweise in Reaktion auf ein Ändern der Beladung, und dass Techniken, wie etwa die in der oben genannten Deutschen Patentanmeldung Nr. 102019114404.3 (Az.: 2018PF02113 (SIE0883)) offenbarte verwendet werden können, um das Polygonnetzmodell des Anhängers bezogen auf die Oberfläche der Schüssel anzupassen, insbesondere um zu gewährleisten, dass zusammengeführte Bereiche, die auf Bildinformationen von sowohl benachbarten Anhängerkameras als auch von Anhänger- und Fahrzeug-Kameras basieren, weniger anfällig für Artefakte sind.
In jedem Fall können beim Festlegen der einen oder der mehreren Kameras, von denen Bildinformationen abgeleitet werden sollen, um verschiedene Bereiche um die Anhänger/Fahrzeug-Kombination wiederzugeben, während das Fahrzeug seinen Winkel bezogen auf den Anhänger 16, 16' ändert, die Pixelqualität/-auflösung von jeder gegebenen Kamera, der Abstand der Kamera zu dem Bereich und die Verarbeitung, die sowohl zum Erlangen von Bildinformationen als auch zum Generieren von Bildinformationen erforderlich ist, berücksichtigt werden.
Während die Beschreibung der Beispiele der 5 und 6 für den Fall bereitgestellt wurde, in dem das Fahrzeug 10 bezogen auf den Anhänger 16, 16' rechts abbiegt, versteht es sich, dass die Bereiche für den Fall, in dem das Fahrzeug 10 bezogen auf den Anhänger 16, 16' links abbiegt, gespiegelt werden können.
Gleichwohl ist bei einigen Ausführungsformen zu berücksichtigen, ob das Fahrzeug 10 für eine Linkssteuerung oder eine Rechtssteuerung ausgelegt ist und/oder ob das Fahrzeug in einem Land mit Linksverkehr oder in einem Land mit Rechtsverkehr gefahren wird, sodass die Bereiche, die um die Fahrzeug/Anhänger-Kombination herum festgelegt wurden, in Reaktion darauf, ob das Fahrzeug links oder rechts abbiegt, nicht symmetrisch sein müssen.
Aus der vorstehenden Beschreibung versteht es sich, wie Bildinformationen von den verschiedenen Kameras abgeleitet werden können, die um die Fahrzeug/Anhänger-Kombination herum angeordnet sind, um jeden gegebenen Abschnitt der Oberfläche der Schüssel 20 gemäß dem relativen Winkel von Fahrzeug 10 und Anhänger 16, 16' wiederzugeben, und dass dies zu jedem gegebenen Zeitpunkt unabhängig von dem POV ist.
Es wird nun erläutert, wie für jeden gegebenen POV und jedes Anzeigefenster 22, die entweder durch Benutzerinteraktion oder algorithmisch in Reaktion auf Sensoreingaben oder anderweitig gewählt wurden, Bildinformationen von der sichtbaren Oberfläche der Schüssel 20 an jeweiligen Stellen im Anzeigefenster 22 abgebildet werden können.
Bezug nehmend auf 7(a), kann dabei die für das Fahrzeug 10 und/oder den Anhänger 16, 16' ausgewählte Transparenz, wie vorstehend erwähnt, berücksichtigt werden. So wurde in diesem Beispiel ausgewählt, dass das Fahrzeug undurchsichtig ist, und so sind es einzig Bildinformationen von dem Polygonnetzmodell des Fahrzeugs, die verwendet werden, um das wiedergegebene Bild in diesem Abschnitt des Anzeigefensters zu erzeugen.
Andererseits wurde ausgewählt, dass der Anhänger im Wesentlichen transparent sein soll, und so umfassen Bildinformationen in diesem Abschnitt des Anzeigefensters eine vermischte Kombination aus Bildinformationen von der Oberfläche der Schüssel 20 und dem Polygonnetzmodell des Anhängers.
Es versteht sich deshalb, dass ein finales wiedergegebenes Anzeigefenster 22, wie in 7(b) gezeigt, mit diesen verfügbaren Informationen generiert werden kann. Es wird angemerkt, dass in diesem Anzeigefenster, während sich der POV in Richtung auf die linke Seite des Fahrzeugs befindet, die Oberfläche der Umgebung in Richtung auf die rechte Seite des Fahrzeugs durch den Anhänger 16 sichtbar ist.
Es ist zu beachten, dass die obere rechte Seite der Anzeige schwarz ist, da sie über das Sichtfeld einer der Kameras, die in Richtung auf die linke Seite der Fahrzeug/Anhänger-Kombination angeordnet sind, hinaus liegt.
Es wird ebenfalls angemerkt, dass die Qualität des Bilds von Bereich zu Bereich um die Fahrzeug/Anhänger-Kombination herum hinsichtlich der Textur variiert, da Bildinformationen von unterschiedlichen Kameras und Kombinationen von Kameras bezogen werden. Es ist ersichtlich, dass in diesem Fall der Abschnitt des Anzeigefensters, der sich unmittelbar rechts von dem Anhänger befindet, von Bildinformationen von einer Kamera an einem Fahrzeugaußenspiegel MR abgeleitet ist und tendenziell von einer niedrigeren Auflösung/Qualität als andere Zonen des Anzeigefensters ist.
Während die vorstehende Beschreibung im Hinblick darauf bereitgestellt wurde, wie Kamerainformationen auf der Oberfläche der Schüssel 20 abgebildet werden und wie Informationen von der Oberfläche der Schüssel 20 sowie von den Polygonnetzmodellen des Fahrzeugs und des Anhängers in dem Anzeigefenster 22 abgebildet werden, versteht es sich, dass es in der Praxis wahrscheinlicher ist, dass die Anzeigefensterinformationen umgekehrt generiert werden, indem bekannt ist, wie sich jedes gegebene Pixel des Anzeigefensters auf der Oberfläche der Schüssel abbildet und somit die Kombination und der Ort von Kamerabildinformationen bekannt sind, die erfasst, interpoliert und möglicherweise vermischt sowie möglicherweise mit Fahrzeug- und/oder Polygonnetzmodellinformationen kombiniert werden müssen, um einen Pixelwert zu erzeugen.
Gleichwohl versteht es sich, wie unter Verwenden von verschiedenen Eingaben, wie etwa mechanischen Informationen zu Fahrzeug und Anhänger sowie Sensorinformationen, der Standort und die relative Position des Fahrzeugs und des Anhängers in der Schüsselumgebung fortwährend aktualisiert werden können, und in Kenntnis des relativen Winkels von Fahrzeug und Anhänger sowohl die Form der Schüssel 20 und der Satz von Bereichen und zusammengeführten Bereichen um die Fahrzeug/Anhänger-Kombination herum abgerufen und aktualisiert werden können, um ein Anzeigefenster 22 für jeden POV in der Schüssel 20 problemlos bereitzustellen.
Es versteht sich, dass Ausführungsformen der Erfindung auf dem Erlangen von Bildinformationen von mehreren Kameras, die sich um eine Fahrzeug/Anhänger-Kombination herum befinden, und dem Verarbeiten davon beruhen, bevor schließlich einem Fahrer ein Anzeigefenster 22 bereitgestellt wird. Bei einigen Ausführungsformen kann Fahrzeugsoftware, die entweder auf einer Fahrzeugkonsole oder auf einer Vorrichtung läuft, die mit dem Fahrzeug kommuniziert, einem Fahrer gestatten, Merkmale des Fahrzeugs, des Anhängers und der für die Anzeige zu verwendenden Umgebung zu spezifizieren, doch in jedem Fall kann die Verarbeitung, die zum Eingeben von Informationen erforderlich ist, an jedem beliebigen Ort ausgeführt werden, von der ECU, die anfänglich Bildinformationen von den verschiedenen Kameras erlangt, bis zu weiteren bildverarbeitenden Modulen, die mit der ECU über einen Fahrzeugbus, wie etwa einem CAN- oder FlexRay-Bus verbunden sein können, bis zu einem eigenständigen Anzeigemodul, das eng mit der Anzeige 12 gekoppelt ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019131971 [0003, 0046]
DE 102019126814 [0003]
US 9908558 B [0006]
EP 3342645 A [0007]
WO 2016/026870 [0008]
DE 102019122086 [0008]
US 20190176698 A [0009]
DE 102019114404 [0026, 0068]

Zitierte Nicht-Patentliteratur

Titel „An image processing module“, eingereicht am 26. November 2019 [0003]
„An electronic control unit‟, eingereicht am 7. Oktober 2019 [0003]
Titel „Image acquisition system“, eingereicht am 29. Mai 2019 [0026]

Claims

Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug (10) und einem Anhänger (16, 16'), umfassend die folgenden Schritte: Bereitstellen eines Modells einer Oberfläche (20) als eine Schätzung für eine Oberfläche, die von einer das Fahrzeug (10) umgebenden Umgebung freigelegt ist; Bereitstellen eines Modells für das Fahrzeug auf der Oberfläche (20), wobei das Fahrzeugmodell mindestens den Ort und die Stellung mehrerer Fahrzeugkameras (FV, ML, MR, RV) beinhaltet; Bestimmen einer Winkelausrichtung um eine vertikale Achse des Fahrzeugs (10) und des Anhängers (16, 16'); Bereitstellen eines Modells für den Anhänger auf der Oberfläche (20) in dem bestimmten Winkel zu dem Modell für das Fahrzeug, wobei das Modell des Anhängers den Ort und die Stellung von mindestens einer Anhängerkamera (TV, TL, TR) relativ zu den Fahrzeugkameras beinhaltet; für jede bestimmte Winkelausrichtung des Fahrzeugs (10) und des Anhängers (16,16'), Festlegen, für jeden aus mehreren Bereichen der Oberfläche (20), welche die Modelle des Fahrzeugs und des Anhängers umgibt, von einer oder mehreren der Fahrzeug- oder Anhängerkameras, die potentiell Bildinformationen zur Anzeige bereitstellen sollen; Bestimmen eines Blickpunkts (POV - point of view) für eine virtuelle Kamera in der Umgebung, um ein Anzeigefenster (22) zu definieren; Wiedergeben eines jeden Pixels des Anzeigefensters (22) als eine Funktion von Bildinformationen von der einen oder den mehreren Kameras, die für einen Bereich der Oberfläche festgelegt wurden, einschließlich einer Projektion des Pixelorts des Anzeigefensters auf die Oberfläche (20) und der Projektion der Modelle des Fahrzeugs und des Anhängers in das Anzeigefenster (22); und Bereitstellen der Anzeigefensterinformationen an eine Fahrzeuganzeige (12), um dem Fahrer zu assistieren.
Verfahren nach Anspruch 1, wobei der Anhänger eine nach hinten weisende Kamera beinhaltet, die an einer Heckfläche des Anhängers angeordnet ist.
Verfahren nach Anspruch 2, wobei, wenn sich das Fahrzeug und der Anhänger in kollinearer Ausrichtung befinden, die mehreren Bereiche Folgendes beinhalten: einen ersten Bereich rechts des Fahrzeugs, von dem Bildinformationen nur von einer sich an der rechten Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen zweiten Bereich rechts des Anhängers, von dem Bildinformationen nur von der sich an der rechten Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen dritten Bereich zwischen dem ersten und dem zweiten Bereich, von dem Bildinformationen von der sich an der rechten Seite des Fahrzeugs befindlichen Kamera und einer Kamera am Fahrzeugheck bereitgestellt werden; einen vierten Bereich links des Fahrzeugs, von dem Bildinformationen nur von einer sich an der linken Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen fünften Bereich links des Anhängers, von dem Bildinformationen nur von der sich an der linken Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen sechsten Bereich zwischen dem vierten und fünften Bereich, von dem Bildinformationen von der sich an der linken Seite des Fahrzeugs befindlichen Kamera und der Kamera am Fahrzeugheck bereitgestellt werden; und einen siebten Bereich, von dem Bildinformationen nur von einer Kamera am Anhängerheck bereitgestellt werden.
Verfahren nach Anspruch 3, wobei, wenn sich das Fahrzeug und der Anhänger in nichtlinearer Ausrichtung befinden, die mehreren Bereiche beinhalten: einen achten Bereich, von dem Bildinformationen aus einem Sichtfeld einer Kamera am Fahrzeugheck, das nicht von dem Anhänger bei dem bestimmten Winkel verdeckt wird, bereitgestellt werden; wobei ein Winkelbereich von einem aus dem dritten oder sechsten Bereich beschnitten wird, wenn der bestimmte Winkel von Fahrzeug und Anhänger einen gegebenen Winkel überschreitet.
Verfahren nach Anspruch 2, wobei der Anhänger ferner nach links und nach rechts weisende Kameras beinhaltet, die an gegenüberliegenden Seitenflächen des Anhängers angeordnet sind.
Verfahren nach Anspruch 5, wobei, wenn sich das Fahrzeug und der Anhänger in kollinearer Ausrichtung befinden, die mehreren Bereiche Folgendes beinhalten: einen ersten Bereich rechts des Fahrzeugs, von dem Bildinformationen nur von einer sich an der rechten Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen zweiten Bereich rechts des Anhängers, von dem Bildinformationen nur von der sich an der rechten Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen dritten Bereich zwischen dem ersten und dem zweiten Bereich, von dem Bildinformationen von der sich an der rechten Seite des Fahrzeugs befindlichen Kamera und einer Kamera am Fahrzeugheck bereitgestellt werden; einen vierten Bereich links des Fahrzeugs, von dem Bildinformationen nur von einer sich an der linken Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen fünften Bereich links des Anhängers, von dem Bildinformationen nur von der sich an der linken Seite des Fahrzeugs befindlichen Kamera bereitgestellt werden; einen sechsten Bereich zwischen dem vierten und fünften Bereich, von dem Bildinformationen von der sich an der linken Seite des Fahrzeugs befindlichen Kamera und der Kamera am Fahrzeugheck bereitgestellt werden; und einen siebten Bereich, von dem Bildinformationen nur von einer Kamera am Anhängerheck bereitgestellt werden.
Verfahren nach Anspruch 6, wobei, wenn sich das Fahrzeug und der Anhänger in nichtlinearer Ausrichtung befinden, die mehreren Bereiche beinhalten: einen achten Bereich, von dem Bildinformationen aus einem Sichtfeld einer Kamera am Fahrzeugheck, das nicht von dem Anhänger bei dem bestimmten Winkel verdeckt wird, bereitgestellt werden; wobei ein Winkelbereich von einem aus dem dritten oder sechsten Bereich beschnitten wird, wenn der bestimmte Winkel von Fahrzeug und Anhänger einen gegebenen Winkel überschreitet.
Verfahren nach Anspruch 7, wobei die mehreren, das Fahrzeug umgebenden Bereiche aneinander angrenzend sind.
Verfahren nach Anspruch 1, wobei kein Bereich aus den mehreren Bereichen festgelegt ist, als dass er potentiell Bildinformationen von sowohl einer Fahrzeugkamera als auch einer Anhängerkamera bereitstellen kann.
Verfahren nach Anspruch 1, wobei der Blickpunkt (POV - point of view) für die virtuelle Kamera über eine Interaktion mit Anwendungssoftware benutzerdefiniert ist.
Verfahren nach Anspruch 1, wobei das Wiedergeben für eine Projektion eines Pixelorts des Anzeigefensters auf einen Ort an der Oberfläche (20) in einem Bereich, der mit Bildinformationen von mehr als einer Kamera bereitgestellt ist, Vermischen von interpolierten Bildinformationen von der mehr als einen Kamera gemäß dem Ort des projizierten Pixels in dem Bereich umfasst.
Fahrerassistenzsystem für eine Kombination, die ein Kraftfahrzeug und einen Anhänger umfasst, wobei das Fahrerassistenzsystem konfiguriert ist, die Schritte nach einem der Ansprüche 1 bis 11 durchzuführen.
Kraftfahrzeug mit einem Fahrerassistenzsystem Anspruch 12.
Kombination mit einem Kraftfahrzeug nach Anspruch 13 und einem Anhänger.
Computerprogramm mit Befehlen, die bei Ausführung des Computerprogramms durch ein Fahrerassistenzsystem nach Anspruch 12 das Fahrerassistenzsystem veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.