-
Technisches Gebiet
-
Die Erfindung betrifft Anzeigesysteme für Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug.
-
Technischer Hintergrund
-
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen Reflexionsflächen in Sichtöffnungen der Datenbrille, wobei über Reflexionsflächen Abbildungen in das Auge des Trägers der Datenbrille gerichtet werden. In den Sichtöffnungen der Datenbrille ist eine transparente Scheibe angeordnet, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen und können halbtransparent ausgebildet sein, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann. Darüber hinaus sind auch Datenbrillen bekannt, die eine nicht-transparente Anzeige umfassen.
-
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d. h. so dargestellt, dass die Information einem bestimmten Objekt in der Realumgebung, z. B. ortsfest, überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Information in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin ist es wünschenswert, die Information so darzustellen, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d. h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Information ergänzt wurde. Die anzuzeigenden Informationen können Fahrer- und Fahrzeugzustandsangaben, Warnhinweise, Navigationsinformationen, Menü- und Kontextinformationen sowie Informationen des Entertainmentsystems umfassen.
-
Um die Information entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Pose der Datenbrille, d. h. die 3D-Position als auch die 3D-Ausrichtung, in Bezug zum Objekt zu kennen.
-
Zur Bestimmung der Pose der Datenbrille kann in der Datenbrille eine Posenerkennungsfunktion vorgesehen werden. Die Posenerkennungsfunktion weist in der Regel eine Recheneinrichtung, z. B. in Form eines Mikroprozessors auf. Die in Datenbrillen verwendeten Recheneinrichtungen weisen jedoch üblicherweise keine ausreichende Rechenkapazität auf, um eine zur Pose der Datenbrille passende perspektivische Darstellung der anzuzeigenden Informationen zu erstellen. Insbesondere im spezifischen Fall der Wiedergabe von Kameraaufzeichnungen mit 3D-Rekonstruktion einer Korrektur der Aufzeichnung ist die Rechenkapazität in Datenbrillen nicht ausreichend.
-
Zur Erfassung der Umgebung des Kraftfahrzeugs und zum Bereitstellen von Anzeigebildern für die Daten ist eine Umfelderfassungseinrichtung vorgesehen, die eine oder mehrere Kameras aufweist und zudem eine Objekterkennungssensorik aufweisen kann, um die Position von Objekten in der Nähe des Kraftfahrzeugs und ggfs. deren Form bzw. Kontur zu erfassen.
-
Aus der Druckschrift
DE 10 2015 007 246 A1 ist ein Verfahren zum Betreiben eines Anzeigesystems bekannt, wobei ein Sichtfeld einer in einem Kraftfahrzeug angeordneten elektronischen Datenbrille ermittelt wird, und weiterhin ermittelt wird, ob zumindest ein vorgegebenes Element des Kraftfahrzeugs innerhalb des ermittelten Sichtfelds angeordnet ist. Falls das zumindest eine vorgegebene Element des Kraftfahrzeugs innerhalb des ermittelten Sichtfelds angeordnet ist, wird ein hinter dem vorgegebenen Element angeordneter Umgebungsbereich des Kraftfahrzeugs mittels der elektronischen Datenbrille so angezeigt, dass das Element aus einem vorgegebenen Blickwinkel von dem angezeigten Umgebungsbereich überlagert wird.
-
Bei derartigen Einblendungen in der Datenbrille über sichtverdeckenden Fahrzeugteilen soll ein Abbild der Realumgebung auf der Anzeigefläche der Datenbrille angezeigt werden. Da das Zusammensetzen der Kamerabilder (Stitching) für fahrzeugnahe Objekte aufgrund des Versatzes zwischen den Kameras und dem Benutzer der Datenbrille zu unkorrekten Anzeigen führen kann, kann in diesen Fällen das dargestellte Abbild der Realumgebung in der Datenbrille nicht mit der Realumgebung hinter den sichtverdeckenden Fahrzeugteilen übereinstimmen. Dies führt zu Versatzen der Wahrnehmung an den Grenzlinien zwischen transparenten Bereichen (Fahrzeugscheibe) und nicht transparenten Fahrzeugteilen.
-
Eine Erfassung sämtlicher in der Fahrzeugumgebung vorhandener Objekte entsprechend ihrer Position und Form ermöglicht zwar die korrekte Darstellung in der Datenbrille, jedoch erfordert eine vollständige Rekonstruktion aller in der Fahrzeugumgebung sichtbaren Objekte vor allem für den Fernbereich eine sehr genaue Umfelderfassungseinrichtung und ist mit bestehenden Sensoren nur sehr ungenau oder aufwendig möglich. Zudem erfordert die Rekonstruktion eines Anzeigebilds für die Datenbrille aus den erfassten Objekten insbesondere in Echtzeit eine sehr hohe Rechenkapazität. Dies gilt insbesondere bei der 3D-Rekonstruktion auf Basis von 2D-Farb- (RGB)- und Tiefeninformationen in Echtzeit.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Anzeigebild zur Darstellung auf einer Datenbrille zur Verfügung zu stellen, mit dem ein Abbild der Realumgebung bzw. Objekte in der Fahrzeugumgebung ohne Versatz zur wahrgenommenen Realumgebung in der Datenbrille dargestellt werden können. Insbesondere soll dies mit einem reduzierten Rechenaufwand erreicht werden.
-
Offenbarung der Erfindung
-
Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille gemäß Anspruch 1 sowie durch das Verfahren zum Betreiben einer Datenbrille, das Verfahren zum Betreiben eines Fahrerassistenzsystems sowie durch das Anzeigesystem, die Datenbrille und das Fahrerassistenzsystem gemäß den nebengeordneten Ansprüchen gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille für ein Kraftfahrzeug vorgesehen, wobei in einem Fahrerassistenzsystem, das mit der Datenbrille über eine Kommunikationsverbindung verbunden ist, folgende Schritte ausgeführt werden:
- - Erfassen (S3) eines 2D-Abbilds der Fahrzeugumgebung;
- - Erfassen (S4) von Positionen mindestens eines fahrzeugnahen Objekts (11) um das Kraftfahrzeug (10);
- - Identifizieren (S5) des mindestens einen fahrzeugnahen Objekts in dem 2D-Abbild der Fahrzeugumgebung und Separieren des mindestens einen identifizierten Objekts aus dem 2D-Abbild;
- - Perspektivisches Korrigieren des mindestens einen separierten identifizierten Objekts abhängig von einer Pose der Datenbrille;
- - Generieren eines kombinierten Umgebungsbilds durch Überlagern des 2D-Abbilds mit dem mindestens einen separierten identifizierten Objekt; und
- - Anzeigen zumindest eines Teilbereichs des kombinierten Umgebungsbilds auf mindestens einer Anzeigefläche der Datenbrille.
-
Eine Idee des obigen Verfahrens besteht darin, ein kombiniertes Umgebungsbild zur Generierung eines Anzeigebilds in der Datenbrille aus einem 2D-Abbild der Fahrzeugumgebung und aus durch eine Fahrzeugsensorik erfassten Positionen von fahrzeugnahen Objekten zu erzeugen. Dadurch kann für die aktuelle Pose der Datenbrille ein Anzeigebild generiert werden, das fahrzeugnahe Objekte hinter sichtverdeckenden Fahrzeugteilen darstellt, ohne dass ein Versatz zu einer durch transparente Fahrzeugteile (Scheiben) wahrnehmbaren Realumgebung und insbesondere kein Versatz bei einer Teilüberdeckung des betreffenden Objekts bzw. der betreffenden Objekte durch ein sichtverdeckendes Fahrzeugteil auftritt. Dazu werden Objekte in dem 2D-Abbild identifiziert, die sich in Fahrzeugnähe befinden, und anschließend aus dem 2D-Abbild separiert, d. h. ausgeschnitten, um in Folge eine separate Modifizierung des identifizierten Objektes vornehmen zu können.
-
Durch Identifizieren und Separieren von fahrzeugnahen Objekten können diese unabhängig von dem ursprünglichen 2D-Abbild modifiziert werden. Dies ermöglicht eine perspektivische Korrektur des separierten Objekts und anschließend Einfügen in das 2D-Abbild. Auf diese Weise ist es möglich, bei moderatem Rechenaufwand auch Objekte, die sich im Nahbereich um das Kraftfahrzeug befinden, örtlich korrekt einem sich im Kraftfahrzeug befindlichen Träger der Datenbrille anzuzeigen.
-
Insgesamt kann durch das obige Verfahren der Hardware-Aufwand sowie die Anforderungen an die Kommunikation zwischen Fahrzeug und Datenbrille für die korrekte Darstellung einer Fahrzeugumgebung in einer Datenbrille insbesondere in Echtzeit reduziert werden. Weiterhin ist es nunmehr ausreichend, die Erfassungssensorik lediglich dafür auszulegen, Objekte innerhalb eines Nahbereichs um das Kraftfahrzeug zu erfassen.
-
Weiterhin können zum Identifizieren des mindestens einen fahrzeugnahen Objekts in dem 2D-Abbild nur Objekte mit einem Abstand von dem Kraftfahrzeug, der geringer ist als ein vorgegebener Nahbereichsabstand, berücksichtigt werden.
-
Gemäß einer Ausführungsform kann das perspektivische Korrigieren des mindestens einen separierten identifizierten Objekts mithilfe einer Größenkorrektur des mindestens einen separierten identifizierten Objekts in mindestens einer Richtung der Abbildungsebene des 2D-Abbilds durchgeführt werden.
-
Insbesondere kann das perspektivische Korrigieren durch Skalieren des mindestens einen identifizierten Objekts abhängig von einem ersten Abstand zwischen einer bekannten Position einer Fahrzeugkamera, die das betreffende identifizierte Objekt abgebildet hat, und der erfassten Position des betreffenden identifizierten Objekts und einem zweiten Abstand zwischen der Datenbrille und der Position des betreffenden identifizieren Objekts angepasst werden.
-
Es kann vorgesehen sein, dass das kombinierte Umgebungsbild an die Datenbrille übertragen wird, wobei mindestens ein Anzeigebild abhängig von der Pose der Datenbrille als Bereich aus dem kombinierten Projektionsbild ausgewählt wird.
-
Insbesondere kann das mindestens eine Anzeigebild abhängig von einer vorgegebenen Fahrzeugteilmaskierung aus dem kombinierten Umgebungsbild generiert werden, so dass das Anzeigebild nur nicht-transparente Fahrzeugteile überlagernd erzeugt wird.
-
Es kann vorgesehen sein, dass die Pose der Datenbrille durch Übermitteln einer von der Datenbrille erfassten Pose an das Fahrerassistenzsystem bereitgestellt wird.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung, insbesondere Fahrerassistenzsystem, für ein Anzeigesystem mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, wobei die Vorrichtung ausgebildet ist, um:
- - ein 2D-Abbild der Fahrzeugumgebung zu erfassen;
- - Positionen von einem oder mehreren fahrzeugnahen Objekten um das Kraftfahrzeug zu erfassen;
- - mindestens eines der fahrzeugnahen Objekte in dem 2D-Abbild der Fahrzeugumgebung zu identifizieren und das mindestens eine identifizierte Objekt aus dem 2D-Abbild zu separieren;
- - das mindestens eine separierte identifizierte Objekt abhängig von einer Pose der Datenbrille perspektivisch zu korrigieren;
- - ein kombiniertes Umgebungsbild durch Überlagern des 2D-Abbilds mit dem mindestens einen separierten identifizierten Objekt zu generieren; und
- - zumindest einen Teilbereich des kombinierten Umgebungsbilds auf mindestens einer Anzeigefläche der Datenbrille anzuzeigen.
-
Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit der obigen Vorrichtung und einer Datenbrille vorgesehen.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug;
- 2 eine Darstellung einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs und den das Kraftfahrzeug umgebenden Nahbereich;
- 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrerassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal 4 ausgebildet, z. B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrerassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung.
-
Die Datenbrille 3 ist mit zwei transparenten Sichtscheiben 32 versehen, die in einem Rahmen 31 der Datenbrille 3 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
-
Die Sichtscheiben 32 sind weiterhin jeweils mit einer transparenten Anzeigefläche 35 versehen, in die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild angezeigt werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z. B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, ein elektronisch generiertes Anzeigebild auf die Anzeigefläche 35 einzublenden.
-
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
-
Insbesondere kann die Anzeigefläche 35 als Reflexionsfläche ausgebildet sein, über die ein Projektionsbild zur Darstellung der Anzeigeinformation in das Auge eines Benutzers projiziert wird.
-
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder davon abgeleitet werden kann.
-
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein und Datenbrillenfunktionen und Funktionen des Anzeigesystems 2 ausführen. Dazu kann das Fahrerassistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigende virtuelle Objekte an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Fahrzeug, während die Posenerkennungsfunktion diese Anzeigeinformationen vom Bezugsystem des Kraftfahrzeugs in das Bezugsystem der Brille, insbesondere deren Anzeige, übersetzt.
-
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in einem fahrzeugfesten Koordinatensystem sowie deren dreidimensionale Ausrichtung. Die Steuereinheit 37 kann dazu mit einer geeigneten Datenbrillenkamera 38 verbunden sein, die etwa in Blickrichtung des Trägers der Datenbrille 3 gerichtet ist. Die Datenbrillenkamera 38 erfasst regelmäßig Kamerabilder und übermittelt diese an die Steuereinheit 37. Die Steuereinheit 37 wertet die Kamerabilder aus und versucht mithilfe von Mustererkennungsverfahren markante Strukturen des Fahrzeuginnenraums in dem Kamerabild aufzufinden, deren Positionen bekannt sind, und daraus die Pose der Datenbrille 3 zu ermitteln.
-
Alternativ kann die Posenerkennungsfunktion auch in dem Fahrerassistenzsystem 2 vorgesehen sein, die die Pose der Datenbrille 3 entsprechend z. B. durch eine auf den Träger der Datenbrille 3 gerichtete Kamera erfassen kann und die Information über die aktuelle Pose kontinuierlich an die Datenbrille 3 übermittelt.
-
Das Fahrerassistenzsystem 2 steht mit mindestens einer Umgebungserfassungseinrichtung 21 in Verbindung, durch die Objekte in einer Fahrzeugumgebung wahrgenommen bzw. identifiziert werden können. Beispielsweise kann eine solche Einrichtung eine oder mehrere optische Kameras, einen oder mehrere LiDAR-Sensoren, einen Radar, einen Ultraschallsensor und dergleichen umfassen. Bei Vorsehen mehrerer Kameras bzw. Sensoren kann ein Gesamtbild durch Zusammensetzung von Einzelbildern erzeugt werden, um eine Rundum-Bildinformation zu erhalten. Weiterhin können die Positionen der betreffenden Objekte bestimmt werden.
-
Eine herkömmliche Funktion des Anzeigesystems 1 besteht darin, dass das Fahrerassistenzsystem 2 die Rundum-Bildinformation an die Datenbrille 3 überträgt, die dann entsprechend der Pose der Datenbrille die kontaktanalog zu bestimmten Objekten der Realumgebung anzuzeigende Informationen auf der bzw. den Anzeigeflächen 35 darstellt. Die Rundum-Bildinformation beinhaltet alle im Umfeld des Kraftfahrzeugs darzustellenden Informationen, so dass je nach Pose der Datenbrille 3 in der Anzeigeeinrichtung 36 der anzuzeigende Ausschnitt der Rundum-Bildinformation als Anzeigebild ausgewählt und angezeigt wird. Dabei soll das Anzeigebild lediglich in denjenigen Sichtbereichen dargestellt werden, in denen die Wahrnehmung der Realumgebung durch Fahrzeugteile, wie z. B. die A-Säule, verdeckt ist. Durch die Übertragung der Rundum-Bildinformation für zwei Anzeigeflächen 35 in Echtzeit wird eine hohe Bandbreite der Kommunikationsverbindung 4 benötigt.
-
Bei derartigen Einblendungen in der Datenbrille über sichtverdeckenden Fahrzeugteilen kann es aufgrund des Zusammensetzens der Kamerabilder (Stitching) für fahrzeugnahe Objekte aufgrund des Versatzes zwischen den Positionen der Kameras und des Benutzers der Datenbrille 3 zu unkorrekten Anzeigen kommen. So kann bei teilverdeckten Objekten das dargestellte Abbild der Realumgebung in der Datenbrille 3 nicht mit der Realumgebung hinter den sichtverdeckenden Fahrzeugteilen übereinstimmen. Dies führt zu Versatzen der Wahrnehmung an den Grenzlinien zwischen transparenten Bereichen (Fahrzeugscheibe) und nicht transparenten Bereichen der sichtverdeckenden Fahrzeugteile.
-
Eine Erfassung sämtlicher in der Fahrzeugumgebung vorhandener Objekte entsprechend ihrer Position und Form ermöglicht zwar die korrekte Darstellung in der Datenbrille, jedoch erfordert eine vollständige 3D-Rekonstruktion aller in der Fahrzeugumgebung sichtbaren Objekte vor allem für den Fernbereich eine sehr genaue Umfelderfassungseinrichtung und ist mit bestehenden Sensoren nur sehr ungenau oder aufwendig möglich. Zudem erfordert die Rekonstruktion eines Anzeigebilds für die Datenbrille aus den erfassten Objekten eine sehr hohe Rechenkapazität.
-
Zum Betrieb des Fahrerassistenzsystems 2 wird daher ein Verfahren vorgeschlagen, mit dem es möglich ist, mit geringem Berechnungsaufwand eine möglichst realistische Darstellung auch von in Fahrzeugnähe befindlichen Objekten zu erreichen.
-
Zur Veranschaulichung der Umgebungserfassungseinrichtung 21 ist in 2 eine Draufsicht auf ein Kraftfahrzeug 10 dargestellt. Die Umgebungserfassungseinrichtung 21 weist ein Kamerasystem 22 mit einer oder mehreren Kameras 22a auf, die im Wesentlichen horizontal ausgerichtet sind und zur Erfassung einer Fahrzeugumgebung ausgelegt sind. Weiterhin umfasst die Umgebungserfassungseinrichtung 21 Objekterfassungssensorik 23, um in einem Nahbereich N um das Kraftfahrzeug 10, d. h. in einem Bereich innerhalb eines vorgegebenen Abstands von dem Kraftfahrzeug, wie beispielsweise zwischen 5 bis 15 m, insbesondere zwischen 5 und 10 m, beispielsweise von 8 m, Objekte 11 zu erkennen und deren Form und Position im Nahbereich N um das Kraftfahrzeug 10 zu bestimmen. Form und Position werden vorzugsweise in einem fahrzeugfesten Koordinatensystem beschrieben.
-
Weiterhin erkennt man in 2 eine Draufsicht auf einen Fahrzeuginnenraum 12 eines Kraftfahrzeugs 10 aus einer Überkopfposition eines Fahrers, der eine Datenbrille 3 trägt. Man erkennt eine Frontscheibe 13, Seitenscheiben 14 und zwischen Frontscheibe 13 und Seitenscheibe 14 jeweils angeordnete A-Säulen 15. Weiterhin sind zwischen den Seitenscheiben 14 B-Säulen 16 und zwischen den Seitenscheiben 14 und einer Heckscheibe C-Säulen 17 vorgesehen.
-
Zum Betrieb des Anzeigesystems 1 wird ein Verfahren vorgeschlagen, mit dem es möglich ist, dem Träger der Datenbrille 3 ein Anzeigebild zur Verfügung zu stellen, dass die Realumgebung bezüglich der aktuellen Pose der Datenbrille 3 (d. h. deren räumliche Position und deren räumliche Ausrichtung) über sichtverdeckenden Fahrzeugteilen korrekt darstellt. Das Abbild der Realumgebung soll insbesondere an sichtverdeckenden Fahrzeugteilen erfolgen, wie z. B. die A-Säulen 15, die B-Säulen 16 und die C-Säulen 17. D. h., blickt der Träger der Datenbrille 3 auf ein solches sichtverdeckendes Fahrzeugteil, wird über die Wahrnehmung des sichtverdeckenden Fahrzeugteils das Anzeigebild der Realumgebung eingeblendet.
-
Weiterhin soll das obige Verfahren ermöglichen, die benötigen Hardware-Ressourcen zur Erfassung der Fahrzeugumgebung und zur Berechnung des Anzeigebilds möglichst zu reduzieren.
-
In 3 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems 1 dargestellt, wobei die Verfahrensschritte linksseitig und rechtsseitig dargestellt werden, je nachdem, ob der betreffende Verfahrensschritt in dem Fahrerassistenzsystem 2 oder der Datenbrille 3 ausgeführt wird. Ziel des beschriebenen Verfahrens ist es, ein System bereitzustellen, welches eine vereinfachte, weniger rechenintensive Perspektivenkorrektur auf Basis von 2D-Bildern und Tiefeninformationen in Echtzeit ermöglicht.
-
In Schritt S1 wird zunächst die Pose der Datenbrille 3 ermittelt. Dies kann beispielsweise mit Hilfe der in der Steuereinheit 37 implementierten Posenerkennungsfunktion oder mittels einer entsprechenden Einrichtung extern der Datenbrille 3 bestimmt werden.
-
In Schritt S2 wird die so ermittelte aktuelle Pose der Datenbrille 3 an das Fahrerassistenzsystem 2 übermittelt bzw. diesem bereitgestellt.
-
In Schritt S3 werden nun in dem Fahrerassistenzsystem 2 über die Umgebungserfassungseinrichtung 21 ein zweidimensionales Abbild (2D-Abbild) der Fahrzeugumgebung mithilfe des Kamerasystems 22 erfasst.
-
In Schritt S4 wird die Position von fahrzeugnahen Objekten bezogen auf ein Fahrzeugkoordinatensystem mithilfe der oben beschriebenen Sensorik erfasst.
-
In Schritt S5 werden die fahrzeugnahen Objekte Objekten aus dem zweidimensionalen Abbild der Fahrzeugumgebung zugeordnet. Mithilfe einer Objekterkennung können dazu aus dem 2D-Abbild der Fahrzeugumgebung ein oder mehrere Objekte identifiziert werden und durch Abgleich mit der Erfassungsrichtung der in Schritt S4 erfassten Objekte die fahrzeugnahen Objekte (z.B. in einem Umkreis von 20m) identifiziert werden. Die so identifizierten Objekte in dem Abbild der Fahrzeugumgebung werden entsprechend separiert.
-
Alternativ können die Schritte S3 - S5 auch gleichzeitig zu oder vor den Schritten S1 und S2 ausgeführt werden.
-
In einem Schritt S6 werden die zweidimensionalen Abbildungen der identifizierten Objekte perspektivisch korrigiert, d. h. in ihrer Größe entsprechend dem aus der Pose der Datenbrille und der Position des betreffenden Objekts resultierenden Abstand korrigiert. Dazu wird ein erster Abstand AKO zwischen der bekannten Position der Fahrzeugkamera und dem betreffenden identifizierten Objekt und ein zweiter Abstand ADO zwischen der Datenbrille und dem betreffenden identifizieren Objekt in Bezug gesetzt und die Größe in den Richtungen in der Abbildungsebene entsprechend dem Verhältnis AKO / ADO entsprechend angepasst. So wird das Abbild des betreffenden identifizierten Objekts verkleinert, wenn der erste Abstand geringer ist als der zweite Abstand ADO.
-
In Schritt S7 wird das so modifizierte 2D-Abbild des betreffenden identifizierten Objekts in das ursprüngliche 2D-Abbild der Fahrzeugumgebung an der durch die entsprechende Sensorik erfassten Position eingefügt, um ein kombiniertes Umgebungsbild zu erhalten.
-
Das kombinierte Umgebungsbild wird in Schritt S8 vollständig an die Datenbrille 3 übertragen.
-
In der Datenbrille 3 wird in Schritt S9 das anzuzeigende Anzeigebild als ein Bereich des kombinierten Umgebungsbilds abhängig von der Pose der Datenbrille 3 ausgewählt und angezeigt. Weiterhin kann das mindestens eine Anzeigebild in der Datenbrille 3 maskiert werden. Die Anzeigeeinrichtung 36 der Datenbrille 3 führt dann die Maskierung des kombinierten Projektionsbilds so aus, dass die Anzeigebilder als die Bereiche des kombinierten Umgebungsbilds an den Bereichen generiert werden, die durch nicht-transparente Fahrzeugteile, wie z. B. die A-Säulen, B-Säulen und C-Säulen, sichtverdeckt sind.
-
Die Fahrzeugteilmaskierung kann fahrzeugtypabhängig vorgegeben sein und steht in der Datenbrille 3 zur Verfügung oder wird der Datenbrille durch das Fahrerassistenzsystem vorab zur Verfügung gestellt. Durch die Position der Datenbrille 3 sind basierend auf der Fahrzeugteilmaskierung die nichtsichtbaren Bereiche der Fahrzeugumgebung ermittelbar.
-
Da bei der Ermittlung des kombinierten Umgebungsbilds die Objekte übereinander dargestellt werden, ist es möglich, dass das identifizierte Objekt die Darstellung des ursprünglich abgebildeten Objekts in dem 2D-Abbild der Fahrzeugumgebung nur teilweise überlagert. Bereiche, die bei der Erstellung des kombinierten Umgebungsbilds, in denen die Darstellung des ursprünglichen fahrzeugnahen Objekts nicht durch das identifizierte und separierte Objektbild überlagert werden, können durch geeignete Bildausfüllungsalgorithmen, die an sich aus dem Stand der Technik bekannt sind, gefüllt werden oder durch statischen Inhalt, wie zum Beispiel mit farbigen Pixeln mit einer Pixelfarbe der Bildumgebung der nicht mit Bildinformation gefüllten Bereiche, ausgefüllt werden.
-
Bezugszeichenliste
-
- 1
- Anzeigesystem
- 2
- Fahrerassistenzsystem
- 21
- Umgebungserfassungseinrichtung
- 22
- Kamerasystem
- 23
- Objekterfassungssensorik
- 3
- Datenbrille
- 31
- Rahmen
- 32
- transparente Sichtscheiben
- 33
- Brillenbügel
- 35
- transparente Anzeigefläche
- 36
- Anzeigeeinrichtung
- 37
- Steuereinheit
- 38
- Datenbrillenkamera
- 4
- Kommunikationsverbindung
- 10
- Kraftfahrzeugs
- 13
- Frontscheibe
- 14
- Seitenscheiben
- 15
- A-Säule
- 16
- B-Säule
- 17
- C-Säule
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015007246 A1 [0007]
