-
Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem aufgenommenen und/oder gespeicherten digitalen Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
-
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUD-Anzeigeeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel ein herkömmlicher Bildschirm.
-
Eine solche Vorrichtung zur augmentierten Darstellung ist beispielsweise aus der
DE 10 2011 115 739 A1 bekannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 7.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem aufgenommenen und/oder hinterlegten digitalen Bild einer Umgebung, insbesondere einer inneren oder äußeren Fahrzeugumgebung, und/oder einer grafischen Benutzerschnittstelle, insbesondere einer Navigationsschnittstelle, wird das digitale Bild als Ausgabebild einen Hintergrund bildend auf einer Anzeige ausgegeben, wobei mehrere im Ausgabebild darzustellende relevante Zusatzinformationen derart benutzerindividualisiert und/oder ereignisabhängig ermittelt und ausgegeben werden, dass in Abhängigkeit von mindestens einer Benutzereingabe und/oder einem ermittelten Ereignis aus einer Vielzahl von darstellbaren Zusatzinformationen eine Anzahl von relevanten, insbesondere benutzer- bzw. ereignisrelevanten Zusatzinformationen und deren Anzeigeparameter ermittelt werden, wobei anhand der Anzeigeparameter das Ausgabebild und/oder die relevanten Zusatzinformationen angepasst und die gegebenenfalls angepassten, relevanten Zusatzinformationen im gegebenenfalls angepassten Ausgabebild ausgegeben werden.
-
Die Erfindung ermöglicht eine kontinuierliche Anpassung der Einblendung von virtuellen Zusatzinformationen an Nutzeranforderungen und -wünschen. Insbesondere ermöglicht die Erfindung einem Benutzer auf Basis von Eingaben und im Fahrzeug vorhandenen Informationen eine auf ihn zugeschnittene und gut erfassbare Menge an relevanten Zusatzinformationen darzustellen. Des Weiteren ermöglicht die Erfindung intuitive Interaktionen mit den ausgegebenen relevanten Zusatzinformationen zur Erkennung des Inhalts nur relevanter oder ausgewählter Zusatzinformationen durch einen Betrachter.
-
Die Erfindung ist anwendbar im Fahrzeug zur Erfassung und Darstellung einer Umgebung, insbesondere einer Fahrzeugumgebung und/oder eines Fahrzeuginnenraums. Darüber hinaus ist die Erfindung auch für mobile Geräte, wie einem Mobiltelefon, eine Datenbrille, und/oder für virtuelle Anzeigen, wie einem Projektionsbildschirm und für weitere Zwecke, wie Werbung, Fußgängernavigation, oder für Anzeigen in Transportmitteln, wie Bus, Bahn, Flugzeug und Schiff, anwendbar. Dabei erfolgt eine Anpassung der überlagernden Zusatzinformationen benutzerabhängig und/oder ereignis- und/oder situationsabhängig.
-
Die Erfindung ermöglicht darüber hinaus eine dynamische Interaktion mit der Anzeige, indem die im Ausgabebild ausgegebene relevante Zusatzinformation manuell mittels mindestens einer Auswahlfunktion manipuliert und deren Ausgabe im Ausgabebild entsprechend verändert oder angepasst werden kann. Insbesondere können die Ausgabe und/oder die Manipulation der auszugebenden relevanten Zusatzinformation mittels einer sprach-, bild- und/oder tastengesteuerten Funktion erfolgen.
-
In einer möglichen Ausführungsform wird die relevante Zusatzinformation als ein Zusatzobjekt und/oder ein Zusatztext ausgegeben, wobei die zumindest eine relevante Zusatzinformation mit oder ohne Bezug (Kontextbezug) zur dargestellten Umgebung erzeugt wird. Als Bezugspunkt dient, insbesondere bei einer Anwendung der Erfindung in einer Anzeige eines Fahrzeugs, die Momentanposition des eigenen Fahrzeugs.
-
Des Weiteren kann vorgesehen sein, dass die relevante Zusatzinformation, insbesondere benutzer- und/oder ereignisgesteuert und gegebenenfalls wechselweise, als 2D-Darstellung und/oder als 3D-Darstellung ausgegeben wird. So können beispielsweise eine als Zusatzobjekt ausgegebene relevante Zusatzinformation, z. B. ein virtuelles Verkehrsschild, in 3D-Darstellung und/oder eine als Zusatztext ausgegebene relevante Zusatzinformation, insbesondere eine Beschriftung eines realen oder virtuellen Objektes im Ausgabebild, in 2D-Darstellung im Ausgabebild eingeblendet werden. Dies erhöht die Übersichtlichkeit der Anzeige und ermöglicht eine verbesserte Wahrnehmung und Erkennbarkeit von relevanten Informationen im Ausgabebild.
-
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit und/oder mindestens einen Speicher zur Aufnahme bzw. zur Speicherung eines digitalen Bildes einer Umgebung, mindestens eine Eingabeeinheit zur Erfassung mindestens einer Benutzereingabe und/oder zur Ermittlung von einem Ereignis, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung des aufgenommenen Bildes und Transformation des Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer relevanten Zusatzinformation in dem Ausgabebild und mindestens eine Ausgabeeinheit zur Ausgabe des Ausgabebildes zusammen mit der relevanten Zusatzinformation.
-
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in der Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUD-Anzeigeeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein. Bei der Eingabeeinheit kann es sich insbesondere um einen Tastbildschirm, ein Mikrofon und/oder eine Multi-Funktionstaste handeln.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Ausgabebild,
-
2 schematisch ein Ausführungsbeispiel für ein Ausgabebild mit relevanten Zusatzinformationen, die in Bezug oder ohne Bezug zu Bildobjekten im Ausgabebild positioniert sind, und
-
3 schematisch ein Ausführungsbeispiel für ein Ausgabebild mit relevanten Zusatzinformationen, die in Bezug zu Bildobjekten im Ausgabebild positioniert sind.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer virtuellen relevanten Zusatzinformation Z1 bis Zn in einem Ausgabebild A oder einer Folge von Ausgabebildern An auf einer Ausgabeeinheit 2.
-
Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche ein digitales Bild B einer Umgebung U, z. B. einer Fahrzeugumgebung und/oder eines Fahrzeuginnenraums, aufnimmt. Zusätzlich wird mittels der Aufnahmeeinheit 3 und/oder der Verarbeitungseinheit 4 ein Bild B einer Benutzerschnittstelle SS eines Fahrassistenzsystems, insbesondere eine grafische Bedienoberfläche für ein Navigationssystem und/oder ein Infotainmentsystem, ermittelt.
-
Das Bild B wird einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A und/oder einer Sequenz von Ausgabebildern An und einer Vielzahl von virtuellen Zusatzinformationen Z1 bis Zx, welche im Ausgabebild A darstellbar sind, zugeführt.
-
Alternativ oder zusätzlich umfasst die Vorrichtung 1 einen Speicher 5, in welchem digitale Bilder B der Umgebung U und/oder der Benutzerschnittstelle SS, wie Bilder einer Bedienoberfläche für ein Navigationssystem und/oder Infotainmentsystem, hinterlegt sind.
-
Darüber hinaus umfasst die Vorrichtung 1 eine Eingabeeinheit 6, insbesondere einen Tastbildschirm, eine Multi-Funktionsschalter und/oder ein Mikrofon einer Sprachsteuerung, zur Erfassung mindestens einer Benutzereingabe N, die der Verarbeitungseinheit 4 zugeführt wird.
-
Alternativ oder zusätzlich kann die Eingabeeinheit 6 eine Erfassungseinheit, insbesondere ein Sensor und/oder ein anderes Fahrassistenzsystem sein, anhand welcher mindestens ein Anzeigeparameter P und/oder ein Ereignis E, insbesondere ein Fahrzeugzustand, aktuelle Navigationsdaten, etc. der Verarbeitungseinheit 4 zugeführt werden bzw. wird.
-
Die Vorrichtung 1 ist beispielsweise in einem nicht näher dargestellten Fahrzeug integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung. Das Fahrzeug umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera, die insbesondere im Frontbereich angeordnet ist. Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale Bilder B mit oder ohne Tiefeninformation aufnimmt. Alternativ oder zusätzlich kann die Aufnahmeeinheit 3 eine im Fahrzeuginnenraum angeordnete Kamera zur Aufnahme mindestens eines Bildes B des Fahrzeuginnenraums sein.
-
Darüber hinaus umfasst die Vorrichtung 1 einen Speicher 5 zur Speicherung von aufgenommenen Bildern B und/oder erzeugten Ausgabebildern A, An sowie zur Hinterlegung einer Vielzahl von virtuellen Zusatzinformationen Z1 bis Zx, wie virtuelle Zusatzobjekte und/oder virtuelle Zusatztexte.
-
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann.
-
Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms, insbesondere eines Tastbildschirms, im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
-
Die Eingabeeinheit 6 ist insbesondere ein Mikrofon für eine Sprachsteuerung, ein Tastbildschirm und/oder ein Multifunktionstaster.
-
Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4 ist derart ausgebildet, dass das Bild B der Umgebung U und/oder der Benutzerschnittstelle SS, z. B. eine grafische Bedienoberfläche, in das Ausgabebild A der Anzeige 2 als Hintergrund transformiert wird, wobei mehrere im Ausgabebild A darzustellende relevante Zusatzinformationen Z1 bis Zn derart benutzerindividualisiert und/oder ereignisabhängig ermittelt und ausgegeben werden, dass in Abhängigkeit von mindestens einer Benutzereingabe N und/oder einem ermittelten Ereignis E aus einer Vielzahl von darstellbaren Zusatzinformationen Z1 bis Zx eine Anzahl von darzustellenden relevanten, insbesondere benutzer- bzw. ereignisrelevanten Zusatzinformationen Z1 bis Zn und deren Anzeigeparameter P ermittelt werden, wobei anhand der Anzeigeparameter P das Ausgabebild A und/oder die darzustellenden relevanten Zusatzinformationen Z1 bis Zn angepasst werden und im gegebenenfalls angepassten Ausgabebild A ausgegeben werden.
-
Die Hinweise und Empfehlungen darstellenden, relevanten Zusatzinformationen Z1 bis Zn erfolgen stets in Form einer augmentierten Darstellung, entweder in einem Head-Up-Display oder in der Live-Kameraansicht beispielsweise in Kombi- oder Zentralanzeige. Die Augmentierung erfolgt dabei möglichst kontaktanalog.
-
Die Erfindung ermöglicht eine benutzerindividualisiert und/oder ereignisabhängig reduzierte Ausgabemenge an relevanten Zusatzinformationen Z1 bis Zn, so dass ein Benutzer eine Situation schnell erfassen kann und nicht überfordert oder abgelenkt ist. Durch einfache benutzerabhängige und/oder ereignis-/situationsabhängige Anpassung oder Veränderung der Anzahl, Form, Farbe und/oder Größe der virtuellen einblendbaren Zusatzinformation Z1 bis Zx kann die Anzahl der ausgegebenen relevanten Zusatzinformationen Z1 bis Zn reduziert sein und zusätzlich optisch hervorgehoben im Ausgabebild A, An und somit vor dem Hintergrund erscheinen, so dass die veränderte oder eine sich zukünftig ändernde Situation vom Betrachter intuitiv wahrgenommen werden kann.
-
2 zeigt ein mögliches Ausführungsbeispiel für ein Ausgabebild A einer Umgebung U, welche eine vom eigenen Fahrzeug vorausliegende Fahrzeugumgebung darstellt und als Hintergrundbild auf der Anzeige 2 erzeugt und ausgegeben wird. Das erfasste Bild B dieser Umgebung U wurde beispielsweise als ein 24-bit dreikanaliges (RGB – Rot-Grün-Blau) Farbbild mit je Bildpixel einem RGB-Wert oder als ein Infrarot-Bild in einem für den Menschen nicht wahrnehmbaren Wellenbereich aufgenommen. Alternativ kann es sich um ein Kartenbild eines Navigationssystems und/oder eine grafische Bedienoberfläche eines Fahrassistenzsystems handeln.
-
Das aufgenommene Bild B wird dabei in das Ausgabebild A derart transferiert, dass in dem Ausgabebild A die Umgebung U, d. h. im aufgenommenen Bild B identifizierte Objekte O1 bis Oz, unverändert oder verändert, z. B. undurchsichtig oder teildurchsichtig, optisch verfremdet, insbesondere unscharf, weich gezeichnet, ausgegeben wird.
-
Zur Unterstützung des Betrachters, insbesondere eines Fahrers oder Beifahrers, können zu gewünschten oder relevanten Objekten O1 bis Oz zusätzliche Informationen als virtuelle relevante Zusatzinformationen Z1 bis Zn eingeblendet werden, welche relativ zu dem jeweils zugehörigen Objekt O1 bis Oz positionsgenau und perspektivisch korrekt, nur positionsgenau, richtungsanalog und/oder unabhängig und somit frei vom Hintergrund (dem Ausgabebild A oder der durchscheinenden Umgebung U) im Ausgabebild A eingeblendet werden.
-
Eine solche Darstellung ermöglicht eine ablenkungsarme, intuitive, einfach zu bedienende und graphisch ansprechende Anzeige 2.
-
In 2 sind beispielhaft als Objekte O1 bis Oz ein Parkhaus O1, ein Reisebüro O2, eine Zahnarztpraxis O3, ein Eingang O4, eine erste Straße O5, auf welcher das eigene Fahrzeug fährt, eine zweite Straße O6, welche nach rechts von der ersten Straße O5 abgeht, im Ausgabebild A dargestellt. Das Ausgabebild A kann eine einzelne momentane Bildausgabe oder eine Abfolge von mehreren momentan aufgenommenen Bildern B in Art einer Videosequenz sein, welche die Umgebung U bei der Fahrt des eigenen Fahrzeugs entlang der ersten Straße O5 zeigt.
-
Über diese reale Wiedergabe der Umgebung U im Ausgabebild A kann dieses mit virtuellen relevanten Zusatzinformationen Z1 bis Z6 überlagert werden, welche die im Ausgabebild A gezeigten Objekte O1 bis O6 näher beschreiben. Dabei sind mehrere relevante Zusatzinformationen Z1.1, Z2.1, Z5 und Z6 als 3D-Darstellungen und andere relevante Zusatzinformationen Z1.2, Z2.2, Z3 bis Z4 als 2D-Darstellungen im Ausgabebild A eingeblendet.
-
Beispielsweise repräsentieren die relevanten Zusatzinformationen Z1.1 und Z1.2 das Objekt O1, das Parkhaus, näher, wobei die relevante 2D-Zusatzinformation Z1.2 ein Informationstext ist, welcher das Parkhaus und dessen Adresse benennt, und die relevante 3D-Zusatzinformation Z1.1 das Objekt O1 mittels eines 3D-Rahmens einrahmt. Die relevanten Zusatzinformationen Z2.1, Z2.2 beschreiben das Objekt O2 näher, wobei die relevante 3D-Zusatzinformation Z2.1 als Hinweiskegel auf das Gebäude des Reisebüros hinweist und die relevante 2D-Zusatzinformation Z2.2 als Informationstext, das Reisebüro und ggf. die Adresse benennt.
-
Die weiteren dargestellten virtuellen relevanten 2D-Zusatzinformationen Z3 und Z4 sind Informationstexte zu den Objekten O3 bzw. O4 und beschreiben eine Zahnarztpraxis bzw. den Eingang zur Zahnarztpraxis und die Adresse näher. Die relevante 3D-Zusatzinformation Z5 ist als Richtungspfeil ausgegeben, welcher die Fahrrichtung des eigenen Fahrzeugs auf dem zugehörigen identifizierten Objekt O5, der ersten Straße, angibt.
-
Anhand der relevanten 3D-Zusatzinformation Z6 ist für den Betrachter der Anzeige 2 klar erkennbar, dass das Objekt O6, d. h. die zweite und vorausliegende sowie nach rechts abgehende Straße, für eine Zufahrt gesperrt ist, da als relevante Zusatzinformation Z6 eine Sperrbake mit Sicherheitskegeln im Ausgabebild A eingeblendet ist. Zur Generierung der relevanten Zusatzinformation Z6 kann die Verarbeitungseinheit 4 mit einem nicht näher dargestellten Navigationssystem oder einer anderen Hinweis gebenden Einrichtung, z. B. Verkehrsnachrichtensystem, drahtlos oder drahtgebunden verbunden sein. Anhand aktueller Verkehrs- oder Navigationsdaten können dann eine entsprechende relevante Zusatzinformation Z1 bis Zn, wie eine Straßensperre, erzeugt und eingeblendet oder bereits eingeblendete relevante Zusatzinformationen Z1 bis Zn angepasst werden.
-
3 zeigt ein weiteres Ausführungsbeispiel für ein Ausgabebild A, welches eine vorausliegende Fahrstrecke zeigt. Dabei umfasst ein das Hintergrundbild bildende Bild B, welches fortlaufend erfasst oder anhand von gespeicherten Kartendaten fortlaufend als Ausgabebild An erzeugt wird, eine Fahrbahn 5.0 mit zwei Fahrspuren 5.1, 5.2 und ein Fahrzeug F auf der Fahrspur 5.1 fahrend. Die Fahrspuren 5.1, 5.2 verlaufen in einer Kurve 5.3 gekrümmt. Bei dem Fahrzeug F handelt es sich um das eigene Fahrzeug. Das erfindungsgemäße Verfahren ermöglicht es, dass ereignis- und/oder situationsabhängig als relevante Zusatzinformation Z1 bis Z1.3 mindestens ein Navigations- und/oder Fahrhinweis auf der Fahrbahn 5.0 eingeblendet wird.
-
3 zeigt als Ausführungsbeispiel, dass die eigene Fahrspur 5.1 zur Einblendung von fahrzeugeigenen, ereignisabhängigen Zusatzinformationen Z1 bis Z1.3 genutzt wird, um dem Fahrer eine Rückmeldung über sein Fahrverhalten zu geben oder ihn vor Gefahren zu warnen, ohne dass er vom Verkehr abgelenkt wird. Ist das eigene Fahrzeug F zu schnell unterwegs und eine vorgegebene maximal zulässige Fahrzeuggeschwindigkeit überschritten, kann die eigene Fahrspur 5.1 beispielsweise durch eine Signalfarbe oder sich ändernde Farbe hervorgehoben werden.
-
In 3 ist in die eigene Fahrspur 5.1 als Zusatzinformation Z ein Balken Z1 spurgenau eingeblendet und selektiv durch entsprechende grafische Ausgestaltung, wie verschiedene, insbesondere gestufte Einfärbungen, hervorgehoben.
-
Der Balken Z1 umfasst beispielsweise drei unterschiedlich gekennzeichnete Bereiche Z1.1 bis Z1.3. Der erste Bereich Z1.1 ist beispielsweise grün als Fahrhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit im zulässigen Bereich ist. Der zweite Bereich Z1.2 ist beispielsweise gelb als Warnhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit bei Beibehaltung dieser in einem vorkritischen Bereich ist. Der dritte Bereich Z1.3 ist beispielsweise rot gekennzeichnet als weiterer Warn- und Signalhinweis und zeigt dem Betrachter an, dass bei Beibehaltung der momentanen Fahrzeuggeschwindigkeit das Fahrzeug F in einen kritischen Zustand kommen kann.
-
Mit anderen Worten: Im Ausführungsbeispiel nach 3 wird eine Kurve 5.3 in der vorausliegenden Fahrspur 5.1 selektiv hervorgehoben, da in der Kurve 5.3 die infolge der Fahrzeuggeschwindigkeit zu erwartenden Fliehkräfte als zu hoch eingeschätzt werden.
-
Die Erfindung ermöglicht, dass Rückmeldungen von einem oder mehreren Fahrassistenzsystemen, wie dem Geschwindigkeits- und Spurhalteassistenten oder einem Navigationssystem, aufgrund der augmentierten Darstellung von Zusatzinformationen Z, Z1.1 bis Z1.3 besser visualisiert werden. Darüber hinaus ergeben sich neue Assistenzmöglichkeiten und Anwendungen.
-
Die Überschreitung der maximal zulässigen Fahrzeuggeschwindigkeit kann anhand von verschiedenen Größen ermittelt werden. Beispielsweise wird ein Überschreiten der Fahrzeuggeschwindigkeit anhand eines Vergleichs der momentanen Fahrzeuggeschwindigkeit mit einer von der Aufnahmeeinheit 3 erfassten und/oder von Kartendaten ermittelten Geschwindigkeitsbegrenzung ermittelt.
-
Dabei werden die im jeweiligen Ausgabebild A, An der 2 und 3 gezeigten eingeblendeten relevanten Zusatzinformationen Z1 bis Z6 anhand von Benutzereingaben N und/oder im Fahrzeug vorhandenen Informationen aus der Vielzahl von einblendbaren Zusatzinformationen Z1 bis Zx mittels der Verarbeitungseinheit 4 vorselektiert, so dass dem Benutzer eine reduzierte und insbesondere auf ihn zugeschnittene und gut erfassbare relevante Menge an Zusatzinformationen Z1 bis Z6 ausgegeben wird.
-
Die einzublendenden relevanten Zusatzinformationen Z1 bis Zn werden insbesondere als so genannte Points of Interest (kurz POIs) wie folgt ermittelt:
- 1. Erfassung einer Benutzereingabe N und daraus resultierender Anforderungen für die Anzeige 2 und/oder das Ausgabebild A,
- 2. Ermittlung der für eine angepasste Ausgabe der einblendbaren/augmentierbaren virtuellen Zusatzinformationen Z1 bis Zx relevanten Anzeigeparameter P,
- 3. Ermittlung der einzublendenden relevanten Zusatzinformationen Z1 bis Zn (= Point-of-Interests-Merkmale) und Vereinheitlichung dieser,
- 4. Auswertung der ermittelten Anzeigeparameter P und der ermittelten einzublendenden relevanten Zusatzinformationen Z1 bis Zn (= POI Merkmale), und
- 5. Angepasste Ausgabe der relevanten Zusatzinformationen Z1 bis Zn.
-
In der Folge werden die einzelnen Schritte ausführlich beschrieben.
-
Mittels der Benutzereingabe N wird mindestens eine Kategorie der einblendbaren virtuellen Zusatzinformationen Z1 bis Zx ermittelt, wobei anhand der ermittelten Kategorie die Anzahl der einzublendenden relevanten Zusatzinformationen Z1 bis Zn in einer ersten Stufe reduziert wird, indem nur die der ausgewählten Kategorie zugehörigen und somit relevanten Zusatzinformationen Z1 bis Zn im Ausgabebild A ausgegeben werden. Als Kategorie eines augmentierten Navigationssystems kann beispielsweise Kultur, Einkaufen oder Sport vorgegeben sein. Bei Anwahl der Kategorie „Sport” werden dann in dem Ausgabebild A als relevante Zusatzinformationen Z1 bis Zn nur Informationen in Form von Zusatztexten und/oder Zusatzobjekten, wie Symbolen, zu Sportstätten eingeblendet.
-
Darüber hinaus können anhand der Benutzereingabe N weitere Nutzerwünsche/anforderungen ermittelt werden, z. B. Vorlieben hinsichtlich der Anzeige, wie Anzahl gleichzeitig einzublendender relevanter Zusatzinformationen Z1 bis Zn, etc. Ebenso können Nutzerprofile für bestimmte Nutzertypen als Kategorie vordefiniert werden. Einfaches Beispiel hierfür ist die Kategorie „Fahrer und zugehöriges Unterhaltungsprofil”. Bei einer ausgewählten Kategorie wird dann die Vielzahl von hinterlegten einblendbaren Zusatzinformationen Z1 bis Zx durch entsprechende Filterung auf die Anzahl von einzublendenden relevanten Zusatzinformationen Z1 bis Zn der angewählten Kategorie reduziert und somit das Ausgabebild A der Anzeige 2 auf die relevanten Zusatzinformationen Z1 bis Zn der gewünschten Kategorien einschränkt.
-
Je nach Kategorie, z. B. Einkaufen/Kleidung, kann selbst die Anzahl der einer Kategorie zugehörigen relevanten Zusatzinformationen Z1 bis Zn zu groß für eine übersichtliche Einblendung im Ausgabebild A sein. Daher können über die Benutzereingabe N benutzerindividualisiert weitere Einschränkungen, wie zum Beispiel maximale Anzahl von einzublendenden Zusatzinformationen und/oder Gruppierung von relevanten Zusatzinformationen Z1 bis Zn zu einer Gruppe und Ausgabe einer Gruppeninformation, vorgenommen werden.
-
Eine Weiterbildung sieht vor, dass aufgrund dynamischer Ereignisse die eingeblendeten relevanten Zusatzinformationen Z1 bis Zn optisch/grafisch angepasst angezeigt bzw. hervorgehoben ausgegeben werden. Zum Beispiel bei Verwendung der Erfindung für ein Navigationssystem mit Darstellung einer vorausliegenden Fahrstrecke O5 (2) zu einem Freund als Ziel im Ausgabebild A kann als relevante Zusatzinformation Z1 bis Zn eine Information zu diesem Freund ausgegeben werden, der gerade noch in einem Lokal sitzt, an dem das eigene Fahrzeug F vorbeifährt, wobei das Lokal farblich hervorgehoben ausgegeben wird und als relevante Zusatzinformation Z1 bis Zn der Name des Lokals eingeblendet wird.
-
Mittels der Benutzereingabe N können somit Parameter für eine grobe Vorfilterung eingegeben werden, um irrelevante Inhalte auszublenden oder gewünschte Informationen vorzugeben.
-
Eine weitere Ausführungsform sieht vor, dass für eine angepasste Ausgabe der augmentierten relevanten Zusatzinformationen Z1 bis Zn relevante Eingangs- oder Anzeigeparameter P bestimmt werden.
-
In diesem Schritt werden die für die Vorrichtung 1 (= das Augmented-Reality-System) verfügbaren Informationen und Parameter, wie Anzeigeparameter P mit Einfluss auf die relevante Zusatzinformationen Z1 bis Zn ausgewertet. Dabei werden beispielsweise als Anzeigeparameter P Umgebungsdaten einer aufgenommenen Umgebung U, Informationen zu einer Benutzerschnittstelle SS, insbesondere einer grafischen Bedienoberfläche im Anzeigebild A, und/oder Navigationsdaten erfasst. Anhand dieser ermittelten Anzeigeparameter P wird dann das Ausgabebild A selbst angepasst und/oder die einzublendenden relevanten Zusatzinformationen Z1 bis Zn angepasst und im angepassten und/oder nicht angepassten Ausgabebild A ausgegeben.
-
Im Detail können beispielsweise bei Anwendung im eigenen Fahrzeug F Sensordaten einer Vielzahl von Sensoren und Daten als Anzeigeparameter P erfasst oder ermittelt werden, wie zum Beispiel:
-
1. Informationen zur Umgebung U und/oder zum eigenen Fahrzeug F:
-
- a) Wetter: Helligkeit, Regen, Windgeschwindigkeit (anhand von Sensoren und/oder drahtlos empfangenen Daten);
- b) Uhrzeit (anhand von Zeitdaten);
- c) Momentane Fahrzeuggeschwindigkeit (anhand von Geschwindigkeitsdaten eines Geschwindigkeitssensors);
- d) Vorausfahrende Fahrzeuge (anhand von Bilddaten und einer Objekterkennung);
- e) Aktuelle Fahrspur (anhand von Bilddaten und einer Objekterkennung und/oder Navigationsdaten);
- f) Fahrtrichtung (anhand von Bilddaten und einer Objekterkennung und/oder Navigationsdaten);
- g) Fahrzeugtyp (anhand von Bilddaten und einer Objekterkennung und/oder Navigationsdaten);
- h) Maximale Geschwindigkeit (anhand von Bilddaten und einer Objekterkennung und/oder Navigationsdaten).
-
2. Information zum Fahrzeuginnenraum und/oder zu Passagieren z. B.:
-
- a) Welche Musik läuft (anhand von Musikdaten eines Fahrzeug-Infotainmentsystems);
- b) Wie viele Passagiere sind im Fahrzeug F (anhand von Sitzbelegungsdaten einer Sitzbelegungserkennung);
- c) Wer fährt mit (mittels eines Smartphones am Wifi und/oder einer Kindersitzerkennung);
- d) Wer sind Freunde der Insassen (mittels Daten eines sozialen Netzwerkes);
- e) Wohin sieht der Fahrer (anhand von Daten einer Fahrerbeobachtungskamera);
- f) Fahrerfitness (anhand von Daten einer Fahrerbeobachtungskamera);
- g) Was machen die Passagiere (anhand von Daten eines Fonds-Entertainmentsystem und/oder auf Basis der über einen Access-Point abgerufenen Daten, wie Webseiten/Dienste);
- h) Letzte Telefonate (anhand von Telefondaten und/oder vom Smartphone).
-
3. Vergangenes Nutzungsverhalten z. B.:
-
- a) Vergangene Navigationsziele (anhand von gespeicherten Navigationsdaten);
- b) Vergangene Strecken (anhand von gespeicherten Navigationsdaten);
- c) Eingelegte Pausen (anhand von gespeicherten Navigationsdaten);
- d) Kontextinformation, welche Musik an welchen Ort (anhand von gespeicherten Musikdaten);
- e) Information zu Kunden, die nach ähnlicher Information gesucht haben bzw. eine ähnliche Route gefahren sind (anhand von gespeicherten Informationsdaten).
-
4. Navigationsdaten z. B.:
-
- a) Von wo (anhand von Navigationsdaten);
- b) Wohin (anhand von Navigationsdaten);
- c) Verkehrssituation (anhand von Bilddaten und einer Objekterkennung und/oder Navigationsdaten);
-
In einem weiteren Schritt werden für die verfügbaren oder relevanten Zusatzinformationen Z1 bis Zn, die aus unterschiedlichen Datenquellen stammen können, anhand einer Merkmalsextraktion kennzeichnende Merkmale ermittelt und vereinheitlicht. Kennzeichnende Merkmale sind neben allgemeinen Metainformationen, wie Name und Link auf weiterführende Informationen, in diesem Kontext speziell die Daten, die die relevante Zusatzinformation Z1 bis Zn charakterisieren und beschreiben, beispielsweise wie und wann die relevante Zusatzinformation Z1 bis Zn angezeigt werden soll. Beispielsweise bei der relevanten Zusatzinformation „Wetter” die Einschränkung „== Nicht bei Regen”, wenn die relevante Zusatzinformation Z1 bis Zn nicht bei Regen angezeigt werden soll.
-
Hierzu sind die verfügbare Daten und/oder die virtuellen Zusatzinformationen Z1 bis Zx der Informationsquellen, wie dem Speicher 5 und/oder Sensoren und/oder die Aufnahmeeinheit 3, mit weiteren Daten und/oder Informationen, wie Name, GPS-Position, Kategorie und Bewertung (ein bis fünf Sterne) verknüpft und ergänzt sowie im Speicher 5 hinterlegt.
-
Dabei ist auf eine Vereinheitlichung der gespeicherten Informationen und/oder Daten zu achten, da unterschiedliche Informationsquellen die erfassten Daten und/oder die virtuellen Zusatzinformationen Z1 bis Zx unterschiedlich benennen bzw. unterschiedliche Wertebereiche vorsehen können.
-
In einem weiteren Schritt können die erfassten Eingangs- oder Anzeigeparameter P zu den relevanten Zusatzinformationen Z1 bis Zn verschiedenartig in Bezug gesetzt werden, beispielsweise:
- – Identifizieren von relevanten Zusatzinformationen Z1 bis Zn, die beim aktuellen Wetter relevant sind;
- – Priorisierung der relevanten Zusatzinformationen Z1 bis Zn mit Schlag- und/oder Stichworten, z. B. Bevorzugung von den Passagieren, die auf ihren Mobilgeräten gesucht werden;
- – Identifizieren von relevanten Zusatzinformationen Z1 bis Zn von Freunden bzw. letzten Kontakten zu den Passagieren des eigenen Fahrzeugs F;
- – Bei nicht aktivierter Navigation Einblendung der relevanten Zusatzinformationen Z1 bis Zn, die Bezug zum letzten Navigationsziel haben (z. B. Totalsperrung auf dem Weg zum eingegebenen Ziel);
- – Einblendung von relevanten Zusatzinformationen Z1 bis Zn, die in der aktuellen Fahrtrichtung einsehbar sind.
-
Darüber hinaus können weitere Regel und/oder Anzeigeparameter P definiert werden, beispielsweise mittels eines Updates der Vorrichtung 1 und/oder über eine Benutzereingabe N.
-
Im weiteren, insbesondere letzten Schritt wird basierend auf der Auswertung der Anzeigeparameter P die Ausgabe der relevanten Zusatzinformationen Z1 bis Zn angepasst, beispielsweise mittels Filterung und/oder Aggregation.
-
Durch die Fusion der Eingangs-/Anzeigeparameter P mit den Merkmalen der relevanten Zusatzinformationen Z1 bis Zn ist eine weitergehende Anpassung des Ausgabebildes A der Anzeige 2 möglich wie im Folgenden beschrieben:
- • Hervorhebung von kontextbezogen besonders relevanten Zusatzinformationen Z1 bis Zn:
- – Bezug zu einem der Passagiere;
- – Zusatzinformationen Z1 bis Zn, die in Bezug zu einer Information stehen, die die Passagiere gerade gesehen haben;
- • Verlagerung des Ausgabebildes A auf eine andere Anzeige 2, insbesondere ein bestimmtes Display (z. B.: hochpriore Anzeige auf Head_Up-Display, ablenkende Inhalte aus dem Blickfeld des Fahrers);
- • Aggregation von relevanten Zusatzinformationen Z1 bis Zn zu einem Cluster oder eine Gruppe oder eine Kategorie, die der Benutzer auf Wunsch expandieren kann;
- • Zusätzliche oder spezielle Kennzeichnung, wenn eine eigentlich relevante Zusatzinformation Z1 bis Zn aktuell geschlossen oder ausgeblendet ist;
- • relevante Zusatzinformation Z1 bis Zn entsprechend der Blickrichtung des Passagiers anordnen (z. B. Informationen niedriger Priorität immer am peripheren Rand des Sichtfelds der Anzeige 2 halten);
- • Menge der angezeigten relevanten Zusatzinformationen Z1 bis Zn an Fahrtauglichkeit (Fitnesslevel) des Fahrers bzw. die aktuelle Fahrsituation anpassen.
-
Bei der Anpassung des Ausgabebildes A ist darüber hinaus darauf zu achten, dass nicht durch eine Übergewichtung einzelner Faktoren nur eine Kategorie bzw. Klasse von relevanten Zusatzinformationen Z1 bis Zn zur Ausgabe kommt.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Ausgabeeinheit (Anzeige)
- 3
- Aufnahmeeinheit
- 4
- Verarbeitungseinheit
- 5
- Speicher
- 5.0
- Fahrbahn
- 5.1
- Fahrspur
- 5.2
- Fahrspur
- 5.3
- Fahrspur
- 6
- Eingabeeinheit
- A
- Ausgabebild
- An
- Ausgabebilder
- B
- Bild
- E
- Ereignis
- F
- Fahrzeug
- N
- Benutzereingabe
- P
- Anzeigeparameter
- O1 bis Oz
- Objekt
- SS
- Benutzerschnittstelle
- U
- Umgebung
- Z1 bis Zx
- darstellbare Zusatzinformation
- Z1 bis Zn
- relevante Zusatzinformation
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011115739 A1 [0003]
