-
Die Erfindung betrifft eine Datenbrille mit einem transparenten Display zur überlagernden Darstellung eines virtuellen Bildbestandteils mit einem durch das transparente Display sichtbaren realen Objekt, wobei das transparente Display eine Mehrzahl individuell ansteuerbarer Pixel aufweist, wobei die Datenbrille eine Recheneinrichtung zur Erzeugung, Auswahl und/oder Positionierung des virtuellen Bildbestandteils durch individuelle Ansteuerung der Pixel umfasst. Die Erfindung betrifft zudem ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem transparenten Display einer Datenbrille. Die Erfindung betrifft weiterhin ein Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs.
-
Die
DE 10 2005 029 230 A1 offenbart eine Anzeigevorrichtung mit einer auf den Kopf eines Benutzers aufsetzbaren Trageeinrichtung, einer Bildwiedergabeeinrichtung, die ein an der Trageeinrichtung befestigtes Anzeigemodul umfasst, einer Bildaufnahmeeinrichtung, die ein zu betrachtendes Objekt aufnimmt und entsprechende Bilddaten erzeugt, sowie einem Sensor, der eine zu einer verwackelten Bildaufnahme führende Bewegung der Bildaufnahmeeinrichtung erfasst und entsprechende Bewegungssignale erzeugt, wobei die Bildwiedergabeeinrichtung auf der Basis der Bilddaten und der Bewegungssignale das Bild so wiedergibt, dass der Benutzer das Bild verwacklungsfrei wahrnehmen kann.
-
Die
DE 102 51 933 A1 offenbart eine Aufnahmevorrichtung für die Bilderfassung mit einer am Kopf eines Benutzers anbringbaren Aufnahmeeinheit, mit einer Sensorvorrichtung zum Erfassen von Augenbewegungen des Benutzers und mit einer der Sensorvorrichtung nachgeschalteten Auswerteeinheit. Es werden dabei mittels der Sensorvorrichtung nicht nur Nick- und Gierbewegungen, sondern auch die Rollbewegungen eines Auges erfasst. Mit der Bewegung des Auges ist dabei die Verschiebung und Drehung der Pupille und der Iris des Auges gemeint. Die Aufnahmevorrichtung erfasst somit Drehbewegungen des Augapfels um drei orthogonale Raumachsen. Diese Bewegungen werden von der Auswerteeinheit ausgewertet und in Steuersignale für eine die Kopfbewegung kompensierende Bewegung der Aufnahmeeinheit umgesetzt.
-
Es ist Aufgabe der Erfindung, eine verbesserte Datenbrille anzugeben.
-
Vorgenannte Aufgabe wird durch eine Datenbrille mit einem transparenten Display zur überlagernden Darstellung eines virtuellen Bildbestandteils mit einem durch das transparente Display sichtbaren realen Objekt gelöst, wobei das transparente Display eine Mehrzahl individuell ansteuerbarer Pixel aufweist, wobei die Datenbrille eine Recheneinrichtung zur Erzeugung, Auswahl und/oder Positionierung des virtuellen Bildbestandteils durch individuelle Ansteuerung der Pixel (des transparenten Displays) umfasst, und wobei das transparente Display oder ein Teil des transparenten Displays schwimmend gelagert ist.
-
Eine schwimmende Lagerung im vorgenannten Sinne bedeutet insbesondere eine mechanische Entkopplung von einem Gestell der Datenbrille. Eine schwimmende Lagerung im vorgenannten Sinne bedeutet insbesondere eine elektro-mechanische Entkopplung von einem Gestell der Datenbrille. Eine schwimmende Lagerung im vorgenannten Sinne lässt insbesondere eine Bewegung in der Bildgenerierungsebene des Displays oder eines bilderzeugenden Teils des Displays zu. Unter schwimmend gelagert im vorgenannten Sinne ist insbesondere eine Lagerung mit Spiel zu verstehen. Unter schwimmend gelagert im vorgenannten Sinne ist zum Beispiel eine (auch) reibungsfreie oder im Wesentlichen (auch) reibungsfreie Lagerung zu verstehen. Eine Bildgenerierungsebene ist insbesondere auch eine Ebene die zu einer Bildgenerierungsebene im strengen Sinne parallel ist.
-
Ein virtueller Bildbestandteil im Sinne der Erfindung ist insbesondere ein alphanummerisches Zeichen bzw. eine Mehrzahl von alphanummerischen Zeichen. Ein virtueller Bildbestandteil im Sinne der Erfindung umfasst insbesondere ein alphanummerisches Zeichen oder eine Mehrzahl von alphanummerischen Zeichen.
-
Es ist insbesondere vorgesehen, dass aus der Sicht des Trägers bzw. Benutzers der Datenbrille der virtuelle Bildbestandteil in einer virtuellen Bildebene zu sein scheint und ggf. ein Objekt zu überlagern scheint. Die Datenbrille ist insbesondere eine Datenbrille für Augmented-Reality-Anwendungen. Der Begriff Augmented-Reality ist als (insbesondere erläuternde) Überlagerung einer realen Umgebung (Objekt) mit einer rechnergenerierten Umgebung, d. h. einer virtuellen Welt (virtueller Bildbestandteil), definiert. Augmented-Reality ist insbesondere eine Art Mensch-Technik-Interaktion, die dem Anwender Informationen (als virtueller Bildbestandteil) in sein Sichtfeld einblendet und so seine Wahrnehmung erweitert (vgl. z.B.
WO 01/96829 A1 ).
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille eine Kameraanordnung. Eine Kameraanordnung im vorgenannten Sinne kann insbesondere eine Kamera sein bzw. umfassen. Eine Kameraanordnung ist insbesondere nicht auf Licht im sichtbaren Bereich beschränkt. Eine Kameraanordnung im vorgenannten Sinne kann auch eine Stereokameraanordnung sein bzw. umfassen. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille bzw. die Recheneinrichtung ein Trackingmodul zur Auswertung zumindest eines Ausgangssignals der Kameraanordnung. Das Tracking erfolgt insbesondere markerlos.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das transparente Display einen Monitor und einen semitransparenten (halbdurchlässigen) Spiegel, wobei der semitransparente Spiegel derart ausgerichtet ist, dass ein mittels des Monitors dargestellter virtueller Bildbestandteil mittels des semitransparenten Spiegels in Richtung zumindest eines Auges eines Trägers bzw. Benutzers der Datenbrille gestrahlt bzw. gelenkt wird.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das transparente Display einen Monitor (LCD, OLED, LCOs etc.) und einen semitransparenten Spiegel, wobei der semitransparente Spiegel zur Lenkung eines mittels des Monitors optisch dargestellten virtuellen Bildbestandteils in Richtung zumindest eines Auges eines Trägers bzw. Benutzers der Datenbrille ausgestaltet ist. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist der Monitor, insbesondere in seiner Bildgenerierungsebene, insbesondere in zwei Freiheitsgraden, schwimmend gelagert.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das transparente Display zumindest eine optische Linse zur Ausrichtung eines mittels des Monitors erzeugten Bildes. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die zumindest eine optische Linse im optischen Pfad zwischen dem Monitor und dem semitransparenten Spiegel angeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die zumindest eine optische Linse, insbesondere orthogonal zu ihrer optischen Achse, schwimmend gelagert.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille bzw. die Recheneinrichtung eine Schnittstelle zur drahtlosen Kommunikation mit einem Kraftfahrzeug.
-
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille oder das transparente Display einen Sensor zur Erfassung, insbesondere hochfrequenter, Bewegungen der Datenbrille und/oder des transparenten Displays und/oder des Teils des transparenten Displays sowie ein Korrekturmodul zur Verschiebung der Pixel in Abhängigkeit eines Ausgangssignals des Sensors. Ein Sensor im vorgenannten Sinne ist insbesondere ein Inertialsensor bzw. Inertialsensorik (Inertial Measurement Unit, IMU).
-
Vorgenannte Aufgabe wird - insbesondere in Verbindung mit einem oder mehreren der vorgenannten Merkmale - zudem durch eine Datenbrille mit einem transparenten Display zur überlagernden Darstellung eines virtuellen Bildbestandteils mit einem durch das transparente Display sichtbaren realen Objekt gelöst, wobei das transparente Display eine Mehrzahl individuell ansteuerbarer Pixel aufweist, wobei die Datenbrille eine Recheneinrichtung zur Erzeugung, Auswahl und/oder Positionierung des virtuellen Bildbestandteils durch individuelle Ansteuerung der Pixel des transparenten Displays umfasst, und wobei die Datenbrille oder das transparente Display einen Sensor zur Erfassung, insbesondere hochfrequenter, Bewegungen der Datenbrille und/oder des transparenten Displays und/oder eines Teils des transparenten Displays sowie ein Korrekturmodul zur Verschiebung der Pixel auch in Abhängigkeit eines Ausgangssignals des Sensors umfasst. Ein Sensor im vorgenannten Sinne ist insbesondere ein Inertialsensor bzw. Inertialsensorik (Inertial Measurement Unit, IMU).
-
Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem transparenten Display einer vorgenannten Datenbrille gelöst.
-
Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem transparenten Display einer vorgenannten Datenbrille gelöst, wobei (insbesondere mittels der Recheneinrichtung bzw. des Trackingmoduls) die Position des virtuellen Bildbestandteils in Abhängigkeit der Position eines mittels des virtuellen Bildbestandteils zu überlagernden realen Objektes in Bezug auf das transparente Display bestimmt und der virtuelle Bildbestandteil mittels des transparenten Displays entsprechend positioniert dargestellt wird.
-
Es ist eine weitere Aufgabe der Erfindung, Wartung, Instandhaltung, Reparaturen und/oder Herstellung von Kraftfahrzeugen effektiver vorzunehmen.
-
Diese Aufgabe wird durch ein Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs gelöst, wobei mittels eines semitransparenten Displays ein virtueller Bildbestandteil gemäß dem vorgenannten Verfahren dargestellt wird, und wobei eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils erfolgt.
-
Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs gelöst, wobei auf dem transparenten Display einer Datenbrille mit einem oder mehreren der vorgenannten Merkmale ein virtueller Bildbestandteil dargestellt wird, und wobei eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils erfolgt.
-
Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt.
-
Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:
- 1 ein Ausführungsbeispiel für eine erfindungsgemäße Datenbrille,
- 2 die Datenbrille gemäß 1 in einer Prinzipdarstellung,
- 3 eine vereinfachte Darstellung der Datenbrille gemäß 1 und 2 mit einem schwimmend gelagerten Monitor,
- 4 eine Abwandlung der Datenbrille gemäß 3 in einer vereinfachten Darstellung mit einer schwimmend gelagerten Linse,
- 5 eine Prinzipdarstellung eines schwimmend gelagerten Displays bzw. eines schwimmend gelagerten Monitors bzw. einer schwimmend gelagerten Linse;
- 6 eine zur Datenbrille gemäß 1 bzw. 2 alternative Datenbrille,
- 7 ein Ausführungsbeispiel für die Verwendung einer Datenbrille gemäß 1, 2, 3, 4 bzw. 6,
- 8 ein weiteres Ausführungsbeispiel für die Verwendung einer Datenbrille gemäß 1, 2, 3, 4 bzw. 6,
- 9 ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente,
- 10 ein weiteres Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente und
- 11 ein weiteres Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente.
-
1 zeigt einen Benutzer 1 mit einer beispielhaft ausgestalteten Datenbrille 20. Die Datenbrille 20 weist ein semitransparentes Display 21 auf, das einen Monitor 210 und einen semitransparenten Spiegel 211 umfasst, wobei ein mittels des Monitors 210 erzeugter virtueller Bildbestandteil VIRT mittels des semitransparenten Spiegels 211 in das Auge 11 des Benutzers 1 gelenkt wird. Aus der Sicht des Benutzers 1 der Datenbrille 20 scheint die virtuelle Information VIRT in einer virtuellen Bildebene und überlagert ggf. ein Objekt 2. Dabei umfasst der Monitor 210 eine Mehrzahl individuell ansteuerbarer Pixel zur Darstellung virtueller Bildbestandteile VIRT.
-
2 zeigt die Datenbrille
20 in einer Prinzipdarstellung. Die Datenbrille
20 umfasst eine Kameraanordnung
22 zur Aufnahme eines realen Bildes RB. Das reelle Bild RB wird mittels eines Trackingmoduls
23 derart ausgewertet, dass eine Position POS
VIRT des virtuellen Bildbestandteils VIRT auf dem Monitor
210 ermittelt wird. Das Tracking erfolgt insbesondere markerlos. Geeignete markerlose Trackingverfahren können zum Beispiel der
DE 10 2012 014 995 A1 entnommen werden (Verwendbare Algorithmen sind zum Beispiel SLAM und PTAM (vgl. z. B. den Artikel Georg Klein, David Murrayt: „Parallel Tracking and Mapping for Small AR Workspaces“, ISMAR
2007).). In weiterhin vorteilhafter Ausgestaltung der Erfindung erfolgt das Tracking in Abhängigkeit eines aus dem realen Bild generierten Kantenbildes.
-
In Abhängigkeit der gewünschten Position POSVIRT des virtuellen Bildbestandteils VIRT ermittelt eine Anzeigesteuerung 24 Sollwerte PX der einzelnen Pixel des Monitors 210. Das Trackingmodul 23 und die Anzeigesteuerung 24 sind Teil einer Recheneinrichtung 200 der Datenbrille 20, wobei die Recheneinrichtung 200 zudem eine Schnittstelle 25 zum Einlesen des virtuellen Bildbestandteils VIRT (z. B. von einem Kraftfahrzeug) umfasst. Die Datenbrille 20 kann einen Speicher aufweisen, in dem virtuelle Bildbestandteile VIRT abgelegt bzw. gespeichert sind.
-
3 zeigt den optischen Pfad der Datenbrille 20 in einer Prinzipdarstellung. Dabei ist insbesondere zwischen dem Monitor 210 und dem semitransparenten Spiegel 211 ein Linsensystem 212 mit zumindest einer Linse vorgesehen. In dem in 3 dargestellten Ausführungsbeispiel wird das mittels des Monitors 210 dargestellte Bild mittels des Linsensystems 212 auf den semitransparenten Spiegel 211 ausgerichtet. Der semitransparente Spiegel 211 wiederum lenkt das Bild weiter in Richtung auf das Auge 11 des Benutzers 1. Der Monitor 210 ist in seiner Bildgenerierungsebene schwimmend gelagert, wie dies durch die beiden Pfeile 2101 und 2102 angedeutet ist.
-
4 zeigt eine abgewandelte Datenbrille 20', wobei in Abwandlung gegenüber der Datenbrille 20 das Linsensystem 212 oder eine oder mehrere der Linsen des Linsensystems 212 orthogonal zum die Linsen durchlaufenden optischen Pfad und/oder ihrer optischen Achse schwimmend gelagert ist bzw. sind, wie dies durch die Pfeile 2121 und 2122 angedeutet ist.
-
Beispiele für eine entsprechende schwimmende Lagerung können der
DE 102 15 398 B4 entnommen werden. So kann beispielsweise der Monitor
210 bzw. eine Linse des Linsensystems
212 oder das Linsensystem
212 entsprechend den Ausführungsbeispielen der
5 -
8 der
DE 102 15 398 B4 schwimmend gelagert sein.
5 zeigt ein Ausführungsbeispiel für eine schwimmende Lagerung des Monitors
210. Dabei weist der Monitor
210 Aussparungen
2103 und
2104 auf. In den Aussparungen
2103 und
2104 sind Stifte
2105 und 2106 angeordnet, die den Monitor
2010 fixieren, jedoch eine Bewegung des Monitors
210 gegenüber den Stiften
2103 und
2104 mit einem Freiheitsgrad, und zwar innerhalb der Bildgenerierungsebene des Monitors
210, erlauben. Es kann auch vorgesehen sein, dass die Stifte
2103 und
2104 an einem Rahmen fixiert sind, der seinerseits den Aussparungen
2103 und
2104 entsprechende Aussparungen aufweist, die ebenfalls Stifte aufnehmen, sodass der Monitor
210 in zwei Freiheitsgraden, insbesondere in seiner Bildgenerierungsebene, (frei) bewegbar ist. Eine schwimmende Lagerung des Monitors
210 in zwei Freiheitsgraden kann auch dadurch erreicht werden, dass eine Bewegung des Monitors
210 entlang der Längsachse der Stifte
2103 und
2104 zugelassen wird bzw. vorgesehen ist. Das Linsensystem
212 bzw. ein Teil der Linsen des Linsensystems
212 bzw. eine Linse des Linsensystems
212 können bzw. kann in analoger Weise gelagert sein.
-
6 zeigt ein weiteres alternatives Ausführungsbeispiel einer Datenbrille 20". In Abwandlung zur Datenbrille 20 weist die Datenbrille 20" eine abgewandelte Recheneinrichtung 200' sowie einen Inertialsensor 28 auf. Mittels des Inertialsensors 28 wird eine Bewegung der Datenbrille bzw. des Monitors 210 ermittelt. Das Ausgangssignal des Inertialsensors 28 wird mittels eines Hochpassfilters 27 (zur Reduzierung auf hochfrequente Signalanteile) gefiltert. Das Ausgangssignal des Hochpassfilters 27 ist Eingangssignal in ein Korrekturmodul 26. Mittels des Korrekturmoduls werden die Sollwerte PX für die Pixel in Abhängigkeit des Ausgangssignals des Hochpassfilters 27 korrigiert. Die korrigierten Sollwerte für die Pixel sind mit PX' bezeichnet. Dabei stehen die Werte PX' derart in Beziehung zu den Werten PX, dass der virtuelle Bildbestandteil VIRT mittels des Korrekturmoduls 26 derart verschoben wird, dass eine mittels des Inertialsensors 28 ermittelte Kopfbewegung des Benutzers 1 kompensiert wird.
-
7 zeigt ein Ausführungsbeispiel der Verwendung der Datenbrille 20, wobei mittels des transparenten Displays 21 als virtueller Bildbestandteil VIRT eine Geschwindigkeitsangabe sowie eine Richtungsangabe für ein mit Bezugszeichen 30 bezeichnetes Kraftfahrzeug dargestellt werden. Die entsprechenden Informationen für die virtuellen Bildbestandteile VIRT werden über die Schnittstelle 25 an die Datenbrille 20 von dem Kraftfahrzeug 30, insbesondere drahtlos, übertragen.
-
8 zeigt ein weiteres Ausführungsbeispiel der Verwendung der Datenbrille 20, wobei mittels des transparenten Displays 21 ein virtueller Bildbestandteil VIRT zur Erläuterung einer Wartungsmaßnahme, einer Instandhaltungsmaßnahme, einer Reparaturmaßnahme oder einer Herstellungsmaßnahme in Bezug auf ein mit Bezugszeichen 40 bezeichnetes Kraftfahrzeug dargestellt wird.
-
9 zeigt ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, wobei in einem Schritt 71 ein zu montierendes Bauteil mittels des virtuellen Bildbestandteils gemäß dem vorstehend beschriebenen Verfahren markiert, beschrieben oder gekennzeichnet wird, und wobei in einem Schritt 72 das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente montiert wird.
-
10 zeigt ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, wobei in einem Schritt 81 der Montageort eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß dem vorstehend beschriebenen Verfahren markiert, beschrieben oder gekennzeichnet wird, und wobei in einem Schritt 82 das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente am Montageort montiert wird.
-
11 zeigt ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, wobei in einem Schritt 91 ein Montageablauf zum Montieren eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß dem vorstehend beschriebenen Verfahren ermittelt oder verifiziert wird, und wobei in einem Schritt 92 das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente dem Montageablauf entsprechend montiert wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102005029230 A1 [0002]
- DE 10251933 A1 [0003]
- WO 0196829 A1 [0008]
- DE 102012014995 A1 [0024]
- DE 10215398 B4 [0028]