DE102021132465A1

DE102021132465A1 - MEMS-Spiegelbasierte erweiterte Realitätsprojektion mit Eye-Tracking

Info

Publication number: DE102021132465A1
Application number: DE102021132465.3A
Authority: DE
Inventors: Boris KIRILLOV
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2020-12-21
Filing date: 2021-12-09
Publication date: 2022-06-23
Also published as: CN114647084A; US11523095B2; US20220201264A1

Abstract

Ein Bildprojektionssystem enthält einen ersten Sender, der dazu ausgelegt ist, Pixellichtimpulse entlang eines Sendepfads zu senden, die auf ein Auge projiziert werden sollen, um ein Projektionsbild darauf zu rendern; einen zweiten Sender, der dazu ausgelegt ist, Infrarot-(IR)-Lichtimpulse zu erzeugen, die entlang des Sendepfads gesendet werden, um auf das Auge projiziert zu werden, und von diesem als reflektierte IR-Lichtimpulse auf einem Empfangspfad zurückreflektiert werden; ein koaxiales Abtastsystem, das entlang des Sende- und des Empfangspfads angeordnet ist; einen Eye-Tracking-Sensor, der dazu ausgelegt ist, ein Retinabild des Auges basierend auf reflektierten IR-Lichtimpulsen zu erzeugen und das Retinabild zu verarbeiten, um einen Fovea-Bereich des Auges zu bestimmen; und einen Systemcontroller, der dazu ausgelegt ist, das Projektionsbild basierend auf der Fovea-Bereich-Position zu rendern, wobei das Projektionsbild mit einer höheren Auflösung in dem Fovea-Bereich gerendert wird und mit einer niedrigeren Auflösung außerhalb des Fovea-Bereichs gerendert wird.

Description

Hintergrund
Augmented Reality (AR) ist eine Technologie, welche physische Umgebungen auf dem Bildschirm einer Mobilvorrichtung erweitert durch Überlagern derselben mit digitalem Inhalt. Sie fügt digitale Elemente zu einer Live-Ansicht hinzu. Beispielsweise wird ein aufgenommener Ausschnitt einer Umgebung mit digitalen Informationen erweitert, die darüber gelegt werden. Somit wird der aufgenommene Ausschnitt der Umgebung mit digitalen Inhalten überlagert, um dem Benutzer visuell zusätzliche Informationen bereitzustellen. Der digitale Inhalt kann auf einem transparenten Substrat oder Display angezeigt werden, wie bei smarten Brillen, smarten Kontaktlinsen, Head-up-Displays (HUDs), und Head-Mounted-Displays (HMDs), oder direkt auf die Retina eines Benutzers projiziert werden, wie es bei virtuellen Retinadisplays der Fall ist.
Virtual Reality (VR) ist eine Technologie, welche die Umgebung der realen Welt eines Benutzers vollständig durch eine computererzeugte virtuelle Umgebung ersetzt. Dem Benutzer wird also eine vollständig digitale Umgebung präsentiert. Insbesondere umgeben computererzeugte Stereobilder den Benutzer vollständig. In einer simulierten VR-Umgebung kann ein VR-Headset verwendet werden, das eine 360-Grad-Sicht bereitstellt.
Ein Mixed-Reality(MR)-Erlebnis kombiniert Elemente von sowohl AR als auch VR, so dass reale und digitale Objekte interagieren. Hierbei wird eine Umgebung der realen Welt mit einer virtuellen Umgebung vermischt. Zusätzlich zu den vorgenannten Technologien kann eine Hololens verwendet werden, um dem Nutzer eine MR-Umgebung bereitzustellen.
Diese Technologien sowie andere, welche die Sinne des Benutzers erweitern, können als Technologien der erweiterten Realität (XR, Extended Reality) bezeichnet werden.
Um die Benutzererfahrung in einer XR-Technologie zu verbessern, kann es von Vorteil sein, Eye-Tracking (Augenverfolgung) zu implementieren, um eine Blickrichtung eines Benutzers zu tracken (zu verfolgen).
Kurzdarstellung
Eine oder mehrere Ausführungsformen stellen ein Bildprojektionssystem bereit, das einen ersten Sender enthält, der dazu ausgelegt ist, Pixellichtimpulse zu erzeugen und die Pixellichtimpulse entlang eines Sendepfads zu senden, um auf ein Auge projiziert zu werden, um darauf ein Projektionsbild zu erzeugen; einen zweiten Sender, der dazu ausgelegt ist, Infrarot (IR)-Lichtimpulse zu erzeugen, die entlang des Sendepfads gesendet werden und auf das Auge projiziert und von diesem als reflektierte IR-Lichtimpulse auf einem Empfangspfad zurückreflektiert werden; ein koaxiales Abtastsystem, das entlang des Sendepfads und des Empfangspfads angeordnet ist, wobei das koaxiale Abtastsystem mindestens eine Oszillatorstruktur enthält, die es dem koaxialen Abtastsystem ermöglicht, die Pixellichtimpulse und die IR-Lichtimpulse in eine erste Abtastrichtung und in eine zweite Abtastrichtung gemäß einem Abtastmuster zu lenken; einen Eye-Tracking-Sensor (Augenverfolgungssensor), der dazu ausgelegt ist, die reflektierten IR-Lichtimpulse von dem koaxialen Abtastsystem zu empfangen, ein Retinabild des Auges basierend auf den reflektierten IR-Lichtimpulsen zu erzeugen, und das Retinabild zu verarbeiten, um eine Position eines Fovea-Bereichs des Auges zu bestimmen; und einen Systemcontroller, der dazu ausgelegt ist, das Projektionsbild basierend auf der Position des Fovea-Bereichs zu rendern, wobei das Projektionsbild mit einer höheren Auflösung in dem Fovea-Bereich gerendert wird und mit einer niedrigeren Auflösung außerhalb des Fovea-Bereichs gerendert wird.
Eine oder mehrere Ausführungsformen stellen ein Verfahren zur Projektion eines Bildes basierend auf einem Fovea-Tracking bereit. Das Verfahren enthält ein Senden von Pixellichtimpulsen entlang eines Sendepfads, die auf ein Auge zu projizieren sind, um darauf ein Projektionsbild zu erzeugen; ein Senden von Infrarot (IR)-Lichtimpulsen entlang des Sendepfads, wobei die IR-Lichtimpulse auf das Auge projiziert und von diesem als reflektierte IR-Lichtimpulse auf einem Empfangspfad zurückreflektiert werden; ein Lenken der Pixellichtimpulse und der IR-Lichtimpulse in eine erste Abtastrichtung und in eine zweite Abtastrichtung gemäß einem Abtastmuster; ein Erfassen der reflektierten IR-Lichtimpulse, die von dem Empfangspfad empfangen werden; ein Erzeugen eines Retinabildes des Auges basierend auf den reflektierten IR-Lichtimpulsen; ein Verarbeiten des Retinabildes, um eine Position eines Fovea-Bereichs des Auges zu bestimmen; und ein Rendern des Projektionsbildes basierend auf der Position des Fovea-Bereichs, wobei das Projektionsbild mit einer höheren Auflösung in dem Fovea-Bereich gerendert wird und mit einer niedrigeren Auflösung außerhalb des Fovea-Bereichs gerendert wird.
Figurenliste
Ausführungsformen sind hierin unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.

1 ist ein schematisches Blockdiagramm eines Bildprojektionssystems 100 gemäß einer oder mehrerer Ausführungsformen;
2A und 2B veranschaulichen zwei Abtastmuster in einer 2D-Abtastebene gemäß einer oder mehrerer Ausführungsformen;
3A zeigt MEMS-Spiegel-Antriebswellenformen für das Abtasten gemäß einer oder mehrerer Ausführungsformen;
3B zeigt ein Abtastmuster, das basierend auf den in der 3A gezeigten MEMS-Spiegel-Antriebswellenformen erzeugt wurde;
4A zeigt MEMS-Spiegel-Antriebswellenformen zum Abtasten gemäß einer oder mehrerer Ausführungsformen; und
4B zeigt ein Abtastmuster, das basierend auf den in der 4A gezeigten MEMS-Spiegel-Antriebswellenformen erzeugt wird.

Detaillierte Beschreibung
Im Folgenden werden verschiedene Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Es ist zu beachten, dass diese Ausführungsformen nur der Veranschaulichung dienen und nicht als einschränkend zu verstehen sind. Während beispielsweise Ausführungsformen beschrieben sein können, die eine Vielzahl von Merkmalen oder Elementen umfassen, ist dies nicht so zu verstehen, dass alle diese Merkmale oder Elemente für die Umsetzung der Ausführungsformen erforderlich sind. Stattdessen können in anderen Ausführungsformen einige der Merkmale oder Elemente weggelassen oder durch alternative Merkmale oder Elemente ersetzt werden. Zusätzlich zu den explizit gezeigten und beschriebenen Merkmalen oder Elementen können weitere Merkmale oder Elemente bereitgestellt sein, beispielsweise herkömmliche Komponenten von Sensorvorrichtungen.
Merkmale verschiedener Ausführungsformen können zu weiteren Ausführungsformen kombiniert werden, sofern nicht ausdrücklich etwas anderes angegeben ist. Variationen oder Modifikationen, die in Bezug auf eine der Ausführungsformen beschrieben sind, können auch auf andere Ausführungsformen anwendbar sein. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Form von Blockdiagrammen statt im Detail dargestellt, um die Ausführungsformen nicht unklar zu machen.
Ferner sind äquivalente oder ähnliche Elemente oder Elemente mit äquivalenter oder ähnlicher Funktionalität in der folgenden Beschreibung mit äquivalenten oder ähnlichen Bezugszeichen bezeichnet. Da gleiche oder funktional äquivalente Elemente in den Figuren mit denselben Bezugszeichen versehen sind, kann eine wiederholte Beschreibung für Elemente mit gleichen Bezugszeichen entfallen. Daher sind die Beschreibungen für Elemente mit gleichen oder ähnlichen Bezugszeichen untereinander austauschbar.
Verbindungen oder Kopplungen zwischen Elementen, die in den Zeichnungen dargestellt oder hierin beschrieben sind, können drahtgebundene Verbindungen oder drahtlose Verbindungen sein, sofern nicht anders angegeben. Darüber hinaus können solche Verbindungen oder Kopplungen direkte Verbindungen oder Kopplungen ohne zusätzliche Zwischenelemente oder indirekte Verbindungen oder Kopplungen mit einem oder mehreren zusätzlichen Zwischenelementen sein, solange der allgemeine Zweck der Verbindung oder Kopplung, zum Beispiel das Senden einer bestimmten Art von Signal oder einer bestimmten Art von Information, im Wesentlichen beibehalten wird.
Der Begriff „im Wesentlichen“ kann hierin verwendet werden, um geringe Fertigungstoleranzen (z.B., innerhalb von 5 %) zu berücksichtigen, die in der Industrie als akzeptabel gelten, ohne von den Aspekten der hierin beschriebenen Ausführungsformen abzuweichen.
In der vorliegenden Offenbarung können Ausdrücke, die Ordnungszahlen enthalten, wie „erste“, „zweite“, und/oder dergleichen, verschiedene Elemente modifizieren. Solche Elemente sind jedoch nicht durch die obigen Ausdrücke beschränkt. Die obigen Ausdrücke schränken zum Beispiel nicht die Reihenfolge und/oder die Bedeutung der Elemente ein. Die obigen Ausdrücke werden lediglich zur Unterscheidung eines Elements von den anderen Elementen verwendet. Beispielsweise bezeichnen ein erstes Kästchen und ein zweites Kästchen unterschiedliche Kästchen, obwohl beide Kästchen sind. Als weiteres Beispiel könnte ein erstes Element als zweites Element bezeichnet werden, und in ähnlicher Weise könnte ein zweites Element auch als erstes Element bezeichnet werden, ohne dass dies vom Umfang der vorliegenden Offenbarung abweicht.
Ausführungsformen beziehen sich auf optische Sensoren und optische Sensorsysteme und auf die Gewinnung von Informationen über optische Sensoren und optische Sensorsysteme. Ein Sensor kann sich auf eine Komponente beziehen, die eine zu messende physikalische Größe in ein elektrisches Signal umwandelt, zum Beispiel ein Stromsignal oder ein Spannungssignal. Die physikalische Größe kann beispielsweise elektromagnetische Strahlung, wie sichtbares Licht (VL, Visible Light), Infrarotstrahlung (IR), oder eine andere Art von Beleuchtungssignal, einen Strom, oder eine Spannung umfassen, ist aber nicht darauf beschränkt. Ein Bildsensor kann zum Beispiel ein Siliziumchip in einer Kamera sein, der von einer Linse kommende Lichtphotonen in Spannungen umwandelt. Je größer die aktive Fläche des Sensors ist, desto mehr Licht kann gesammelt werden, um ein Bild zu erzeugen.
Eine Sensorvorrichtung, wie hierin verwendet, kann sich auf eine Vorrichtung beziehen, die einen Sensor und weitere Komponenten umfasst, zum Beispiel eine Vorspannungsschaltung, einen Analog-Digital-Wandler oder einen Filter. Eine Sensorvorrichtung kann auf einem einzelnen Chip integriert sein, obwohl in anderen Ausführungsformen eine Vielzahl von Chips oder auch Komponenten außerhalb eines Chips für die Implementierung einer Sensorvorrichtung verwendet werden können.
Im Bereich der XR (Extended Reality)-Technologien kann ein Sensor für das Eye-Tracking verwendet werden, um die Blickrichtung eines Benutzers zu erkennen und zu tracken (zu verfolgen). Auf diese Weise kann das XR-System Foveated Rendering verwenden, eine Technik, die einen hochdetaillierten Bereich eines Bildes verschiebt, dass er mit einer Projektion auf die Fovea übereinstimmt. Dynamisches Foveated Rendering folgt der fokalen Richtung des Benutzers (d.h., einem Blick eines Benutzers) in Echtzeit unter Verwendung von Eye-Tracking oder Gaze-Tracking und rendert ein scharfes Bild dort, wo die Retina des Benutzers hinschaut statt bei einer festen Stelle. Hierin offenbarte Ausführungsformen sind auf die Erfassung und das Tracking einer Blickrichtung (d.h., einer fokalen Richtung) und, genauer, auf die Erfassung und das Tracking einer Fovea-Position eines Auges eines Benutzers gerichtet, um einen Abtastvorgang eines Abtastsystems zu kompensieren. Basierend auf der detektierten fokalen Richtung und/oder der detektierten Fovea-Position ist ein Systemcontroller dazu ausgelegt, einen oder mehrere Systemparameter einzustellen, einschließlich: einer Abtastfrequenz einer Abtaststruktur, eines Abtastmusters, einer Lichtimpuls-Emissionszeit einer Rot-Grün-Blau (RGB)-Projektion, und/oder einer Strahlbreite einer RGB-Projektion.
1 ist ein schematisches Blockdiagramm eines Bildprojektionssystems 100 gemäß einer oder mehreren Ausführungsformen. Das Bildprojektionssystem 100 umfasst ein Eye-Tracking-System, das eine dynamisches Foveated Rendering des projizierten Bildes ermöglicht. Das Bildprojektionssystem 100 enthält eine RGB-Lichteinheit 10 (d.h., einen ersten Sender) mit einer Vielzahl von Lichtquellen, einschließlich roter (R), grüner (G), und blauer (B) monochromatischer Lichtquellen (z.B., Laserdioden oder lichtemittierenden Dioden). Die RGB-Lichteinheit 10 ist dazu ausgelegt, rote, grüne und blaue Lichtstrahlen im sichtbaren Lichtspektrum zu erzeugen, die den Bilddaten entsprechen, die auf die Retina eines Auges eines Benutzers projiziert werden sollen. Die RGB-Lichteinheit 10 ist dazu ausgelegt, die roten, grünen und blauen Lichtstrahlen in Richtung eines Abtastsystems (Scansystems) 20 zu senden. Jeder RGB-Lichtimpuls kann für ein Bildpixel eines RGB-Bildes repräsentativ sein. Jeder RGB-Lichtimpuls kann eine beliebige Kombination aus einem roten Lichtimpuls, einem grünen Lichtimpuls, und/oder einem blauen Lichtimpuls umfassen, die gleichzeitig emittiert werden, einschließlich einer, zwei, oder drei Farben in Kombination mit gesteuerten Intensitäten gemäß dem gewünschten Pixelfarbton des jeweiligen Bildpixels. Dementsprechend kann ein RGB-Lichtimpuls auch als Pixellichtimpuls bezeichnet werden.
Das Abtastsystem 20 hat eine koaxiale Architektur, bei der ein Sendepfad mit einem Empfangspfad geteilt wird. Mit anderen Worten werden die Komponenten des Abtastsystems sowohl zum Senden von Licht an ein Auge eines Benutzers als auch zum Empfangen von reflektiertem Licht oder rückgestreutem Licht von dem Auge des Benutzers in Form von Sensordaten verwendet. Das Abtastsystem 20 enthält einen ersten MEMS (mikroelektromechanisches System)-Spiegel 21, einen ersten Strahlkollimator 22 (d.h., eine erste Kollimationslinse), einen zweiten Strahlkollimator 23 (d.h., eine zweite Kollimationslinse), und einen zweiten MEMS-Spiegel 24. Der erste Strahlkollimator 22 und der zweite Strahlkollimator 23 für ein optisches Relaissystem zwischen den beiden MEMS-Spiegeln 21 und 24 zum Senden von Lichtstrahlen (d.h., RGB-Lichtstrahlen und Infrarot (IR)-Lichtstrahlen) zwischen ihnen. Das optische Relaissystem ist jedoch optional, so dass die Ausbreitung im freien Raum zwischen den beiden MEMS-Spiegeln 21 und 24 verwendet werden kann. Darüber hinaus kann auch ein anderer Typ von optischem Relaissystem verwendet werden und ist nicht auf zwei Kollimatoren beschränkt. Da das Abtastsystem 20 eine koaxiale Architektur hat, fungieren beide MEMS-Spiegel 21 und 24 sowohl als Sendespiegel als auch als Empfangsspiegel.
Ein MEMS-Spiegel ist ein mechanisch beweglicher Spiegel (d.h., ein MEMS-Mikrospiegel), der auf einem Halbleiterchip (nicht dargestellt) integriert ist. Die MEMS-Spiegel können an mechanischen Federn (z.B., Torsionsbalken) oder Biegeelementen aufgehängt sein und sind dazu ausgelegt, sich um eine einzelne Achse zu drehen und sozusagen nur einen Freiheitsgrad für die Bewegung zu haben. Zum Beispiel kann der MEMS-Spiegel 21 dazu ausgelegt sein, um eine x-Achse zu schwingen, um eine horizontale Abtastung durchzuführen, während der MEMS-Spiegel 24 dazu ausgelegt sein kann, um eine y-Achse (d.h., orthogonal zur x-Achse) zu schwingen, um eine vertikale Abtastung durchzuführen. Aufgrund dieser einzelnen Drehachse wird ein MEMS-Spiegel als 1D MEMS-Spiegel bezeichnet. Zusammen sind die beiden MEMS-Spiegel 21 und 24 in der Lage, ein zweidimensionales (2D) Abtasten durchzuführen und können für Lissajous-Abtastvorgänge verwendet werden.
Da das Abtastsystem 20 ein 2D-Abtastsystem ist, haben die Lichtstrahlen eine Punktform, die in ein Sichtfeld eines Benutzers gesendet werden, wobei eine höhere Auflösung auf die Retina eines Benutzers und, genauer, auf die Fovea des Benutzers gerichtet ist.
Ein MEMS-Spiegel selbst ist ein nichtlinearer Resonator (d.h., ein resonanter MEMS-Spiegel), der dazu ausgelegt ist, „Seite-zu-Seite“ um eine Abtastachse zu schwingen, so dass das von dem MEMS-Spiegel reflektierte Licht in einer Abtastrichtung (z.B., einer horizontalen Abtastrichtung oder einer vertikalen Abtastrichtung) hin und her schwingt. Eine Abtastperiode oder Schwingungsperiode ist zum Beispiel definiert durch eine vollständige Schwingung von einem ersten Rand eines Sichtfeldes (z.B., erste Seite) zu einem zweiten Rand des Sichtfeldes (z.B., zweite Seite) und dann wieder zurück zu dem ersten Rand. Eine Spiegelperiode eines MEMS-Spiegels entspricht einer Abtastperiode.
Somit wird das Sichtfeld in beide Abtastrichtungen abgetastet, indem der Winkel 9 jedes MEMS-Spiegels auf seiner jeweiligen Abtastachse verändert wird. Beispielsweise kann der MEMS-Spiegel 21 dazu ausgelegt sein, bei einer Resonanzfrequenz von 2 kHz bei einem vorgegebenen Winkelbereich zu schwingen, um das Licht über einen Abtastbereich zu lenken. Somit kann das Sichtfeld zeilenweise durch eine Drehung des MEMS-Spiegels durch seinen Bewegungsgrad abgetastet werden. Eine solche Sequenz durch den Bewegungsgrad (z.B., von -15 Grad bis +15 Grad) wird als eine einzelne Abtastung (Scan) oder Abtast-Zyklus (Scan-Zyklus) bezeichnet.
Alternativ wird gewürdigt, dass es auch möglich ist, dass einer der MEMS-Spiegel 21 oder 24 als 2D-MEMS-Spiegel mit zwei Abtastachsen (d.h., einer x-Achse und einer y-Achse) ausgelegt ist und der andere Spiegel als feste reflektierende Struktur ausgelegt ist. Beispielsweise kann der MEMS-Spiegel 21 durch eine feste reflektierende Struktur ersetzt werden, und der MEMS-Spiegel 24 kann als 2D-MEMS-Spiegel ausgelegt sein, dessen Auslenkposition durch Antreiben des Spiegels auf zwei Achsen gesteuert wird. In diesem Fall werden beide Achsen eines einzelnen 2D-MEMS-Spiegels durch verschiedene Phasenregelkreisen (PLLs, Phase-Locked Loops) gesteuert, so dass eine erste Abtastrichtung gemäß einer ersten Achse und eine zweite Abtastrichtung gemäß einer zweiten Achse sowohl hinsichtlich der Antriebsamplitude als auch der Antriebsfrequenz separat steuerbar sind. Oder das System kann sogar ohne den Spiegel 21 aufgebaut sein, indem die RGB-Einheit 10 so angeordnet wird, dass der Lichtstrahl auf den 2D-Abtastspiegel 24 gerichtet wird.
Dasselbe gilt für die Verwendung von zwei 1D-MEMS-Spiegeln - beide MEMS-Spiegel sind sowohl in Bezug auf die Antriebsamplitude als auch auf die Antriebsfrequenz separat steuerbar. In diesem Beispiel enthält das Abtastsystem 20 zwei MEMS-Treiber 61 und 64, die dazu ausgelegt sind, einen jeweiligen des MEMS-Spiegels 21 und MEMS-Spiegels 24 gemäß einer entsprechenden Antriebswellenform anzusteuern. Der Auslenkwinkel jedes MEMS-Spiegels 21 und 24 ändert sich kontinuierlich über die Zeit basierend auf seiner Antriebswellenform. Alternativ können Schaltungen für das Antreiben jedes MEMS-Spiegels in einem einzelnen MEMS-Treiber kombiniert werden (z.B., umfassend zwei PLL-Schaltungen). Es versteht sich daher, dass jede Funktion, die von einem der MEMS-Treiber 61 und 64 ausgeführt wird, auch von einem einzelnen MEMS-Treiber ausgeführt werden kann.
Die Abtastfrequenz des MEMS-Spiegels 21 kann höher eingestellt werden als die Abtastfrequenz des MEMS-Spiegels 24. Aus diesem Grund kann der MEMS-Spiegel 21 als „schneller“ Spiegel und der MEMS-Spiegel 24 als „langsamer“ Spiegel bezeichnet werden. Außerdem kann der Auslenkwinkel (d.h., der Neigungswinkel) jedes Spiegels einem anderen Muster folgen. Beispielsweise kann der Auslenkwinkel des MEMS-Spiegels 21 bei einer höheren Frequenz einem sinusförmigen Muster folgen und der Auslenkwinkel des MEMS-Spiegels 24 kann bei einer niedrigeren Frequenz einem Sägezahnmuster folgen. Dies führt dazu, dass der MEMS-Spiegel 21 im Vergleich zum MEMS-Spiegel 24 eine schnellere Änderungsrate um seine Abtastachse aufweist. Darüber hinaus kann der Auslenkwinkel eines oder beider Spiegel basierend auf einer detektierten und getrackten (verfolgten) Fovea-Position moduliert werden, was weiter unten näher beschrieben wird.
Wie oben erwähnt, sendet die RGB-Lichteinheit 10 die roten, grünen und blauen Lichtstrahlen zu einem Abtastsystem 20. Die RGB-Lichtstrahlen können über entsprechende optische Strahlteiler 11R, 11G und 11B, die eine hohe Reflektivität in Bezug auf ihren jeweiligen RGB-Lichtstrahl aufweisen, in einen Sendepfad eingekoppelt werden. Die RGB-Lichtstrahlen können durch einen optischen Strahlenteiler 12 laufen, der eine hohe Durchlässigkeit in Bezug auf die RGB-Lichtstrahlen aufweist. Das Abtastsystem 20 ist dazu ausgelegt, die RGB-Lichtstrahlen zu empfangen und die RGB-Lichtstrahlen in einer 2D-Projektionsebene unter Verwendung der beiden Abtastachsen zu lenken, um ein RGB-Bild zu erzeugen.
Insbesondere lenkt das Abtastsystem 20 das RGB-Licht auf einen Wellenleiter 30, der ein Einkoppelgitter 32 und ein Auskoppelgitter 34 umfasst. Das Einkoppelgitter 32 koppelt Licht (z.B., RGB-Licht und IR-Licht) in den Wellenleiter 30 ein. Das eingekoppelte Licht läuft entlang des Wellenleiters 30 über interne Brechung zu dem Auskoppelgitter 34, welches das Licht auskoppelt. Das Auskoppelgitter 34 projiziert das ausgekoppelte Licht in ein Sichtfeld eines Auges eines Benutzers und, genauer, projiziert das ausgekoppelte Licht auf das Auge des Benutzers. Somit ist der Wellenleiter 30 für das Einkoppeln eines durch RGB-Licht ausgebildeten RGB-Bildes und die anschließende Projektion des RGB-Bildes in ein Auge eines Benutzers durch Auskopplung des RGB-Bildes in das Gesichtsfeld des Benutzerauges verantwortlich. Mit anderen Worten, der Wellenleiter 30 liefert RGB-Bilder, die durch die RGB-Lichteinheit 10 erzeugt werden, an das Auge des Benutzers gemäß einer kontrollierten Systemauflösung, die basierend auf der detektierten und getrackten Fovea-Position eingestellt wird.
Das Bildprojektionssystem 100 enthält ferner einen Eye-Tracking-Sensor 40, der zusammen mit dem Abtastsystem 20 einen Retinascanner ausbildet. Der Eye-Tracking-Sensor 40 enthält eine IR-Lichtquelle 41 (d.h., einen zweiten Sender), wie eine Laserdiode oder eine lichtemittierende Diode, die IR-Lichtstrahlen erzeugt und aussendet. Die IR-Lichtquelle 41 kann eine Nahinfrarot (NIR)-Laserquelle sein, die Laserimpulse im nahen Infrarotbereich des elektromagnetischen Spektrums (z.B., von 780 nm bis 1350 nm) erzeugt. Der Sensor 40 enthält ferner einen optischen Strahlteiler 42, der eine hohe Durchlässigkeit für die IR-Lichtstrahlen aufweist. Der optische Strahlteiler 12 ist dazu ausgelegt, die IR-Lichtstrahlen von der IR-Lichtquelle 41 zu empfangen und die IR-Lichtstrahlen über eine hohe Reflektivität in den Sendepfad einzukoppeln. Das in dem Sendepfad angeordnete Abtastsystem 20 empfängt sowohl RGB-Lichtstrahlen als auch die IR-Lichtstrahlen. Hinsichtlich der Sensorfunktion wendet das Abtastsystem 20 die 2D-Abtastfunktion der MEMS-Spiegel 21 und 24 auf die IR-Lichtstrahlen an, um eine Retina eines Auges eines Benutzers abzutasten. Diese Abtastung erfolgt gleichzeitig, und somit parallel, zur Projektion des RGB-Bildes auf das Auge des Benutzers.
Die IR-Lichtstrahlen werden vom Auge des Benutzers zurückgeworfen, teilweise von der Retina und teilweise von der Fovea reflektiert. Das zurückgestreute IR-Licht wird wieder in den Wellenleiter 30 eingekoppelt und zurück zu dem Sensor 40 zu einem Lichtdetektor 43 (z.B., einem Photodetektor wie einer Photodiode) geleitet. Der Wellenleiter 30, das Abtastsystem 20, und der optische Strahlteiler 12 sind auf einem Rückpfad (d.h., einem Empfangspfad) des rückgestreuten IR-Lichts angeordnet, das Sensordaten des Auges des Benutzers darstellt. Insbesondere können die Sensordaten von einem Signalprozessor verwendet werden, um ein Bild eines Auges des Benutzers und insbesondere der Retina des Benutzers zu erzeugen.
Der optische Strahlteiler 12 hat eine hohe Reflektivität, um das rückgestreute IR-Licht zu reflektieren und es auf den optischen Strahlteiler 42 zu lenken. Ebenso hat der optische Strahlteiler 42 eine hohe Reflektivität, um das rückgestreute IR-Licht zu reflektieren und es auf den Lichtdetektor 43 zu richten. Der Lichtdetektor 43 ist dazu ausgelegt, das rückgestreute IR-Licht zu empfangen und in Reaktion darauf elektrische Signale zu erzeugen. Da die Sendezeit jedes Lichtimpulses von der IR-Lichtquelle 41 bekannt ist, und weil sich das Licht mit einer bekannten Geschwindigkeit ausbreitet, kann eine Flugzeit (Time Of Flight)-Berechnung unter Verwendung der elektrischen Signale die Entfernung von Objekten von dem Lichtdetektor 43 bestimmen. Aus den Entfernungsinformationen kann eine Tiefenkarte des Auges des Benutzers erstellt werden. Eine 2D-Reflexionskarte (Bild der Retina) kann durch Detektieren der Amplitude elektrischer Signale, die durch das bei der Retina reflektierte Licht erzeugt werden, erzeugt werden.
Der Sensor 40 enthält zum Beispiel Sensorschaltungen 44 mit einem ADC 45 und einem digitalen Signalprozessor (DSP) 46. Der ADC 45 kann zur Signalerfassung und ToF-Messung verwendet werden. Beispielsweise kann ein ADC 45 dazu verwendet werden, ein analoges elektrisches Signal von dem Lichtdetektor 43 zu detektieren, um ein Zeitintervall zwischen einem Startsignal (d.h., das einem Timing eines gesendeten Lichtimpulses entspricht) und einem Stoppsignal (d.h., das einem Timing des Empfangs eines analogen elektrischen Signals bei dem ADC 45 entspricht) mit einem geeigneten Algorithmus zu schätzen. Der DSP 46 ist dazu ausgelegt, die digitalen Signale von dem ADC 45 zu empfangen und eine Ein-Kanal-Datenverarbeitung vorzunehmen, um ein Retinabild zu erzeugen, und dann ferner eine Bildverarbeitung durchzuführen, um ein Eye-Tracking durchzuführen.
Der DSP 46 bestimmt die Flugzeit und damit die Entfernungsinformationen, die jedem von der IR-Lichtquelle 41 gesendeten IR-Lichtimpuls entsprechen. Unter Verwendung von Positionsinformationen, die jedem MEMS-Spiegel 21 und 24 entsprechen (d.h., einer x-y-Koordinate des gesendeten IR-Lichts, die im 2D-Raum auf das Auge eines Benutzers projiziert wird), kann der DSP 46 die Tiefe und Position jedes gesendeten IR-Lichtimpulses abbilden, um eine Tiefenkarte und, genauer, ein Retinabild zu erzeugen. Der DSP 46 ist ferner dazu ausgelegt, das Retinabild zu analysieren, um die fokale Richtung des Auges zu detektieren. Genauer ist der DSP 46 dazu ausgelegt, das Retinabild zu analysieren und die Fovea innerhalb des Retinabildes zu detektieren und zu tracken. Der DSP 46 ist dazu ausgelegt, Trackinginformationen, einschließlich Retina-Trackinginformationen und/oder Fovea-Trackinginformationen, zu erzeugen, und die Trackinginformationen einem Systemcontroller 50 bereitzustellen. Die Trackinginformationen können Echtzeit-Positionsinformationen der Fovea innerhalb des Retina-Bildes enthalten. Die Fovea-Positionsinformationen können in Form von x-y-Koordinaten, einem identifizierten Bereich von Interesse (ROI, Region-of-Interest) innerhalb des Retina-Bildes, einem x-Achsen-Winkelbereich (z.B., entsprechend dem MEMS-Spiegel 21), in dem sich die Fovea befindet, und/oder einem y-Achsen-Winkelbereich (z.B., entsprechend dem MEMS-Spiegel 24), in dem sich die Fovea befindet, vorliegen. Der Systemcontroller 50 ist dazu ausgelegt, eine oder mehrere Steuerfunktionen basierend auf den empfangenen Trackinginformationen auszuführen.
Der Systemcontroller 50 ist dazu ausgelegt, Komponenten des Bildprojektionssystems 100 zu steuern, einschließlich der Steuerung der IR-Lichtquelle 41, der RGB-Lichtquellen der RGB-Lichteinheit 10, und der MEMS-Treiber 61 und 64. Der Systemcontroller 50 enthält somit einen Steuerschaltkreis, wie einen Mikrocontroller, der dazu ausgelegt ist, Steuersignale zu erzeugen. In einigen Beispielen kann der Systemcontroller 50 den DSP 46 oder einen Abschnitt davon enthalten, oder kann zusätzlich Verarbeitungsschaltungen zur Erzeugung und/oder Analyse von Retina-Bilddaten, zum Tracking einer Fovea, und dergleichen enthalten. Die Steuersignale können verwendet werden, um eine Funktion des Senders 10 (d.h., eine Funktion der RGB-Lichtquellen 11), ein Timing des Abfeuerns von Lichtimpulsen durch die IR-Lichtquelle 41, die Schwingungsfrequenz, Schwingungsmuster, und den Schwingungsbereich (Winkelbereich der Bewegung) der MEMS-Spiegel 21 und 24, und/oder eine Antriebswellenform der MEMS-Treiber 61 und 64 zu steuern. Der Systemcontroller 50 kann somit mindestens einen Prozessor und/oder Prozessorschaltungen (z.B., Komparatoren und digitale Signalprozessoren (DSPs)) einer Signalverarbeitungskette zur Verarbeitung von Daten, sowie Steuerschaltungen, wie einen Mikrocontroller, enthalten, der zur Erzeugung von Steuersignalen ausgelegt ist.
Die MEMS-Treiber 61 und 64 sind dazu ausgelegt, den MEMS-Spiegel 21 bzw. den MEMS-Spiegel 24 anzutreiben. Insbesondere betätigt und erfasst jeder MEMS-Treiber 61, 64 die Drehposition seines MEMS-Spiegels um seine Abtastachse und stellt Positionsinformationen (z.B., Neigungswinkel oder Grad der Drehung um die Abtastachse) des Spiegels an den Systemcontroller 50 bereit. Somit enthält jeder MEMS-Treiber 61, 64 eine Messschaltung, die dazu ausgelegt ist, die Drehposition ihres MEMS-Spiegels 21, 24 zu messen.
Zum Beispiel kann eine Aktuatorstruktur, die verwendet wird, um einen entsprechenden MEMS-Spiegel 21, 24 anzutreiben, ein Kammantriebsrotor und -stator sein, die zwei Antriebskondensatoren enthalten, deren Kapazität oder gespeicherte Ladung von dem Auslenkwinkel abhängig ist. Daher kann die Messschaltung die Drehposition durch Messung der Kapazitäten der Antriebskondensatoren oder ihrer gespeicherten Ladungen bestimmen.
Basierend auf diesen Positionsinformationen kann der Systemcontroller 50 eine oder mehrere Systemfunktionen in Kombination mit den von dem DSP 46 empfangenen Trackinginformationen steuern. Die steuerbaren Funktionen, die auf der/dem Fovea-Erkennung und -Tracking basieren, werden nun ausführlicher beschrieben.
2A und 2B veranschaulichen zwei Lissajous-Abtastmuster in einer 2D-Abtastebene gemäß einer oder mehreren Ausführungsformen. Die 2D-Abtastebene ist durch einen Winkelbereich des MEMS-Spiegels 21 zwischen zwei Winkelextrema in der horizontalen Abtastrichtung (z.B., zwischen einer linken Kante und einer rechten Kante in der x-Richtung) und durch einen Winkelbereich des MEMS-Spiegels 24 zwischen zwei Winkelextrema in der vertikalen Abtastrichtung (z.B., zwischen einer oberen Kante und einer unteren Kante in der y-Richtung) definiert. IR-Licht und RGB-Licht werden gemäß einem vorprogrammierten Abtastmuster (z.B., einem Raster oder einem Lissajous-Muster) auf ein Auge projiziert, wobei Lichtimpulse das Muster tracken.
2A entspricht einer ersten Abtastung eines Auges (d.h., einer Retina), die zur Augendetektion und Fovea-Detektion verwendet wird. Hierbei ist das Abtastmuster gleichmäßig, so dass das Sinuswellenmuster in der y-Richtung gleichmäßig ist, was eine konstante Änderungsrate (d.h., Schwingungsgeschwindigkeit) in der y-Richtung anzeigt. Bei Detektion der Fovea ist der Systemcontroller 50 dazu ausgelegt, auf Foveated Scanning umzuschalten, wie in der 2B dargestellt. Somit entspricht 2B einer nachfolgenden Abtastung, die initialisiert wird, sobald die Position der Fovea bestimmt ist.
In der 2B ist das Abtastmuster in der y-Richtung modifiziert, so dass die Musterdichte der Abtastung in einem Bereich des 2D-Abtastplans erhöht ist, welcher der bestimmten Fovea-Position entspricht. Um das Abtastmuster zu modulieren, stellt der Systemcontroller die Antriebswellenform des MEMS-Treibers 64 ein, der den MEMS-Spiegel 24 antreibt. Beispielsweise kann die Änderungsrate in der y-Richtung in dem y-Winkelbereich, welcher der Position der Fovea entspricht, verringert werden, so dass der MEMS-Spiegel 21 in diesem Bereich eine höhere Anzahl von Abtastungen (Schwingungen) durchführt. Dies erhöht effektiv die Abtastdichte (d.h., die Auflösung) in diesem y-Winkelbereich.
Da der IR-Abtaster (IR-Scanner) und der RGB-Imager dasselbe Abtastsystem 20 teilen, wird durch die Erhöhung der Abtastdichte auch die Bildauflösung des RGB-Bildes erhöht, das in das Auge des Benutzers projiziert wird. Somit wird die Projektion des RGB-Bildes entsprechend gerendert. Die Erhöhung der Abtastdichte oder der Auflösung verbessert auch die Detektion und das Tracking der Fovea durch den Sensor 40, wodurch die Genauigkeit der Lokalisierung der Fovea erhöht wird.
Zusätzlich kann die Änderungsrate in der y-Richtung in dem y-Winkelbereich erhöht werden, welcher Positionen entspricht, die von der Fovea weg oder entfernt positioniert sind, so dass eine geringere Anzahl von Abtastungen (Schwingungen) durch den MEMS-Spiegel 21 in diesem Bereich durchgeführt wird. Dadurch wird die Abtastdichte (d.h., die Auflösung) in diesem y-Winkelbereich effektiv verringert. Da der IR-Abtaster und der RGB-Imager dasselbe Abtastsystem 20 teilen, verringert sich durch die Verringerung der Abtastdichte auch die Auflösung des RGB-Bildes, das auf das Auge des Benutzers projiziert wird. Somit wird die Projektion des RGB-Bildes entsprechend gerendert.
Die Abtastdichte kann langsam von einem Bereich, der von der Fovea entfernt positioniert ist, erhöht werden, wenn sich die Abtastkoordinaten auf einen Fokusbereich zubewegen, in dem sich die Fovea befindet, und langsam verringert werden, wenn sich die Abtastkoordinaten von dem Fokusbereich entfernen, in dem sich die Fovea befindet.
Es wird angemerkt, dass das Abtastmuster des MEMS-Spiegels 21 fest bleibt (d.h., die Antriebswellenform des MEMS-Spiegels ist fest), während das Abtastmuster des MEMS-Spiegels 24 basierend auf der Fovea-Position eingestellt wird. Es wird jedoch ferner gewürdigt, dass das Abtastmuster des MEMS-Spiegels 21 (z.B., seine Antriebswellenform) auch durch den Systemcontroller 50 moduliert werden kann, um den Fokusbereich des Abtastmusters ferner zu definieren.
Dementsprechend ist der Systemcontroller 50 dazu ausgelegt, die Fovea basierend auf den von dem DSP 46 bereitgestellten Trackinginformationen zu tracken und einen Fokusbereich des Abtastmusters einzustellen, in dem die Abtastdichte erhöht wird, so dass der Fokusbereich in dem Abtastmuster definiert wird. Die Position des Fokusbereichs wird so eingestellt, dass sie mit der getrackten Position der Fovea übereinstimmt. Der Fokusbereich wird in Echtzeit eingestellt, um jegliche Änderungen der Position der Fovea zu folgen. Beispielsweise kann der Fokusbereich in der y-Richtung nach oben oder unten verschoben werden basierend auf der detektierten Fovea-Position durch Einstellen der Antriebswellenform des MEMS-Spiegels 24. Das Abtastmuster kann nach jeder Abtastung eingestellt werden, so dass das Abtastmuster für die nächste Abtastung basierend auf der detektierten Fovea-Position aktualisiert wird. Alternativ kann das Abtastmuster in der Mitte der Abtastung als Reaktion auf die Detektion der Position der Fovea eingestellt werden. Beispielsweise kann die Antriebswellenform des MEMS-Spiegels 24 periodenweise eingestellt werden.
Zusätzlich, oder alternativ, kann der Systemcontroller 50 die Auflösung des RGB-Bildes einstellen durch Modulieren der RGB-Lichtimpulse, um eine höhere Auflösung in dem Fovea-Bereich des RGB-Bildes zu rendern und eine niedrigere Auflösung in dem RGB-Bild in Bereichen außerhalb des Fovea-Bereichs zu rendern. Die RGB-Lichtimpulse können in der Impulsbreite, in der Sendefrequenz (d.h., der Frequenz im Timing der Lichtimpulse - häufiger oder weniger häufig), in der Helligkeit, oder in einer beliebigen Kombination davon moduliert werden. Um eine Verwechslung mit der Spektrumfrequenz zu vermeiden, kann die Sendefrequenz auch als Impulsrate bezeichnet werden.
3A zeigt MEMS-Spiegel-Antriebswellenformen für eine Lissajous-Abtastung gemäß einer oder mehreren Ausführungsformen. Insbesondere ist die obere Wellenform eine Antriebswellenform für den MEMS-Spiegel 21 für horizontales Abtasten in der x-Richtung und die untere Wellenform eine Antriebswellenform für den MEMS-Spiegel 24 für vertikales Abtasten in der y-Richtung. Wie zu sehen ist, ist die X-Antriebswellenform des MEMS-Spiegels 21 sinusförmig und hat eine höhere Schwingungsrate im Vergleich zu der Y-Antriebswellenform des MEMS-Spiegels 24, die eine Sägezahnwellenform hat. Dementsprechend schwingt der MEMS-Spiegel 21 mehrmals innerhalb einer Schwingungs- (Abtastungs-)Periode des MEMS-Spiegels 24.
3B zeigt ein Lissajous-Abtastmuster, das basierend auf den in der 3A gezeigten MEMS-Spiegel-Antriebswellenformen erzeugt wurde. Darüber hinaus sind RGB-Laserimpulse in der 2D-Projektionsebene dargestellt, die einen Abschnitt des Abtastmusters überlagern. Der Systemcontroller 50 ist dazu ausgelegt, die Impulsbreite, die Impulsrate, und/oder die Bandbreite des Laserantriebsstroms der RGB-Laserimpulse zu modulieren, in Abhängigkeit davon, ob die RGB-Impulse innerhalb des Fovea-Bereichs oder außerhalb des Fovea-Bereichs gesendet werden. Die Leistung der RGB-Laser kann auch moduliert werden, wobei eine höhere Helligkeit (d.h., höhere Leistung) von dem Systemcontroller 50 für innerhalb des Fovea-Bereichs abgefeuerte Impulse ausgelöst wird und eine geringere Helligkeit von dem Systemcontroller 50 für außerhalb des Fovea-Bereichs abgefeuerte Impulse ausgelöst wird. Die Laserantriebsstrombandbreite ist der Frequenzbereich, der unterstützt werden kann, ohne dass es zu einer signifikanten Änderung in der Ausgabe kommt, und hängt von dem analogen Modulationsverfahren ab, das auf die Lichtquelle angewendet wird - wobei analoge Modulation bedeutet, dass die Wellenform kontinuierlich in ihrer Amplitude variiert.
Der Fovea-Bereich des RGB-Bildes ist eine ROI, die mit der detektierten Position der Fovea übereinstimmt und auch als Fokusbereich bezeichnet werden kann. In diesem Fall kann der Systemcontroller 50 eine Impulsbreite der RGB-Lichtimpulse verringern, ihre Impulsrate erhöhen, und/oder ihre Laserantriebsstrombandbreite erhöhen, wenn der Fovea-Bereich des RGB-Bildes gesendet wird. Auch die Helligkeit könnte erhöht werden. Diese RGB-Lichtimpulse mit verringerter Breite, höherer Impulsrate, höherer Strombandbreite werden basierend auf einer Abtastposition der MEMS-Spiegel 21 und 24 gesendet. Beispielsweise werden RGB-Lichtimpulse mit verringerter Breite, höherer Impulsrate oder RGB-Lichtimpulse mit verringerter Breite, höherer Strombandbreite gesendet, wenn die Winkelposition des MEMS-Spiegels 21 und die Winkelposition des MEMS-Spiegels 24 um ihre jeweiligen Abtastachsen mit den x-y-Koordinaten des Fovea-Bereichs übereinstimmen. Somit hat das RGB-Bild eine höhere Auflösung in einem Bereich, der auf die Fovea projiziert wird, und hat eine geringere Auflösung in Bereichen, die auf andere Bereiche des Auges projiziert werden.
Auf diese Weise können verschiedene diskrete Auflösungsstufen definiert werden. Beispielsweise kann eine höchste Auflösung in dem Fovea-Bereich gerendert werden, kann eine zweite, mittlere Auflösung (z.B., über eine mittlere Impulsbreite, eine mittlere Helligkeit, eine mittlere Impulsrate, und/oder eine mittlere Laserantriebsstrombandbreite) in einem Bereich gerendert werden, der an den Fovea-Bereich angrenzt und mit diesem konzentrisch ist, und kann eine niedrigste Auflösung (z.B., über die größte Impulsbreite, die niedrigste Helligkeit, die niedrigste Sendeimpulsrate, und/oder die niedrigste Laserantriebsstrombandbreite) bei einem peripheren Bereich der Retina gerendert werden. Somit kann jegliche Kombination von Impulsbreite, Impulshelligkeit, Impulsrate, und Laserantriebsstrombandbreite verwendet werden, um verschiedene diskrete Stufen der RGB-Bildauflösung zu definieren. Der Systemcontroller 50 stellt beide Parameter über Steuersignale ein, die an die RGB-Lichteinheit 10 gesendet werden, indem er sich sowohl auf die MEMS-Spiegelpositionsinformationen als auch auf die Fovea-Trackinginformationen bezieht.
Somit definiert das Eye-Tracking/Fovea-Tracking über den DSP 46 die Position eines hochauflösenden (foveated) Bereichs, und die horizontale Auflösung kann durch eine Laserimpulsbreite eingestellt werden. Darüber hinaus kann die Helligkeit eines Pixels unabhängig eingestellt werden, indem ein Spitzenstrom, eine Bandbreite des Stroms, und/oder ein Tastgrad (Duty Cycle) für jede RGB-Lichtquelle eingestellt wird.
4A zeigt MEMS-Spiegel-Antriebswellenformen für Lissajous-Abtasten (Lissajous-Scanning) gemäß einer oder mehreren Ausführungsformen. Insbesondere ist die obere Wellenform eine Antriebswellenform für den MEMS-Spiegel 21 für horizontales Abtasten in der x-Richtung und die untere Wellenform eine Antriebswellenform für den MEMS-Spiegel 24 für vertikales Abtasten in der y-Richtung. Wie zu sehen ist, ist die X-Antriebswellenform des MEMS-Spiegels 21 sinusförmig und hat eine höhere Schwingungsrate im Vergleich zu der Y-Antriebswellenform des MEMS-Spiegels 24, die eine einstellbare Sägezahnwellenform hat. Dementsprechend schwingt der MEMS-Spiegel 21 mehrmals innerhalb einer Schwingungsperiode (Abtastperiode) des MEMS-Spiegels 24. Hierbei wird die Steigung (d.h., die Änderungsrate) der Y-Antriebswellenform basierend auf der Position des Fovea-Bereichs eingestellt. Dies führt zu einer Einstellung der Drehgeschwindigkeit des MEMS-Spiegels 24. 4B zeigt ein Lissajous-Abtastmuster, das basierend auf den in der 4A gezeigten MEMS-Spiegel-Antriebswellenformen erzeugt wurde.
Gemäß diesem Beispiel wird die Steigung der ansteigenden Flanke der Y-Antriebswellenform eingestellt, dass sie höher ist, wenn sich das Abtastmuster außerhalb des Fovea-Bereichs befindet, und niedriger, wenn sich das Abtastmuster innerhalb des Fovea-Bereichs befindet oder mit diesem überlappt. Somit verringert der Systemcontroller 50 die Steigung der Y-Antriebswellenform und verlangsamt dadurch die Drehbewegung des MEMS-Spiegels 24, wenn seine Winkelposition um seine Abtastachse mit dem Winkelbereich des Fovea-Bereichs übereinstimmt. Im Gegensatz dazu bleibt die X-Antriebssignalform fest. Infolgedessen führt der MEMS-Spiegel 21 relativ zur Winkeländerung des MEMS-Spiegels 24 eine höhere Anzahl von Schwingungen aus, wodurch ein Fokusbereich in dem Abtastmuster mit einer höheren Musterdichte entsteht. Die höhere Musterdichte erzeugt eine höhere Auflösung für diesen Bereich des RGB-Bildes.
Darüber hinaus erhöht der Systemcontroller 50 die Steigung der Y-Antriebswellenform, wenn die Winkelposition des MEMS-Spiegels 24 mit dem Winkelbereich eines peripheren Bereichs der Retina übereinstimmt. Infolgedessen wird in diesem Bereich eine geringere Anzahl von Schwingungen durch den MEMS-Spiegel 21 ausgeführt, wodurch ein Bereich im Abtastmuster mit einer geringeren Musterdichte erzeugt wird. Die geringere Musterdichte erzeugt eine geringere Auflösung für diesen Bereich des RGB-Bildes. Auf diese Weise können verschiedene diskrete Auflösungsstufen definiert werden.
Der Systemcontroller 50 kann auch den Emissionszeitpunkt der RGB-Lichtimpulse einstellen, mit einer erhöhten Impulsrate innerhalb des Fokusbereichs des Abtastmusters und einer verringerten Impulsrate außerhalb des Fokusbereichs des Abtastmusters. Es wird angemerkt, dass die Aktualisierungsrate und die Gesamtzahl der Abtastzeilen unverändert bleiben. Stattdessen wird die Anzahl der Abtastzeilen in dem Fokusbereich komprimiert und außerhalb des Fokusbereichs weiter auseinandergezogen. Der Abstand zwischen den Abtastzeilen kann mit der Entfernung von einer Mitte des Fokusbereichs (d.h., einer Mitte der Fovea) langsam zunehmen oder innerhalb des Fokusbereichs fest sein und kann mit der Entfernung von dem oberen und unteren Rand des Fokusbereichs langsam zunehmen.
Der Systemcontroller 50 kann auch die Intensität oder Helligkeit der RGB-Lichtimpulse basierend auf ähnlichen, oben beschriebenen Kriterien einstellen.
In Anbetracht des Obigen kann das Eye-Tracking-System innerhalb des Bildprojektionssystems 100 für ein dynamisches Foveated Rendering verwendet werden, das dem Blick des Benutzers unter Verwendung von Eye-Tracking und, genauer, Fovea-Tracking folgt und ein scharfes Bild rendert, wo immer die Retinas des Benutzers hinschauen. Eine höchste Auflösung eines Bildes wird unter Verwendung der oben beschriebenen Techniken auf die Fovea gerendert, während niedrigere Auflösungen außerhalb des Fovea-Bereichs gerendert werden. Ein solches System kann in XR-Systemen verwendet werden, wo der Wellenleiter 30 eine smarte Brille, eine smarte Kontaktlinse, ein Head-up-Display (HUD), ein am Kopf befestigtes Display (HMD, Head-Mounted Display), oder ähnliches ist.
Obwohl sich die hierin beschriebenen Ausführungsformen auf MEMS-Vorrichtungen mit einem Spiegel beziehen, ist es zu verstehen, dass andere Implementierungen andere optische Vorrichtungen als MEMS-Spiegelvorrichtungen enthalten können. Zusätzlich, auch wenn einige Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, ist es klar, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, wobei ein Block oder eine Vorrichtung einem Verfahrensschritt oder einem Merkmal eines Verfahrensschritts entspricht. Analog stellen Aspekte, die im Zusammenhang mit einem Verfahrensschritt beschrieben werden, auch eine Beschreibung eines entsprechenden Blocks oder Elements oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle Verfahrensschritte können von einer Hardwarevorrichtung (oder unter Verwendung einer solchen) ausgeführt werden, wie zum Beispiel einem Mikroprozessor, einem programmierbaren Computer oder einer elektronischen Schaltung. In einigen Ausführungsformen können ein oder mehrere der Verfahrensschritte durch eine solche Vorrichtung ausgeführt werden.
Während verschiedene Ausführungsformen beschrieben wurden, wird es für den Fachmann offensichtlich sein, dass viele weitere Ausführungsformen und Implementierungen im Umfang der Offenbarung möglich sind. Dementsprechend soll die Erfindung nicht eingeschränkt sein, außer im Lichte der beigefügten Ansprüche und ihrer Äquivalente. Im Hinblick auf die verschiedenen Funktionen, die von den oben beschriebenen Komponenten oder Strukturen (Baugruppen, Vorrichtungen, Schaltungen, Systeme, usw.) ausgeführt werden, sollen die Begriffe (einschließlich eines Verweises auf ein „Mittel“), die zur Beschreibung solcher Komponenten verwendet werden, sofern nicht anders angegeben, jeder Komponente oder Struktur entsprechen, welche die angegebene Funktion der beschriebenen Komponente ausführt (d.h., die funktionell äquivalent ist), selbst wenn sie strukturell nicht äquivalent zu der offenbarten Struktur ist, welche die Funktion in den hierin veranschaulichten beispielhaften Ausführungsformen der Erfindung ausführt.
Darüber hinaus sind die folgenden Ansprüche hiermit in die ausführliche Beschreibung aufgenommen, wobei jeder Anspruch für sich allein als separates Ausführungsformbeispiel stehen kann. Während jeder Anspruch für sich als separates Ausführungsformbeispiel stehen kann, ist zu beachten, dass - obwohl sich ein abhängiger Anspruch in den Ansprüchen auf eine spezifische Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Ausführungsformbeispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs enthalten können. Solche Kombinationen werden hierin vorgeschlagen, es sei denn, es wird angegeben, dass eine bestimmte Kombination nicht beabsichtigt ist. Darüber hinaus ist beabsichtigt, auch Merkmale eines Anspruchs in einen anderen unabhängigen Anspruch einzubeziehen, selbst wenn dieser Anspruch nicht direkt von dem unabhängigen Anspruch abhängig gemacht wird.
Es ist ferner anzumerken, dass die in der Beschreibung oder in den Ansprüchen offenbarten Verfahren durch eine Vorrichtung implementiert werden können, die Mittel zum Durchführen der jeweiligen Handlungen dieser Verfahren aufweist.
Ferner ist zu verstehen, dass die Offenbarung mehrerer Handlungen oder Funktionen, die in der Beschreibung oder in den Ansprüchen offenbart sind, nicht so ausgelegt werden kann, innerhalb der spezifischen Reihenfolge zu sein. Daher wird die Offenbarung mehrerer Handlungen oder Funktionen diese nicht auf eine bestimmte Reihenfolge beschränkt, es sei denn, solche Handlungen oder Funktionen sind aus technischen Gründen nicht austauschbar. Darüber hinaus kann in einigen Ausführungsformen eine einzelne Handlung mehrere Teilhandlungen enthalten oder in mehrere Teilhandlungen unterteilt sein. Solche Teilhandlungen können in die Offenbarung dieser einzelnen Handlung einbezogen sein, sofern sie nicht ausdrücklich ausgeschlossen sind.
Befehle können von einem oder mehreren Prozessoren ausgeführt werden, wie einer oder mehreren CPUs (Central Processing Units), DSPs (Digital Signal Processors), Allzweck-Mikroprozessoren, ASICs (Application Specific Integrated Circuits), FPGAs (Field Programmable Logic Arrays), oder anderen gleichwertigen integrierten oder diskreten Logikschaltungen. Dementsprechend bezieht sich der Begriff „Prozessor“ oder „Verarbeitungsschaltung“, wie er hierin verwendet wird, auf jegliche der vorhergehenden Strukturen oder jede andere Struktur, die sich für die Implementierung der hierin beschriebenen Techniken eignet. Darüber hinaus kann in einigen Aspekten die hierin beschriebene Funktionalität in dedizierten Hardware- und/oder Softwaremodulen bereitgestellt werden. Die Techniken können auch vollständig in einer oder mehreren Schaltungen oder Logikelementen implementiert sein.
Somit können die in dieser Offenbarung beschriebenen Techniken mindestens teilweise in Hardware, Software, Firmware, oder einer beliebigen Kombination davon implementiert werden. Beispielsweise können verschiedene Aspekte der beschriebenen Techniken in einem oder mehreren Prozessoren implementiert werden, einschließlich eines oder mehrerer Mikroprozessoren, DSPs, ASICs, oder jeglicher anderer äquivalenter integrierter oder diskreter logischer Schaltungen sowie jeglicher Kombinationen solcher Komponenten.
Ein Controller mit Hardware kann auch eine oder mehrere der in dieser Offenbarung beschriebenen Techniken ausführen. Solche Hardware, Software, und Firmware können in derselben Vorrichtung oder in separaten Vorrichtungen implementiert sein, um die verschiedenen in dieser Offenbarung beschriebenen Techniken zu unterstützen. Software kann auf einem nicht-flüchtigen, computerlesbaren Medium gespeichert sein, so dass das nicht-flüchtige, computerlesbare Medium einen darauf gespeicherten Programmcode oder einen Programmalgorithmus enthält, der, wenn er ausgeführt wird, den Controller über ein Computerprogramm veranlasst, die Schritte eines Verfahrens durchzuführen.
Obwohl verschiedene beispielhafte Ausführungsformen offenbart worden sind, wird es für den Fachmann offensichtlich sein, dass verschiedene Änderungen und Modifikationen vorgenommen werden können, die einige der Vorteile der hierin offenbarten Konzepte erreichen, ohne vom Geist und Umfang der Erfindung abzuweichen. Es wird für den Fachmann offensichtlich sein, dass andere Komponenten, welche die gleichen Funktionen ausführen, in geeigneter Weise ersetzt werden können. Es versteht sich, dass andere Ausführungsformen verwendet werden können und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Umfang der vorliegenden Erfindung abzuweichen. Es sollte erwähnt werden, dass Merkmale, die unter Bezugnahme auf eine bestimmte Figur erläutert werden, mit Merkmalen anderer Figuren kombiniert werden können, auch wenn diese nicht ausdrücklich erwähnt sind. Derartige Modifikationen des allgemeinen Erfindungskonzepts sollen durch die beigefügten Ansprüche und ihre gesetzlichen Äquivalente abgedeckt sein.

Claims

Bildprojektionssystem, umfassend: einen ersten Sender, der dazu ausgelegt ist, Pixellichtimpulse zu erzeugen und die Pixellichtimpulse entlang eines Sendepfads zu senden, um auf ein Auge projiziert zu werden, um ein Projektionsbild darauf zu rendern; einen zweiten Sender, der dazu ausgelegt ist, Infrarot (IR)-Lichtimpulse zu erzeugen, die entlang des Sendepfads gesendet werden und um auf das Auge projiziert und davon als reflektierte IR-Lichtimpulse auf einem Empfangspfad zurückreflektiert zu werden; ein koaxiales Abtastsystem, das entlang des Sendepfads und des Empfangspfads angeordnet ist, wobei das koaxiale Abtastsystem mindestens eine Oszillatorstruktur umfasst, die es dem koaxialen Abtastsystem ermöglicht, die Pixellichtimpulse und die IR-Lichtimpulse in eine erste Abtastrichtung und in eine zweite Abtastrichtung gemäß einem Abtastmuster zu lenken; einen Eye-Tracking-Sensor, der dazu ausgelegt ist, die reflektierten IR-Lichtimpulse von dem koaxialen Abtastsystem zu empfangen, ein Retinabild des Auges basierend auf den reflektierten IR-Lichtimpulsen zu erzeugen, und das Retinabild zu verarbeiten, um eine Position eines Fovea-Bereichs des Auges zu bestimmen; und einen Systemcontroller, der dazu ausgelegt ist, das Projektionsbild basierend auf der Position des Fovea-Bereichs zu rendern, wobei das Projektionsbild mit einer höheren Auflösung in dem Fovea-Bereich gerendert wird und mit einer niedrigeren Auflösung außerhalb des Fovea-Bereichs gerendert wird.
Bildprojektionssystem nach Anspruch 1, wobei das koaxiale Abtastsystem dazu ausgelegt ist, die Pixellichtimpulse in die erste Abtastrichtung und in die zweite Abtastrichtung zu lenken, um das Projektionsbild zu rendern, und die IR-Lichtimpulse in die erste Abtastrichtung und in die zweite Abtastrichtung zu lenken, um eine Retinaabtastung durchzuführen.
Bildprojektionssystem nach Anspruch 1 oder 2, wobei der Systemcontroller dazu ausgelegt ist, den ersten Sender zu steuern, um eine Impulsbreite zu verringern und mindestens eines von einer Impulsrate oder einer Laserantriebsstrombandbreite für einen ersten Abschnitt der auf den Fovea-Bereich projizierten Pixellichtimpulse zu erhöhen, und den ersten Sender zu steuern, um die Impulsbreite zu erhöhen und mindestens eines von der Impulsrate oder der Laserantriebsstrombandbreite für mindestens einen zweiten Abschnitt der außerhalb des Fovea-Bereichs projizierten Pixellichtimpulse zu verringern.
Bildprojektionssystem nach einem der vorhergehenden Ansprüche, wobei der Systemcontroller dazu ausgelegt ist, den ersten Sender zu steuern, um eine Intensität der Pixellichtimpulse für einen ersten Abschnitt der auf den Fovea-Bereich projizierten Pixellichtimpulse zu erhöhen, und den ersten Sender zu steuern, um die Intensität der Pixellichtimpulse für mindestens einen zweiten Abschnitt der außerhalb des Fovea-Bereichs projizierten Pixellichtimpulse zu verringern.
Bildprojektionssystem nach Anspruch 4, wobei der erste Sender eine Vielzahl monochromatischer Lichtquellen umfasst und der Systemcontroller dazu ausgelegt ist, die Intensität der Pixellichtimpulse durch unabhängiges Einstellen einer Spitze und einer Bandbreite des Stroms oder eines Tastgrads jeder der Vielzahl monochromatischer Lichtquellen zu steuern.
Bildprojektionssystem nach einem der vorhergehenden Ansprüche, wobei der Systemcontroller dazu ausgelegt ist, das koaxiale Abtastsystem zu steuern, um eine Musterdichte des Abtastmusters in einem ersten Bereich des Abtastmusters, der dem Fovea-Bereich entspricht, zu erhöhen, und das koaxiale Abtastsystem zu steuern, um die Musterdichte des Abtastmusters in mindestens einem zweiten Bereich des Abtastmusters, der nicht dem Fovea-Bereich entspricht, zu verringern.
Bildprojektionssystem nach einem der vorhergehenden Ansprüche, wobei der erste Sender ein Rot-Grün-Blau-(RGB)-Sender ist, der eine rote Lichtquelle, eine grüne Lichtquelle, und eine blaue Lichtquelle umfasst, und das Projektionsbild ein RGB-Bild ist.
Bildprojektionssystem nach einem der vorhergehenden Ansprüche, wobei jede der mindestens einen Oszillatorstruktur mindestens einen Auslenkwinkel aufweist, der sich kontinuierlich über die Zeit ändert.
Bildprojektionssystem nach einem der vorhergehenden Ansprüche, wobei die mindestens eine Oszillatorstruktur umfasst: eine erste Oszillatorstruktur, die dazu ausgelegt ist, um eine erste Abtastachse bei einer ersten Abtastfrequenz zu schwingen, um die Pixellichtimpulse und die IR-Lichtimpulse in die erste Abtastrichtung zu lenken; und eine zweite Oszillatorstruktur, die dazu ausgelegt ist, um eine zweite Abtastachse bei einer zweiten Abtastfrequenz zu schwingen, um die Pixellichtimpulse und die IR-Lichtimpulse in die zweite Abtastrichtung zu lenken.
Bildprojektionssystem nach Anspruch 9, wobei die erste Abtastfrequenz größer ist als die zweite Abtastfrequenz.
Bildprojektionssystem nach Anspruch 9 oder 10, wobei das koaxiale Abtastsystem umfasst: eine erste Treiberschaltung, die dazu ausgelegt ist, die erste Oszillatorstruktur gemäß einer ersten Antriebswellenform anzutreiben, die fest ist; und eine zweite Treiberschaltung, die dazu ausgelegt ist, die zweite Oszillatorstruktur gemäß einer zweiten Antriebswellenform anzutreiben, die einstellbar ist.
Bildprojektionssystem nach Anspruch 11, wobei die erste Antriebswellenform eine Sinuswelle ist und die zweite Antriebswellenform eine Sägezahnwelle ist.
Bildprojektionssystem nach Anspruch 11 oder 12, wobei der Systemcontroller dazu ausgelegt ist, die zweite Antriebswellenform basierend auf der Position des Fovea-Bereichs einzustellen.
Bildprojektionssystem nach Anspruch 13, wobei der Systemcontroller dazu ausgelegt ist, eine Steigung der zweiten Antriebswellenform zu verringern, wenn ein Auslenkwinkel der zweiten Oszillatorstruktur innerhalb eines Winkelbereichs liegt, welcher der Position des Fovea-Bereichs entspricht, und die Steigung der zweiten Antriebswellenform zu erhöhen, wenn der Auslenkwinkel der zweiten Oszillatorstruktur außerhalb des Winkelbereichs liegt, welcher der Position des Fovea-Bereichs entspricht.
Bildprojektionssystem nach einem der Ansprüche 9 bis 14, wobei der Systemcontroller dazu ausgelegt ist, eine Drehgeschwindigkeit der zweiten Oszillatorstruktur in Echtzeit basierend auf der Position des Fovea-Bereichs dynamisch einzustellen.
Bildprojektionssystem nach Anspruch 15, wobei der Systemcontroller dazu ausgelegt ist, die Drehgeschwindigkeit der zweiten Oszillatorstruktur einzustellen, so dass eine Musterdichte des Abtastmusters in einem ersten Bereich des Abtastmusters, der dem Fovea-Bereich entspricht, erhöht wird und in mindestens einem zweiten Bereich des Abtastmusters, der nicht dem Fovea-Bereich entspricht, verringert wird.
Bildprojektionssystem nach Anspruch 16, wobei der Systemcontroller dazu ausgelegt ist, die Drehgeschwindigkeit der zweiten Oszillatorstruktur in dem ersten Bereich des Abtastmusters, der dem Fovea-Bereich entspricht, zu verringern und die Drehgeschwindigkeit der zweiten Oszillatorstruktur in mindestens einem zweiten Bereich des Abtastmusters, der nicht dem Fovea-Bereich entspricht, zu erhöhen.
Verfahren zum Projizieren eines Bildes basierend auf einem Fovea-Tracking, wobei das Verfahren umfasst: Senden von Pixellichtimpulsen entlang eines Sendepfads, der auf ein Auge projiziert werden soll, um darauf ein Projektionsbild zu rendern; Senden von Infrarot (IR)-Lichtimpulsen entlang des Sendepfads, wobei die IR-Lichtimpulse auf das Auge projiziert und davon als reflektierte IR-Lichtimpulse auf einem Empfangspfad zurückreflektiert werden; Lenken der Pixellichtimpulse und der IR-Lichtimpulse in eine erste Abtastrichtung und in eine zweite Abtastrichtung gemäß einem Abtastmuster; Erfassen der reflektierten IR-Lichtimpulse, die von dem Empfangspfad empfangen werden; Erzeugen eines Retinabildes des Auges basierend auf den reflektierten IR-Lichtimpulsen; Verarbeiten des Retinabildes, um eine Position eines Fovea-Bereichs des Auges zu bestimmen; und Rendern des Projektionsbildes basierend auf der Position des Fovea-Bereichs, wobei das Projektionsbild mit einer höheren Auflösung in dem Fovea-Bereich gerendert wird und mit einer niedrigeren Auflösung außerhalb des Fovea-Bereichs gerendert wird.
Verfahren nach Anspruch 18, wobei das Rendern des Projektionsbildes basierend auf der Position des Fovea-Bereichs umfasst: Verringern einer Impulsbreite und Erhöhen von mindestens einem von einer Impulsrate oder einer Laserantriebsstrombandbreite für einen ersten Abschnitt der Pixellichtimpulse, die auf den Fovea-Bereich projiziert werden; und Erhöhen der Impulsbreite und Verringern von mindestens einem von der Impulsrate oder der Laserantriebsstrombandbreite für mindestens einen zweiten Abschnitt der Pixellichtimpulse, die außerhalb des Fovea-Bereichs projiziert werden.
Verfahren nach Anspruch 18 oder 19, wobei das Rendern des Projektionsbildes basierend auf der Position des Fovea-Bereichs umfasst: Erhöhen einer Intensität der Pixellichtimpulse für einen ersten Abschnitt der Pixellichtimpulse, die auf den Fovea-Bereich projiziert werden; und Verringern der Intensität der Pixellichtimpulse für mindestens einen zweiten Abschnitt der Pixellichtimpulse, die außerhalb des Fovea-Bereichs projiziert werden.
Verfahren nach einem der Ansprüche 18 bis 20, wobei das Rendern des Projektionsbildes basierend auf der Position des Fovea-Bereichs umfasst: Erhöhen einer Musterdichte des Abtastmusters in einem ersten Bereich des Abtastmusters, der dem Fovea-Bereich entspricht; und Verringern der Musterdichte des Abtastmusters in mindestens einem zweiten Bereich des Abtastmusters, der nicht dem Fovea-Bereich entspricht.