DE102018123048A1

DE102018123048A1 - Dreidimensionale brillenfreie Lichtfeldanzeigevorrichtung mit Augenposition

Info

Publication number: DE102018123048A1
Application number: DE102018123048.6A
Authority: DE
Inventors: Joshua Ratcliffl; Alexey Supikov; Ronald Azuma; Qing Huang; Tuotuo LI
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2017-10-19
Filing date: 2018-09-19
Publication date: 2019-04-25
Also published as: KR20190043999A; US20190124313A1; US20210152804A1; CN109683335A; KR20220155970A; US11438566B2; US20200204781A1; CN115951504A; US20230019187A1; US12028502B2; US10939085B2

Abstract

In einigen Beispielen umfasst ein dreidimensionales Anzeigesystem eine Anzeige (beispielsweise einen Anzeigeschirm oder ein Anzeigefeld), eine Mikrolinsenanordnung und eine Augenverfolgungseinrichtung, um ein oder mehrere Augen einer Person zu verfolgen und die Augenpositionsinformationen bereitzustellen. Das Anzeigesystem umfasst auch einen Rendering-Prozessor zum Rendern oder Aufnehmen von Farb-plus-Tiefenbildern (beispielsweise RGB-D-Bildern) oder Lichtfeldbildern. Das Anzeigesystem umfasst auch einen Lichtfeldprozessor, um die Augenpositionsinformationen zu verwenden, um die gerenderten Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.

Description

Gebiet der Technik
Diese Offenbarung betrifft allgemein eine dreidimensionale (3D) Anzeige.
Hintergrund
Die Technologie, die benötigt wird, um dreidimensionale (3D) Stereo-Videoinhalte, wie etwa 3D-TV, 3D-Kino, 3D-Spiele etc., bereitzustellen, setzt sich zunehmend bei Massenprodukten (z. B. virtuelle Realität, 3D-Kino, 3D-Smartphones etc.) durch. Einige 3D-Stereo-Displays, wie z. B. aktiv/passiv brillenbasiert, linsenartig mit mehreren Ansichten etc., liefern für jedes Auge in einem Stereopaar ein unterschiedliches Bild. Diese unabhängigen Bilder können beispielsweise im Gehirn eines Benutzers stereoskopisch zusammengesetzt werden, wodurch ein binokulares Betrachtungserlebnis der visuellen 3D-Wahrnehmung wirksam neu erschaffen wird.
In realen Situationen, wenn ein Mensch beispielsweise ein bestimmtes Objekt beobachtet, erfolgt eine Konvergenz beider Augen und ein Fokussieren (oder Akkommodation) auf die Entfernung des Objekts. Bei vielen dreidimensionalen Stereoanzeigen ist ein Benutzer jedoch nicht in der Lage, eine Konvergenz und Fokussierung (oder Akkommodation) auf die Entfernung des Objekts vorzunehmen.
Figurenliste
Die folgende ausführliche Beschreibung ist durch Bezugnahme auf die begleitenden Zeichnungen besser verständlich, die spezifische Beispiele von zahlreichen Merkmalen des offenbarten Gegenstands enthalten.

1 veranschaulicht eine reale Betrachtungsumgebung;
2 veranschaulicht eine dreidimensionale (3D) Anzeige-Betrachtungsumgebung;
3 veranschaulicht ein dreidimensionales (3D) Anzeigesystem;
4 veranschaulicht zeitliches Multiplexen;
5 veranschaulicht eine Eyebox;
6 veranschaulicht eine Eyebox;
7 veranschaulicht eine Eyebox;
8 veranschaulicht eine Anzeigebild-Verarbeitungsumgebung;
9 veranschaulicht eine Computervorrichtung;
10 veranschaulicht einen oder mehrere Prozessoren und ein oder mehrere greifbare, nichtflüchtige, computerlesbare Medien;

In einigen Fällen werden in der Offenlegung und den Zeichnungen dieselben Zahlen verwendet, um durchgehend dieselben Komponenten und Merkmale zu bezeichnen. In einigen Fällen beziehen sich Zahlen in der 100-Serie von Bezugsziffern auf Merkmale, die ursprünglich in 1 zu finden sind, Zahlen in der 200-Serie von Bezugsziffern beziehen sich auf Merkmale, die ursprünglich in 2 zu finden sind, und so weiter.
Beschreibung der Ausführungsformen
Einige Ausführungsformen beziehen sich auf eine dreidimensionale (3D) Anzeige. Einige Ausführungsformen beziehen sich auf eine 3D-Anzeige mit Augenverfolgung (und/oder mit Pupillenverfolgung). Einige Ausführungsformen beziehen sich auf eine 3D-Anzeige, die Konvergenz- und Akkommodationsprobleme löst.
In dreidimensionalen Anzeigen ist ein Benutzer möglicherweise nicht in der Lage, eine Konvergenz und Fokussierung (oder Akkommodation) auf die Entfernung des Objekts vorzunehmen. Dies kann als Vergenz-Akkommodation-Konflikt bezeichnet werden, der in 3D-Anzeigen auftreten kann, und kann auch als Konvergenz-Akkommodation-Konflikt bezeichnet werden. Dieser Konflikt bezieht sich auf Probleme mit der Fokussierung der Augen und der Konvergenz und kann zu Überanstrengung der Augen, Schwindel, Übelkeit etc. führen, insbesondere nach längerer Nutzung. Tensor-Anzeigen können Konvergenz- und Akkommodations- (Fokussierungs-) Probleme mitunter lösen, aber die Effizienz einer solchen Anzeige kann sehr gering sein. Diese Anzeigen können eine Beugung, Moiré-Muster etc. aufweisen und können zu Optimierungszwecken eine große Menge an Berechnungen erfordern. Volumendisplays können sperrig sein und erfordern oft bewegliche mechanische Teile. Viele Volumendisplays unterstützen auch keine Okklusion und weisen eine reduzierte visuelle Qualität auf, wie beispielsweise die Unfähigkeit der Farbwiedergabe von Bildern.
In einigen Ausführungsformen kann ein dreidimensionales Anzeigesystem implementiert werden, das hell ist, vollfarbige Bilder darstellt und eine korrekte Okklusion ermöglicht. In einigen Ausführungsformen kann eine dreidimensionale Anzeige kompakt sein, aber dennoch eine große Schärfentiefe aufweisen.
1 veranschaulicht eine Umgebung 100 (beispielsweise eine „reale“ Umgebung) mit einem Benutzer 102 (oder Betrachter 102). Der Benutzer 102 hat Augen 104. Die Augen 104 des Benutzers blicken auf ein Objekt 106 (beispielsweise ein reales Objekt 106) entlang von Sichtlinien, die in 1 durch die gepunkteten Linien 110 veranschaulicht sind. Die gepunktete Linie 112 veranschaulicht eine Fokussierlinie, die bei einem Fokuspunkt bei Objekt 106 endet. Die gepunkteten Linien 110 enden an einem Konvergenzpunkt, der sich ebenfalls an dem Objekt 106 befindet. In einigen Ausführungsformen veranschaulicht die Umgebung 100 eine reale dreidimensionale (3D) Sicht im physischen Raum. Der Konvergenzpunkt und der Fokuspunkt in 1 liegen auf der gleichen Tiefenebene. Das heißt, dass der Konvergenzpunkt und der Fokuspunkt in der realen Umgebung 100 identisch sind (zum Beispiel bei einem realen Objekt 106).
2 veranschaulicht eine Umgebung 200 (beispielsweise eine dreidimensionale Anzeigeumgebung) mit einem Benutzer 202 (oder Betrachter 202). Der Benutzer 202 hat Augen 204. Die Augen 204 des Benutzers blicken auf eine scheinbare Position eines dreidimensionalen (3D) Anzeigeobjekts 206, das auf einem dreidimensionalen (3D) Anzeigebildschirm 208 entlang von Sichtlinien angezeigt wird, die in 2 durch die gepunkteten Linien 210 veranschaulicht werden. Die gepunktete Linie 212 veranschaulicht eine Fokussierlinie, die an einem dreidimensionalen (3D) Fokuspunkt (beispielsweise ein Fokus- oder Akkommodationspunkt 214) auf dem 3D-Anzeigebildschirm 208 endet. Die gepunkteten Linien 210 enden an einem Konvergenzpunkt, der sich an der scheinbaren Position des angezeigten 3D-Objekts 206 befindet. In einigen Ausführungsformen veranschaulicht die Umgebung 200 eine dreidimensionale (3D) Sicht durch einen Benutzer 202, der ein scheinbares Objekt 206 betrachtet, das auf einem 3D-Anzeigebildschirm 208 angezeigt wird. In einigen Ausführungsformen sind die Augen 204 des Benutzers 202 gezwungen, den Fokuspunkt auf dem 3D-Anzeigebildschirm 208 von dem Konvergenzpunkt an der scheinbaren Position des 3D-Objekts 206 zu entkoppeln. Dies ist beispielsweise als Vergenz-Akkommodation-Konflikt, Konvergenz-Akkommodation-Konflikt und/oder Konvergenz- und Akkommodationskonflikt-Problem bekannt.
In realen Umgebungen, wie etwa der Umgebung 100 von 1, wenn ein menschlicher Benutzer beispielsweise ein bestimmtes Objekt beobachtet, wobei die Augen des Benutzers sowohl eine Konvergenz als auch das Fokussieren (oder die Akkommodation) auf die Entfernung des Objekts (zum Beispiel das reale Objekt 106) vornehmen. In vielen dreidimensionalen Stereo-Anzeigeumgebungen, wie etwa der Umgebung 200 von 2, ist ein Benutzer jedoch nicht in der Lage, eine Konvergenz und Fokussieren (oder Akkommodation) auf die Entfernung der scheinbaren Position des Objekts (zum Beispiel die scheinbare Position 206 des dreidimensionalen Anzeigeobjekts) vorzunehmen.
In einigen dreidimensionalen (3D) Anzeigesystemen müssen die Augen des Benutzers eine Akkommodation auf eine einzige Brennebene (beispielsweise die Brennebene des 3D-Anzeigebildschirms 208) vornehmen, um eine Szene scharf eingestellt zu sehen. Im Fall von 3D-Video, wie etwa 3D-Fernsehen (TV) oder einem 3D-Film, ist beispielsweise die Brennebene der physische Anzeigebildschirm selbst. Die Augen des Benutzers können jedoch eine Konvergenz zu einer oder mehreren scheinbaren Positionen von einem oder mehreren der angezeigten 3D-Objekte vornehmen. Diese scheinbaren Positionen können vor und/oder hinter dem Bildschirm liegen. Die Entfernung der Augen des Benutzers zu dem Anzeigebildschirm und die Entfernung der Augen des Benutzers zu der/den scheinbaren Position(en) der 3D-Objekte, die vor und/oder hinter dem Bildschirm erscheinen, stimmen in vielen Situationen nicht überein. Diese mangelnde Übereinstimmung der Entfernung von den Augen zu dem Fokuspunkt (oder Akkommodationspunkt) auf dem Anzeigebildschirm und der Entfernung von den Augen zu dem/den 3D-Konvergenzpunkt(en) an der/den scheinbaren Position(en) der angezeigten 3D-Objekte kann als der Konvergenz-Akkommodation-Konflikt (oder der Vergenz-Akkommodation-Konflikt oder das Konvergenz- und Akkommodationskonflikt-Problem) bezeichnet werden. Infolge dieses Konflikts kann es zu Kopfschmerzen, Müdigkeit, Überanstrengung der Augen etc. bei dem Benutzer kommen. Dieses Problem kann Auswirkungen auf die Gesundheit haben, insbesondere bei Kindern, deren Sehsysteme noch in der Entwicklung befindlich sind.
3 veranschaulicht eine dreidimensionale (3D) Anzeigesystem-Betrachtungsumgebung 300. Die Umgebung 300 umfasst einen Benutzer 302 (oder Betrachter 302) eines Anzeigesystems. Der Benutzer 302 hat Augen einschließlich Pupillen 304. Die Anzeigesystem-Betrachtungsumgebung 300 umfasst eine Anzeige 312, die von dem Benutzer 302 betrachtet werden soll. In einigen Ausführungsformen kann die Anzeige 312 jede Art von Anzeigen sein. In einigen Ausführungsformen kann die Anzeige 312 ein Bildschirm und/oder ein Anzeigebildschirm und/oder Anzeigefeld sein und/oder diese umfassen. In einigen Ausführungsformen kann die Anzeige 312 eine Anzeige, ein Anzeigebildschirm und/oder ein Anzeigefeld mit jeder Pixeldichte sein. In einigen Ausführungsformen kann die Anzeige 312 eine Anzeige mit hoher Pixeldichte, eine Anzeige mit hoher Anzahl von Pixeln pro Zoll (Pixel per Inch, PPI) bzw. eine Anzeige mit hohem PPI und/oder eine 4K-Anzeige sein. In einigen Ausführungsformen ist die Anzeige 312 eine Anzeige mit einer höheren Pixeldichte als 250 Pixel pro Zoll. In einigen Ausführungsformen ist die Anzeige 312 eine Anzeige mit einer höchstmöglichen Pixeldichte. In einigen Ausführungsformen kann die Anzeige 312 unter anderem ein Mobiltelefonbildschirm oder ein Tabletbildschirm sein. In einigen Ausführungsformen kann die Anzeige 312 eine Flüssigkristallanzeige (Liquid Crystal Display, LCD), eine LCD-Anzeige, ein Flüssigkristallbildschirm, ein LCD-Bildschirm, ein Flüssigkristallanzeigefeld und/oder ein LCD-Anzeigefeld etc. sein.
In einigen Ausführungsformen kann eine Anzeigehintergrundbeleuchtung 314 hinter der Anzeige 312 bereitgestellt werden. Eine Mikrolinsenanordnung 316 (beispielsweise eine Mikrolinsenanordnung mit langer Brennweite und/oder eine Mikrolinsenanordnung mit langer Brennweite mit einer f-Zahl größer als 8) wird vor der Anzeige 312 zwischen der Anzeige 312 und den Augen des Benutzers 302 bereitgestellt. In einigen Ausführungsformen ist die Mikrolinsenanordnung 316 eine Mikrolinsenanordnung mit langer Brennweite mit hoher Brennweite. Beispielsweise ist in einigen Ausführungsformen die Mikrolinsenanordnung 316 eine Mikrolinsenanordnung mit langer Brennweite mit hoher Brennweite mit einer f-Zahl zwischen 8 und 30. In einigen Ausführungsformen weist die Mikrolinsenanordnung 316 eine hohe Brennweite auf, die von der Betrachtungsentfernung und Eyebox-Größe (oder Betrachtungsbereichsgröße) abhängt, wobei eine f-Zahl zwischen 8 und 30 liegt. Eine Pupillenverfolgungseinrichtung 318 kann verwendet werden, um die Pupillen 304 des Benutzers 302 zu verfolgen und alle Ergebnisse an eine Computervorrichtung 322 und eine Lichtfeld-Verarbeitungseinheit 324 zu senden. In einigen Ausführungsformen kann beispielsweise die Pupillenverfolgungseinrichtung 318 ein Echtzeit-3D-Pupillenverfolgungssystem sein. Die Anzeige 312 wird verwendet, um scheinbare Positionen von dreidimensionalen Objekten 320 anzuzeigen, die für den Benutzer 302 als auf der Anzeige 312 (beispielsweise auf einer Ebene der Anzeige 312), vor der Anzeige 312 (zwischen der Anzeige 312 und dem Benutzer 302) und/oder hinter der Anzeige 312 befindlich sichtbar sind.
Die Computervorrichtung 322 kann beispielsweise eine Grafikengine umfassen. Die Computervorrichtung 322 kann Farbbilder und/oder Farb-plus-Tiefenbilder gemäß der linken und/oder rechten Pupillenposition des Benutzers (beispielsweise alle Farbkomponenten, wie rote, grüne, blaue Farbkomponenten mit oder ohne Tiefe rendern, einschließlich z. B. RGB- oder RBG-D-Bildern) rendern und die gerenderten Bilder an die Lichtfeld-Verarbeitungseinheit 324 senden. Es wird angemerkt, dass in einigen Ausführungsformen die Bilder aufgenommen werden können, anstatt von der Computervorrichtung 322 gerendert zu werden. In einigen Ausführungsformen kann die Computervorrichtung 322 Stereo-Farb-plus-Tiefenbilder oder -Lichtfeldbilder aufnehmen oder rendern. Die Lichtfeld-Verarbeitungseinheit 324 kann die Pupillenpositionsinformationen der Pupillenverfolgungseinrichtung 318 verwenden, um die von der Computervorrichtung 322 empfangenen Bilder in integrale Stereobilder umzuwandeln, beispielsweise unter Verwendung von Bildschirmflächen-Raytracing. Obwohl das Bildschirmflächen-Raytracing hierin beschrieben wird, gibt es viele verschiedene Arten, wie die Bilder umgewandelt werden können. Beispielsweise können Rendering und Nachbearbeitung auf viele verschiedene Arten gemäß einigen Ausführungsformen implementiert werden. Es können viele weitere Nachbearbeitungstechniken neben dem Bildschirmflächen-Raytracing gemäß einigen Ausführungsformen implementiert werden. Die Lichtfeld-Verarbeitungseinheit 324 kann einen Lichtfeld-Bildstrom für die Anzeige auf dem Anzeigebildschirm 312 bereitstellen. In einigen Ausführungsformen kann die Hintergrundbeleuchtung 314 (beispielsweise eine direktionale Hintergrundbeleuchtung) Licht zu den entsprechenden Pupillenpositionen lenken.
In einigen Ausführungsformen ist das in 3 veranschaulichte Anzeigesystem eine flexible Lichtlenkungsvorrichtung, die eine Vielzahl von Anwendungen ermöglicht. Einige Ausführungsformen implementieren eine brillenfreie dreidimensionale (3D) Anzeige für einen einzelnen Betrachter, die kein Konvergenz- und Akkommodationskonflikt-Problem aufweist. In einigen Ausführungsformen ist eine solche Anzeige kompakt, leicht und berechnungs- und energieeffizient im Vergleich zu anderen Anzeigen, wie beispielsweise Brute-Force-Integraldisplays, die Dutzende von Gigapixeln erfordern, eine Tensor-Anzeige, die von Beugungsbeschränkungen abhängig sein kann, die eine ausreichende Erzeugung von Dichte für die Ansicht erschweren kann, um eine Akkommodation zu unterstützen, oder zu sperrigen und unpraktischen Volumendisplays. In einigen Ausführungsformen kann eine direktionale Hintergrundbeleuchtungsvorrichtung für weitere Vorteile implementiert werden.
In einigen Ausführungsformen können die Lichtlenkungseigenschaften des Anzeigesystems in 3 verwendet werden, um ein korrektes Lichtfeld für Lichtstrahlen zu erzeugen, die durch die Augenpupillen des Betrachters hindurchgehen. Das Erzeugen eines auf die Augenpupillenposition gerichteten Lichtfelds kann die Verwendung von derzeit verfügbaren Warenpräsentationsvorrichtungen ermöglichen, um 3D-Bilder mit Lichtstrahlen mit einer ausreichend hohen Dichte zu erzeugen, um die korrekte Akkommodations- (oder Fokus-) und Konvergenzhinweise zu erzeugen.
In einigen Ausführungsformen kann eine extrem hohe Betrachtungsdichte innerhalb einer kleinen Eyebox erreicht werden. Die Position der kleinen Eyebox kann an der Pupillenposition des Betrachters ausgerichtet werden (beispielsweise in Reaktion auf eine Pupillenverfolgungseinrichtung, wie etwa die Pupillenverfolgungsvorrichtung 318). Die Größe der kleinen Eyebox kann einem typischen Pupillengrößenbereich des menschlichen Auges entsprechen. Eine hohe Betrachtungsdichte kann innerhalb einer kleinen Eyebox erzielt werden, indem eine Mikrolinsenanordnung (MLA) (beispielsweise eine Mikrolinsenanordnung mit langer Brennweite und/oder die Mikrolinsenanordnung 316) vor einer Anzeige (beispielsweise eine Anzeige mit hoher Pixeldichte und/oder die Anzeige 312) mit einem spezifischen Abstand zwischen der Mikrolinsenanordnung und der Anzeige platziert wird. Die Position der Eyebox kann geändert werden, indem das auf der Anzeige anzuzeigende Bild in Reaktion auf die Benutzerverfolgungsvorrichtung verschoben wird (beispielsweise in Reaktion auf eine Pupillenverfolgungseinrichtung wie die Pupillenverfolgungseinrichtung 318).
In einigen Ausführungsformen ist ein Rendering-Prozess (beispielsweise ein durch die Computervorrichtung 322 implementierter Rendering-Prozess) von den Positionen der Augen des Betrachters abhängig (beispielsweise von den Positionen der Pupillen 304 des Benutzers 302, die von der Pupillenverfolgungseinrichtung 318 verfolgt werden). In einigen Ausführungsformen ist ein Aufnahmeprozess (beispielsweise ein durch die Computervorrichtung 322 implementierter Aufnahmeprozess) von den Positionen der Augen des Betrachters abhängig (beispielsweise von den Positionen der Pupillen 304 des Benutzers 302, die von der Pupillenverfolgungseinrichtung 318 verfolgt werden). In einigen Ausführungsformen kann ein Echtzeit-3D-Verfolgungssystem (zum Beispiel die Pupillenverfolgungseinrichtung 318) verwendet werden, um die Pupillenpositionen eines Betrachters zu verfolgen. Die verfolgten Pupillenpositionen können verwendet werden, um das Projektionszentrum einer Aufnahme- oder Rendering-Kamera zu positionieren und/oder die Eyebox-Ausrichtung digital zu optimieren.
Einige Ausführungsformen beziehen sich auf eine brillenfreie 3D-Anzeige, die ein integrales Bildsystem, eine 3D-Pupillenverfolgungseinrichtung und eine Lichtfeld-Verarbeitungseinheit verwendet, die eine ausreichend hohe Betrachtungsdichte für sowohl das linke als auch das rechte Auge eines Benutzers zum Beheben eines Vergenz-Akkommodation-Konflikts oder eines Konvergenz-Akkommodation-Konflikts (oder anders ausgedrückt Konvergenz- und Akkommodationskonflikt-Probleme) bereitstellt.
In einigen Ausführungsformen verfolgt ein 3D-Pupillenverfolgungssystem (wie etwa die Pupillenverfolgungseinrichtung 318) die Pupillenposition eines Betrachters einer Anzeige und sendet das Ergebnis an einen Computer (zum Beispiel eine Computervorrichtung 322) und an eine Lichtfeld-Verarbeitungseinheit (zum Beispiel die Lichtfeld-Verarbeitungseinheit 324). Die Computervorrichtung rendert und/oder nimmt Stereobilder (beispielsweise RGB- und/oder RGB-D-Bilder) gemäß der linken und/oder rechten Pupillenposition des Betrachters auf. Die Lichtfeld-Verarbeitungseinheit verwendet die Pupillenpositionsinformationen, um die aufgenommenen und/oder gerenderten Bilder in integrale Bilder umzuwandeln, beispielsweise unter Verwendung von Bildschirmflächen-Raytracing oder jeder anderen Ansichtsinterpolations-/Synthesetechnik. Das Bild wird dann auf einem hochauflösenden Anzeigebildschirm (beispielsweise auf dem Bildschirm 312) angezeigt. Gleichzeitig lenkt in einigen Ausführungsformen eine gerichtete Hintergrundbeleuchtung (beispielsweise eine Hintergrundbeleuchtung 314) Licht zu den entsprechenden Pupillenpositionen.
In einigen Ausführungsformen wird eine Mikrolinsenanordnung (MLA), wie etwa eine Mikrolinsenanordnung 316, vor einem Anzeigemodul mit hoher Pixeldichte platziert, wie etwa der Anzeige 312. Das Anzeigemodul und die Mikrolinsenanordnung sind in der Brennweite der Mikrolinsenanordnung so beabstandet, dass die Strahlen von jedem Pixel auf der Anzeige jede Mikrolinse auf der Mikrolinsenanordnung durchqueren, um einen kollimierten Strahl zu bilden. Bei gegebenem Abstand d_z zwischen der Mikrolinsenanordnung und einem Ansichtspunkt des Benutzerauges vor der Mikrolinsenanordnung entsteht eine größte Eyebox, wenn die integrale Bildabstandsgröße w_p wie folgt ist: $w_{p} = \frac{(d_{z} + f) p_{l}}{d_{z} p_{p}}$
Wobei f die Brennweite der Mikrolinsenanordnung ist, p_l der Linsenabstand der Mikrolinsenanordnung ist und p_p der Pixelabstand der Anzeige ist. Die Eyebox-Größe w_e kann unter Verwendung des Folgenden berechnet werden: $w_{e} = \frac{d_{z} w_{p} p_{p}}{f}$
Wenn die Augen des Betrachters sich genau in der Mitte der Eyebox befinden, können sie ein korrektes Lichtfeldbild beobachten. Die Strahlen von einem Pixel durchqueren die Mikrolinse über diesem Pixel und durchqueren auch die benachbarten Mikrolinsen und bilden Eyebox-Kopien. Wenn die Augen des Betrachters die primäre Eyebox verlassen, nehmen sie eine Änderung im Lichtfeldbild wahr und gelangen zu der Eyebox-Kopie.
In einigen in 3 und/oder anderen Ausführungsformen veranschaulichten Ausführungsformen kann ein Benutzer, wenn man eine Anzeige mit einem bestimmten darauf angezeigten Bildmuster verwendet und eine Linsenanordnung vor der Anzeige platziert, ein vollständiges dreidimensionales Bild sehen. Dies kann erreicht werden, ohne dass der Benutzer eine Brille trägt, sondern lediglich einen Bereich der Anzeige und der Linsenanordnung betrachtet. Abhängig von den Parametern der Anzeige und der Linsenanordnung kann die Größe des Bereichs variieren, in dem der Benutzer das 3D-Bild sieht. Der Bereich, in dem der Benutzer dieses 3D-Bild sieht, kann als primäre Betrachtungszone bezeichnet werden (die Betrachtungszone, wie sie hier verwendet wird, wird auch als Eyebox bezeichnet). Wenn sich der Benutzer jedoch aus einer primären Betrachtungszone (primäre Eyebox) entfernt, kann der Benutzer das gleiche oder ein ähnliches Bild auch in einer oder mehreren sekundären Betrachtungszonen (sekundären Eyeboxen) sehen, die in verschiedenen Betrachtungsbereichen (Eyeboxen) des Benutzers wiederholt werden. Es kann eine Anzahl von sekundären Betrachtungszonen geben, wobei die Anzahl der sekundären Betrachtungszonen davon abhängt, was die Linsenanordnung dem Benutzer zu sehen erlaubt.
Die Auflösung des Bildes (und/oder die 3D-Bildqualität), die Fokussierfähigkeit des Bildes etc. kann von einer Gesamtanzahl von Pixeln abhängen, die in eine Betrachtungszone eingestrahlt werden. Je kleiner die Betrachtungszone, desto dichter ist das Lichtfeld. Je breiter die Betrachtungszone, desto spärlicher ist das Lichtfeld. Bei spärlicheren Lichtfeldern verschlechtert sich der Fokus, und die 3D-Bildqualität wird nach und nach inakzeptabel.
In einer Implementierung, in der eine Linsenanordnung vor einer Anzeige platziert wird und die Betrachtungszone klein gehalten wird (beispielsweise nur geringfügig größer als die Größe einer Pupille eines Betrachters), kann ein sehr dichtes Lichtfeld erzeugt werden. Jedoch kann eine Pupille das Bild sehr gut sehen, während die andere Pupille das Bild überhaupt nicht gut sehen kann (beispielsweise kann die andere Pupille das gleiche Bild oder ein fehlerhaftes Bild sehen, da es zwischen den Betrachtungszonen liegt). Wenn ein Benutzer seine Augen verlagert, können seine Augen eine Betrachtungszone verlassen und in eine andere Betrachtungszone gelangen. Wenn die Betrachtungszone (Eyebox) in zwei Abschnitte unterteilt ist (beispielsweise einen Abschnitt für das linke Auge und einen anderen Abschnitt für das rechte Auge), kann das linke Auge eine Wiederholung eines linken Abschnitts der Betrachtungszone sehen und das rechte Auge kann eine weitere Wiederholung eines rechten Abschnitts der Betrachtungszone sehen, woraufhin der Benutzer ein dichtes Stereo-Lichtfeld sehen kann, um ein 3D-Bild mit seinen beiden Augen zu sehen. Ein anderer Ansatz besteht darin, eine Eyebox pro Auge zu verwenden. Wenn jedoch eine normale Hintergrundbeleuchtung verwendet wird, bei der das Licht in mehrere Richtungen strahlt, werden alle Eyeboxen (Betrachtungszonen) mit allen Wiederholungen der Betrachtungszonen beleuchtet.
In einigen Ausführungsformen kann eine gerichtete Hintergrundbeleuchtung verwendet werden, um Licht in einer bestimmten Richtung zu emittieren. Auf diese Weise kann eine gerichtete Hintergrundbeleuchtungssteuerung verwendet werden, um nur eine Betrachtungszone zu einem bestimmten Zeitpunkt zu beleuchten, und die Wiederholungen der Betrachtungszone sind nicht sichtbar. Beispielsweise emittiert in einigen Ausführungsformen eine gerichtete Hintergrundbeleuchtung Licht, das nur zu einem bestimmten Zeitpunkt auf eine Eyebox (oder Betrachtungszone) in dem Bereich eines Auges (und/oder einer Pupille) eines Benutzers gerichtet ist. In einigen Ausführungsformen wird die Pupillenposition verfolgt, sodass die gerichtete Hintergrundbeleuchtung gesteuert werden kann, um Licht zu einem bestimmten Zeitpunkt an eine bestimmte verfolgte Pupille zu senden. In einigen Ausführungsformen können bestimmte Leuchtdioden (Light Emitting Diodes, LEDs) der Hintergrundbeleuchtung eingeschaltet und bestimmte andere LEDs der Hintergrundbeleuchtung können ausgeschaltet werden, um das von der Hintergrundbeleuchtung emittierte gesteuerte Licht zu lenken, um das Licht im Bereich des Auges (und/oder der Pupille) des Betrachters zu emittieren. Auf diese Weise kann die Richtung des emittierten Lichts der direktionalen Hintergrundbeleuchtung gemäß der Augenbewegung (und/oder der Pupillenbewegung) geändert werden. Eine solche direktionale Hintergrundbeleuchtung kann zwischen den Augen eines Betrachters zeitmultiplexiert werden (hierin auch als zeitlich multiplexiert bezeichnet). In einigen Ausführungsformen können die Augen (und/oder Pupillen) von mehr als einem Benutzer gemäß einigen Ausführungsformen zeitmultiplexiert werden. In einigen Ausführungsformen tritt das Zeitmultiplexen für einen bestimmten Benutzer mit einer schnellen Frequenz zwischen den Augen eines Benutzers (und/oder Pupillen eines Benutzers) auf, sodass der Benutzer das Bild als kontinuierlich wahrnimmt. Beispielsweise kann in einigen Ausführungsformen die Frequenz für zwei Augen eines Benutzers 120 Hz betragen (60 Hz für jedes Auge). In einigen Ausführungsformen ist die Frequenz größer als 120 Hz (größer als 60 Hz für jedes Auge).
In einigen Ausführungsformen wird, wie vorstehend beschrieben, ein Lichtfeld mit hoher Betrachtungsdichte, das um eine oder mehrere Augenpupillen des Betrachters konzentriert ist, durch ein System erzeugt, das eine Mikrolinsenanordnung mit langer Brennweite und eine direktionale Hintergrundbeleuchtung verwendet. Ein solches System lenkt ein Lichtfeld in eine kleine Eyebox (beispielsweise in einigen Ausführungsformen eine kleine Eyebox von 10 mm mal 10 mm) mit vielen Ansichten (beispielsweise 20 mal 20 Ansichten). In einigen Ausführungsformen wird die Eyebox-Position unter Verwendung eines steuerbaren Hintergrundbeleuchtungssystems geändert. Auf diese Weise kann die direktionale Hintergrundbeleuchtung zu jedem bestimmten Zeitpunkt Licht in nur ein Auge lenken. Das Zeitmultiplexen kann verwendet werden, um das erforderliche Lichtfeld für beide Augen bereitzustellen, indem die Eyebox-Position und der angezeigte Inhalt mit Geschwindigkeiten geändert werden, die einen Flackerschwellenwert des menschlichen Auges überschreiten.
4 veranschaulicht das zeitliche Multiplexen 400 (und/oder das Zeitmultiplexen 400). In einigen Ausführungsformen veranschaulicht 4 zeitliches Multiplexen (und/oder Zeitmultiplexen) mit einer direktionalen Hintergrundbeleuchtung. 4 veranschaulicht einen Benutzer 402 mit einem linken und rechten Auge bei einem ersten Zeitrahmen (Rahmen 1), einem zweiten Zeitrahmen (Rahmen 2), einem dritten Zeitrahmen (Rahmen 3) und einem vierten Zeitrahmen (Rahmen 4). In einigen Ausführungsformen weisen die Zeitrahmen eine schnellere Anzeigerate auf als für einen Menschen erkennbar. In einigen Beispielen weisen die Zeitrahmen eine Anzeigerate von beispielsweise 120 Hz auf.
4 veranschaulicht auch eine Anzeige 412 (beispielsweise einen Anzeigebildschirm und/oder ein Anzeigefeld), eine Hintergrundbeleuchtung 414 (beispielsweise eine direktionale Hintergrundbeleuchtung, die gerichtet gesteuert werden kann) und eine Mikrolinsenanordnung 416. In einigen Ausführungsformen können die Anzeige 412, die Hintergrundbeleuchtung 414 und/oder die Mikrolinsenanordnung 416 ähnlich und/oder gleich sein wie die Anzeige 312, die Hintergrundbeleuchtung 314 und/oder die Mikrolinsenanordnung 316 von 3. Bei Rahmen 1 wird ein Lichtfeld mit hoher Betrachtungsdichte 432L von der Hintergrundbeleuchtung 414, der Anzeige 412 und der Mikrolinsenanordnung 416 auf ein linkes Auge (und/oder eine linke Pupille) des Benutzers 402 konzentriert. Bei Rahmen 2 wird ein Lichtfeld mit hoher Betrachtungsdichte 432R von der Hintergrundbeleuchtung 414, der Anzeige 412 und der Mikrolinsenanordnung 416 auf ein rechtes Auge (und/oder eine rechte Pupille) des Benutzers 402 konzentriert. Bei Rahmen 3 wird ein Lichtfeld mit hoher Betrachtungsdichte 432L von der Hintergrundbeleuchtung 414, der Anzeige 412 und der Mikrolinsenanordnung 416 auf das linke Auge (und/oder die linke Pupille) des Benutzers 402 konzentriert. Bei Rahmen 4 wird ein Lichtfeld mit hoher Betrachtungsdichte 432R von der Hintergrundbeleuchtung 414, der Anzeige 412 und der Mikrolinsenanordnung 416 auf das rechte Auge (und/oder die rechte Pupille) des Benutzers 402 konzentriert. Auf diese Weise kann die Anzeigehintergrundbeleuchtung 414 eine direktionale Hintergrundbeleuchtung sein, die Licht abwechselnd zwischen dem linken und rechten Auge des Benutzers 402 lenken kann. Diese Steuerung des Lichts kann beispielsweise auf den nachverfolgten Augenpositionsinformationen basieren (z. B. die nachverfolgten Pupillenpositionsinformationen). Die nachverfolgten Augenpositionsinformationen können nachverfolgte Augenpositionsinformationen von einer Augenverfolgungseinrichtung, wie etwa der Pupillenverfolgungseinrichtung 318, sein. In einigen Ausführungsformen kann die Anzeigehintergrundbeleuchtung 414 Licht abwechselnd zwischen dem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen (und/oder basierend auf den verfolgten Pupillenpositionsinformationen) mit einer Bildwiederholfrequenz lenken, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist (beispielsweise bei 120 Hz). Beispielsweise können die Rahmen in 4 mit einer Bildwiederholfrequenz abgewechselt werden, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist (wie etwa eine Bildwiederholfrequenz von 120 Hz).
In einigen Ausführungsformen kann ein Lichtfeld mit hoher Betrachtungsdichte (beispielsweise das Lichtfeld mit hoher Betrachtungsdichte 432L und/oder das Lichtfeld mit hoher Betrachtungsdichte 432R) um eine oder mehrere Augenpupillen des Betrachters konzentriert sein (beispielsweise um die Augen und/oder die Augenpupillen des Betrachters 402). Das/die Lichtfeld(er) mit hoher Betrachtungsdichte kann/können durch ein System erzeugt werden, das eine Mikrolinsenanordnung mit langer Brennweite (beispielsweise die Mikrolinsenanordnung 416) und eine direktionale Hintergrundbeleuchtung (beispielsweise die Hintergrundbeleuchtung 414) verwendet. Ein solches System lenkt ein Lichtfeld (beispielsweise das Lichtfeld 432L und/oder das Lichtfeld 432R) in eine kleine Eyebox (beispielsweise in einigen Ausführungsformen eine kleine Eyebox von 10 mm mal 10 mm) mit vielen Ansichten (zum Beispiel 20 mal 20 Ansichten). In einigen Ausführungsformen wird die Eyebox-Position unter Verwendung eines steuerbaren Hintergrundbeleuchtungssystems geändert (beispielsweise mit der Hintergrundbeleuchtung 414). Auf diese Weise kann die direktionale Hintergrundbeleuchtung Licht zu einem bestimmten Zeitpunkt in nur ein Auge lenken, wie beispielsweise in 4 veranschaulicht. Das Zeitmultiplexen kann verwendet werden, um das erforderliche Lichtfeld für beide Augen bereitzustellen, indem die Eyebox-Position und der angezeigte Inhalt mit Geschwindigkeiten geändert werden, die einen Flackerschwellenwert des menschlichen Auges überschreiten (beispielsweise bei 120 Hz).
4 wurde hierin als Zeitmultiplexen zwischen zwei Augen eines einzelnen Benutzers beschrieben. In einigen Ausführungsformen ist das in 4 veranschaulichte oder hierin beschriebene Zeitmultiplexen jedoch nicht auf einen einzelnen Benutzer beschränkt. In einigen Ausführungsformen kann das Zeitmultiplexen der direktionalen Hintergrundbeleuchtung zwischen mehr als einem Benutzer implementiert werden (beispielsweise zwischen den Augen mehrerer Benutzer mit einer ausreichend hohen Bildwiederholfrequenz, sodass dies für keinen Benutzer wahrnehmbar ist). Das Lenken der direktionalen Hintergrundbeleuchtung ist nicht auf einen Benutzer beschränkt. Wenn die Anzeigefrequenz hoch genug ist, können zwei oder mehr Benutzer gleichzeitig angesprochen werden. Beispielsweise empfängt in einigen Ausführungsformen in Rahmen 1 ein erstes Auge eines ersten Benutzers eine direktionale Hintergrundbeleuchtung, in Rahmen 2 empfängt ein erstes Auge eines zweiten Benutzers eine direktionale Hintergrundbeleuchtung, in Rahmen 3 empfängt ein zweites Auge des ersten Benutzers eine direktionale Hintergrundbeleuchtung und in Rahmen 4 empfängt ein zweites Auge des zweiten Benutzers eine direktionale Hintergrundbeleuchtung. In anderen Ausführungsformen können andere Anzahlen von Benutzern und eine andere Reihenfolge von Augen, die zu bestimmten Zeitpunkte eine direktionale Hintergrundbeleuchtung empfangen, implementiert werden. In einigen Ausführungsformen wird ein sequenzielles System implementiert. Beispielsweise beziehen sich einige Ausführungsformen auf ein zeitmultiplexiertes System, in dem Licht (beispielsweise von einer direktionalen Hintergrundbeleuchtung) zu einzelnen Positionen oder Räumen in der Nähe einer Anzeige in einer zeitmultiplexierten Weise gelenkt werden kann.
In einigen Ausführungsformen mit kontrollierter Hintergrundbeleuchtung oder ohne kontrollierte Hintergrundbeleuchtung kann das auf der Anzeige angezeigte integrale Bild die Größe und Position der Eyebox definieren. Durch Verschieben des in der Anzeige angezeigten integralen Bilds kann der Mittelpunkt der Eyebox verschoben werden, um sich entweder an der linken oder der rechten Pupillenposition auszurichten.
5 zeigt eine Eyebox 500, die in linke (L) und rechte (R) Teile unterteilt ist. Die Eyebox 500 umfasst eine linke (L) und rechte (R) zentrale Eyebox 502. Die anderen Eyeboxen 500 außer den zentralen Eyeboxen 502 sind Wiederholungen der zentralen Eyebox 502. In einigen Ausführungsformen wird die Eyebox 500 als eine geteilte Eyebox oder eine unterteilte Eyebox bezeichnet, da sie in linke (L) und rechte (R) Abschnitte unterteilt ist. In einigen Ausführungsformen kann die Eyebox 500 in Verbindung mit dem System von 3 und/oder von 4 verwendet werden, um ein erforderliches Lichtfeld für die Augen (beispielsweise für die Pupillen) eines oder mehrerer Benutzer bereitzustellen.
6A zeigt eine Eyebox 600A in einer Vorderansicht. 6B zeigt eine Kombination aus einer Anzeige 612B und einer Mikrolinsenanordnung 616B in einer Seitenansicht. In einigen Ausführungsformen zeigt 6A einen guten Betrachtungsbereich 602A und schlechte Betrachtungsbereiche 604A in einer Vorderansicht. In einigen Ausführungsformen ist die Seitenansicht 600B eine Ansicht von der Seite der Vorderansicht 600A. In einigen Ausführungsformen ist die Mikrolinsenanordnung 616B eine Mikrolinsenanordnung mit langer Brennweite. In einigen Ausführungsformen ist die Anzeige 612B ähnlich und/oder die gleiche wie die Anzeige 312 von 3. In einigen Ausführungsformen ist die Mikrolinsenanordnung 616B ähnlich und/oder dieselbe wie die Mikrolinsenanordnung 316 von 3. In einigen Ausführungsformen kann die Eyebox 600A in Verbindung mit dem System von 3 und/oder von 4 verwendet werden, um ein erforderliches Lichtfeld für die Augen (beispielsweise für die Pupillen) eines oder mehrerer Benutzer bereitzustellen.
In einigen Ausführungsformen wird ein Lichtfeld mit hoher Betrachtungsdichte in einer kleinen Eyebox unter Verwendung einer Mikrolinsenanordnung mit langer Brennweite (beispielsweise der Mikrolinsenanordnung 616B) und einer geteilten Eyebox (beispielsweise die geteilte Eyebox 500 und/oder die geteilte Eyebox 600A) erzeugt.
In einigen Ausführungsformen kann durch Teilen der Eyebox in linke (L) und rechte (R) Teile die Eyebox in einer solchen Weise angeordnet werden, dass der linke Teil der Eyebox das linke Auge abdeckt und eine Wiederholung des rechten Teils der Eyebox das rechte Auge abdeckt. Auf diese Weise sieht der Betrachter ein korrektes Lichtfeld, wenn er sich in einer korrekten Betrachtungsentfernung befindet. In einigen Ausführungsformen, wenn die IPD eines Benutzers nahezu ein ganzzahliges Vielfaches der Eyebox-Größe ist, wird der Benutzer nicht in der Lage sein, ein korrektes Lichtfeldbild wahrzunehmen, da beide Augen die gleiche Unter-Eyebox sehen (beispielsweise sehen beide eine rechte Eyebox oder beide Augen sehen eine linke Eyebox). In einigen Ausführungsformen kann dieses Problem unter Verwendung einer Mikrolinsenanordnungsoptik gelöst werden, die die Brennweiten und Abstände zwischen der Mikrolinsenanordnung und dem Bildschirm ändern kann, oder durch Ändern der Betrachtungsentfernung, welche die Eyebox-Größe bestimmt.
In einigen Ausführungsformen wird ein kompaktes und steuerbares direktionales Hintergrundbeleuchtungssystem (beispielsweise die Hintergrundbeleuchtung 314 von 3 und/oder die Hintergrundbeleuchtung 414 von 4) verwendet, um die Beschränkungen eines geteilten Eyebox-Systems zu überwinden. Beispielsweise kann ein geteiltes Eyebox-System ein korrektes Lichtfeld bei bestimmten festgelegten Betrachtungsentfernungen erzeugen, wenn eine IPD eines Betrachters (wie etwa eine horizontale IPD eines Betrachters) ein ungerades Vielfaches der halben Eyebox-Breite ist. Wie in 3 dargestellt, beispielsweise wenn IPD = 5 * W_e/2, richtet sich ein L-Teil der Eyebox an dem linken Auge des Betrachters aus und ein R-Teil der Eyebox richtet sich an dem rechten Auge des Betrachters aus. Für einen Betrachter mit IPD = 6 * W_e/2 kann jedoch eine Anpassung und/oder Verwendung einer Hintergrundbeleuchtung erforderlich sein, wobei beispielsweise ein L-Teil der Eyebox links ausgerichtet wird und ein L-Teil der Eyebox ebenfalls rechts ausgerichtet wird. Ähnliche Anordnungen können in der in 6A veranschaulichten Eyebox 600A auftreten.
In einigen Ausführungsformen muss die Eyebox-Form nicht quadratisch sein. In einigen Ausführungsformen hat die Eyebox jedoch eine Form, die in ein gleichmäßiges Raster unterteilt werden kann. Wenn der Kopf des Betrachters in Bezug auf den Anzeigebildschirm gedreht wird, kann das linke und das rechte Augen des Betrachters unterschiedliche scheinbare Höhen in Bezug auf die Anzeige aufweisen. Daher können in einigen Ausführungsformen linke und rechte Abschnitte der Eyebox nach oben oder unten bewegt werden.
7 veranschaulicht eine Eyebox 700. In einigen Ausführungsformen umfasst die Eyebox 700 einen ersten Eyebox-Abschnitt 702 (beispielsweise die linken Eyebox-Teile 702) und einen zweiten Eyebox-Abschnitt 704 (beispielsweise die rechten Eyebox-Teile 704). Wenn, wie vorstehend erörtert, der Kopf des Betrachters beispielsweise in Bezug auf den Anzeigebildschirm gedreht wird, kann das linke und das rechte Augen des Betrachters unterschiedliche scheinbare Höhe in Bezug auf die Anzeige aufweisen. Daher können, wie in 7 veranschaulicht, die Teile 702 (beispielsweise die linken Teile 702) der Eyebox 700 nach oben oder unten bewegt werden und/oder die Teile 704 (beispielsweise die rechten Teile 704) können nach oben oder nach unten bewegt werden, sodass sich die Teile 702 und 704 auf einer unterschiedlichen Höhen befinden. In einigen Ausführungsformen kann die Eyebox 700 in Verbindung mit dem System von 3 und/oder von 4 verwendet werden, um ein erforderliches Lichtfeld für die Augen (beispielsweise für die Pupillen) eines oder mehrerer Benutzer bereitzustellen.
Einige Abschnitte der Eyeboxen werden hierin als rechteckig dargestellt. Beispielsweise sind die L- und R-Abschnitte der Eyebox in den 5 und 7 als rechteckig dargestellt. In einigen Ausführungsformen kann dies jedoch dazu führen, dass weniger als die Hälfte der Lichtstrahlen verwendet wird, da eine rechteckige Form nicht ganz mit der Form einer Pupille übereinstimmt. In einigen Ausführungsformen kann jedoch eine Mikrolinsenanordnung mit einem anderen Mikrolinsen-Seitenverhältnis ausgelegt werden. Beispielsweise kann in einigen Ausführungsformen eine Auslegung einer Mikrolinsenanordnung mit einem Mikrolinsen-Seitenverhältnis von 2 verwendet werden, was beispielsweise zu einer Anordnung führt, bei der jede unterteilte (oder geteilte) Eyebox eine quadratische Form aufweisen kann.
In einigen Ausführungsformen kann zum Erzeugen eines Bilds, das auf der 3D-Anzeige angezeigt werden soll, das Aufnehmen und/oder Rendern basierend auf der Pupillenposition eines Benutzers (Betrachters) durch eine Computervorrichtung (beispielsweise unter Verwendung von Grafikhardware) durchgeführt werden, um Zwischendaten zu erzeugen, die die Geometrie- und Texturinformationen der Szene einschließen (wie etwa RGB-D-Bilder). Die Daten (wie etwa RGB-D-Bilder) werden dann an eine Lichtfeld-Verarbeitungseinheit übertragen. Die Lichtfeld-Verarbeitungseinheit verwendet die Echtzeit-Pupillenposition, um eine optimale Eyebox-Größe und einen erforderlichen Bildversatz zu berechnen, um die Eyebox-Mitte an der Pupillenposition auszurichten. Anschließend kann die Lichtfeld-Verarbeitungseinheit das Bild (beispielsweise das RGB-D-Bild) in das endgültige integrale Bild umwandeln. Dies kann beispielsweise unter Verwendung von Bildschirmflächen-Raytracing oder gemäß anderen Techniken implementiert werden. In einigen Ausführungsformen können anstelle der Verwendung einer Grafikengine zum Erzeugen der RGB-D-Bilder die aufgenommenen RGB-D-Bilder an eine Lichtfeld-Verarbeitungseinheit übertragen werden, um ein Bild zu erzeugen, das auf der 3D-Anzeige angezeigt werden soll.
Das Bildschirmflächen-Raytracing ist eine sehr effiziente Nachbearbeitungstechnik zur Erzeugung von Näherungen von Reflexion, Refraktion, Hochglanzreflexion, Umgebungsokklusion und/oder globaler Illumination. Dies kann zu viel geringeren Kosten als einige Raytracing-Techniken implementiert werden. In einigen Ausführungsformen wird das Bildschirmflächen-Raytracing verwendet, um Lichtfeld-Renderings aus RGB-D-Daten zu erzeugen. In einigen Ausführungsformen können andere Techniken als das Bildschirmflächen-Raytracing verwendet werden (beispielsweise kann gemäß einigen Ausführungsformen jede Nachbearbeitungstechnik verwendet werden).
8 veranschaulicht eine Anzeigebildverarbeitung in einer dreidimensionalen (3D) Anzeigeumgebung 800. Die Umgebung 800 umfasst eine Anzeige 812 (und/oder einen Anzeigebildschirm 812 und/oder ein Anzeigefeld 812) und eine Mikrolinsenanordnung 816. Die Anzeige 812 kann dreidimensionale Bilder anzeigen, die von einem Benutzer oder Betrachter betrachtet werden sollen. In einigen Ausführungsformen kann die Anzeige 812 beispielsweise gleich oder ähnlich der Anzeige 312 sein. In einigen Ausführungsformen kann die Anzeige 812 jede Art von Anzeige, jede Art von Anzeigebildschirm und/oder jede Art von Anzeigefeld sein. In einigen Ausführungsformen kann die Anzeige 812 unter anderem ein Mobiltelefonbildschirm oder ein Tabletbildschirm sein. In einigen Ausführungsformen kann eine Anzeigehintergrundbeleuchtung (nicht in 8 gezeigt) hinter der Anzeige 812 bereitgestellt werden. Die Mikrolinsenanordnung 816 kann eine Mikrolinsenanordnung mit langer Brennweite sein und wird vor der Anzeige 812 zwischen der Anzeige 812 und den Augen eines Benutzers bereitgestellt. Die Anzeige 812 wird verwendet, um scheinbare Positionen von dreidimensionalen (3D) Objekten 820 anzuzeigen, die für einen Benutzer als auf der Anzeige 812 (beispielsweise auf einer Ebene der Anzeige 812), vor der Anzeige 812 (zwischen der Anzeige 812 und dem Benutzer) und/oder hinter der Anzeige 812 befindlich sichtbar sind. In 8 sind die Objekte 820 an scheinbaren Positionen hinter der Anzeige 812 (über der Anzeige 812 in 8) angezeigt. Eine Aufnahme- und/oder Renderkamera 832 wird verwendet, um Bilder durch eine Nahschnitt-Ebene 842, eine Mikrolinsenanordnung 816, eine Anzeige 812 und eine Fernschnitt-Ebene 844 aufzunehmen und/oder zu rendern.
In einigen Ausführungsformen wurde eine Szene, die die Objekte 820 umfasst, auf einer Leinwand in der Nahschnitt-Ebene 842 aufgenommen und/oder gerendert. Da die Szene aufgenommen und/oder gerendert wurde, sind Farbe und Tiefe an jedem Punkt verfügbar. Für ein Pixel P auf der Anzeige 812 definieren die Position des Pixels P und das optische Zentrum der Mikrolinse (oder Linse innerhalb der Mikrolinsenanordnung) vor dem Pixel P einen Strahl R im Raum. Die Farbe des Pixels P kann durch die Farbe des Schnittpunkts des Strahls R mit der dreidimensionalen (3D) Szene definiert werden (beispielsweise bei Punkt C). Eine einfache eindimensionale (1D) Suche auf der Leinwand der Nahschnitt-Ebene 842 kann verwendet werden, um den Schnittpunkt C unter Verwendung der folgenden Schritte zu finden:

1. Berechnen des Schnittpunkts des Strahls R sowohl mit der Nahschnitt-Ebene 842 als auch mit der Fernschnitt-Ebene 844. Im Falle von 8 sind diese zwei Punkte der Punkt A auf der Nahschnitt-Ebene 842 und der Punkt B auf der Fernschnitt-Ebene 844.
2. Projizieren des Punkts B auf die Nahschnitt-Ebene 842, um den Punkt B' zu erhalten. Diese Projektion kann durch Zeichnen einer Linie zwischen dem Punkt B und dem Ansichtspunkt der Aufnahme- und/oder Renderkamera 832 durchgeführt werden.
3. Interpolieren von Punkt A nach Punkt B'. Diese Interpolation kann in der zweidimensionalen (2D) Ebene auftreten, die durch die Nahschnitt-Ebene 842 dargestellt ist. Jedes Pixel in der Sequenz kann beispielsweise unter Verwendung des Bresenham-Interpolationsalgorithmus (oder des Bresenham-Algorithmus oder des digitalen Differentialanalysator-Algorithmus oder des DDA-Linienalgorithmus) effizient berechnet werden. In einigen Ausführungsformen kann der Bresenham-Algorithmus (oder ein anderer Algorithmus) verwendet werden, um Punkte eines n-dimensionalen Rasters zu bestimmen, das ausgewählt werden sollte, um eine enge Annäherung an eine gerade Linie zwischen zwei Punkten zu bilden. In einigen Ausführungsformen kann jeder der Algorithmen aus der Bresenham-Familie verwendet werden, die den ursprünglichen Bresenham-Algorithmus erweitern oder modifizieren. Siehe beispielsweise: https://de.wikipedia.org/wiki/Bresenham-Algorithmus.
4. Für jeden durch die Interpolation erzeugten Punkt C' wird die Tiefe von einer vorberechneten zweidimensionalen (2D) Leinwand abgelesen. Die Tiefe des entsprechenden 3D-Punkts C auf dem Strahl R wird ebenfalls berechnet. Da das 2D-Liniensegment von Punkt A zu Punkt B' eine 2D-Projektion der 3D-Linie von Punkt A nach Punkt B ist, kann für jeden Punkt C' ein entsprechender Punkt C direkt berechnet werden. Die Punkte C' werden wiederholt erzeugt und getestet, bis die Tiefe des 3D-Punkts C größer ist als die Tiefe, die von der vorberechneten 2D-Leinwand abgelesen wird, oder der 3D-Punkt außerhalb des Kegelstumpfes (d. h. hinter der Fernschnitt-Ebene 844) liegt. Dieser Test kann verwendet werden, um zu bestimmen, ob der korrekte Punkt C in der virtuellen Szene gefunden wurde oder ob kein virtuelles Objekt diesem Pixel zugeordnet ist. Wenn diesem Pixel kein virtuelles Objekt zugeordnet ist, kann die Farbe von C auf eine Hintergrundfarbe eingestellt werden.
5. Einstellen der Farbe des Pixels P auf die Farbe von Pixel C und Beenden des Prozesses.

In einigen Ausführungsformen können die hierin beschriebenen Techniken verwendet werden, um eine rechnerische Anzeige zu erstellen, die für Benutzer praktisch ist. In einigen Ausführungsformen können rechnergestützte Displays verwendet werden, um 3D-Inhalte anzuzeigen, ohne eine Überanstrengung der Augen zu verursachen oder eine 3D-Brille zu erfordern. In einigen Ausführungsformen können die hierin beschriebenen und/oder dargestellten Anzeigen in allen Formfaktoren enthalten sein (beispielsweise alle Anzeigen, einschließlich Wearables, Telefone, Tablets, Laptops, Desktops und/oder Far-Eye-Displays).
In einigen Ausführungsformen kann das auf der 3D-Anzeige anzuzeigende Bild direkt mit Raytracing und/oder mit anderen Techniken gerendert werden. Mithilfe der nachverfolgten Pupillenposition und der Betrachtungsentfernung können die Eyebox-Größe und -Position unter Verwendung von Gleichung 1 und Gleichung 2 berechnet werden. In einigen Ausführungsformen ist jedes einzelne Pixel auf der Anzeige nur von einer Mikrolinse in einer gegebenen Eyebox sichtbar. Die Verfolgung des Strahls, der in der virtuellen Szene durch die Pixelmitte und das optische Zentrum der Mikrolinse verläuft, gibt die Pixelfarbe für dieses bestimmte Pixel in dem endgültigen Bild zurück.
In einigen Ausführungsformen kann das auf der 3D-Anzeige anzuzeigende Bild direkt mit einer herkömmlichen Rasterung unter Verwendung von Mehrfach-Kegelstümpfen gerendert werden. Die Mehrfach-Kegelstümpfe für die Renderkameras werden durch die Eyebox-Größe, die Eyebox-Position und die Bildschirmgröße definiert. Die Anzahl der Pixel, die von einer einzelnen Linse aus sichtbar sind, definiert die Anzahl der benötigten Renderkameras. Falls die Anzahl der Pixel, die von einer einzelnen Mikrolinse sichtbar sind, keine ganzzahlige Zahl ist, kann die Anzahl der Renderkameras auf eine größere ganze Zahl aufwärtsgetastet werden. Beispielsweise beträgt die Anzahl der Pixel unter einer Mikrolinse 10,5*10,5, jedoch ist es nicht möglich, 10,5*10,5 Renderkameras zu verwenden. Als Alternative können 15*15 Renderkameras verwendet werden. Die Kegelstümpfe sind durch das Projektionszentrum der Kegelstümpfe, die das gleichförmige 15*15-Gittermuster der Eyebox darstellen, und die vier Ecken der Anzeige definiert. Der Auflösungsbedarf für jede Kamera wird durch die Anzahl der Mikrolinsen auf dem Display definiert. Das endgültige integrale Bild kann durch Interleaving des gerenderten 15*15-Bilds in umgekehrter Richtung und anschließendes Abwärtstasten des Kehrwerts des Aufwärtsabtastverhältnisses (10,5/15) erzeugt werden. Je nach der Position der Pupille muss das integrale Bild verschoben werden.
In einigen Ausführungsformen wird das auf direktionale Hintergrundbeleuchtung basierende Zeitmultiplexen implementiert. In einigen Ausführungsformen ist eine Eyebox (hier auch als Betrachtungsbereich bezeichnet) geteilt (zum Beispiel zwischen dem linken und dem rechten Auge). In einigen Ausführungsformen können verschiedene Inhaltserzeugungsansätze implementiert werden. In einigen Ausführungsformen kann jede beliebige Rendering-Implementierung verwendet werden. In einigen Ausführungsformen kann das Bildschirmflächen-Raytracing verwendet werden (beispielsweise in einigen Ausführungsformen das Bildschirmflächen-Raytracing an Farb-plus-Tiefenbildern wie etwa RGB-D-Bildern). In einigen Ausführungsformen kann Raytracing implementiert werden. In einigen Ausführungsformen kann die Synthese aufgenommener Daten implementiert werden (beispielsweise die Synthese aufgenommener Bilddaten, wie etwa aufgenommene RGB-Bilddaten oder aufgenommene RGB-D-Bilddaten).
9 ist ein Blockdiagramm eines Beispiels einer Computervorrichtung 900. In einigen Ausführungsformen kann die Computervorrichtung 900 in einer Vorrichtung enthalten sein, die eine Betrachtungsmodusanpassung implementieren kann. In einigen Ausführungsformen kann die Computervorrichtung 900 Pupillen- (oder Augen-) Verfolgung, Bild-Rendering, Bildverarbeitung etc. implementieren, wie in dieser Beschreibung beschrieben und/oder in den Zeichnungen dargestellt. In einigen Ausführungsformen kann die Computervorrichtung 900 als ganz oder teilweise in einer Pupillenverfolgungseinrichtung (beispielsweise in der Pupillenverfolgungseinrichtung 318) enthalten sein. In einigen Ausführungsformen kann die Computervorrichtung 900 ganz oder teilweise in der Computervorrichtung enthalten sein, die das Bild-Rendering implementiert (beispielsweise die Computervorrichtung 322). In einigen Ausführungsformen kann die Computervorrichtung 900 ganz oder teilweise in einer Lichtfeld-Verarbeitungseinheit (beispielsweise in der Lichtfeldverarbeitungseinheit 324) enthalten sein. In einigen Ausführungsformen kann die Computervorrichtung 900 beispielsweise unter anderem in einem Anzeigesystem enthalten sein. Die Computervorrichtung 900 kann einen Prozessor 902 umfassen, der dazu vorgesehen ist, gespeicherte Anweisungen auszuführen, sowie eine Arbeitsspeichervorrichtung 904 (und/oder eine Speichervorrichtung 904), die Anweisungen speichert, die durch den Prozessor 902 ausführbar sind. Der Prozessor 902 kann ein Einkernprozessor, ein Mehrkemprozessor, ein Datenverarbeitungs-Cluster oder eine beliebige Anzahl von weiteren Konfigurationen sein. Die Arbeitsspeichervorrichtung 904 kann eine Arbeitsspeichervorrichtung und/oder eine Speichervorrichtung sein und kann einen flüchtigen Speicher, einen nichtflüchtigen Speicher, einen dynamischen Arbeitsspeicher, einen Nur-Lese-Speicher, einen Flash-Speicher und/oder jedes andere geeignete Arbeitsspeicher- und/oder Speichersystem umfassen. Die Anweisungen, die von dem Prozessor 902 ausgeführt werden, können auch verwendet werden, um eine Betrachtungsmoduseinstellung wie in dieser Beschreibung beschrieben zu implementieren.
Der Prozessor 902 kann auch durch einen System-Interconnect 906 (beispielsweise PCI®, PCI-Express®, NuBus etc.) mit einer Anzeigeschnittstelle 908 verbunden werden, die dazu vorgesehen ist, die Computervorrichtung 900 mit einer Anzeigevorrichtung 910 zu verbinden Die Anzeigevorrichtung 910 kann einen Anzeigebildschirm umfassen, der eine eingebaute Komponente der Computervorrichtung 900 ist. Die Anzeigevorrichtung 910 kann beispielsweise eine Anzeige, eine Mikrolinsenanordnung und/oder eine Anzeigehintergrundbeleuchtung umfassen.
In einigen Ausführungsformen kann die Anzeigeschnittstelle 908 jeden geeigneten Grafikprozessor, Sender, Anschluss, physischen Interconnect und dergleichen umfassen. In einigen Beispielen kann die Anzeigeschnittstelle 908 jedes geeignete Protokoll zum Übertragen von Daten an die Anzeigevorrichtung 910 implementieren. Beispielsweise kann die Anzeigeschnittstelle 908 Daten unter Verwendung eines High-Definition Multimedia Interface (HDMI)Protokolls, eines DisplayPort-Protokolls oder eines anderen Protokolls oder einer anderen Kommunikationsverbindung und dergleichen übertragen.
In einigen Ausführungsformen umfasst die Anzeigevorrichtung 910 eine Anzeigesteuerung. In einigen Ausführungsformen kann eine Anzeigesteuerung Steuersignale innerhalb und/oder an der Anzeigevorrichtung bereitstellen. In einigen Ausführungsformen kann eine Anzeigesteuerung in der Anzeigeschnittstelle 908 (und/oder anstelle der Anzeigeschnittstelle 908) umfassen sein. In einigen Ausführungsformen kann eine Anzeigesteuerung zwischen der Anzeigeschnittstelle 908 und der Anzeigevorrichtung 910 gekoppelt sein. In einigen Ausführungsformen kann die Anzeigesteuerung zwischen der Anzeigeschnittstelle 908 und dem Interconnect 906 gekoppelt sein. In einigen Ausführungsformen kann die Anzeigesteuerung in dem Prozessor 902 umfassen sein. In einigen Ausführungsformen kann die Anzeigesteuerung die Steuerung einer Anzeige und/oder eine Hintergrundbeleuchtung der Anzeigevorrichtung 910 gemäß jedem der in einer der Zeichnungen veranschaulichten Beispiele und/oder wie hierin beschrieben implementieren.
In einigen Ausführungsformen kann jede der in dieser Beschreibung beschriebenen Techniken ganz oder teilweise in der Anzeigevorrichtung 910 implementiert sein. In einigen Ausführungsformen kann jede der in dieser Beschreibung beschriebenen Techniken ganz oder teilweise in einer Anzeigesteuerung implementiert sein. In einigen Ausführungsformen kann jede der in dieser Beschreibung beschriebenen Techniken ganz oder teilweise in dem Prozessor 902 implementiert sein.
Zusätzlich kann eine Netzwerkschnittstellensteuerung (hier auch als NIC bezeichnet) 912 dazu vorgesehen sein, die Computervorrichtung 900 durch den System-Interconnect 906 mit einem Netzwerk (nicht dargestellt) zu verbinden. Das Netzwerk (nicht dargestellt) kann unter anderem ein drahtloses Netzwerk, ein drahtgebundenes Netzwerk, ein zellulares Netzwerk, ein Funknetzwerk, ein Weitverkehrsnetzwerk (Wide Area Network, WAN), ein lokales Netzwerk (Local Area Network, LAN), ein Netzwerk mit Satelliten zur globalen Positionierung (GPS) und/oder das Internet sein.
Der Prozessor 902 kann durch den System-Interconnect 906 mit einer E/A-Schnittstelle 914 verbunden sein. Die E/A-Schnittstelle 914 kann verwendet werden, um den Interconnect 906 mit einer oder mehreren E/A-Vorrichtungen 916 zu koppeln. Ein oder mehrere Eingabe/Ausgabe (E/A)-Geräteschnittstellen 914 können dazu vorgesehen sein, die Host-Computervorrichtung 900 mit einer oder mehreren E/A-Vorrichtungen 916 zu verbinden. Die E/A-Vorrichtungen 916 können beispielsweise eine Tastatur und/oder ein Zeigegerät umfassen, wobei das Zeigegerät unter anderem ein Touchpad oder einen Touchscreen umfassen kann. Die E/A-Vorrichtungen 916 können eingebaute Komponenten der Computervorrichtung 900 oder Vorrichtungen sein, die extern mit der Computervorrichtung 900 verbunden sind.
In einigen Ausführungsformen kann der Prozessor 902 auch durch den System-Interconnect 906 mit einer Speichervorrichtung 918 verbunden sein, die eine Festplatte, ein Solid-State-Laufwerk (SSD), ein Magnetlaufwerk, ein optisches Laufwerk, ein tragbares Laufwerk, ein Flash-Laufwerk, ein Universal Serial Bus (USB)-Flash-Laufwerk, eine Anordnung von Laufwerken und/oder jede andere Art von Speicher, einschließlich Kombinationen davon, umfassen kann. In einigen Ausführungsformen kann die Speichervorrichtung 918 beliebige geeignete Anwendungen umfassen. In einigen Ausführungsformen kann die Speichervorrichtung 918 die Augenverfolgung (und/oder Pupillenverfolgung) 920, das Bild-Rendering 922, die Bildverarbeitung 924 und/oder das zeitliche Multiplexen 926 (beispielsweise zeitliches Multiplexen mit direktionaler Hintergrundbeleuchtung) umfassen. In einigen Ausführungsformen können die Augenverfolgung (und/oder Pupillenverfolgung) 920, das Bild-Rendering 922, die Bildverarbeitung 924 und/oder das zeitliche Multiplexen 926 Anweisungen umfassen, die (beispielsweise von dem Prozessor 902) ausgeführt werden können, um Funktionalität durchzuführen, wie in dieser Beschreibung beschrieben und/oder veranschaulicht.
Es versteht sich, dass das Blockdiagramm in 9 nicht andeuten soll, dass die Computervorrichtung 900 alle in 9 gezeigten Komponenten umfassen muss. Vielmehr kann die Computervorrichtung 900 weniger und/oder zusätzliche Komponenten, die nicht in 9 veranschaulicht sind (beispielsweise zusätzliche Speicherkomponenten, eingebettete Steuerungen, zusätzliche Module, zusätzliche Netzwerkschnittstellen etc.), umfassen. Ferner kann jede der Funktionalitäten der Augenverfolgung 920, dem Bild-Rendering 922, der Bildverarbeitung 924 und/oder des zeitlichen Multiplexens 926 ganz oder teilweise in der Hardware und/oder in dem Prozessor 902 implementiert sein. Beispielsweise kann die Funktionalität mit einer anwendungsspezifischen integrierten Schaltung, einer in einer eingebetteten Steuerung implementierten Logik oder in einer in dem Prozessor 902 implementierten Logik implementiert sein. In einigen Ausführungsformen können die Funktionalitäten der Augenverfolgung 920, des Bild-Rendering 922, der Bildverarbeitung 924 und/oder des zeitlichen Multiplexens 926 mit Logik implementiert werden, wobei die Logik, auf die hierin Bezug genommen wird, jede geeignete Hardware (beispielsweise unter anderem einen Prozessor), Software (beispielsweise unter anderem eine Anwendung), Firmware oder jede geeignete Kombination von Hardware, Software und Firmware umfassen kann.
10 ist ein Blockdiagramm eines Beispiels eines oder mehrerer Prozessoren und eines oder mehrerer greifbarer, nichtflüchtiger computerlesbarer Medien. Auf das eine oder die mehreren greifbaren, nichtflüchtigen computerlesbaren Medien 1000 kann durch einen Prozessor 1002 über einen Computer-Interconnect 1004 zugegriffen werden. Ferner können das eine oder die mehreren greifbaren, nichtflüchtigen computerlesbaren Medien 1000 Code zum Anweisen des Prozessors 1002 zum Ausführen von Operationen wie hierin beschrieben umfassen. Beispielsweise können in einigen Ausführungsformen die computerlesbaren Medien 1000 einen Code umfassen, um den Prozessor anzuweisen, eines oder mehrere von der Augenverfolgung 1006 (und/oder Pupillenverfolgung 1006), des Bild-Rendering 1008, der Bildverarbeitung 1010 und/oder dem zeitlichen Multiplexen (beispielsweise das zeitliche Multiplexen mit Hintergrundbeleuchtungssteuerung) gemäß einigen Ausführungsformen durchzuführen. In einigen Ausführungsformen ist der Prozessor 1002 ein oder mehrere Prozessoren. In einigen Ausführungsformen kann der Prozessor 1002 eine ähnliche (und/oder die gleiche) Leistung wie der Prozessor 902 von 9 aufweisen und/oder kann einige oder alle der gleichen Funktionen durchführen, die von dem Prozessor 902 ausgeführt werden können.
Verschiedene in dieser Beschreibung erörterten Komponenten können unter Verwendung von Softwarekomponenten implementiert werden. Diese Softwarekomponenten können in dem einem oder den mehreren greifbaren, nichtflüchtigen computerlesbaren Medien 1000 gespeichert werden, wie in 10 angegeben. Beispielsweise können die Softwarekomponenten, die etwa computerlesbare Anweisungen umfassen, die die Augenverfolgung 1006, das Bild-Rendering 1008, die Bildverarbeitung 1010 und/oder das zeitliche Multiplexen 1012 (beispielsweise das zeitliche Multiplexen mit Hintergrundbeleuchtungssteuerung) implementieren, gemäß einigen Ausführungsformen in einem oder mehreren computerlesbaren Medien 1000 enthalten sein. Die Augenverfolgung 1006, das Bild-Rendering 1008, die Bildverarbeitung 1010 und/oder das zeitliche Multiplexen 1012 können dazu vorgesehen sein, den Prozessor 1002 anzuweisen, eine oder mehrere der in dieser Beschreibung und/oder mit Bezug auf die Zeichnungen beschriebenen Operationen durchzuführen.
Es versteht sich, dass jede geeignete Anzahl der in 10 gezeigten Softwarekomponenten in dem einen oder den mehreren greifbaren, nichtflüchtigen computerlesbaren Medien 1000 enthalten sein kann. Ferner kann eine beliebige Anzahl zusätzlicher Softwarekomponenten (die nicht in 10 gezeigt werden) in Abhängigkeit von der spezifischen Anwendung in dem einen oder den mehreren greifbaren, nichtflüchtigen computerlesbaren Medien 1000 enthalten sein.
Es wurden hierin Ausführungsformen als sich auf RGB- und/oder RGB-D-Bilder beziehend beschrieben. Die Ausführungsformen können sich jedoch generell auf beliebige Farbbilder beziehen, einschließlich RGB-Bilder oder andere Farbbilder, und/oder können sich auf Farb-plus-Tiefenbilder, einschließlich RGB-D-Bilder oder andere Farb-plus-Tiefenbilder, beziehen.
Die Bezugnahme in dieser Beschreibung auf „eine bestimmte Ausführungsform“ oder „eine Ausführungsform“ oder „einige Ausführungsformen“ des offenbarten Gegenstands bedeutet, dass eine bestimmte Funktion, eine Struktur oder ein Merkmal, die in Verbindung mit der Ausführungsform beschrieben sind, in mindestens einer Ausführungsform des offenbarten Gegenstands eingeschlossen ist. Somit kann der Ausdruck „in einer Ausführungsform“ oder „in einigen Ausführungsformen“ an verschiedenen Stellen in der Beschreibung erscheinen, aber der Ausdruck muss sich nicht notwendigerweise auf die gleiche Ausführungsform oder die gleichen Ausführungsformen beziehen.
Beispiel 1 ist eine dreidimensionale Anzeigevorrichtung. Die dreidimensionale Anzeigevorrichtung umfasst eine Anzeige (beispielsweise eine Anzeige, einen Anzeigebildschirm und/oder ein Anzeigefeld) und eine Mikrolinsenanordnung. Die dreidimensionale Anzeigevorrichtung umfasst auch eine Augenverfolgungseinrichtung zum Verfolgen einer Vielzahl von Augen und zum Bereitstellen von Augenpositionsinformationen, die der Verfolgung entsprechen. Ein Rendering-Prozessor dient zum Rendern oder Aufnehmen von Farb-plus-Tiefenbildern oder Lichtfeldbildern. Ein Lichtfeldprozessor dient zum Verwenden der Augenpositionsinformationen, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Beispiel 2 umfasst die Anzeige von Beispiel 1, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Rendering-Prozessor Lichtfeldbilder basierend auf den Augenpositionsinformationen rendern und der Lichtfeldprozessor soll die gerenderten oder aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbilder zu dem erforderlichen Lichtfeldbild für die Anzeige synthetisieren.
Beispiel 3 umfasst die Anzeige von einem beliebigen der Beispiele 1 oder 2, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel dient eine Anzeigehintergrundbeleuchtung zum Lenken von Hintergrundbeleuchtung basierend auf den Augenpositionsinformationen.
Beispiel 4 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 3, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Anzeige eine Anzeige mit hoher Pixeldichte, die eine Pixeldichte von mehr als 250 Pixeln pro Zoll aufweist.
Beispiel 5 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 4, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Mikrolinsenanordnung eine Mikrolinsenanordnung mit langer Brennweite mit einer f-Zahl größer als 8.
Beispiel 6 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 5, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Augenverfolgungseinrichtung eine Pupillenverfolgungseinrichtung zum Verfolgen einer oder mehrerer Pupillen, und die Augenpositionsinformationen sind Pupillenpositionsinformationen.
Beispiel 7 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 6, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Augenverfolgungseinrichtung eine dreidimensionale Augenverfolgungseinrichtung und die Augenpositionsinformationen sind dreidimensionale Augenpositionsinformationen.
Beispiel 8 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 7, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist der Rendering-Prozessor eine Grafikengine.
Beispiel 9 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 8, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Lichtfeldprozessor die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in integrale Stereobilder umwandeln, die für die Anzeige bereitgestellt werden sollen.
Beispiel 10 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 9, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Rendering-Prozessor jedes Farb-plus-Tiefenbild oder Lichtfeldbild gemäß der verfolgten Position von einem oder mehreren Augen rendern.
Beispiel 11 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 10, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Rendering-Prozessor die Farb-plus-Tiefenbilder oder Lichtfeldbilder basierend auf den Augenpositionsinformationen rendern.
Beispiel 12 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 11, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Lichtfeldprozessor die Augenpositionsinformationen zum Berechnen einer optimalen Eyebox-Größe und zum Versetzen der angezeigten Bilder zum Ausrichten einer Mitte einer Eyebox an einer Augenposition der Person verwenden.
Beispiel 13 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 12, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Lichtfeldprozessor die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder umwandeln, um Bilder unter Verwendung einer oder mehrerer Nachbearbeitungstechniken anzuzeigen.
Beispiel 14 umfasst die Anzeige von Beispiel 13, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen die eine oder die mehreren Nachbearbeitungstechniken das Bildschirmflächen-Raytracing.
Beispiel 15 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 14, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel soll der Lichtfeldprozessor Anzeigebilder für die Anzeige bereitstellen.
Beispiel 16 umfasst die Anzeige von einem beliebigen der Beispiele 1 bis 15, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel dient eine Anzeigehintergrundbeleuchtung dazu, Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz zu lenken, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist.
Beispiel 17 ist ein dreidimensionales Anzeigelichtfeld-Bildverfahren. Das Verfahren umfasst das Verfolgen von einem oder mehreren Augen, die eine Mikrolinsenanordnung und einen Anzeigebildschirm betrachten, zum Bereitstellen von Augenpositionsinformationen, das Rendern oder Aufnehmen von Farb-plus-Tiefenbildern oder Lichtfeldbildern und das Verwenden der Augenpositionsinformationen, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Beispiel 18 umfasst das Verfahren von Beispiel 17, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden Lichtfeldbilder basierend auf den Augenpositionsinformationen, den aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbildem zu dem erforderlichen Lichtfeldbild für die Anzeige synthetisiert.
Beispiel 19 umfasst das Verfahren von einem beliebigen der Beispiele 17 oder 18, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel wird die Hintergrundbeleuchtung basierend auf den Augenpositionsinformationen gelenkt.
Beispiel 20 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 19, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Anzeige eine Anzeige mit hoher Pixeldichte, die eine Pixeldichte von mehr als 250 Pixeln pro Zoll aufweist.
Beispiel 21 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 20, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Mikrolinsenanordnung eine Mikrolinsenanordnung mit langer Brennweite mit einer f-Zahl größer als 8.
Beispiel 22 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 21, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden eine oder mehrere Pupillen verfolgt, die die Mikrolinsenanordnung und den Anzeigeschirm betrachten, um die Pupillenpositionsinformationen bereitzustellen, und die Augenpositionsinformationen sind Pupillenpositionsinformationen.
Beispiel 23 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 22, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden das eine oder die mehreren Augen in drei Dimensionen verfolgt, und die Augenpositionsinformationen sind dreidimensionale Augenpositionsinformationen.
Beispiel 24 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 23, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst das Rendering das Rendering von Grafiken.
Beispiel 25 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 24, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in integrale Bilder umgewandelt, die für die Anzeige bereitgestellt werden sollen.
Beispiel 26 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 25, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel wird jedes Farb-plus-Tiefenbild entsprechend der verfolgten Position eines der Augen gerendert.
Beispiel 27 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 26, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden die Farb-plus-Tiefenbilder basierend auf den Augenpositionsinformationen gerendert.
Beispiel 28 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 27, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden die Augenpositionsinformationen verwendet, um eine optimale Eyebox-Größe zu berechnen und die angezeigten Bilder zu versetzen, um eine Mitte einer Eyebox an einer Augenposition auszurichten.
Beispiel 29 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 28, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden die gerenderten Farb-plus-Tiefenbilder oder die aufgenommenen Farb-plus-Tiefenbilder unter Verwendung einer oder mehrerer Nachbearbeitungstechniken in Anzeigebilder umgewandelt.
Beispiel 30 umfasst das Verfahren von Beispiel 29, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen die eine oder die mehreren Nachbearbeitungstechniken das Bildschirmflächen-Raytracing.
Beispiel 31 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 30, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel werden die Anzeigebilder für die Anzeige bereitgestellt.
Beispiel 32 umfasst das Verfahren von einem beliebigen der Beispiele 17 bis 31, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel wird das Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz gelenkt, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist.
Beispiel 33 ist eines oder mehrere von greifbaren, nichtflüchtigen maschinenlesbaren Medien. Die Medien umfassen eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, ein oder mehrere Augen, die eine Mikrolinsenanordnung und einen Anzeigebildschirm betrachten, zum Bereitstellen von Augenpositionsinformationen zu verfolgen, Farb-plus-Tiefenbilder oder Lichtfeldbilder zu rendern oder aufzunehmen und die Augenpositionsinformationen zu verwenden, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Beispiel 34 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von Beispiel 33, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den Prozessor veranlassen, die Lichtfeldbilder basierend auf den Augenpositionsinformationen zu rendern und die aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbilder zu dem erforderlichen Lichtfeldbild für die Anzeige zu synthetisieren.
Beispiel 35 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 oder 34, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, die Hintergrundbeleuchtung basierend auf den Augenpositionsinformationen zu lenken.
Beispiel 36 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 35, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Anzeige eine Anzeige mit hoher Pixeldichte, die eine Pixeldichte von mehr als 250 Pixeln pro Zoll aufweist.
Beispiel 37 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 36, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Mikrolinsenanordnung eine Mikrolinsenanordnung mit langer Brennweite mit einer f-Zahl größer als 8.
Beispiel 38 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 37, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, eine oder mehrere Pupillen zu verfolgen, die die Mikrolinsenanordnung und den Anzeigeschirm betrachten, um die Pupillenpositionsinformationen bereitzustellen, wobei die Augenpositionsinformationen die Pupillenpositionsinformationen sind.
Beispiel 39 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 38, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, das eine oder die mehreren Augen in drei Dimensionen zu verfolgen, wobei die Augenpositionsinformationen die dreidimensionalen Augenpositionsinformationen sind.
Beispiel 40 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 39, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst das Rendering das Rendering von Grafiken.
Beispiel 41 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 40, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in integrale Bilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Beispiel 42 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 41, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, jedes Farb-plus-Tiefenbild gemäß der verfolgten Position eines der Augen zu rendern.
Beispiel 43 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 42, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, die Farb-plus-Tiefenbilder basierend auf den Augenpositionsinformationen zu rendern.
Beispiel 44 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 43, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, eine optimale Eyebox-Größe zu berechnen und die angezeigten Bilder zu versetzen, um eine Mitte einer Eyebox an einer Augenposition auszurichten.
Beispiel 45 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 44, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, die gerenderten Farb-plus-Tiefenbilder oder die aufgenommenen Farb-plus-Tiefenbilder unter Verwendung einer oder mehrerer Nachbearbeitungstechniken in Anzeigebilder umzuwandeln.
Beispiel 46 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von Beispiel 45, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen die eine oder die mehreren Nachbearbeitungstechniken das Bildschirmflächen-Raytracing.
Beispiel 47 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 46, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, die Anzeigebilder für die Anzeige bereitzustellen.
Beispiel 48 umfasst das eine oder die mehreren greifbaren, nichtflüchtigen maschinenlesbaren Medien von einem von Beispiel 33 bis 47, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen das eine oder die mehreren greifbaren, nichtflüchtige maschinenlesbare Speichermedien eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist, zu lenken.
Beispiel 49 ist eine dreidimensionale Anzeigevorrichtung, die eine Anzeige, einer Mikrolinsenanordnung, ein Mittel zum Verfolgen einer Vielzahl von Augen, ein Mittel zum Bereitstellen von der Verfolgung entsprechenden Augenpositionsinformationen, Mittel zum Rendern oder Aufnehmen von Farb-plus-Tiefenbildern oder Lichtfeldbildern und Mittel zum Verwenden der Augenpositionsinformationen, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen, umfasst.
Beispiel 50 umfasst die dreidimensionale Anzeigevorrichtung von Beispiel 49, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung ein Mittel zum Rendern von Lichtfeldbildern basierend auf den Augenpositionsinformationen und ein Mittel zum Synthetisieren von gerenderten oder aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbildern zu dem erforderlichen Lichtfeldbild für die Anzeige.
Beispiel 51 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 oder 50, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung Mittel zum Lenken der Hintergrundbeleuchtung basierend auf den Augenpositionsinformationen.
Beispiel 52 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 51, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Anzeige eine Anzeige mit hoher Pixeldichte, die eine Pixeldichte von mehr als 250 Pixeln pro Zoll aufweist.
Beispiel 53 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 52, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel ist die Mikrolinsenanordnung eine Mikrolinsenanordnung mit langer Brennweite mit einer f-Zahl größer als 8.
Beispiel 54 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 53, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung Mittel zum Verfolgen einer oder mehrerer Pupillen, wobei die Augenpositionsinformationen die Pupillenpositionsinformationen sind.
Beispiel 55 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 54, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung Mittel zum Verfolgen eines oder mehrerer Augen in drei Dimensionen, wobei die Augenpositionsinformationen die dreidimensionalen Augenpositionsinformationen sind.
Beispiel 56 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 55, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst das Mittel zum Rendern ein Mittel zum Rendern von Grafiken.
Beispiel 57 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 56, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung ein Mittel zum Umwandeln der gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Stereobilder, die für die Anzeige bereitgestellt werden sollen.
Beispiel 58 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 57, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung ein Mittel zum Rendern jedes Farb-plus-Tiefenbilds oder Lichtfeldbilds gemäß der verfolgten Position von einem der Augen.
Beispiel 59 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 58, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung Mittel zum Rendern der Farb-plus-Tiefenbilder oder Lichtfeldbilder basierend auf den Augenpositionsinformationen.
Beispiel 60 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 59, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung ein Mittel zum Verwenden der Augenpositionsinformationen zum Berechnen einer optimalen Eyebox-Größe und zum Versetzen angezeigter Bilder zum Ausrichten einer Mitte einer Eyebox an einer Augenposition der Person.
Beispiel 61 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 60, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung ein Mittel zum Umwandeln der gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder, um Bilder unter Verwendung einer oder mehrerer Nachbearbeitungstechniken anzuzeigen.
Beispiel 62 umfasst die dreidimensionale Anzeigevorrichtung von Beispiel 61, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfassen die eine oder die mehreren Nachbearbeitungstechniken das Bildschirmflächen-Raytracing.
Beispiel 63 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 62, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung Mittel zum Bereitstellen der Anzeigebilder für die Anzeige.
Beispiel 64 umfasst die dreidimensionale Anzeigevorrichtung von einem beliebigen der Beispiele 49 bis 63, einschließlich oder ausschließlich der optionalen Merkmale. In diesem Beispiel umfasst die Vorrichtung ein Anzeigehintergrundbeleuchtungs-Mittel zum Lenken von Licht abwechselnd zwischen einem linken und rechten Auge basierend auf der verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist.
Beispiel 65 ist ein maschinenlesbares Medium einschließlich Code, das bei Ausführung eine Maschine veranlasst, das Verfahren durchzuführen oder eine Vorrichtung eines vorhergehenden Beispiels zu realisieren.
Beispiel 66 ist eine Vorrichtung einschließlich Mittel zum Durchführen eines Verfahrens wie in einem vorhergehenden Beispiel.
Beispiel 67 ist ein maschinenlesbarer Speicher einschließlich maschinenlesbarer Anweisungen, die bei ihrer Ausführung ein Verfahren implementieren oder eine Vorrichtung wie in einem vorhergehenden Beispiel realisieren.
Beispiel 68 ist ein dreidimensionales Anzeigesystem einschließlich einem Prozessor und einer Anzeigevorrichtung wie in einem vorhergehenden Beispiel.
Obwohl beispielhafte Ausführungsformen des offenbarten Gegenstands unter Bezugnahme auf Schaltbilder, Flussdiagramme, Blockdiagramme etc. in den Zeichnungen beschrieben sind, ist es für Fachleute auf dem Gebiet leicht ersichtlich, dass viele andere Möglichkeiten alternativ zum Implementieren des offenbarten Gegenstands verwendet werden können. Beispielsweise können die Anordnungen der Elemente in den Diagrammen und/oder die Reihenfolge der Ausführung der Blöcke in den Diagrammen geändert werden und/oder einige der beschriebenen Schaltungselemente in den Schaltbildern und der Blöcke in den Block-/Flussdiagrammen können geändert, entfernt oder kombiniert werden. Alle Elemente können wie veranschaulicht und/oder beschrieben geändert, entfernt oder kombiniert werden.
In der vorhergehenden Beschreibung wurden verschiedene Aspekte des offenbarten Gegenstands beschrieben. Zum Zwecke der Erläuterung wurden bestimmte Ziffern, Systeme und Konfigurationen angegeben, um ein vollständiges Verständnis des Gegenstands zu erlauben. Es ist jedoch für Fachleute auf dem Gebiet, die Nutzen aus dieser Offenbarung ziehen, offensichtlich, dass der Gegenstand ohne die spezifischen Einzelheiten ausgeübt werden kann. In anderen Fällen wurden allgemein bekannte Merkmale, Komponenten oder Module weggelassen, vereinfacht, kombiniert oder aufgeteilt, um den offenbarten Gegenstand nicht zu verunklaren.
Verschiedene Ausführungsformen des offenbarten Gegenstands können in Hardware, Firmware, Software oder einer Kombination davon implementiert werden und können unter Bezugnahme auf oder in Verbindung mit Programmcode, wie etwa Anweisungen, Funktionen, Prozeduren, Datenstrukturen, Logik, Anwendungsprogrammen, Konstruktionsdarstellungen oder -formate für die Simulation, Emulation und Herstellung einer Konstruktion, die beim Zugriff durch eine Maschine dazu führt, dass die Maschine Aufgaben ausführt, die abstrakte Datentypen oder Hardwarekontexte auf niedriger Ebene definieren oder ein Ergebnis erzeugen, beschrieben werden.
Der Programmcode kann Hardware unter Verwendung einer Hardwarebeschreibungssprache oder einer anderen funktionalen Beschreibungssprache darstellen, die im Wesentlichen ein Modell von der erwarteten Leistung der entwickelten Hardware bereitstellt. Der Programmcode kann eine Assembler- oder Maschinensprache oder Hardwaredefinitionssprache oder Daten sein, die kompiliert und/oder interpretiert werden können. Darüber hinaus entspricht es dem Stand der Technik, in der einen oder anderen Form von Software als der Ausführung einer Aktion oder des Bewirkens eines Ergebnisses zu sprechen. Solche Ausdrücke stellen lediglich eine Kurzform dar, um die Ausführung von Programmcode durch ein Verarbeitungssystem anzugeben, das bewirkt, dass ein Prozessor eine Aktion ausführt oder ein Ergebnis erzeugt.
Der Programmcode kann beispielsweise in einer oder mehreren flüchtigen und/oder nichtflüchtigen Arbeitsspeichervorrichtungen, wie etwa Speichervorrichtungen und/oder einem zugeordneten maschinenlesbaren oder maschinenzugänglichen Medium gespeichert werden, einschließlich Festkörperspeicher, Festplatten, Disketten, optische Speicher, Bänder, Flash-Speicher, Speichersticks, Digital Versatile Discs (DVD) sowie außergewöhnlichere Medien, wie etwa maschinell zugängliche, den biologischen Zustand haltende Speicher. Ein maschinenlesbares Medium kann einen beliebigen greifbaren Mechanismus zum Speichern, Übertragen oder Empfangen von Informationen in einer von einer Maschine lesbaren Form umfassen, wie etwa Antennen, Lichtwellenleiter, Kommunikationsschnittstellen etc. Der Programmcode kann in Form von Paketen, seriellen Daten, parallelen Daten etc. übertragen werden und kann in einem komprimierten oder verschlüsselten Format verwendet werden.
Der Programmcode kann in Programmen implementiert werden, die auf programmierbaren Maschinen ausgeführt werden, wie etwa mobilen oder stationären Computern, persönliche digitale Assistenten, Set-Top-Boxen, Mobiltelefonen und Pagern und anderen elektronischen Geräten, die jeweils einen Prozessor, von dem Prozessor lesbaren flüchtige und/oder nichtflüchtiger Speicher, mindestens einem Eingabegerät und/oder eine oder mehrere Ausgabevorrichtungen umfassen. Der Programmcode kann auf die Daten angewendet werden, die unter Verwendung der Eingabevorrichtung eingegeben werden, um die beschriebenen Ausführungsformen durchzuführen und Ausgabeinformationen zu erzeugen. Die Ausgabeinformationen können auf eine oder mehrere Ausgabevorrichtungen angewendeten werden. Fachleute auf dem Gebiet werden erkennen, dass Ausführungsformen des offenbarten Gegenstands mit verschiedenen Computersystemkonfigurationen ausgeübt werden können, einschließlich Multiprozessor- oder Mehrkernprozessorsystemen, Minicomputern, Hauptrechner sowie weit verbreitete oder Miniaturcomputer oder -prozessoren, die in nahezu jedes Gerät eingebettet werden können. Ausführungsformen des offenbarten Gegenstands können auch in verteilten Computerumgebungen ausgeübt werden, in denen Aufgaben durch Fernverarbeitungsvorrichtungen durchgeführt werden können, die über ein Kommunikationsnetzwerk verbunden sind.
Obwohl Operationen als ein sequenzieller Prozess beschrieben werden können, können einige der Operationen tatsächlich parallel, gleichzeitig und/oder in einer verteilten Umgebung und mit Programmcode durchgeführt werden, der lokal und/oder entfernt für den Zugriff durch Einzel- oder Multiprozessor-Maschinen gespeichert wird. Des Weiteren kann in einigen Ausführungsformen die Reihenfolge der Vorgänge neu angeordnet werden, ohne vom Geist des offenbarten Gegenstands abzuweichen. Der Programmcode kann von oder in Verbindung mit eingebetteten Steuerungen verwendet werden.
Während der offenbarte Gegenstand mit Bezug auf veranschaulichende Ausführungsformen beschrieben wurde, soll diese Beschreibung nicht in einem einschränkenden Sinn ausgelegt werden. Verschiedene Modifikationen der veranschaulichenden Ausführungsformen sowie andere Ausführungsformen des Gegenstands, die für Fachleute auf dem Gebiet offensichtlich sind, auf das sich der offenbarte Gegenstand bezieht, werden als innerhalb des Schutzumfangs des offenbarten Gegenstands liegend angesehen. Beispielsweise ist es in jeder veranschaulichten Ausführungsform und in jeder beschriebenen Ausführungsform ersichtlich, dass die Diagramme der Figuren und der Beschreibung hierin nicht anzeigen sollen, dass die dargestellten oder beschriebenen Vorrichtungen alle in einer bestimmten Figur gezeigten oder beschriebenen Komponenten in Bezug auf eine bestimmte Figur enthalten. Des Weiteren kann jedes Element mit Logik implementiert werden, wobei beispielsweise die Logik, auf die hierin Bezug genommen wird, jede geeignete Hardware (z. B. unter anderem ein Prozessor), Software (z. B. unter anderem eine Anwendung), Firmware oder jede geeignete Kombination von Hardware, Software und Firmware enthalten kann.

Claims

Dreidimensionale Anzeigevorrichtung, umfassend: eine Anzeige; eine Mikrolinsenanordnung; eine Augenverfolgungseinrichtung zum Verfolgen einer Vielzahl von Augen und zum Bereitstellen von der Verfolgung entsprechenden Augenpositionsinformationen; einen Rendering-Prozessor zum Rendern oder Aufnehmen von Farb-plus-Tiefenbildern oder Lichtfeldbildern; und einen Lichtfeldprozessor zum Verwenden der Augenpositionsinformationen, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Rendering-Prozessor Lichtfeldbilder basierend auf den Augenpositionsinformationen rendern soll und der Lichtfeldprozessor die gerenderten oder aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbilder zu dem erforderlichen Lichtfeldbild für die Anzeige synthetisieren soll.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, umfassend eine Anzeigehintergrundbeleuchtung zum Lenken der Hintergrundbeleuchtung basierend auf den Augenpositionsinformationen.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei die Anzeige eine Anzeige mit hoher Pixeldichte ist, die eine Pixeldichte von mehr als 250 Pixel pro Zoll aufweist.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei die Mikrolinsenanordnung eine Mikrolinsenanordnung mit langer Brennweite mit einer f-Zahl größer als 8 ist.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei die Augenverfolgungseinrichtung eine Pupillenverfolgungseinrichtung zum Verfolgen einer oder mehrerer Pupillen ist und wobei die Augenpositionsinformationen Pupillenpositionsinformationen sind.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei die Augenverfolgungseinrichtung eine dreidimensionale Augenverfolgungseinrichtung ist und die Augenpositionsinformationen dreidimensionale Augenpositionsinformationen sind.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Rendering-Prozessor eine Grafikengine umfasst.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Lichtfeldprozessor die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in integrale Stereobilder umwandeln soll, die der Anzeige bereitgestellt werden sollen.
Dreidimensionale Anzeige nach Vorrichtung 1, wobei der Rendering-Prozessor jedes Farb-plus-Tiefenbild oder Lichtfeldbild gemäß der verfolgten Position von einem oder mehreren Augen rendern soll.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Rendering-Prozessor die Farb-plus-Tiefenbilder oder Lichtfeldbilder basierend auf den Augenpositionsinformationen rendern soll
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Lichtfeldprozessor die Augenpositionsinformationen zum Berechnen einer optimalen Eyebox-Größe und zum Versetzen der angezeigter Bilder zum Ausrichten einer Mitte einer Eyebox mit einer Augenposition der Person verwenden soll.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Lichtfeldprozessor die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder umwandeln soll, um Bilder unter Verwendung einer oder mehrerer Nachbearbeitungstechniken anzuzeigen.
Dreidimensionale Anzeigevorrichtung nach Anspruch 13, wobei die eine oder die mehreren Nachbearbeitungstechniken das Bildschirmflächen-Raytracing umfassen.
Dreidimensionale Anzeigevorrichtung nach Anspruch 1, wobei der Lichtfeldprozessor die Anzeigebilder für die Anzeige bereitstellen soll.
Dreidimensionale Anzeigevorrichtung nach einem der Ansprüche 1 bis 15, umfassend eine Anzeigehintergrundbeleuchtung zum Lenken von Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist.
Dreidimensionales Anzeigelichtfeld-Bildverfahren, umfassend: Verfolgen von einem oder mehreren Augen, die eine Mikrolinsenanordnung und einen Anzeigebildschirm betrachten, zum Bereitstellen von Augenpositionsinformationen; Rendern oder Aufnehmen von Farb-plus-Tiefenbildern oder Lichtfeldbildern; und Verwenden der Augenpositionsinformationen, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Dreidimensionales Anzeigelichtfeld-Bildverfahren nach Anspruch 17, umfassend: Rendern von Lichtfeldbildern basierend auf den Augenpositionsinformationen; und Synthetisieren von aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbildem zu dem erforderlichen Lichtfeldbild für die Anzeige.
Dreidimensionales Anzeigelichtfeldbildverfahren nach einem der Ansprüche 17 oder 18, umfassend das Lenken von Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist.
Greifbares, nichtflüchtiges maschinenlesbares Speichermedium oder mehrere greifbare, nichtflüchtige maschinenlesbare Speichermedien, umfassend eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen: ein oder mehrere Augen, die eine Mikrolinsenanordnung und einen Anzeigebildschirm betrachten, zum Bereitstellen von Augenpositionsinformationen zu verfolgen; Farb-plus-Tiefenbilder oder Lichtfeldbilder zu rendern oder aufzunehmen; und die Augenpositionsinformationen zu verwenden, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Greifbares, nichtflüchtiges maschinenlesbares Speichermedium oder mehrere greifbare, nichtflüchtige maschinenlesbare Speichermedien nach Anspruch 20, umfassend eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen: Lichtfeldbilder basierend auf den Augenpositionsinformationen zu rendern; und die aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbilder zu dem erforderlichen Lichtfeldbild für die Anzeige zu synthetisieren.
Greifbares, nichtflüchtiges maschinenlesbares Speichermedium oder mehrere greifbare, nichtflüchtige maschinenlesbare Speichermedien nach Anspruch 20 oder 21, umfassend eine Vielzahl von Anweisungen, die in Reaktion auf die Ausführung auf mindestens einem Prozessor den mindestens einen Prozessor veranlassen, Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist, zu lenken.
Dreidimensionale Anzeigevorrichtung, umfassend: eine Anzeige; eine Mikrolinsenanordnung; Mittel zum Verfolgen einer Vielzahl von Augen; Mittel zum Bereitstellen von der Verfolgung entsprechenden Augenpositionsinformationen; Mittel zum Rendern oder Aufnehmen von Farb-plus-Tiefenbildern oder Lichtfeldbildern; und Mittel zum Verwenden der Augenpositionsinformationen, um die gerenderten oder aufgenommenen Farb-plus-Tiefenbilder oder Lichtfeldbilder in Anzeigebilder umzuwandeln, die für die Anzeige bereitgestellt werden sollen.
Dreidimensionale Anzeigevorrichtung nach Anspruch 23, umfassend: Mittel zum Rendern von Lichtfeldbildern basierend auf den Augenpositionsinformationen; und Mittel zum Synthetisieren von gerenderten oder aufgenommenen Farb-, Lichtfeld- oder Mehrfachansichtsbildem zu dem erforderlichen Lichtfeldbild für die Anzeige.
Dreidimensionale Anzeigevorrichtung nach einem der Ansprüche 23 oder 24, umfassend ein Mittel zur Anzeigehintergrundbeleuchtung zum Lenken von Licht abwechselnd zwischen einem linken und rechten Auge basierend auf den verfolgten Augenpositionsinformationen mit einer Bildwiederholfrequenz, die höher als eine vom Menschen wahrnehmbare Bildwiederholfrequenz ist.