DE112011104584T5

DE112011104584T5 - Verfahren und System zur Disparitätsanpassung während stereoskopischen Zoomens

Info

Publication number: DE112011104584T5
Application number: DE112011104584.0T
Authority: DE
Inventors: John Alan Krisman
Original assignee: Mattel Inc
Current assignee: Mattel Inc
Priority date: 2010-12-23
Filing date: 2011-12-22
Publication date: 2014-01-09
Also published as: GB201309578D0; BR112013015469A2; AU2011348147A1; CA2820322A1; WO2012088415A2; WO2012088415A3; GB2499749A; CN103270760A; AU2011348147B2; MX2013007071A; CN103270760B

Abstract

Ein Verfahren zum Zoomen eines stereoskopischen Bildes wird offenbart, das auf einer elektronischen Anzeige eines stereoskopischen Bildanzeigegeräts erscheint. Das stereoskopische Bild weist eine horizontale Disparität auf und wird durch einen elektronischen Prozessor aus stereoskopischen Bilddaten erzeugt, die in einem Speicher als ein Pixelabbild für ein Linke-Auge-Bild und ein Pixelabbild für ein Rechte-Auge-Bild gespeichert sind. Die horizontale Disparität der stereoskopischen Bilddaten wird angepasst, um disparitätsangepasste, skalierte, stereoskopische Bilddaten zu erstellen, basierend auf einer Heuristik, die eine Beziehung zwischen einer Nutzer-Zoom-Anfrage, einem vorbestimmten stereoskopischen Faktor und einer relativen horizontalen Verschiebung zwischen dem Pixelabbild für das Linke-Auge-Bild und dem Pixelabbild für das Rechte-Auge-Bild definiert. Ein gezoomtes stereoskopisches Bild, das den disparitätsangepassten, skalierten, stereoskopischen Bilddaten entspricht, wird angezeigt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung bezieht sich auf die provisorische US-Patentanmeldung Nummer 61/426,764, angemeldet am 23.12.2010, wobei durch Bezugnahme darauf deren Gesamtheit mit aufgenommen wird, und diese Anmeldung den früheren Anmeldetag der provisorischen Anmeldung beansprucht.
Zur US-Weiterverfolgung lediglich ist diese Anmeldung auf die US-Patentanmeldung Nummer 12/948,862 bezogen, angemeldet am 18.11.2010 gemäß 35 U.S.C. §371, basierend auf und den Zeitrang der internationalen Patentanmeldung Nummer PCT/US2010/048253 mit einem internationalen Anmeldetag am 09.09.2010 beanspruchend, wobei die Vereinigten Staaten Bestimmungsland sind und in englischer Sprache eingereicht worden ist, wobei die internationale Patentanmeldung im Gegenzug den Zeitrang der verwandten provisorischen US-Patentanmeldung Nummer 61-240, 765 beansprucht, angemeldet am 09.09.2009. Jede der oben genannten, verwandten Anmeldungen wird in deren Gesamtheit durch Bezugnahme darauf hierin mit aufgenommen.
HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Verfahren und System zum Zoomen eines stereoskopischen Bildes, das auf einer elektronischen Anzeige erscheint. Insbesondere bezieht sich die vorliegende Erfindung auf ein Verfahren und System zur Anpassung der Disparität eines stereoskopischen Bildes, das auf einer elektronischen Anzeige erscheint, wenn eine Nutzer-Zoom-Anfrage erhalten wird.
Die Tiefenempfindung in planaren Stereobilderpaaren eines stereoskopischen Bildes, das auf einer elektronischen Anzeige erscheint, unterscheidet sich von der stereoskopischen Tiefenempfindung eines Menschen in der natürlichen Welt. Die stereoskopische Tiefenempfindung eines Menschen in der natürlichen Welt tritt auf, wenn das linke und das rechte Auge ihre visuellen Achsen konvergieren, um einen Punkt zu fixieren, während sie gleichzeitig ihren Akkommodierungszustand durch muskuläre Aktivität anpassen, die die Brennweite der Linse eines jeden Auges ändert, so dass Punkte im Raum und um den Brennpunkt herum in den Fokus gelangen. Der Fixierungspunkt projiziert sich auf identischen Positionen auf jeder Retina und hat daher keine retinale Disparität. Punkte vor oder hinter dem Fixierungspunkt projizieren sich auf verschiedene Punkte auf der linken und der rechten Retina. Die resultierende binokulare Disparität zu dem korrespondierenden Punkt in den linken und den rechten retinalen Bildern stellt im menschlichen Gehirn den Hinweis bereit, welche Tiefe wahrgenommen werden kann.
Ein physiologischer Schlüsselunterschied zwischen der Tiefenempfindung in einem stereoskopischen Bild zu einer Szene in eher der natürlichen Welt ist, dass obwohl das linke und das rechte Auge von der stereoskopischen Bildebene wegkonvergieren müssen, um Punkte in der Tiefe zu fixieren, deren Akkommodierungszustand immer die Bildebene selbst im Fokus behalten muss. Dies erfordert, dass der Betrachter fähig ist, die normale Verbindung zwischen Konvergenz und Akkommodierung zu ändern, und ist ein Grund, warum Bilder mit großer Tiefenwirkung unbequem in deren Betrachtung sein können.
Neben anderen Faktoren ist die Tiefenwahrnehmung in einem stereoskopischen Bild, das auf einer elektronischen Anzeige erscheint, direkt proportional zur Sichtdistanz auf die Anzeige. Dementsprechend kann ein Betrachter, der dasselbe stereoskopische Bild aus unterschiedlichen Distanzen betrachtet, unterschiedliche Tiefen wahrnehmen. Weiterhin ist die Tiefenwirkung direkt proportional zur Bilddisparität (der Unterschied in den physikalischen, horizontalen Koordinaten der korrespondierenden Punkte in den Linke-Auge- und Rechte-Auge-Bildern), und welche für jedes gegebene stereoskopische Bild variiert, falls das Bild in unterschiedlichen Größen angezeigt wird. Weiterhin ist die Tiefenwirkung invers proportional zu einer individuellen Augenbeabstandung eines Betrachters oder Zwischen-Pupillendistanz, welche von Individuum zu Individuum variiert.
Dementsprechend besteht in der Technik eine Notwendigkeit für ein Verfahren und System zur Anpassung der Disparität eines stereoskopischen Bildes, das auf einer elektronischen Anzeige erscheint, im Allgemeinen und im Speziellen, wenn das stereoskopische Bild als Reaktion auf eine Nutzer-Zoom-Anfrage geändert wird.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Kurz gesagt ist ein Aspekt der Erfindung auf ein Verfahren zum Zoomen eines stereoskopischen Bildes gerichtet, das auf einer elektronischen Anzeige eines stereoskopischen Bildanzeigegeräts als Reaktion auf eine Nutzer-Zoom-Anfrage erscheint, die einen Zoomwert aufweist. Das stereoskopische Bild beinhaltet ein Linke-Auge-Bild und ein Rechte-Auge-Bild, die eine relative horizontale Disparität aufweisen und durch einen elektronischen Prozessor aus stereoskopischen Bilddaten erzeugt werden, die in einem Speicher als ein Pixelabbild für das Linke-Auge-Bild, aufweisend Linke-Auge-Pixel, und ein Pixelabbild für das Rechte-Auge-Bild, aufweisend Rechte-Auge-Pixel, gespeichert sind. Das Verfahren weist die Schritte auf: Skalieren der stereoskopischen Bilddaten, um skalierte, stereoskopische Bilddaten als Reaktion auf die Nutzer-Zoom-Anfrage zu erstellen; Anpassen der horizontalen Disparität der skalierten stereoskopischen Bilddaten, um disparitätsangepasste, skalierte, stereoskopische Bilddaten zu erstellen, die auf einer Heuristik basieren, die eine Beziehung zwischen der Nutzer-Zoom-Anfrage, einem vorbestimmten stereoskopischen Faktor und einer relativen, horizontalen Verschiebung zwischen den Linke-Auge-Pixeln in dem Pixelabbild für das Linke-Auge-Bild und den Rechte-Auge-Pixeln in dem Pixelabbild für das Rechte-Auge-Bild basieren; und Erzeugen eines gezoomten, stereoskopischen Bildes auf dem Display, das den disparitätsangepassten, skalierten, stereoskopischen Bilddaten entspricht.
KURZBESCHREIBUNG DER MEHREREN ANSICHTEN DER ZEICHNUNGEN
Die vorhergehende Zusammenfassung, als auch die nachfolgende, detaillierte Beschreibung der bevorzugten Ausführungsformen der Erfindung wird besser verständlich sein, wenn sie in Verbindung mit den anhängigen Zeichnungen gelesen wird. Zum Zwecke der Illustrierung der Erfindung sind in den Zeichnungen Ausführungsformen gezeigt, die vorliegend bevorzugt sind. Es sollte verständlich sein, dass dennoch die Erfindung nicht auf die speziellen Anordnungen und Gerätschaften, wie gezeigt beschränkt ist.
In den Zeichnungen:
1 ist ein funktionales Flussdiagramm einer bevorzugten Ausführungsform eines Verfahrens zum Zoomen eines stereoskopischen Bildes gemäß der vorliegenden Erfindung;
2 ist ein schematisches Blockdiagramm eines stereoskopischen Bilderzeugungsgeräts gemäß der vorliegenden Erfindung:
3 ist eine Draufsicht auf eine repräsentative Benutzerschnittstelle für ein stereoskopisches Bilderzeugungsgerät gemäß der vorliegenden Erfindung;
4A und 4B sind ein digitales Bild eines Anaglyphen und ein korrespondierendes, schematisches Diagramm, das die Tiefe der Figur im Sichtfeld des Benutzers zeigt, der die Szene mit einer positiven Parallaxe sieht;
5A und 5B sind ein digitales Bild des Anaglyph aus 4A nach einem Hineinzoomen auf die Figur in der Szene und ein korrespondierendes, schematisches Diagramm, das die Tiefe der Figur im Sichtfeld eines Benutzers nach dem Zoomen zeigt;
6A und 6B sind ein digitales Bild des Anaglyph aus 5A, nachdem eine Zoomheuristik angewandt worden ist, um die Beabstandung des Linke-Auge-Bilds im Verhältnis zum Rechte-Auge-Bild zu ändern, um eine Szene mit einer negativen Parallaxe zu erzeugen;
7A und 7B sind ein digitales Bild eines Anaglyphs und ein korrespondierendes, schematisches Diagramm, das die Tiefe eines Sichtfelds aus Sicht eines Benutzers zeigt, der eine Szene mit einer negativen Parallaxe sieht;
8A und 8B sind ein digitales Bild des Anaglyphs aus 7A, nachdem auf die Figur in der Szene gezoomt worden ist, und ein korrespondierendes, schematisches Diagramm, das die Tiefe der Figur in dem Sichtfeld eines Nutzers nach dem Zoomen zeigt; und
9A und 9B sind ein digitales Bild des Anaglyphs aus 8A, nachdem eine Zoomheuristik angewandt worden ist, um die Beabstandung des Linke-Auge-Bilds im Verhältnis zu dem Rechte-Auge-Bild zu ändern, um eine Szene mit einer positiven Parallaxe zu erzeugen.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Es wird nun im Detail auf die Ausführungsformen der Erfindung eingegangen, wobei Beispiele von dieser in den begleitenden Zeichnungen dargestellt sind. Die Terminologie, die in der Beschreibung von der Erfindung hierin verwendet wird, hat lediglich den Zweck, die speziellen Ausführungsbeispiele zu beschreiben, und ist nicht dazu beabsichtigt, die Erfindung zu beschränken.
Wie in der Beschreibung der Erfindung und den angehängten Zeichnungen verwendet, wird mit den einzelnen Formen „ein”, „eine”, „einer” und „der”, „die”, „das” beabsichtigt, die Pluralformen ebenfalls zu beinhalten, solange es der Kontext nicht auf klare Weise anderweitig anzeigt. Die Wörter „und/oder”, wie hierin verwendet, beziehen sich auf und deuten auf irgendeinen und alle möglichen Kombinationen einer oder mehrerer der assoziierten, aufgelisteten Gegenstände hin. Die Wörter „aufweisen” und/oder „aufweisend”, spezifizieren, wenn in dieser Spezifizierung verwendet, die Gegenwart von festgestellten Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen und/oder Komponenten, aber schließen nicht die Gegenwart oder den Zusatz von weiteren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen, Komponenten, und/oder Gruppen davon aus.
Die Wörter „rechts”, „links”, „untere” und „obere” zeigen Richtungen in den Zeichnungen an, auf diese Bezug genommen wird. Die Wörter „nach innen” und „nach außen” beziehen sich entsprechend in Richtungen nach und weg von dem geometrischen Zentrum des stereoskopischen Bildanzeigegeräts, und genannten Teilen davon. Die Terminologie beinhaltet die oben genannten Wörter, Derivate davon und Wörter von ähnlicher Bedeutung.
Auch wenn die Wörter erster, zweiter etc. hierin verwendet werden, um unterschiedliche Elemente zu beschreiben, sollen diese Elemente nicht auf diese Wörter beschränkt werden. Diese Wörter werden lediglich verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erstes Bild als ein zweites Bild terminiert werden, und, in gleicher Weise, ein zweites Bild könnte als ein erstes Bild terminiert werden, ohne von dem Gegenstand der vorliegenden Erfindung abzuweichen.
Wie hierin verwendet wird, können die Wörter „falls” so ausgelegt werden, dass sie bedeuten „wenn” oder „sobald” oder „als Antwort auf die Bestimmung” oder „als Antwort auf die Feststellung”, abhängig vom Kontext. In gleicher Weise kann die Phrase „falls es bestimmt wird” oder „falls [eine festgestellte Bedingung oder ein festgestelltes Ereignis] detektiert wird” ausgelegt werden mit der Bedeutung „sobald festgestellt wird” oder „als Antwort auf die Feststellung” oder „sobald detektiert wird [die festgestellte Bedingung oder das festgestellte Ereignis]” oder „als Antwort auf die Detektierung [der festgestellten Bedingung oder des festgestellten Ereignisses]”, abhängig vom Kontext.
Die folgende Beschreibung ist auf unterschiedliche Ausführungen eines Verfahrens und eines Systems zur Anpassung der Disparität eins stereoskopischen Bildes gerichtet, das auf einem elektronischen Display erscheint, wenn eine Nutzer-Zoom-Anfrage empfangen wird.
Mit Bezug auf die Zeichnungen im Detail, wo gleiche Bezugszeichen gleiche Elemente überall anzeigen, ist in den 1–3 eine bevorzugte Ausführungsform eines Verfahrens, das im allgemeinen mit 700 benannt wird und auf das hierin anschließend als Zoomverfahren 700 Bezug genommen wird, und ein stereoskopisches Bildanzeigegerät, im allgemeinen mit 900 benannt und auf das hierin anschließend als das stereoskopische Gerät 900 Bezug genommen wird, zum Zoomen eines stereoskopischen Bildes 800, das auf einem elektronischen Display 910 des stereoskopischen Geräts 900 erscheint, als Antwort auf den Empfang einer Nutzer-Zoom-Anfrage, aufweisend einen Zoomwert, gemäß der vorliegenden Erfindung gezeigt.
Eine Nutzeranfrage zum Hineinzoomen oder Hinauszoomen aus einem Bild oder Video kann verursachen, dass das stereoskopische Gerät 900 eine Heuristik ausführt, in der die Trennung des stereoskopischen Bildpaars (oder die dadurch erzeugte retinale Disparität) im Verhältnis zu dem Ausmaß und der Richtung des Zooms angepasst wird. Auch wenn die beispielhaften Ausführungsformen einer bevorzugten Zoomheuristik unten unter Verwendung von Anaglyphen dargestellt werden, sind die Zoomheuristiken nicht auf das Verfahren beschränkt, durch welches die stereoskopische Szene erzeugt wird. Der Fachmann wird verstehen, dass die Heuristik in gleicher Weise auf andere, wohl bekannte Verfahren zur Erzeugung von stereoskopischen Ansichten anwendbar ist, solchen wie Shuttering (Schalung), Polarisierung oder die Verwendung von Linsenformen.
Mit Bezug auf die 4A–6B kann in einer Ausführungsform die Zoomheuristik die Größe des horizontalen Abstands während eines Hineinzoomens verringern, um das Bild in Richtung oder in den Vordergrund von einer ursprünglich empfundenen Tiefe zu bringen. 4A zeigt schematisch eine initiale stereoskopische Szene 600, in der der Anaglyph eine positive Parallaxe aufweist. Eine cyane Linke-Auge-Figur 602, deren Umriss durch eine gestrichelte Linie dargestellt ist, ist links von einer roten Rechte-Auge-Figur 604 angeordnet, deren Umriss durch eine durchgehende Linie gezeigt ist. Ein Betrachter, der eine rot-cyane Brille verwendet, um den Anaglyph zu betrachten, würde die Figur 606 derart empfinden, dass sie hinter dem Bildschirm der Anzeige ist. 4B ist eine schematische Repräsentation 600a der stereoskopischen Szene 600, die die Tiefe der Figur 606 zeigt, die durch die hieroglyphische Figur 606a in dem Hintergrund 576a des Sichtfelds 610 des Betrachters repräsentiert wird. Die Oberfläche des Bildschirms 176c der Anzeige wird durch eine vertikale Linie repräsentiert.
Das Hineinzoomen auf die Figur 606 ohne eine Anpassung der Parallaxe erzeugt eine Szene, in der die Figur 606 vergrößert erscheint, ohne eine Veränderung der empfundenen Tiefe, wie es in 5A und dem korrespondierenden Schema, gezeigt in 5B, gezeigt ist.
Mit Bezug auf 6A und das assoziierte Schema 6B wird, um einen dramatischeren Effekt auf den Zoom zu erreichen, während die Größe der Figur 606 (Hieroglyphe 606a) im Wesentlichen dieselbe Größe wie die Figur in den 5A–B behält (d. h. ohne weiter zu zoomen), eine Zoomheuristik auf die Szene in 5A angewandt, die den Abstand zwischen dem Linke-Auge-Bild 602 und dem Rechte-Auge-Bild 604 auf einen Wert verringert, der ausreicht, um das Linke-Auge-Bild nach rechts von dem Rechte-Auge-Bild bewegt, um eine Szene zu erzeugen, die eine negative Parallaxe aufweist. Dementsprechend würde ein Nutzer, der die Szene in 6A mit einer rot/cyanen Brille betrachtet, empfinden, dass die Tiefe der Figur in den Vordergrund 576b des Sichtfelds 610 bewegt worden ist.
Mit Bezug auf die 7A–9B kann in einer anderen Ausführung die Zoomheuristik die Größe des horizontalen Abstands während eines Hineinzoomens vergrößern, um das Bild in Richtung oder in den Hintergrund zu bringen, um einen Bruch des Bildfelds zu verhindern. 7A zeigt eine initiale stereoskopische Szene 620, in der der Anaglyph eine negative Parallaxe aufweist. Das cyane Linke-Auge-Bild 622, dessen Umriss durch eine gestrichelte Linie dargestellt ist, ist rechts des roten Rechte-Auge-Bildes 624 angeordnet, dessen Umriss durch eine durchgehende Linie dargestellt ist. Ein Betrachter, der eine rot/cyane Brille verwendet, um die Szene zu betrachten, würde die Figur 626 derart empfinden, dass sie vor dem Bildschirm der Anzeige angeordnet ist. 7B ist eine schematische Repräsentation 620a der stereoskopischen Szene 620, die die Tiefe der Figur 626 zeigt, was durch die hieroglyphische Figur 626a in dem Vordergrund 576b des Sichtfelds 610 des Betrachters repräsentiert wird. Die Oberfläche des Bildschirms 576c der Anzeige wird durch eine vertikale Linie repräsentiert.
Das Hineinzoomen auf die Figur 626 ohne eine parallaxe Anpassung erzeugt eine Szene, in der die Figur 626 vergrößert erscheint, ohne die empfundene Tiefe zu ändern, wie es in 8A und in dem korrespondierenden Schema, gezeigt in 8B, dargestellt ist. Weiterhin hat, wie durch die Hieroglyphe 626a in 8B gezeigt ist, das Hineinzoomen die Figur 620 auf ein solches Ausmaß vergrößert, dass es das Bildfeld 628 des Sichtfelds bricht. Wenn der Benutzer die Ebene 576c des Bildschirms fokussiert und versucht, den Bereich der Figur aufzunehmen, der außerhalb des Bildfelds des Bildschirms liegt, kann das visuelle System des Nutzers belastet werden, da die Konvergenz und Akkommodierung im Widerspruch zueinander stehen.
Mit Bezug auf die 9A und das assoziierte Schema 9B kann, wenn ein zu betrachtender Gegenstand das Bildfeld als ein Ergebnis des Hineinzoomens auf eine Szene bricht, die Belastung, die durch den Konvergenz/Akkommodierung-Konflikt erzeugt wird, durch Anwendung einer Zoomheuristik reduziert werden, die die Größe der Figur 626 (Hieroglyphe 626a) im Wesentlichen auf derselben wie die Größe der Figur behält, die das Bildfeld in den 8A–B brach (d. h. nicht die Richtung des Zooms reversiert) und den Abstand zwischen dem Linke-Auge-Bild 622 und dem Rechte-Auge-Bild 644 auf einen Wert vergrößert, der ausreicht, um das Linke-Auge-Bild nach links des Rechte-Auge-Bilds zu verschieben, um eine Szene zu erzeugen, die eine positive Parallaxe aufweist. Dementsprechend würde ein Nutzer, der die Szene in 9A mit einer rot/cyanen Brille betrachtet, empfinden, dass die Tiefe der Figur in den Hintergrund 576a des Sichtfelds 610 bewegt worden ist.
Mit erneutem Bezug auf die 1–3 weist das stereoskopische Bild 800 ein Linke-Auge-Bild 810 und ein Rechte-Auge-Bild 812 auf, die eine relative, horizontale Disparität aufweisen. In einem Anzeigeschritt 710, der einem Empfangsschritt 720 vorhergeht, wird die Erscheinung des stereoskopischen Bildes 800 auf der Anzeige 910 durch einen elektronischen Prozessor 914 aus stereoskopischen Bilddaten 814 erzeugt, die in einem Speicher 912 als ein Pixelabbild 816 für das Linke-Auge-Bild, aufweisend Linke-Auge-Pixeln, und einem Pixelabbild 818 für das Rechte-Auge-Bild, aufweisend Rechte-Auge-Pixel, erzeugt.
In dem Skalierungsschritt 730 werden die stereoskopischen Bilddaten 814 skaliert, um skalierte stereoskopische Bilddaten als Antwort auf die Nutzer-Zoom-Anfrage zu erzeugen. Der angeforderte Zoomwert wird durch den Nutzer als eine Prozentzahl eingegeben. Eine Zoomanforderung für einen Zoomwert von weniger als 100% korrespondiert zu einer „Hinauszoom”-Anfrage, und verkleinert als Antwort auf den Skalierungsschritt 730 die Anzahl an Pixeln, aufweisend die Pixelabbilder 816, 818 für das linke Auge und das rechte Auge, was die Größe der korrespondierenden stereoskopischen Bilder verringert. Eine Zoomanfrage, die größer als 100% ist, korrespondiert mit einer „Hineinzoom”-Anfrage, und vergrößert als Antwort auf den Skalierungsschritt 730 die Anzahl der Pixel, aufweisend die Pixelabbilder 816, 818 für das linke Auge und das rechte Auge, was die Größe der korrespondierenden stereoskopischen Bilder 800 vergrößert.
In dem Anpassungs-Disparitäts-Schritt 740 wird die horizontale Disparität der skalierten stereoskopischen Bilddaten angepasst, um disparitätsangepasste, skalierte, stereoskopische Bilddaten, basierend auf einer Heuristik anzupassen, die eine Beziehung zwischen der Nutzer-Zoom-Anfrage (M_z), einem vorbestimmten stereoskopischen Faktor (F_s) und einer horizontalen Verschiebung (S_h) in den Linke-Auge-Pixeln und der Pixelkarte 816 für das Linke-Auge-Bild im Verhältnis zu den Rechte-Auge-Pixeln in der Pixelkarte 818 für das Rechte-Auge-Bild definiert. In manchen Ausführungsformen ist die Beziehung durch die Heuristik durch die folgende Gleichung definiert: S_h = W_pxl × (M_z/F_s) (Gleichung 1) wobei

S_h: die horizontale Verschiebung in Pixeln ist,
W_pxl: die horizontale Breite des stereoskopischen Bildes in Pixeln ist,
M_z: der Zoom-Wert in Prozent ist, und
F_s: der vorbestimmte stereoskopische Faktor ist

Der vorbestimmte stereoskopische Faktor (F_s) wird experimentell bestimmt und ist eine Metrik, die sich auf den Betrachterkomfort bezieht, während er die stereoskopischen Anzeigen betrachtet. Menschliche Faktorenanalyse von stereoskopischen Anzeigen hat gezeigt, dass die Größe der Disparität in stereoskopischen Bildern darauf beschränkt sein sollte, innerhalb eines definierten, angenehmen Bereichs zu liegen. Für alle stereoskopischen Anzeigen müssen die Augen des Betrachters konvergieren, um eine Tiefenwahrnehmung einer Distanz von der Displayebene zu empfinden, während sie immer noch die Displayebene fokussieren. Die Belastung, die durch den Konvergenz/Akkommodierungskonflikt verursacht wird, variiert von Betrachter zu Betrachter und basiert teilweise auf dem Pupillenabstand, der stereooptischen Schärfe des Betrachters, dem Disparitätsgrad in dem stereoskopischen Bild, der Größe der Anzeige und der Betrachtungsdistanz von der Anzeige.
In manchen Ausführungsformen kann der vorbestimmte stereoskopische Faktor (F_s) innerhalb eines wünschenswerten Bereichs von ungefähr 35 bis 45 liegen. In anderen Ausführungsformen liegt der vorbestimmte stereoskopische Faktor (F_s) innerhalb eines bevorzugten Bereichs von ungefähr 38 bis 41. Dennoch ist der vorbestimmte stereoskopische Faktor (F_s) gemäß manchen Ausführungsformen der vorliegenden Erfindung nicht auf den wünschenswerten Bereich von ungefähr 35 bis 45 begrenzt und kann über oder unter den wünschenswerten Bereich gesetzt werden. Für einen Betrachter mit typischer stereoskopischer Empfindung bei Betrachtung eines stereoskopischen Bildes auf einer 20-Zoll-Anzeige mit einer Betrachtungsdistanz von 30 Zoll wurde der bevorzugte Wert für den vorbestimmten stereoskopischen Faktor (F_s) in etwa von 40 gefunden.
Da der Betrachtungskomfort von Betrachter zu Betrachter variieren kann, kann in manchen Ausführungsformen die Nutzer-Zoom-Anfrage zusätzlich einen stereoskopischen Anpassungsfaktor (A_s) aufweisen und der Anpassungsschritt 47 passt den vorbestimmten stereoskopischen Faktor (F_s) an, was auf dem stereoskopischen Anpassungsfaktor (A_s) basiert. Vorzugsweise wird die Anpassung inkremental durch mehrere Anfragen vorgenommen, wobei jede den vorbestimmten stereoskopischen Faktor (F_s) um einen vorbestimmten Wert erhöht oder senkt, wobei der vorbestimmte Wert vorzugsweise plus eine Einheit oder minus eine Einheit ist.
Dementsprechend kann in Ausführungsformen, in denen der Nutzer die Fähigkeit hat, den vorbestimmten stereoskopischen Faktor (F_s) anzupassen, die Beziehung, die durch die Heuristik definiert wird, die folgende Gleichung sein: S_h = W_pxl × (M_z/(F_s + A_s) (Gleichung 2) wobei

A_s: der stereoskopische Anpassungsfaktor ist.

In manchen Ausführungsformen kann die Nutzer-Zoom-Anfrage zusätzlich einen Positionsanpassungsfaktor (A_pos) aufweisen und die Anpassung des horizontalen Disparitätsschritts 740 passt eine Tiefe der disparitätsangepassten, skalierten, stereoskopischen Bilddaten, basierend auf dem Positionsanpassungsfaktor (A_pos) an. Wie oben mit Bezug auf die 4A–9B festgestellt worden ist, erzeugt ein Zoomen ohne eine parallaxe Anpassung eine Szene, in der sich die empfundene Tiefe von Gegenständen in der Szene nicht ändert. Durch Einstellen des Positionsanpassungsfaktors (A_pos) auf den positiven Wert eins (+1) bewegen sich die Gegenstände in der Szene während eines Hineinzoomens oder Herauszoomens in der Szene nach vorne. Durch Einstellen des Positionsanpassungsfaktors (A_pos) auf den negativen Wert eins (–1) bewegen sich die Gegenstände in der Szene während eines Hineinzoomens oder Herauszoomens nach hinten.
In Ausführungsformen, in denen die Nutzer-Zoom-Anfrage einen Zoomwert (M_z), einen stereoskopischen Anpassungsfaktor (A_s) und einen Positionsanpassungsfaktor (A_pos) aufweist, kann die Beziehung, die durch die Heuristik definiert wird, die folgende Gleichung sein: S_h = A_pos × W_pxl × (M_z/(F_s + A_s) (Gleichung 3)
Auch wenn die Heuristik durch eine Gleichung repräsentiert sein kann, kann in einer bevorzugten Ausführungsform die horizontale Verschiebung für einen disparitätsangepassten Zoom eines stereoskopischen Bildes entweder als eine Prozentzahl an Bildbreite oder als eine Zahl an Pixeln ausgedrückt werden, die auf einer Nachschlagetabelle und einer Interpolation basiert. Beispielsweise zeigt Tabelle 1 die Beziehung zwischen dem prozentualen Zoom, in Schrittgrößen von 100, und die prozentuale Änderung an Disparität für jedes Größenbild, oder alternativ die Pixelverschiebung für ein stereoskopisches Bild, das eintausend (1000) Pixel breit ist, basierend auf empirischen Daten von Experimenten zum Erhalten des Betrachtungskomforts während des Zoomens mit unterschiedlichen Werten.

% Zoom % Disparitätsänderung Pixelverschiebung für 1000 pixelweites Bild

100 0 0

200 2,5 2,5

300 5 5

400 7,5 7,5

500 10 10

600 12,5 12,5

700 15 15

800 17,5 17,5

Tabelle 1
In dem zweiten Anzeigeschritt 760 wird ein gezoomtes stereoskopisches Bild auf dem Display erzeugt, das mit disparitätsangepassten, skalierten, stereoskopischen Bilddaten korrespondiert.
In manchen Ausführungsformen kann das Zoomverfahren 700 einen Beschneidungsschritt 750 aufweisen, in dem disparitätsangepassten, skalierten, stereoskopischen Bilddaten beschnitten werden, bevor der zweite Anzeigeschritt 760 erfolgt, um den betrachtbaren Bereich der Anzeige anzupassen.
In manchen Ausführungsformen weist das stereoskopische Gerät 900, das das Zoomverfahren 700 ausführt, einen elektronischen Prozess in 914 auf, der in Kommunikation mit der Anzeige 910 und dem elektronischen Speicher 912 ist. Für Illustrationszwecke ist das stereoskopische Gerät 900 als ein in der Hand haltbares, tragbares, elektronisches Multifunktionssystem dargestellt, das mehr oder weniger Komponenten aufweisen kann, zwei oder mehr Komponenten kombinieren kann oder eine unterschiedliche Konfiguration oder Anordnung an Komponenten aufweisen kann, als es in 2 gezeigt ist. Die unterschiedlichen Komponenten können als Hardware, Software oder eine Kombination aus sowohl Hardware als auch Software ausgeführt sein.
Geräte, die die Fähigkeit aufweisen, das Zoomverfahren 700 durchzuführen, sind nicht auf in der Hand haltbare, tragbare Geräte beschränkt. Das Zoomverfahren 700 kann auch auf interaktiven Geräten mit großen Anzeigen ausgeführt werden, die dazu fähig sind, stereoskopische Bilder anzuzeigen, solche wie auf dem Boden stehende oder an Wänden montierte elektronische Anzeigen (oder Fernseher), welche der Nutzer mit einer Fernsteuerungseinheit steuern kann, die in Kommunikation mit den Anzeigeelektroniken steht.
Das stereoskopische Gerät 900 weist eine Zoomauswahl-Nutzerschnittstelle 916 in Kommunikation mit dem Prozessor 914 auf. Die Zoomauswahl-Nutzerschnittstelle 916 ist so ausgebildet, dass sie eine Nutzer-Zoom-Anfrage als Eingabe empfangen kann, die einen Zoomwert aufweist. In manchen Ausführungsformen kann die Zoomauswahl-Nutzerschnittstelle 916 eine Vielzahl an Tastschaltern 918 auf dem Gehäuse 920 des stereoskopischen Geräts 900 aufweisen. Beispielsweise kann das Gehäuse 920 eine Hinein-Zoom-Taste 922 und eine Hinaus-Zoom-Taste 924 aufweisen. Je länger die Taste 922, 924 gedrückt wird, desto größer ist der Zoomwert. Alternativ kann die Zoomauswahl-Schnittstelle 916 einen Schieberegler (Slider) oder Kippschalter (nicht gezeigt) mit einer neutralen Mittelposition aufweisen, die einem Nicht-Zoom entspricht. Das Bewegen des Schalters zu einer Seite der neutralen Position entspricht einem Hinein-Zoomen und zu der anderen Seite der neutralen Position einem Hinaus-Zoomen. Die Distanz zur neutralen Position (für Schieberegler) oder die Zeit, in der der Schalter von der neutralen Position entfernt ist (Kipphebel) legt den Wert des Zooms fest. In manchen Ausführungsformen, die eine Anzeige mit einem berührungssensitiven Bildschirm (Touchscreen) aufweisen, kann die Zoom-Nutzer-Schnittstelle grafisch durch eine Vielzahl an Symbolen auf dem tastsensitiven Bildschirm der Anzeige wiedergegeben sein, die eine Funktionalität aufweist, die der Vielzahl an physischen Tastschaltern entspricht. In anderen Ausführungsformen kann die Zoom-Auswahl-Nutzerschnittstelle 916 einen Kombination aus physischen Tastschaltern und grafisch dargestellten Schaltern auf einem berührungssensitiven Bildschirm sein.
In manchen Ausführungsformen des stereoskopischen Gerätes 900 ist die Anzeige nicht dafür ausgelegt, in der Hand gehalten zu werden. In solchen Beispielen kann die Zoom-Auswahl-Nutzerschnittstelle 916 auf einer Fernbedienungseinheit (nicht gezeigt) in drahtloser Kommunikation mit dem elektronischen Prozessor 914 des stereoskopischen Gerätes 900 bereitgestellt sein. Die Fernbedienung kann Steuerungselektroniken in elektrischer Verbindung mit Tastschaltern und/oder einer berührungssensitiven Anzeige aufweisen, die virtuelle Schalter aufweist, die äquivalent zu den Tastschaltern sind. Die Steuerungselektroniken, die in der Fernsteuerung untergebracht sind, sind dazu ausgebildet, dass sie bestimmen können, ob eine oder mehrere Berührungen mit der berührungssensitiven Anzeige oder dem Tastschalter eine Nutzer-Zoom-Anfrage repräsentiert, und, falls eine Nutzer-Zoom-Anfrage vorgenommen worden ist, die Nutzer-Zoom-Anfrage an den elektronischen Prozessor 914 des stereoskopischen Geräts 900 übertragen kann.
In manchen Ausführungsformen kann die Nutzer-Zoom-Anfrage ebenfalls einen stereoskopischen Anpassungsfaktor (A_s) und/oder einen Positionsanpassungsfaktor (A_pos) beinhalten, und die Vielzahl an Tastschaltern 918 der Zoom-Nutzer-Schnittstelle 916 kann einen stereoskopischen Anpassungsfaktor-Tastschalter 926 und/oder einen Positionsanpassungsfaktor-Tastschalter 928 oder Äquivalente eines berührungssensitiven Bildschirms beinhalten. In gleicher Weise wie beim Eingeben des Zoom-Werts kann der stereoskopische Anpassungsfaktor inkremental durch wiederholtes Schalten des Tastschalters 926 für den stereoskopischen Anpassungsfaktor in eine Richtung eingegeben werden, um den Wert des vorbestimmten stereoskopischen Faktors (F_s) zu erhöhen, oder in die andere Richtung, um den Wert des vorbestimmten stereoskopischen Faktors (F_s) zu verringern. Der Positionsanpassungsschalter 928 kann ein Zwei-Positions-Schalter sein, der plus eins eingibt, wenn er in einer ersten Position ist, und ein minus eins, wenn er in einer zweiten Position ist. In manchen Ausführungsformen mit einem berührungssensitiven Bildschirm kann die Zoom-Nutzer-Schnittstelle 916 ein Aufklappmenü (Drop-Down-Menü) von durch den Nutzer wählbaren Parameter sein, die der Nutzer-Zoom-Anfrage entsprechen.
Der Speicher 912 des stereoskopischen Geräts 900 kann darin stereoskopische Bilddaten 914 gespeichert haben, die ein Pixelabbild 816 für das Linke-Auge-Bild aufweist, beinhaltend Linke-Auge-Pixel, und ein Pixelabbild 818 für das Rechte-Auge-Bild aufweisen, beinhaltend Rechte-Auge-Pixel. Das Pixelabbild 816 für das Linke-Auge-Bild weist eine horizontale Disparität im Verhältnis zu dem Pixelabbild 818 für das Rechte-Auge-Bild auf. In manchen Ausführungsformen können die stereoskopischen Bilddaten 814 ein oder mehrere ruhende stereoskopische Bilder oder stereoskopische Videos sein, die Einzelbilder (Frames) aufweisen, die zum Zoomen eingefroren werden können.
Der Speicher 912 des stereoskopischen Geräts 900 weist ein oder mehrere Programme 930 auf, die darin gespeichert sind. Die Programme 930 sind so ausgebildet, dass sie durch den elektronischen Prozessor 914 ausgeführt werden können. Die einen oder mehreren Programme 930 weisen Bildanzeige-Anweisungen 932 auf, die ein Bild auf der Anzeige erzeugen, das in stereoskopischen Bilddaten 814 und den stereoskopischen Bild-Zoom-Anweisungen entspricht, wobei die Anweisungen das Zoomverfahren 700 kodieren.
Die Fachleute werden es begrüßen, dass Änderungen an den oben beschriebenen Ausführungsformen vorgenommen werden können, ohne von dem breiten erfinderischen Konzept davon abzuweichen. Daher ist das Verfahren und System zur Anpassung der Disparität eines stereoskopischen Bildes, das auf einer elektronischen Anzeige erscheint, wenn eine Nutzer-Zoom-Anfrage empfangen worden ist, nicht auf die speziellen Ausführungsformen, die offenbart sind, beschränkt, sondern es wird beabsichtigt, Modifikationen innerhalb des Sinnes und des Gegenstands der vorliegenden Erfindung, wie sie durch die anhängigen Ansprüche definiert wird, abzudecken.
Alle Bezugnahmen, Patentanmeldungen und Patente, die oben erwähnt werden, werden hierdurch durch Bezugnahme in ihrer Gesamtheit mit aufgenommen und sind nicht als eine Anerkenntnis auszulegen, dass irgendeines der zitierten Dokumente den Stand der Technik bildet, oder als eine Anerkenntnis gegen das Interesse in irgendeiner Form.

Claims

Verfahren zum Zoomen eines stereoskopischen Bildes, das auf einer elektronischen Anzeige eines stereoskopischen Bildanzeigegerätes erscheint, als Antwort auf den Erhalt einer Nutzer-Zoom-Anfrage, aufweisend einen Zoom-Wert, wobei das stereoskopische Bild ein Linke-Auge-Bild und ein Rechte-Auge-Bild aufweist, die eine relative horizontale Disparität aufweisen und durch einen elektronischen Prozessor aus stereoskopischen Bilddaten erzeugt werden, die in einem Speicher als ein Pixel-Abbild für das Linke-Auge-Bild, aufweisend Linke-Auge-Pixel, und ein Pixel-Abbild für das Rechte-Auge-Bild, aufweisend Rechte-Auge-Pixel, gespeichert sind, wobei das Verfahren die folgenden Schritte aufweist: – Skalieren der stereoskopischen Bilddaten zum Herstellen skalierter stereoskopischer Bilddaten als Antwort auf die Nutzer-Zoom-Anfrage; – Anpassen der horizontalen Disparität der skalierten stereoskopischen Bilddaten zum Erstellen von disparitätsangepassten, skalierten stereoskopischen Bilddaten, die auf einer Heuristik basieren, die eine Beziehung zwischen der Nutzer-Zoom-Anfrage, einem vorbestimmten stereoskopischen Faktor und einer relativen horizontalen Verschiebung zwischen den Linke-Auge-Pixeln in dem Pixel-Abbild für das Linke-Auge-Bild und den Rechte-Auge-Pixeln in dem Pixel-Abbild für das Rechte-Auge-Bild definiert; und – Anzeigen eines gezoomten stereoskopischen Bildes auf der Anzeige, das den disparitätsangepassten, skalierten stereoskopischen Bilddaten entspricht.
Verfahren nach Anspruch 1, wobei die Beziehung, die durch die Heuristik definiert ist, die Gleichung ist: S_h = W_pxl × (M_z/F_s), wobei S_h die horizontale Verschiebung in Pixeln ist, W_pxl die horizontale Breite des stereoskopischen Bildes in Pixeln ist, M_z der Zoom-Wert in Prozent ist, und F_s der vorbestimmte stereoskopische Faktor ist.
Verfahren nach Anspruch 1, wobei der vorbestimmte stereoskopische Faktor F_s innerhalb eines Bereichs von ungefähr 35 bis 45 ist.
Verfahren nach Anspruch 1, wobei die Nutzer-Zoom-Anfrage zusätzlich einen stereoskopischen Anpassungsfaktor aufweist, und die Anpassung des horizontalen Disparitätsschritts den vorbestimmten stereoskopischen Faktor basierend auf dem stereoskopischen Anpassungsfaktor anpasst.
Verfahren nach Anspruch 1, wobei die Nutzer-Zoom-Anfrage zusätzlich einen Positionsanpassungsfaktor beinhaltet, und die Anpassung des horizontalen Disparitätsschritts eine Tiefe der disparitätsangepassten, skalierten, stereoskopischen Bilddaten basierend auf dem Positionsanpassungsfaktor anpasst.
Verfahren nach Anspruch 1, weiterhin aufweisend den Schritt des Beschneidens der disparitätsangepassten, skalierten, stereoskopischen Bilddaten vor dem Erzeugungsschritt.
Verfahren nach Anspruch 1, wobei die Nutzer-Zoom-Anfrage zusätzlich einen stereoskopischen Anpassungsfaktor und einen Positionsanpassungsfaktor aufweist und die Anpassung des horizontalen Disparitätsschritts den vorbestimmten stereoskopischen Faktor basierend auf dem stereoskopischen Anpassungsfaktor anpasst und eine Tiefe der disparitätsangepassten, skalierten, stereoskopischen Bilddaten basierend auf dem Positionsanpassungsfaktor anpasst, und wobei die Beziehung, die durch die Heuristik definiert ist, die Gleichung ist: S_h = A_pos × W_pxl × (M_z/(F_s + A_s)), wobei S_h die horizontale Verschiebung in Pixeln ist, A_pos der Positionsanpassungsfaktor ist, W_pxl die horizontale Breite des stereoskopischen Bildes in Pixeln ist, M_z der Zoom-Wert in Prozent ist, F_s der vorbestimmte stereoskopische Faktor ist, und A_s der stereoskopische Anpassungsfaktor ist.
Stereoskopisches Bilderzeugungsgerät, aufweisend: eine elektronische Anzeige; einen elektronischen Speicher; einen elektronischen Prozessor in Kommunikation mit der Anzeige und dem elektronischen Speicher; eine Zoom-Auswahl-Benutzer-Schnittstelle in Kommunikation mit dem Prozessor, wobei die Zoom-Auswahl-Benutzer-Schnittstelle so ausgebildet ist, dass sie als Eingabe eine Benutzer-Zoom-Anfrage, aufweisend einen Zoom-Wert, empfangen kann; stereoskopische Bilddaten, die in dem Speicher gespeichert sind, wobei die stereoskopischen Bilddaten ein Pixel-Abbild für das Linke-Auge-Bild, aufweisend Linke-Auge-Pixel, und ein Pixel-Abbild für das Rechte-Auge-Bild, aufweisend Rechte-Auge-Pixel, aufweist, wobei das Pixel-Abbild für das Linke-Auge-Bild eine horizontale Disparität im Verhältnis zu dem Pixel-Abbild für das Rechte-Auge-Bild aufweist, und ein oder mehrere Programme, die in dem Speicher gespeichert sind und so ausgebildet sind, dass sie durch den elektronischen Prozessor ausgeführt werden können, wobei das eine oder die mehreren Programme aufweisen: Bilderzeugungsanweisungen, die ein Bild auf dem Display erzeugen, das mit den stereoskopischen Bilddaten entspricht; und stereoskopische Bild-Zoom-Anweisungen, die gemäß dem Verfahren nach Anspruch 1 kodiert sind.
Stereoskopisches Bilderzeugungsgerät nach Anspruch 8, wobei die Zoom-Auswahl-Benutzer-Schnittstelle durch eine Fernsteuerungseinheit in drahtloser Kommunikation mit dem elektronischen Prozessor bereitgestellt ist, wobei die Fernsteuerung eine Steuerungselektronik in elektrischer Kommunikation mit einem Tastschalter und einer berührungssensitiven Anzeige aufweist, wobei die Steuerungselektronik so ausgebildet ist, dass sie bestimmen kann, ob eine oder mehrere Berührungen an der berührungssensitiven Anzeige oder dem Tastschalter eine Nutzer-Zoom-Anfrage repräsentiert, und dass sie – falls eine Nutzer-Zoom-Anfrage gemacht worden ist – die Nutzer-Zoom-Anfrage an den elektronischen Prozessor übermittelt werden kann.