-
HINTERGRUND
-
Konferenzsysteme, wie etwa Videokonferenzsysteme, werden in verschiedenen Gebieten eingesetzt, um Teilnehmern Möglichkeiten zu bieten, virtuelle Konferenzen abzuhalten, ohne sich am selben Ort zu befinden. Videokonferenzsysteme können zum Beispiel eine Anzeige, eine Kommunikationsverbindung, Lautsprecher und Mikrofone bereitstellen, die es Teilnehmern ermöglichen, entfernte Teilnehmer zu sehen und mit diesen zu kommunizieren. Da Teilnehmer einander sehen können, während sie sprechen, können Videokonferenzsysteme ein besseres Verständnis der diskutierten Themen bieten, als schriftliche oder verbale Kommunikation allein. Diese Videokonferenzsysteme können ferner eine leichtere Konferenzterminplanung ermöglichen, da nicht alle Teilnehmer am gleichen Ort sein müssen. Darüber hinaus können Videokonferenzsysteme eine Vergeudung von Ressourcen (z. B. Zeit und Geld) verringern, indem die Notwendigkeit von Reisen beseitigt wird. Zu herkömmlichen Videokonferenzsystemen zählen typischerweise ein Kommunikationssystem (z. B. ein Telefon, ein VoIP-System oder Ähnliches), ein herkömmlicher Bildmonitor (z. B. eine CRT-, Plasma-, HD-, LED- oder LCD-Anzeige), eine Kamera, ein Mikrofon und Lautsprecher.
-
KURZDARSTELLUNG
-
Implementierungen der folgenden Offenbarung beziehen sich auf Videokonferenz- und Telepräsenzsysteme. Wenigstens manche Implementierungen stellen eine dreidimensionale Telepräsenz ohne eine am Kopf befestigte Anzeige, Kopfhörer und/oder andere physische Behinderungen bereit.
-
Nach einem Aspekt beinhaltet ein Telepräsenz-Endgerät eine Anzeige, die eine Mikrolinsenanordnung vor einem Pixelgitter aufweist. Das Endgerät beinhaltet möglicherweise auch einen Infrarotsender und einen Infrarot-Tiefensensor. Das Endgerät beinhaltet ferner möglicherweise ein Verarbeitungsgerät und einen Speicher, in dem Anweisungen gespeichert sind. Diese Anweisungen können, wenn ausgeführt, das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, einschließlich: Bestimmen von Bilddaten auf Grundlage des von dem Bildsensor erfassten sichtbaren Lichtes und Bestimmen von Tiefendaten auf Grundlage des von dem Infrarotsender ausgesendeten und durch den Infrarot-Tiefensensor erfassten Infrarotlichtes. Zu den Vorgängen zählt möglicherweise auch das Kommunizieren der Tiefendaten und der Bilddaten an ein entferntes Telepräsenz-Endgerät und das Empfangen von entfernten Bilddaten und entfernten Tiefendaten, wobei die entfernten Bilddaten und die entfernten Tiefendaten von einem entfernten Telepräsenz-Endgerät stammen. Die Vorgänge beinhalten möglicherweise ferner das Erzeugen eines ersten Anzeigebildes auf Grundlage der entfernten Bilddaten unter Einsatz einer ersten Teilmenge von Pixeln des Gitters aus Pixeln, das durch die Mikrolinsenanordnung von einem ersten Betrachtungsstandort aus zu sehen ist, und das Erzeugen eines zweiten Anzeigebildes auf Grundlage der entfernten Bilddaten und der entfernten Tiefendaten unter Einsatz einer zweiten Teilmenge aus Pixeln des Gitters aus Pixeln, das durch die Mikrolinsenanordnung von einem zweiten Betrachtungsstandort aus zu sehen ist.
-
In einigen Implementierungen werden das erste Anzeigebild und das zweite Anzeigebild möglicherweise derart erzeugt, dass sie Unterschiede aufweisen, die eine Parallaxe auf Grundlage der empfangenen Tiefendaten simulieren. Hierzu können die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Bestimmen eines Standorts eines Benutzers des Telepräsenz-Endgeräts. Der Standort des Benutzers des Telepräsenz-Endgeräts kann zum Beispiel auf Grundlage der Tiefendaten und/oder der Bilddaten bestimmt werden. So können zum Beispiel das erste Anzeigebild und das zweite Anzeigebild derart erzeugt werden, dass sie Unterschiede aufweisen, die Parallaxe auf Grundlage des bestimmten Standorts des Benutzers simulieren.
-
In einigen Implementierungen veranlassen die Anweisungen ferner möglicherweise das Verarbeitungsgerät, Vorgänge auszuführen, umfassend das Erzeugen eines dreidimensionalen stereoskopischen Bildes auf der Anzeige unter Einsatz der entfernten Bilddaten und der entfernten Tiefendaten sowie des bestimmten Standorts des Benutzers des Telepräsenz-Endgeräts.
-
In einigen Implementierungen, die mit den zuvor erwähnten Implementierungen kombiniert werden können, veranlassen die Anweisungen möglicherweise ferner das Verarbeitungsgerät, Vorgänge auszuführen, umfassend das Erzeugen eines ersten Abschnitts des ersten Anzeigebildes in einer ersten Richtung und das Erzeugen eines zweiten Abschnitts des zweiten Anzeigebildes in einer zweiten Richtung. So können zum Beispiel Mikrolinsen der Mikrolinsenanordnung konfiguriert sein, Licht über einen oder mehrere Winkel auszusenden und/oder verschiedene Pixelwerte in einer oder mehreren verschiedenen Richtungen anzuzeigen. Die erste Richtung kann auf Grundlage des ersten Standorts bestimmt werden und die zweite Richtung kann auf Grundlage des zweiten Standorts bestimmt werden.
-
In einigen Implementierungen veranlassen die Anweisungen möglicherweise ferner das Verarbeitungsgerät Vorgänge, auszuführen, umfassend Bestimmen der Tiefendaten nach einem Laufzeitverfahren, welches einen Phasenversatz zwischen einem von dem Infrarotsender ausgesendeten ersten Infrarotlicht und einem von einem Objekt in einem Pfad des ausgesendeten ersten Infrarotlichts reflektierten und von dem Infrarot-Tiefensensor erfassten zweiten Infrarotlicht misst.
-
In einigen Implementierungen umfasst das Telepräsenz-Endgerät möglicherweise ferner eine Mikrofonanordnung, einschließlich eines an einer ersten Seite der Anzeige angeordneten ersten Mikrofons und eines an einer zweiten Seite der Anzeige angeordneten zweiten Mikrofons; sowie eine Lautsprecheranordnung, einschließlich eines an einer ersten Seite der Anzeige angeordneten ersten Lautsprechers und eines an einer zweiten Seite der Anzeige angeordneten zweiten Lautsprechers. In dieser Implementierung veranlassen die Anweisungen möglicherweise ferner das Verarbeitungsgerät, Vorgänge auszuführen, darunter auch Erfassen von Richt-Audiodaten unter Einsatz der Mikrofonanordnung; das Übermitteln der Richt-Audiodaten an das entfernte Endgerät; Empfangen von Richt-Audiodaten von dem entfernten Endgerät; und Ausgeben von Audio unter Einsatz der Lautsprecheranordnung auf Grundlage der entfernten Richt-Audiodaten.
-
Möglicherweise beinhaltet das Telepräsenz-Endgerät eine Kameraanordnung, umfassend mindestens eine Kameraeinheit, die den Bildsensor, den Infrarotsender und den Infrarot-Tiefensensor enthält. Die mindestens eine Kameraeinheit kann hinter der Anzeige angeordnet sein, wenn die Anzeige transparent ist. Im Fall einer transparenten Anzeige kann die Anzeige zwischen einem ausgeschalteten Zustand und einem Beleuchtungszustand umschaltbar sein, wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Synchronisieren der Erfassung von sichtbarem Licht und Infrarotlicht mit dem ausgeschalteten Zustand der Anzeige. In dieser Implementierung sind die Mikrolinsen der Mikrolinsenanordnung möglicherweise aus einem ersten Material und einem zweiten Material gefertigt, wobei das erste Material ein Material ist, das von elektrischem Strom im Wesentlichen nicht beeinflusst wird, während das zweite Material im Wesentlichen von einem elektrischen Strom beeinflusst wird, und wobei das erste Material und das zweite Material verschiedene Brechungsindizes aufweisen, wenn kein Strom an das erste und das zweite Material angewendet wird.
-
In einigen Implementierungen umfasst das Telepräsenz-Endgerät möglicherweise einen Strahlteiler, der eingehendes Licht teilt und es an den Bildsensor und den Infrarot-Tiefensensor sendet. Der Strahlteiler kann demnach eingehendes Licht derart teilen, dass der Bildsensor und der Infrarot-Tiefensensor dasselbe Licht empfangen.
-
Nach einem anderen Aspekt beinhaltet ein Computerprogrammprodukt eine Reihe von Anweisungen, die, wenn von mindestens einem Prozessor ausgeführt, ein Computersystem veranlassen, ein Verfahren auszuführen, welches Erzeugen von erstem Infrarotlicht mit einem Infrarotsender enthält. Das Verfahren beinhaltet zudem das Empfangen von zweitem Infrarotlicht mit einem Infrarot-Tiefensensor. Das zweite Infrarotlicht kann durch Reflexionen des ersten ausgesendeten Infrarotlichts bewirkt sein. Möglicherweise beinhaltet das Verfahren ferner das Bestimmen von erfassten Tiefendaten auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts und das Bestimmen von erfassten Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes. Möglicherweise beinhaltet das Verfahren ferner das Kommunizieren der erfassten Tiefendaten und der erfassten Bilddaten an ein entferntes Endgerät. Das Verfahren beinhaltet möglicherweise ferner das Erzeugen eines ersten Anzeigebildes auf Grundlage von empfangenen Bilddaten von dem entfernten Endgerät unter Einsatz einer ersten Teilmenge eines Gitters aus Pixeln, wobei das erste Anzeigebild durch die Mikrolinsenanordnung aus einer ersten Richtung zu sehen ist, und das Erzeugen eines zweiten Anzeigebildes auf Grundlage der empfangenen Bilddaten und der empfangenen Tiefendaten von dem entfernten Endgerät unter Einsatz einer zweiten Teilmenge des Gitters aus Pixeln, wobei das zweite Anzeigebild durch die Mikrolinsenanordnung aus einer zweiten Richtung zu sehen ist.
-
Nach einem anderen Aspekt beinhaltet ein nicht flüchtiges computerlesbares Speichermedium darauf gespeicherte Anweisungen, die, wenn durch mindestens einen Prozessor ausgeführt, konfiguriert sind, ein Computersystem zu veranlassen, mit einem Infrarotsender mindestens erstes Infrarotlicht zu erzeugen, zweites Infrarotlicht mit einem Infrarot-Tiefensensor zu empfangen, Tiefendaten auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts zu bestimmen, Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes zu bestimmen, die Tiefendaten und die Bilddaten an ein entferntes Telepräsenz-Endgerät zu kommunizieren, mit einer Linsenanzeige ein erstes Anzeigebild auf Grundlage von empfangenen Bilddaten von dem entfernten Endgerät zu erzeugen, wobei das erste Anzeigebild von einem ersten Standort aus betrachtbar ist, und mit der Linsenanzeige ein zweites Anzeigebild auf Grundlage der empfangenen Bilddaten und der empfangenen Tiefendaten von dem entfernten Endgerät zu erzeugen, wobei das zweite Anzeigebild von einem zweiten Standort aus betrachtbar ist. Die empfangenen Tiefendaten stammen ggf. von dem entfernten Endgerät.
-
Andere Implementierungen dieses Aspekts beinhalten entsprechende Computersysteme, Vorrichtungen und Computerprogramme, die auf einem oder mehreren Computerspeichergeräten aufgezeichnet sind, die jeweils konfiguriert sind, Aktionen der Verfahren durchzuführen.
-
Nach einem Aspekt beinhaltet ein lokales Endgerät in einem Telepräsenzsystem eine Anzeige. Die Anzeige beinhaltet eine Mikrolinsenanordnung vor einem Pixelgitter. Das lokale Endgerät beinhaltet ferner eine oder mehrere Kameraeinheiten. Die Kameraeinheit beinhaltet möglicherweise eine Linse, einen Infrarotsender und einen Infrarot-Tiefensensor. Das lokale Endgerät beinhaltet ferner ein Verarbeitungsgerät und einen Speicher, in dem Anweisungen gespeichert sind, die, wenn ausgeführt, das Verarbeitungsgerät veranlassen, Vorgänge auszuführen. Die Vorgänge können das Bestimmen von durch den Bildsensor erfassten lokalen Bilddaten auf Grundlage von sichtbarem Licht, und das Bestimmen von durch den Infrarot-Tiefensensor an dem lokalen Endgerät erfassten lokalen Tiefendaten auf Grundlage von Infrarotlicht beinhalten. Die lokalen Tiefendaten können auf einem Standort eines Betrachters mit Bezug auf das lokale Endgerät basieren. Die Vorgänge können ferner das Kommunizieren der lokalen Tiefendaten und der lokalen Bilddaten an ein entferntes Videokonferenz-Endgerät beinhalten. Die Vorgänge können ferner das Erzeugen eines ersten Abschnitts eines ersten Bildes in einer ersten Richtung durch Mikrolinsen der Mikrolinsenanordnung auf Grundlage von entfernten Bilddaten und lokalen Standortdaten (z. B. lokalen Tiefendaten) beinhalten. Standortdaten können als lokale Positionsdaten bezeichnet werden. Die entfernten Bilddaten können von dem entfernten Videokonferenz-Endgerät stammen und auf entfernten Tiefendaten basieren. Die Vorgänge können ferner das Erzeugen eines zweiten Bildes in einer zweiten Richtung durch die Mikrolinsen der Mikrolinsenanordnung auf Grundlage der entfernten Bilddaten und der lokalen Standortdaten beinhalten. Die lokalen Standortdaten können von dem lokalen Videokonferenz-Endgerät stammen. Die erste und die zweite Richtung können sich abhängig von den lokalen Standortdaten unterscheiden. So kann die erste Richtung eine Richtung sein, die von einem ersten Standort (z. B. dem ersten Auge eines Betrachters) aus betrachtbar ist und die zweite Richtung kann eine Richtung sein, die von einem zweiten Standort (z. B. dem zweiten Auge eines Benutzers) aus betrachtbar ist. In einigen Implementierungen kann das Endgerät mehrere Kameraeinheiten beinhalten, die eine oder mehrere Linsen beinhalten können. In einigen Implementierungen können ein oder mehrere Bilder in jeder Mikrolinse der Mikrolinsenanordnung erzeugt werden. In einigen Implementierungen kann die erste Richtung durch Auswählen eines ersten Pixels aus einer Vielzahl von Pixeln bestimmt werden, um einen Abschnitt des ersten Bildes anzuzeigen, während die zweite Richtung durch Auswählen eines zweiten Pixels aus der Vielzahl von Pixeln bestimmt werden kann, um einen Abschnitt des zweiten Bildes anzuzeigen.
-
In einigen Implementierungen dieses Aspekts beinhalten die lokalen Standortdaten Standortdaten, die dem Benutzer des lokalen Endgeräts entsprechen. In einigen Implementierungen beinhalten Standortdaten ggf. Tiefendaten.
-
Zu weiteren Implementierungen dieses Aspekts zählen entsprechende Verfahren, konfiguriert zum Ausführen der Vorgänge des Verarbeitungsgeräts gemäß den in dem Speicher des Videokonferenzsystems gespeicherten Anweisungen.
-
Nach einem weiteren Aspekt beinhaltet Verfahren zum Bereitstellen von dreidimensionaler Telepräsenz das Erzeugen von erstem Infrarotlicht unter Einsatz eines Infrarotsenders und das Empfangen von zweitem Infrarotlicht unter Einsatz eines Infrarot-Tiefensensors. Erfasste Tiefendaten können auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts bestimmt werden, während erfasste Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes bestimmt werden können. Die erfassten Tiefendaten und die erfassten Bilddaten können an ein entferntes Videokonferenz-Endgerät kommuniziert werden. Ein erstes Bild wird in einer ersten Richtung durch eine Mikrolinse einer Mikrolinsenanordnung eines lokalen Endgeräts auf Grundlage von empfangenen Bilddaten von dem entfernten Videokonferenz-Endgerät erzeugt, und ein zweites Bild wird durch die Mikrolinse der Mikrolinsenanordnung des lokalen Endgeräts auf Grundlage der empfangenen Bilddaten von dem entfernten Videokonferenz-Endgerät sowie auf Grundlage von Standortdaten, die einem Benutzer des lokalen Endgeräts entsprechen, erzeugt. Das erste Bild und das zweite Bild unterscheiden sich auf Grundlage der Standortdaten.
-
In einigen Implementierungen dieses Aspekts basiert das Erzeugen des ersten Bildes und/oder des zweiten Bildes durch die Mikrolinse der Mikrolinsenanordnung ferner auf den Standortdaten, die dem Benutzer entsprechen, dessen Bild durch den Bildsensor erfasst worden ist.
-
Die Details von einer oder mehreren Implementierungen sind in den begleitenden Zeichnungen und der nachfolgenden Beschreibung dargelegt. Andere Merkmale werden aus der Beschreibung und den Zeichnungen und aus den Ansprüchen offensichtlich.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt ein exemplarisches Videokonferenzsystem, das den offenbarten Implementierungen entspricht.
-
2 zeigt ein exemplarisches Videokonferenzsystem, das den offenbarten Implementierungen entspricht.
-
3A und 3B zeigen exemplarische Videokonferenz-Endgeräte, die den offenbarten Implementierungen entsprechen.
-
4 zeigt eine exemplarische Kameraeinheit, die den offenbarten Implementierungen entspricht.
-
5 zeigt ein Ablaufdiagramm für einen Vorgang zum Darstellen eines dreidimensionalen Bildes in einem Videokonferenz-Endgerät im Einklang mit offenbarten Implementierungen.
-
6 zeigt ein exemplarisches Computergerät, das eingesetzt werden kann, um die Vorgehensweisen im Einklang mit offenbarten Implementierungen zu implementieren.
-
7A bis einschließlich 7G sind Beispiele für Tiefe und Projektion gemäß den Implementierungen.
-
8 zeigt ein schematisches Diagramm eines dreidimensionalen Telepräsenzsystems gemäß den Implementierungen.
-
Gleiche Bezugszeichen in den verschiedenen Zeichnungen verweisen auf gleiche Elemente.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Obgleich herkömmliche Videokonferenzsysteme ein Erlebnis bereitstellen, das einer Konferenz von Angesicht zu Angesicht ähnlicher ist als eine Telekonferenz (z. B. ohne Video), weisen herkömmliche Videokonferenzsysteme Einschränkungen auf, die von einem „echten“ Konferenzerlebnis abweichen. So stellen zum Beispiel Anzeigen in herkömmlichen Videokonferenzen Bilder in zwei Dimensionen dar und weisen eine eingeschränkte Fähigkeit auf, realistische Tiefe darzustellen. Infolgedessen erfahren Teilnehmer einer Videokonferenz keine Kopräsenz mit dem anderen Teilnehmer. Darüber hinaus sind Kameras in herkömmlichen Videokonferenzsystemen so angeordnet, dass Teilnehmer nicht in der Lage sind, direkten Blickkontakt aufzubauen – möglicherweise schaut jeder Teilnehmer direkt auf seine Anzeige, während die Kamera Teilnehmerbilder nicht durch die Anzeige hindurch erfasst. Obgleich manche Videokonferenzsysteme ein Erlebnis ähnlich Virtual Reality für Videokonferenzen bereitstellen, erfordern diese Videokonferenzsysteme, dass Teilnehmer am Kopf befestigte Anzeigegeräte, Brillen oder 3D-Brillen tragen, um eine Wiedergabe von dreidimensionalen Bildern zu erleben.
-
Dementsprechend beziehen sich die hierin offenbarten Implementierungen auf ein dreidimensionales Telepräsenzsystem, das ein realistischeres Konferenzerlebnis von Angesicht zu Angesicht bereitstellt als herkömmliche Videokonferenzsysteme, ohne am Kopf befestigte Anzeigegeräte und 3D-Brillen zu verwenden. Videokonferenz- und Bildkonferenzsysteme zählen zu den Beispielen für Telepräsenzsysteme. Im Einklang mit offenbarten Implementierungen kann ein dreidimensionales Telepräsenzsystem eine brillenlose 3D-Linsenanzeige beinhalten, die eine Vielzahl von Mikrolinsen in einer Mikrolinsenanordnung enthält. Nach einigen Implementierungen beinhaltet die Mikrolinsenanordnung möglicherweise eine Vielzahl von Gruppen (oder Unteranordnungen) aus Mikrolinsen, wobei jede der Vielzahl von Gruppen (oder Unteranordnungen) mehrere Mikrolinsen enthält, die jeweils konfiguriert sind, Licht über einen oder mehrere Winkel weiterzuleiten und/oder jede derselben konfiguriert sein kann, verschiedene Farbpixelwerte (z. B. RGB-Pixelwerte) in einer oder mehreren verschiedenen Richtungen anzuzeigen. Der Einsatz von Mikrolinsengruppen/-unteranordnungen kann in einer Anzeige enthalten sein, um verschiedene Bilder in verschiedenen Betrachtungswinkeln (d. h. von verschiedenen Betrachtungsstandorten aus betrachtbar) zu zeigen. In einigen Implementierungen des dreidimensionalen Telepräsenzsystems beinhaltet jede der Vielzahl von Mikrolinsengruppen mindestens zwei Mikrolinsen und dreidimensionale Bilder können erzeugt werden, indem ein Abschnitt (z. B. ein erstes Pixel) eines ersten Bildes in einer ersten Richtung durch die mindestens eine Mikrolinse projiziert wird und ein Abschnitt (z. B. ein zweites Pixel) eines zweiten Bildes in einer zweiten Richtung durch die mindestens eine andere Mikrolinse projiziert wird. Das zweite Bild kann dem ersten Bild ähneln, allerdings kann das zweite Bild versetzt sein, um eine Parallaxe zu simulieren, wodurch für den Betrachter ein dreidimensionales stereoskopisches Bild erzeugt wird.
-
Die hierin offenbarten dreidimensionalen Telepräsenzsysteme können zudem eine Kameraanordnung mit einer oder mehreren Kameraeinheiten beinhalten. Jede Kameraeinheit beinhaltet möglicherweise einen Bildsensor zum Erfassen von sichtbarem Licht (z. B. Farbe), einen Infrarotsender und einen Infrarot-Tiefensensor zum Erfassen von Infrarotlicht, das von dem Infrarotsender ausgesendet und von dem Betrachter und den Objekten, die den Betrachter umgeben, reflektiert wird. In einigen Implementierungen befinden sich eine oder mehrere der Komponenten der Kameraeinheit (z. B. Bildsensor, Infrarotsender und Infrarot-Tiefensensor) möglicherweise nicht am gleichen Ort. In einigen Implementierungen kann ein erstes Endgerät des dreidimensionalen Telepräsenzsystems eine Kombination des erfassten sichtbaren Lichts und des erfassten Infrarotlichts verwenden, um erste Endgerät-Bilddaten und erste Endgerät-Tiefendaten zu erzeugen, die an ein zweites Endgerät des dreidimensionalen Telepräsenzsystems kommuniziert werden. In einigen Implementierungen kann das erste Endgerät des dreidimensionalen Telepräsenzsystems zweite Endgerät-Bilddaten und zweite Endgerät-Tiefendaten von dem zweiten Endgerät des dreidimensionalen Telepräsenzsystems empfangen und die zweiten Endgerät-Bilddaten und die zweiten Endgerät-Tiefendaten sowie Standortdaten für den Standort eines Benutzers mit Bezug auf das erste Endgerät (z. B. bestimmt auf Grundlage der ersten Endgerät-Tiefendaten) verwenden, um dreidimensionale stereoskopische Bilder auf der Anzeige des ersten Endgeräts zu erzeugen.
-
Eine exemplarische Implementierung des dreidimensionalen Telepräsenzsystems 100 wird in 1 dargestellt. Zwei Benutzer 105a und 105b können das dreidimensionale Telepräsenzsystem 100 verwenden, um zwar aus der Ferne, aber dennoch von Angesicht zu Angesicht zu kommunizieren. Ein erster Benutzer 105a befindet sich an einem von einem zweiten Benutzer 105b entfernen Standort. Der zweite Benutzer 105b sieht ein dreidimensionales grafisches Bild des ersten Benutzers 105a auf der Anzeige 125. In einigen Implementierungen befindet sich die Anzeige 125 einen Abstand vom zweiten Benutzer 105b und weist eine ungefähre Größe auf, um eine Kopräsenz des ersten Benutzers 105a und des zweiten Benutzers 105b zu simulieren. So kann die Anzeige 125 zum Beispiel gegenüber am Tisch mit einem Abstand von 1 m vom zweiten Benutzer 105b angeordnet sein, wobei es sich bei der Anzeige 125 um eine 1-m-Anzeige handeln kann. Die Kameraanordnung 180 kann konfiguriert sein, sichtbares Licht und Infrarotlicht zu erfassen, das von dem dreidimensionalen Telepräsenzsystem 100 (z. B. durch das von dem zweiten Benutzer 105b verwendete Endgerät) eingesetzt werden kann, um ein dreidimensionales stereoskopisches Bild des zweiten Benutzers 105b auf einer von dem ersten Benutzer 105a betrachtbaren Anzeige (nicht in 1 dargestellt) anzuzeigen. In einigen Implementierungen können ein oder mehrere Mikrofone und/oder Lautsprecher (z. B. Lautsprecheranordnungen) in dem System 100 enthalten sein. In diesen Systemen 100 kann das Mikrofon und/oder der Lautsprecher bzw. können die Mikrofone und/oder die Lautsprecher eingesetzt werden, um Raumklang (z. B. Töne, die räumlich abhängig vom Ursprung erzeugt werden) zu simulieren.
-
2 zeigt in Blockform das dreidimensionale Telepräsenzsystem 100 zum Abhalten von dreidimensionalen Videokonferenzen zwischen zwei Benutzern. In den in 2 dargestellten Implementierungen kann jedes Endgerät 120 über das Netzwerk 190 mit den jeweiligen Benutzern (z. B. einem ersten Teilnehmer und einem zweiten Teilnehmer) kommunizieren.
-
Das in 2 gezeigte dreidimensionale Telepräsenzsystem 100 kann computergestützt sein, wobei jede der dargestellten Komponenten ein Computergerät oder einen Teil eines Computergeräts beinhaltet, das konfiguriert ist, über Netzwerk 190 mit anderen Computergeräten zu kommunizieren. So kann zum Beispiel jedes Endgerät 120 ein oder mehrere Computergeräte, wie z. B. ein Desktop-, Notebook- oder Handheld-Computergerät beinhalten, das konfiguriert ist, Daten über Netzwerk 190 an andere Computergeräte zu senden bzw. von denselben zu empfangen. In einigen Implementierungen ist jedes Endgerät 120 möglicherweise ein spezielles Telekonferenzgerät, wobei jede Komponente von Endgerät 120 im selben Gehäuse angeordnet ist. In einigen Implementierungen kann die Kommunikation zwischen jedem Endgerät 120 durch einen oder mehrere Server oder Computercluster (nicht dargestellt), die das Aufbauen, Beenden und/oder Planen von Konferenzen verwalten, erleichtert werden. In einigen Implementierungen, wie z. B. in den in 2 gezeigten Implementierungen, können die Endgeräte 120 mit Punkt-zu-Punkt-Kommunikationsprotokollen kommunizieren.
-
In den in 2 gezeigten Implementierungen kann Endgerät 120 von Teilnehmern an einer Videokonferenz eingesetzt werden. In einigen Implementierungen verwenden die Teilnehmer identische Endgeräte. So kann zum Beispiel jeder Teilnehmer dieselbe Modellnummer von Endgerät 120 mit derselben Konfiguration oder Spezifikation, oder Endgeräte 120, die auf ähnliche Weise konfiguriert worden sind, verwenden, um die Kommunikation während der Videokonferenz zu erleichtern. In einigen Implementierungen können sich von Teilnehmern verwendete Endgeräte unterscheiden, sind jedoch konfiguriert, um Bild- und Tiefendaten zu senden und zu empfangen und dreidimensionale stereoskopische Bilder ohne die Nutzung von am Kopf getragenen Anzeigegeräten oder 3D-Brillen zu erzeugen. Zur vereinfachten Erläuterung zeigt die Implementierung von 2 identische Endgeräte 120 an beiden Enden des dreidimensionalen Telepräsenzsystems 100.
-
In einigen Implementierungen beinhaltet das Endgerät 120 die Anzeige 125. In einigen Implementierungen beinhaltet die Anzeige 125 möglicherweise eine brillenlose 3D-Linsenanzeige. Die Anzeige 125 kann eine Mikrolinsenanordnung, die eine Vielzahl von Mikrolinsen enthält, beinhalten. In einigen Implementierungen können die Mikrolinsen der Mikrolinsenanordnung eingesetzt werden, um eine erste von einem ersten Standort aus betrachtbare Anzeige und eine zweite von einem zweiten Standort aus betrachtbare Anzeige zu erzeugen. Ein stereoskopisches dreidimensionales Bild kann mit der Anzeige 125 erzeugt werden durch Wiedergeben des ersten Anzeigebildes auf einem Abschnitt eines Pixelgitters derart, dass es durch die Mikrolinsenanordnung von einem ersten Standort aus betrachtet wird, der einem ersten Auge eines Benutzers entspricht, und eines zweiten Anzeigebildes auf einem Abschnitt des Pixelgitters derart, dass es durch die Mikrolinsenanordnung von einem zweiten Standort aus betrachtet wird, der einem zweiten Auge eines Benutzers entspricht, derart, dass das zweite Anzeigebild einen Tiefenversatz von dem ersten Anzeigebild darstellt, um eine Parallaxe zu simulieren. So kann zum Beispiel das Pixelgitter ein erstes Anzeigebild anzeigen, das von dem linken Auge eines Teilnehmers durch die Mikrolinsenanordnung zu betrachten ist und das Pixelgitter kann ein zweites Anzeigebild anzeigen, das von dem rechten Auge eines Teilnehmers durch die Mikrolinsenanordnung zu betrachten ist. Der erste und der zweite Standort können auf einem Standort (z. B. einem lateralen/vertikalen Standort, einer Position, einer Tiefe, einem Standort eines linken oder rechten Auges) des Betrachters mit Bezug auf die Anzeigebasieren basieren. In einigen Implementierungen können die erste und die zweite Richtung zum Erzeugen des ersten und des zweiten Anzeigebildes durch Auswählen bestimmter Pixel aus einer mit der Mikrolinsenanordnung verknüpften Pixelanordnung bestimmt werden.
-
In einigen Implementierungen kann die Mikrolinsenanordnung eine Vielzahl von Mikrolinsenpaaren beinhalten, die zwei Mikrolinsen enthalten, wobei die Anzeige 125 zum Anzeigen von Bildern ggf. mindestens zwei der Mikrolinsen verwendet. In einigen Implementierungen wählt das Verarbeitungsgerät 130 möglicherweise einen Satz aus ausgehenden Strahlen aus, durch die ein Bild durch die Mikrolinsen betrachtet werden kann, um ein Bild für ein linkes Auge und ein Bild für ein rechtes Auge auf Grundlage von Standortinformationen, die der Position des Teilnehmers mit Bezug auf die Anzeige 125 entsprechen (der Standort kann im Einklang mit den offenbarten Implementierungen durch die Kameraanordnung 180 erfasst werden). In einigen Implementierungen deckt jede von einer Vielzahl von Mikrolinsen manche der Pixel ab (kann z. B. über diesen angeordnet sein oder mit diesen verknüpft sein), sodass jeder Pixel aus einer begrenzten Teilmenge von Richtungen vor der Anzeige 125 sichtbar ist. Wenn der Standort des Betrachters bekannt ist, kann die Teilmenge von Pixeln unter jeder Linse (auf der gesamten Anzeige 125), die von einem Auge aus sichtbar ist, und die Teilmenge von Pixeln auf der Anzeige 125, die von dem anderen Auge aus sichtbar ist, identifiziert werden. Durch Auswählen, für jeden Pixel, des entsprechenden wiedergegebenen Bildes, das der virtuellen Ansicht entspricht, die von den Standorten der Augen des Benutzers aus zu sehen wäre, kann jedes Auge das korrekte Bild sehen.
-
Das Verarbeitungsgerät 130 beinhaltet möglicherweise ein oder mehrere zentrale Verarbeitungseinheiten, andere Arten von Verarbeitungseinheiten oder Kombinationen derselben.
-
In einigen Implementierungen kann der Standort des Benutzers mit Bezug auf das Endgerät zum gleichzeitigen Projizieren von mindestens zwei Bildern an den Benutzer des Endgeräts über die Mikrolinsen durch verschiedene Mechanismen bestimmt werden. So kann zum Beispiel ein Infrarot-Verfolgungssystem einen oder mehrere mit dem Benutzer gekoppelte Marker (z. B. die an einer Brille oder einer am Kopf getragenen Vorrichtung befestigten Marker) einsetzen. Als ein weiteres Beispiel kann eine Infrarotkamera eingesetzt werden. Die Infrarotkamera kann mit einer vergleichsweise schnellen Gesichtserkennungsvorrichtung konfiguriert werden, um die Augen des Benutzers in mindestens zwei Bildern zu erkennen und den Standort in 3D zu triangulieren. Als noch ein weiteres Beispiel können Farbpixel (z. B. RGB-Pixel) und ein Tiefensensor eingesetzt werden, um Standortinformationen des Benutzers zu bestimmen (z. B. direkt zu bestimmen). In einigen Implementierungen beträgt die Bildfrequenz zum genauen Verfolgen mit dem System mindestens 60 Hz (z. B. mindestens 120 Hz).
-
In einigen Implementierungen erzeugt die Anzeige 125 eine umschaltbare transparente 3D-Linsenanzeige. Die Anzeige 125 in diesen Implementierungen ermöglicht ggf. das Platzieren der Kameraanordnung 180 hinter der Anzeige 125 zum Simulieren von Blickkontakt während der Videokonferenz. In einigen Implementierungen kann die Anzeige 125 organische Leuchtdioden (OLEDs) beinhalten, die klein genug sind, sodass sie nicht leicht durch ein menschliches Auge oder eine Kameralinse erkannt werden, wodurch die Anzeige 125 effektiv transparent gestaltet wird. Diese OLEDs können zudem ausreichend hell sein, damit, wenn sie beleuchtet sind, der Bereich für das Licht, das sie ausstrahlen, deutlich größer ist als ihre jeweilige Fläche. Infolgedessen sind die OLEDs, obgleich sie nicht leicht mit einem menschlichen Auge oder einer Kameralinse zu erkennen sind, ausreichend hell, um die Anzeige 125 mit einem wiedergegebenen Bild ohne Lücken in dem angezeigten Bild zu beleuchten. In einer umschaltbaren transparenten 3D-Linsenanzeige können die OLEDs derart in dem Glassubstrat eingebettet sein, dass Glas zwischen aufeinanderfolgenden Zeilen der OLEDs angeordnet ist. Diese Anordnung führt dazu, dass Anzeige 125 transparent ist, wenn die OLEDs nicht beleuchtet sind, jedoch (aufgrund des auf der Anzeige 125 angezeigten Bildes) opak ist, wenn diese beleuchtet sind.
-
In Implementierungen, in denen die Kameraanordnung 180 hinter der Anzeige 125 angeordnet ist, ist die Kameraanordnung 180 möglicherweise nicht in der Lage, sichtbares Licht zu erfassen, wenn die OLEDs beleuchtet sind. In Implementierungen, bei denen die Anzeige 125 eine umschaltbare transparente 3D-Linsenanzeige beinhaltet, kann das Verarbeitungsgerät 130 die Beleuchtung der OLEDs der Anzeige 125 mit der Kameraanordnung 180 derart synchronisieren, dass, wenn die OLEDs beleuchtet sind, die Kameraanordnung 180 kein sichtbares Licht erfasst, wenn die OLEDs jedoch nicht beleuchtet sind, die Kameraanordnung 180 sichtbares Licht und Infrarotlicht erfasst, um Bilddaten, Tiefendaten und/oder Standortdaten im Einklang mit offenbarten Implementierungen zu bestimmen. Das Verarbeitungsgerät 130 synchronisiert möglicherweise die Beleuchtung der OLEDs der Anzeige 125 mit der Bilderfassung der Kameraanordnung 180 mit einer höheren Frequenz, als mit dem menschlichen Auge zu erkennen wäre, wie z. B. mit 90 Bildern pro Sekunde.
-
Da es sich bei der Anzeige 125 um eine Linsenanzeige handelt, erzeugt, wenn die Kameraanordnung 180 hinter einer nicht umschaltbaren transparenten 3D-Linsenanzeige angeordnet ist, der Linsencharakter der Anzeige 125 möglicherweise Verzerrungen im sichtbaren Licht und im Infrarotlicht, die mit der Kameraanordnung 180 erfasst werden. Infolgedessen ist die Anzeige 125 in einigen Implementierungen möglicherweise eine umschaltbare transparente 3D-Linsenanzeige. In Implementierungen einer umschaltbaren transparenten 3D-Linsenanzeige bestehen die Mikrolinsen der Mikrolinsenanordnung möglicherweise aus einem ersten Material und einem zweiten Material. So können zum Beispiel mindestens einige der Mikrolinsen aus einem ersten Material und mindestens einige der Mikrolinsen aus einem zweiten Material bestehen. Das erste Material ist möglicherweise ein Material, das von elektrischem Strom nicht beeinflusst (z. B. im Wesentlichen nicht beeinflusst) wird, während das zweite Material von einem elektrischen Strom beeinflusst (z. B. im Wesentlichen beeinflusst) wird. Möglicherweise weisen das erste Material und das zweite Material verschiedene Brechungsindizes auf, wenn kein Strom an das zweite Material angewendet wird. Dies kann zu einer Brechung an den Grenzflächen zwischen den Mikrolinsen aus dem ersten Material aus dem zweiten Material führen, wodurch eine Linsenanzeige erzeugt wird. Wenn ein Strom an das zweite Material angewendet wird, bewirkt der Strom möglicherweise, dass der Brechungsindex des zweiten Materials sich derart ändert, dass er dem Brechungsindex des ersten Material entspricht, wodurch der Linsencharakter der Anzeige 125 derart geändert wird, dass die zwei Materialien einen einzigen rechteckigen Block mit einheitlicher Brechung ausbilden, wodurch ermöglicht wird, dass das Bild der Anzeige unverzerrt ausgegeben wird. In einigen Implementierungen wird der Strom sowohl auf das erste Material als auch auf das zweite Material angewendet, wobei der Strom die zuvor beschriebene Auswirkung auf das zweite Material und keine Auswirkung auf das erste Material hat. Demnach legt, wenn die Anzeige 125 ein Bild anzeigt (z. B. ihre OLEDs beleuchtet sind), das Verarbeitungsgerät 130 möglicherweise keinen Strom an die Mikrolinsenanordnung an und die Anzeige 125 funktioniert möglicherweise als eine Linsenanordnung (z. B. wenn eingeschaltet). Wenn die OLEDs der Anzeige 125 nicht beleuchtet sind und das Verarbeitungsgerät 130 die Kameraanordnung 180 anweist, sichtbares Licht und Infrarotlicht zu erfassen, kann das Verarbeitungsgerät 130 bewirken, dass ein Strom auf die Anzeige 125 angewendet wird, wodurch die Mikrolinsen aus dem zweiten Material beeinflusst werden. Das Anwenden von Strom kann die Brechungsindizes für die Linsen aus dem zweiten Material ändern, woraufhin die Anzeige 125 demnach möglicherweise nicht als eine Linsenanordnung wirkt (z. B. kann die Anzeige 125 transparent sein oder als eine klare Glasscheibe ohne eine Linseneffekt wirken).
-
In einigen Implementierungen kann das Endgerät 120 das Verarbeitungsgerät 130 beinhalten. Das Verarbeitungsgerät 130 führt möglicherweise Funktionen und Vorgänge aus, um zu bewirken (z. B. auszulösen), dass die Anzeige 125 Bilder anzeigt. In einigen Implementierungen steht das Verarbeitungsgerät 130 möglicherweise in Kommunikation mit der Kameraanordnung 180, um Rohdaten zu empfangen, die die Position und den Standort eines Benutzers von Endgerät 120 darstellen. Das Verarbeitungsgerät 130 steht möglicherweise auch in Kommunikation mit dem Netzwerkadapter 160, um Bilddaten und Tiefendaten von anderen an einer Videokonferenz teilnehmenden Endgeräten 120 zu empfangen. Das Verarbeitungsgerät 130 verwendet möglicherweise die von der Kameraanordnung 180 empfangenen Standort- und Positionsdaten und die Bilddaten und die Tiefendaten von Netzwerkadapter 160, um dreidimensionale stereoskopische Bilder auf der Anzeige 125 im Einklang mit offenbarten Implementierungen wiederzugeben.
-
In einigen Implementierungen führt das Verarbeitungsgerät 130 möglicherweise Funktionen und Vorgänge aus, um von der Kameraanordnung 180 empfangene Rohdaten in Bilddaten, Tiefendaten und/oder Standortdaten zu übersetzen, die über Netzwerkadapter 160 an andere Endgeräte 120 in einer Videokonferenz kommuniziert werden können. So kann zum Beispiel während einer Videokonferenz die Kameraanordnung 180 sichtbares Licht und/oder Infrarotlicht erfassen, das von einem Benutzer von Endgerät 120 reflektiert wird. Die Kameraanordnung 180 kann elektronische Signale an das Verarbeitungsgerät 130 senden, die dem erfassten sichtbaren Licht und/oder Infrarotlicht entsprechen. Das Verarbeitungsgerät 130 kann das erfasste sichtbare Licht und/oder Infrarotlicht erfassen und Bilddaten (z. B. Daten, die RGB-Werten für einen Pixelsatz entsprechen, der als ein Bild wiedergegeben werden kann) und/oder Tiefendaten (z. B. Daten, die der Tiefe von jedem der RGB-Werte für den Pixelsatz in einem wiedergegebenen Bild entsprechen) bestimmen. In einigen Implementierungen kann das Verarbeitungsgerät 130 die Bilddaten und/oder Tiefendaten derart komprimieren oder codieren, dass weniger Speicher oder Bandbreite benötigt wird, bevor sie die Bilddaten oder die Tiefendaten über Netzwerk 190 kommuniziert. Dementsprechend kann das Verarbeitungsgerät 130 empfangene Bilddaten oder Tiefendaten entkomprimieren oder decodieren, bevor das Verarbeitungsgerät 130 stereoskopische dreidimensionale Bilder wiedergibt.
-
Nach bestimmten Implementierungen beinhaltet das Endgerät 120 möglicherweise die Lautsprecheranordnung 140 und die Mikrofonanordnung 150. Die Lautsprecheranordnung 140 kann Audio aussenden, das Audiodaten entspricht, die in einer Videokonferenz von anderen Endgeräten 120 empfangen worden sind. Die Lautsprecheranordnung 140 beinhaltet möglicherweise einen oder mehrere Lautsprecher, die an mehreren Standorten angeordnet sein können, um zum Beispiel Richt-Audio wiederzugeben. Die Mikrofonanordnung 150 kann Audio erfassen, das einem Benutzer von Endgerät 120 entspricht. Die Mikrofonanordnung 150 beinhaltet möglicherweise einen oder mehrere Lautsprecher, die an mehreren Standorten angeordnet sein können, um zum Beispiel Richt-Audio wiederzugeben. In einigen Implementierungen kann ein Verarbeitungsgerät (z. B. Verarbeitungsgerät 130) von der Mikrofonanordnung 150 erfasstes und an andere Endgeräte 120, die an der Videokonferenz teilnehmen, über Netzwerkadapter 160 und Netzwerk 190 kommuniziertes Audio komprimieren oder codieren.
-
Das Endgerät 120 kann zudem E/A-Geräte 170 beinhalten. Die E/A-Geräte 170 können Eingabe- und/oder Ausgabegeräte zum Steuern der Videokonferenz, an der das Endgerät 120 teilnimmt, beinhalten. So können z. B. die E/A-Geräte 170 Tasten oder Touchscreens beinhalten, die eingesetzt werden können, um Kontrast, Helligkeit oder Vergrößerungsstufe der Anzeige 125 einzustellen. Die E/A-Geräte 170 können zudem eine Tastaturschnittstelle beinhalten, die eingesetzt werden kann, um auf Anzeige 125 wiedergegebene Bilder zu annotieren, oder Anmerkungen zum Kommunizieren mit anderen Endgeräten 120 beinhalten, die an einer Videokonferenz teilnehmen.
-
Nach bestimmten Implementierungen beinhaltet das Endgerät 120 die Kameraanordnung 180. Die Kameraanordnung 180 kann eine oder mehrere Kameraeinheiten beinhalten. In einigen Implementierungen beinhaltet Kameraanordnung 180 einige Kameraeinheiten, die hinter der Anzeige 125 positioniert sind und eine oder mehrere Kameraeinheiten, die neben dem Umfang von Anzeige 125 (d. h. Kameraeinheiten, die nicht hinter der Kameraanordnung 180 positioniert sind) positioniert sind. So kann zum Beispiel die Kameraanordnung 180 eine Kameraeinheit, drei Kameraeinheiten oder sechs Kameraeinheiten beinhalten. Jede Kameraeinheit der Kameraanordnung 180 kann einen Bildsensor, einen Infrarotsensor und/oder einen Infrarotsender beinhalten. Die nachfolgend erläuterte 4 beschreibt eine Implementierung einer Kameraeinheit 182 noch ausführlicher.
-
In einigen Implementierungen kann das Endgerät 120 möglicherweise Speicher 185 beinhalten. Bei dem Speicher 185 kann es sich je nach der Implementierung um eine oder mehrere flüchtige Speichereinheiten oder eine oder mehrere nicht flüchtige Speichereinheiten handeln. Der Speicher 185 kann eine beliebige Form von computerlesbarem Medium sein, wie beispielsweise ein magnetischer oder optischer Datenträger oder ein Solid-State-Speicher. Nach bestimmten Implementierungen können im Speicher 185 Anweisungen gespeichert sein, die das Verarbeitungsgerät 130 veranlassen, Funktionen und Vorgänge auszuführen, die den offenbarten Implementierungen entsprechen.
-
In einigen Implementierungen kommunizieren die Endgeräte 120 des dreidimensionalen Telepräsenzsystems 100 verschiedene Formen von Daten zwischen einander, um die Videokonferenz zu ermöglichen. In einigen Implementierungen können die Endgeräte 120 Bilddaten, Tiefendaten, Audiodaten und/oder Standortdaten kommunizieren, die jedem jeweiligen Benutzer von Endgerät 120 entsprechen. Das Verarbeitungsgerät 130 eines jeden Endgeräts 120 kann empfangene Bilddaten, Tiefendaten und/oder Standortdaten verwenden, um stereoskopische dreidimensionale Bilder auf der Anzeige 125 wiederzugeben. Das Verarbeitungsgerät 130 kann Audiodaten interpretieren, um die Lautsprecheranordnung 140 anzuweisen, Audio wiederzugeben, das den Audiodaten entspricht. In einigen Implementierungen können die Bilddaten, die Tiefendaten, die Audiodaten und/oder die Standortdaten komprimiert und/oder codiert sein und das Verarbeitungsgerät 130 kann Funktionen und Vorgänge ausführen, um die Daten zu entkomprimieren oder zu decodieren. In einigen Implementierungen können Bilddaten in einem Standardbildformat, wie z. B. JPEG oder MPEG, vorliegen. Die Tiefendaten können in einigen Implementierungen eine Matrix sein, die Tiefenwerte für jeden Pixel der Bilddaten in einer Eins-zu-eins-Entsprechung spezifiziert. Dementsprechend können die Audiodaten in einem Standardaudioformat vorliegen, das nach dem Stand der Technik bekannt ist, die in einigen Implementierungen ggf. Voice-over-Internet-Protokoll(VoIP)-Techniken einsetzen.
-
Je nach der Implementierung kann das Netzwerk 190 ein oder mehrere beliebige Netzwerktypen, wie z. B. ein oder mehrere lokale Netzwerke, Großraumnetzwerke, persönliche Netzwerke, Telefonnetzwerke und/oder das Internet, beinhalten, die über beliebige drahtgebundene und/oder drahtlose Kommunikationsprotokolle zugänglich sind. So kann zum Beispiel das Netzwerk 190 eine Internetverbindung beinhalten, über die jedes Endgerät 120 kommuniziert. Jede andere Kombination von Netzwerken, einschließlich gesicherter und ungesicherter Netzwerkkommunikationsverbindungen wird für den Gebrauch mit den hierin beschriebenen Systemen in Betracht gezogen.
-
3A zeigt eine Implementierung von Endgerät 120, in der die Kameraanordnung 180 drei Kameraeinheiten 182 beinhaltet, die entlang des Umfangs von Anzeige 125 angeordnet sind. Die Implementierung aus 3A beinhaltet drei Kameraeinheiten 182, eine erste oben auf der Anzeige 125, eine zweite, links von der Anzeige 125, und eine dritte, rechts von der Anzeige 125. In den Implementierungen aus 3A kann die Anzeige 125 eine brillenlose 3D-Linsenanzeige sein. Nach bestimmten Implementierungen kann jede Kameraeinheit 182 der Kameraanordnung 180 eine Linse 310 und einen Infrarotsender 320 beinhalten. Die Kameraeinheit 182 verwendet die Linse 310, um sichtbares Licht und Infrarotlicht zu erfassen, die dem Benutzer von Endgerät 120 entsprechen. Der Infrarotsender 320 sendet in einigen Implementierungen möglicherweise Infrarotlicht aus, das von dem Benutzer des Endgeräts 120 und von der Umgebung des Benutzers reflektiert und von der Linse 310 (wie nachfolgend mit Bezug auf 4 noch ausführlicher beschrieben) erfasst wird.
-
3B zeigt eine weitere Implementierung von Endgerät 120. In dieser Implementierung ist die Anzeige 125 eine brillenlose umschaltbare transparente 3D-Linsenanzeige im Einklang mit offenbarten Implementierungen. Darüber hinaus kann in dieser Implementierung die Kameraanordnung 180 hinter der Anzeige 125 angeordnet sein. Durch das Anordnen der Kameraanordnung 180 hinter der Anzeige 125 kann die Wahrscheinlichkeit eines Blickkontakts während einer Videokonferenz erhöht werden, da die Kameraeinheiten 182 der Kameraanordnung 180 in einer Position angeordnet sind, in die ein Benutzer von Endgerät 120 am wahrscheinlichsten schauen wird. In herkömmlichen Videokonferenzsystemen wird eine einzelne Kamera typischerweise am Umfang der Anzeige angeordnet, die von dem Teilnehmer der Videokonferenz betrachtet wird. Infolgedessen kann der Blickkontakt zwischen Teilnehmern der Videokonferenz unterbunden werden. Durch Einsatz einer brillenlosen umschaltbaren transparenten 3D-Linsenanzeige kann die Kameraanordnung 180 hinter dem Bildschirm angeordnet und der Blickkontakt während der Videokonferenz erhöht werden.
-
Obgleich 3A und 3B verschiedene exemplarische Implementierungen der Kameraanordnung 180 mit mehreren an verschiedenen Standorten in der Nähe der Anzeige 125 angeordneten Kameraeinheiten 182 darstellen, können Kameraeinheiten 182 an anderen Standorten in der Nähe der Anzeige 125 angeordnet sein, ohne vom Sinn und vom Umfang der vorliegenden Offenbarung abzuweichen. So können zum Beispiel, obgleich die in 3A und 3B dargestellte Implementierung die drei Kameraeinheiten 182 in der Nähe von Anzeige 125 angeordnet zeigt, andere Implementierungen mehr oder weniger Kameraeinheiten 182 beinhalten. Darüber hinaus können, obgleich in den in 3A und 3B gezeigten Implementierungen die Kameraeinheiten 182 der Kameraanordnung 180 an festen Standorten dargestellt werden, Kameraeinheiten 182 einstellbar sein oder gemäß bestimmten Implementierungen bewegbar sein. So können zum Beispiel eine oder mehrere der Kameraeinheiten 182 mit beweglichen Stellgliedern verbunden sein, die den Standort und/oder die Drehung der Kameraeinheit 182 je nach den Standortdaten in Verbindung mit dem Benutzer des Endgeräts 120 einstellen.
-
4 zeigt eine exemplarische Kameraeinheit 182 der Kameraanordnung 180, einen Aussende-Lichtpfad 410 für Infrarotlicht, das von dem Infrarotsender 320 der Kameraanordnung 180 ausgestrahlt wird, und einen Empfangs-Lichtpfad 420 für sichtbares Licht und Infrarotlicht, die von der Kameraanordnung 180 empfangen werden, in einigen Implementierungen. Die Kameraeinheit 182 kann Infrarotsender 320, Linse 310, Strahlteiler 440, Bildsensor 450 und Infrarot-Tiefensensor 460 beinhalten. Nach einigen Implementierungen strahlt der Infrarotsender 320 eine Infrarotlichtwelle als Aussende-Lichtpfad 410 aus. Der Aussende-Lichtpfad 410 wird ggf. von einem Benutzer 105 reflektiert und ist möglicherweise Teil des über Linse 310 von der Kameraeinheit 182 erfassten Empfangs-Lichtpfads 420. Darüber hinaus beinhaltet der Empfangs-Lichtpfad 420 über Linse 310 möglicherweise auch sichtbares Licht (z. B. Licht im sichtbaren Farbspektrum). Der Strahlteiler 440 kann das erfasste Licht teilen und es an Bildsensor 450 und Infrarotsender 460 senden. Der Bildsensor 450 und der Infrarot-Tiefensensor 460 können in einigen Implementierungen Rohdaten an das Verarbeitungsgerät 130 senden, die der Frequenz und der Phase des erfassten Lichts entsprechen.
-
In einigen Implementierungen kann der Bildsensor 450 ein Bildsensor sein, der in der Lage ist, sichtbares Licht zu erfassen und es mit Rot-Grün-Blau(RGB)-Werten, CMYK-Werten und/oder YUV-Werten in Verbindung zu bringen. In einigen Implementierungen kann der Bildsensor 450 ein hochauflösender (HD) oder ein 4K-Auflösungs-Sensor sein.
-
In einigen Implementierungen können der Infrarotsensor 320 und der Infrarot-Tiefensensor 460 ein Laufzeitsender beziehungsweise ein Laufzeitsensor sein. In einigen Implementierungen sendet der Infrarotsender 320 einen Sinuswellenimpuls aus Infrarotlicht. Das Infrarotlicht kann von Objekten in dessen Pfad reflektiert, in die Kameraanordnung 180 zurückgeworfen und durch den Infrarot-Tiefensensor 460 erfasst werden. In einigen Implementierungen kann der Infrarot-Tiefensensor 460 (oder das Verarbeitungsgerät 130 in anderen Implementierungen) den Phasenversatz zwischen dem von dem Infrarotsender 320 ausgesendeten Infrarotlicht-Sinuswellenimpuls und dem von dem Infrarot-Tiefensensor 460 erfassten Infrarotlicht-Sinuswellenimpuls bestimmen. Der Phasenversatz kann eingesetzt werden, um zum Beispiel Tiefe zu bestimmen. In einigen Implementierungen können Infrarotsender 320 und Infrarot-Tiefensensor 460 ein Sender beziehungsweise Empfänger für aktives Stereo, unstrukturiertes Lichtstereo oder unterstützende projizierte Textur (gemeinsam der Einfachheit der Erläuterung halber als aktives Stereo bezeichnet) sein. In einigen Implementierungen sendet der Infrarotsender 320 eine unstrukturierte Hochfrequenztextur aus Infrarotlicht aus, die von Objekten in dessen Pfad reflektiert und zu der Kameraanordnung 180 zurückgeführt werden kann. In Implementierungen von aktivem Stereo sind möglicherweise Infrarot-Tiefensensoren 460 von mehreren Kameraeinheiten erforderlich, um die Tiefe von Objekten zu berechnen. In einigen Implementierungen können der Infrarotsensor 320 und der Infrarot-Tiefensensor 460 ein Sender beziehungsweise Sensor für codiertes Lichtstereo sein. In Implementierungen mit codiertem Lichtstereo erzeugt der Infrarotsender 320 ein spezifisches Muster aus Licht, das eingesetzt werden kann, um Stereotriangulierung durchzuführen, um die Tiefe von Punkten in dessen erfassten Bild zu bestimmen.
-
Nach bestimmten Implementierungen teilt der Strahlteiler 440 eingehendes Licht derart, dass Lichtsensor 450 Infrarot-Tiefensensor 460 dasselbe Licht empfangen. In einigen Implementierungen weisen Bildsensor 450 und Infrarot-Tiefensensor 460 dieselbe oder im Wesentlichen dieselbe Geometrie auf, sodass eine Frequenz eines sichtbaren Lichts, die einem Punkt in der Geometrie des Bildsensors 450 entspricht, direkt einer Infrarotlichtfrequenz entspricht, die einem Punkt in der Geometrie des Infrarot-Tiefensensors 460 entspricht. Infolgedessen weist ein RGB-Wert für ein Pixel in einem von Bildsensor 450 erfasstem Licht eine eindeutige Entsprechung als ein Tiefenwert für ein entsprechendes Pixel an derselben Stelle in dem von dem Infrarot-Tiefensensor 460 erfasstem Bild auf. In einigen Implementierungen können von Bildsensor 450 und von Infrarot-Tiefensensor 460 erfasste Bilder eingesetzt werden, um ein Tiefennetz für das von Bildsensor 450 erfasste Bild zu erzeugen. Da die Geometrie von Bildsensor 450 und Infrarotsensor 460 dieselben sind, kann das Tiefennetz ferner ohne oder mit nur begrenzter Kalibrierung erzeugt werden.
-
5 zeigt ein Ablaufdiagramm, das einen exemplarischen Vorgang 500 zum Darstellen eines dreidimensionalen stereoskopischen Bildes in einem Videokonferenz-Endgerät im Einklang mit offenbarten Implementierungen darstellt. Nach bestimmten Implementierungen kann der Vorgang 500 zum Darstellen eines Bildes durch eine oder mehrere Komponenten eines Videokonferenz-Endgeräts, wie z B. durch Endgerät 120, ausgeführt werden. Obgleich die folgende Erläuterung den Vorgang 500 zum Darstellen eines Bildes als durch ein Videokonferenz-Endgerät ausgeführt beschreibt, können andere Komponenten eines Computersystems, das konfiguriert ist, dreidimensionale Bilder an einem Videokonferenz-Endgerät zu erzeugen, den Vorgang 500 zum Darstellen eines Bildes ausführen, ohne vom Sinn und vom Umfang der vorliegenden Offenbarung abzuweichen.
-
In Schritt 510 erzeugt ein Infrarotsender einer Kameraeinheit des lokalen Endgeräts das erste Infrarotlicht. Das erste Infrarotlicht kann von Objekten in dessen Pfad reflektiert werden. Die Kameraeinheit des lokalen Endgeräts kann das reflektierte Infrarotlicht in Schritt 520 empfangen. Ein Infrarotlichtsensor in der Kameraeinheit kann in Schritt 530 das empfangene zweite Infrarotlicht erfassen und Rohdaten an die Verarbeitungseinheit des lokalen Endgeräts bereitstellen, der Tiefendaten auf Grundlage einer Differenz zwischen dem ersten Infrarotlicht und dem zweiten Infrarotlicht bestimmt. In einigen Implementierungen kann der Schritt 530 durch den Infrarotlichtsensor oder eine andere Komponente von Endgerät 120 ausgeführt werden. In einigen Implementierungen werden die Tiefendaten auf Grundlage eines Laufzeitverfahrens bestimmt, das den Phasenversatz zwischen dem ersten Infrarotlicht und dem zweiten Infrarotlicht misst, während in verschiedenen anderen Implementierungen andere Techniken, wie z. B. aktives Stereo oder codiertes Lichtstereo, eingesetzt werden können.
-
In Schritt 540 bestimmt das lokale Endgerät Bilddaten aus dem erfassten sichtbaren Licht. In einigen Implementierungen kann ein Bildsensor, der Teil der Kameraeinheit des lokalen Endgeräts ist, das sichtbare Licht erfassen und daraus Bilddaten bestimmen. In einigen Implementierungen kann der Bildsensor Rohdaten bestimmen, die dem erfassten sichtbaren Licht entsprechen, das an eine Verarbeitungseinheit des lokalen Endgeräts (z. B. grafische Verarbeitungseinheit 130) kommuniziert wird, um die Bilddaten zu bestimmen. In einigen Implementierungen wird Schritt 540 gleichzeitig mit einem oder mehreren Schritten aus 510, 520 und 530 ausgeführt.
-
In Schritt 550 kommuniziert das lokale Endgerät möglicherweise die erfassten Tiefendaten und die erfassten Bilddaten an ein entferntes Endgerät. Das lokale Endgerät kann Tiefendaten und Bilddaten von dem entfernten Endgerät empfangen und diese einsetzen, um ein dreidimensionales stereoskopisches Bild zu erzeugen, das ein erstes Bild (das zum Beispiel dem linken Auge entsprechen kann) und ein zweites Bild (das zum Beispiel dem rechten Auge entsprechen kann) beinhaltet. In Schritt 560 kann das Endgerät das erste Bild durch eine Mikrolinse einer Mikrolinsenanordnung erzeugen, die die Anzeige des lokalen Endgeräts ausmacht. Das erste Bild basiert möglicherweise auf den empfangenen Bilddaten und auf den lokalen Standortdaten. Das lokale Endgerät kann zudem in Schritt 570 ein zweites Bild durch die Mikrolinse der Mikrolinsenanordnung erzeugen, die die Anzeige des lokalen Endgeräts bildet. Das zweite Bild basiert ggf. sowohl auf den empfangenen Bilddaten als auch auf den lokalen Standortdaten. Die lokalen Standortdaten können einen Standort eines Betrachters (z. B. eines Auges des Betrachters) mit Bezug auf das lokale Endgerät angeben. In mindestens einigen Implementierungen können das erste und das zweite Bild mindestens zum Teil auf Grundlage von empfangenen Tiefendaten von dem entfernten Endgerät erzeugt werden. In einigen Implementierungen werden die Schritte 560 und 570 in einer anderen Reihenfolge oder gleichzeitig ausgeführt.
-
In einigen Implementierungen kann Endgerät 120 ein dediziertes Computergerät beinhalten, das fest mit Anzeige 125 verdrahtet ist. In diesen Implementierungen sind Verarbeitungsgerät 130, Lautsprecheranordnung 140, Mikrofonanordnung 150, Netzwerkadapter 160, E/A-Geräte 170 und Speicher 185 möglicherweise im selben Gehäuse angeordnet wie Anzeige 125 oder mit Anzeige 125 verbunden, sodass diese nicht leicht von Benutzern entfernt werden können (z. B. sind die Verbindungen zusammengelötet oder die Verbindungen können nicht getrennt werden, ohne das Gehäuse von Anzeige 125 zu öffnen). In einigen Implementierungen kann die von Verarbeitungsgerät 130, Lautsprecheranordnung 140, Mikrofonanordnung 150, Netzwerkadapter 160, E/A-Geräten 170 und Speicher 185 ausgeführte Funktionalität von einem externen herkömmlichen Computergerät ausgeführt werden, das mit Anzeige 125 und Kameraanordnung 180 verbunden ist. In diesen Implementierungen kann das herkömmliche Computergerät die den offenbarten Implementierungen des dreidimensionalen Telepräsenzsystems entsprechenden Vorgänge ausführen und elektronische Signale an Anzeige 125 senden, um die Anzeige „anzusteuern“, um dreidimensionale Bilder zu erzeugen.
-
Obgleich der Vorgang 500 in einer bestimmten Reihenfolge dargestellt und erläutert wird, ist dieser Vorgang nicht auf diese bestimmte Reihenfolge beschränkt, zudem werden in einigen Implementierungen mindestens einige der Schritte des Vorgangs 500 in einer anderen Reihenfolge ausgeführt. Darüber hinaus werden in einigen Implementierungen mehrere der Schritte des Vorgangs 500 gleichzeitig ausgeführt.
-
6 zeigt ein Beispiel eines generischen Computergeräts 600, das mit den hier beschriebenen Techniken verwendet werden kann. Das Computergerät 600 soll verschiedene Formen von Digitalrechnern, wie z. B. Laptops, Desktops, Tablets, Workstations, persönliche digitale Assistenten, Fernseher, Server, Blade-Server, Mainframes und andere geeignete Computergeräte, darstellen. Die hier gezeigten Komponenten, deren Verbindungen, Beziehungen und Funktionen sollen lediglich exemplarisch sein und die Implementierungen der in diesem Dokument offenbarten Implementierungen in keiner Weise einschränken.
-
Das Computergerät 600 beinhaltet einen Prozessor 602, einen Speicher 604, ein Speichergerät 606, eine Hochgeschwindigkeitsschnittstelle 608, die mit Speicher 604 und Hochgeschwindigkeitserweiterungsanschlüssen 610 verbunden wird, sowie eine Niedergeschwindigkeitsschnittstelle 612, die mit dem Niedergeschwindigkeitsbus 614 und dem Speichergerät 606 verbunden wird. Der Prozessor 602 kann ein halbleiterbasierter Prozessor sein. Der Speicher 604 kann ein halbleiterbasierter Speicher sein. Alle Komponenten 602, 604, 606, 608, 610 und 612 sind unter Verwendung verschiedener Busse miteinander verbunden und können auf einer gängigen Hauptplatine oder gegebenenfalls in anderer Weise montiert sein. Der Prozessor 602 kann Befehle zur Ausführung innerhalb des Computergeräts 600 verarbeiten, die Befehle beinhalten, die in dem Speicher 604 oder auf dem Speichergerät 606 gespeichert sind, um grafische Informationen für eine GUI auf einem externen Eingabe-/Ausgabegerät, wie z. B. der Anzeige 616, die mit der Hochgeschwindigkeitsschnittstelle 608 verbunden ist, anzuzeigen. In anderen Implementierungen können gegebenenfalls mehrere Prozessoren und/oder mehrere Busse zusammen mit mehreren Speichern und Speicherarten verwendet sein. Zudem können mehrere Computergeräte 600 verbunden sein, wobei jedes Gerät Teile der notwendigen Vorgänge (z. B. als Serverbank, Gruppe von Blade-Servern oder Mehrprozessorsystem) bereitstellt.
-
Der Speicher 604 speichert Informationen innerhalb des Computergeräts 600. In einer Implementierung handelt es sich bei dem Speicher 604 eine nicht flüchtige Speichereinheit oder -einheiten. In einer anderen Implementierung handelt es sich bei dem Speicher 604 um eine nicht flüchtige Speichereinheit oder -einheiten. Der Speicher 604 kann zudem eine andere Form von computerlesbarem Medium, wie beispielsweise ein magnetischer oder optischer Datenträger, sein.
-
Das Speichergerät 606 ist in der Lage, Massenspeicher für die Computergeräte 600 bereitzustellen. In einer Implementierung kann das Speichergerät 606 ein computerlesbares Medium, wie z. B. ein Floppy-Disk-Laufwerk, ein Festplattenlaufwerk, ein optisches Laufwerk, eine Magnetbandeinheit, ein Flash-Speicher oder ein anderes ähnliches Solid-State-Speichergerät oder eine Reihe von Geräten, einschließlich Geräten in einem Speichernetzwerk oder anderen Konfigurationen, sein oder beinhalten. Ein Computerprogrammprodukt kann physisch in einem Informationsträger enthalten sein. Das Computerprogrammprodukt kann außerdem Befehle enthalten, die bei Ausführung ein oder mehrere Verfahren wie diejenigen, die vorstehend beschrieben sind, ausführen. Der Informationsträger ist ein computer- oder maschinenlesbares Medium, wie z. B. der Speicher 604, das Speichergerät 606 oder Speicher auf Prozessor 602.
-
Der Hochgeschwindigkeitscontroller 608 verwaltet bandbreitenintensive Operationen für das Computergerät 600, während der Niedergeschwindigkeitscontroller 612 weniger bandbreitenintensive Operationen verwaltet. Diese Zuordnung von Funktionen ist jedoch nur exemplarisch. In einer Implementierung ist der Hochgeschwindigkeitscontroller 608 mit Speicher 604, Anzeige 616 (z. B. über einen Grafikprozessor oder -beschleuniger) und mit den Hochgeschwindigkeitserweiterungsanschlüssen 610, die verschiedene Erweiterungskarten (nicht dargestellt) aufnehmen können, verbunden. In der Implementierung ist Niedergeschwindigkeitscontroller 612 an Speichergerät 606 und an Niedergeschwindigkeitserweiterungsanschluss 614 gekoppelt. Der Niedergeschwindigkeitserweiterungsanschluss, der ggf. verschiedene Kommunikationsanschlüsse (z. B. USB, Bluetooth, Ethernet, Funkethernet) beinhaltet, kann an ein oder mehrere Eingabe-/Ausgabegeräte, wie z. B. eine Tastatur, ein Zeigegerät, einen Scanner oder ein Netzwerkgerät wie einen Switch oder Router, z. B. durch einen Netzwerkadapter gekoppelt sein.
-
Das Computergerät 600 kann, wie in der Figur dargestellt, in einer Reihe unterschiedlicher Formen implementiert sein. Es kann beispielsweise als Standardserver 620 oder mehrfach in einer Gruppe jener Server implementiert sein. Es kann außerdem als Teil eines Rackserversystems 624 implementiert sein. Zusätzlich kann es in einem Personal-Computer, wie z. B. einem Laptop 622, implementiert sein. Alternativ können Komponenten von Computergerät 600 mit anderen Komponenten in einem Mobilgerät (nicht dargestellt) kombiniert sein. Jedes dieser Geräte kann ein oder mehrere von Computergeräten 600 enthalten und ein gesamtes System kann aus mehreren miteinander kommunizierenden Computergeräten 600 zusammengesetzt sein.
-
Verschiedene Implementierungen der hier beschriebenen Systeme und Techniken können in digitalen elektronischen Schaltungen, integrierten Schaltungen, speziell konzipierten ASICs (anwendungsorientierten integrierten Schaltungen), Computerhardware, Firmware, Software und/oder Kombinationen derselben realisiert sein. Diese verschiedenen Implementierungen können eine Implementierung in einem oder mehreren Computerprogrammen beinhalten, die auf einem programmierbaren System ausführbar und/oder interpretierbar sind, das mindestens einen programmierbaren Prozessor beinhaltet, bei dem es sich um einen Spezial- oder Universalprozessor handeln kann, und der zum Empfangen von Daten und Anweisungen von und zum Übertragen von Daten und Befehlen an ein Speichersystem, mindestens ein Eingabegerät und mindestens ein Ausgabegerät gekoppelt ist.
-
Diese Computerprogramme (auch bekannt als Programme, Software, Softwareanwendungen oder Code) beinhalten Maschinenbefehle für einen programmierbaren Prozessor und können in einer höheren prozeduralen und/oder objektorientierten Programmiersprache und/oder in Assembler-/Maschinensprache implementiert sein. Wie hierin verwendet, bezeichnen die Begriffe „maschinenlesbares Medium“, „computerlesbares Medium“ ein beliebiges Computerprogrammprodukt, eine beliebige Vorrichtung und/oder ein beliebiges Gerät (z. B. magnetische Platten, optische Platten, Speicher, programmierbare Logikbausteine (PLDs)), die verwendet werden, um einem programmierbaren Prozessor, darunter auch einem maschinenlesbaren Medium, das Maschinenbefehle als maschinenlesbares Signal empfängt, Maschinenbefehle und/oder Daten bereitzustellen. Der Begriff „maschinenlesbares Signal“ bezeichnet ein beliebiges Signal, das verwendet wird, um einem programmierbaren Prozessor Maschinenbefehle und/oder Daten bereitzustellen.
-
Die hier beschriebenen Systeme und Techniken können in einem Computersystem implementiert werden, das eine Backendkomponente (z. B. einen Datenserver) beinhaltet, oder das eine Middlewarekomponente (z. B. einen Applikationsserver) beinhaltet, oder das eine Frontendkomponente (z. B. einen Clientcomputer mit einer grafischen Benutzeroberfläche oder einem Webbrowser beinhaltet, durch die bzw. den ein Benutzer mit hier beschriebenen Systemimplementationen und Techniken interagieren kann) oder eine Kombination aus denselben Backend-, Middleware- oder Frontendkomponenten beinhaltet. Die Komponenten des Systems können durch eine beliebige Form oder ein beliebiges Medium digitaler Datenkommunikation (wie z. B. ein Kommunikationsnetzwerk, miteinander verbunden sein). Beispiele von Kommunikationsnetzwerken beinhalten ein lokales Netzwerk („LAN“), ein Großraumnetzwerk („WAN“) und das Internet.
-
Das Computersystem kann Clients und Server beinhalten. Ein Client und ein Server befinden sich im Allgemeinen entfernt voneinander und interagieren typischerweise über ein Kommunikationsnetzwerk. Die Beziehung zwischen Client und Server entsteht aufgrund von Computerprogrammen, die auf den jeweiligen Computern ausgeführt werden und eine Client-Server-Beziehung zueinander aufweisen.
-
7A bis 7G zeigen schematische Diagramme von exemplarischen Implementierungen eines dreidimensionalen Telepräsenzsystems 700. Das dreidimensionale Telepräsenzsystem 700 ist ein Beispiel des dreidimensionalen Telepräsenzsystems 100. 7A–7F zeigen Draufsichten des Systems 700. 7G zeigt eine Seitenansicht.
-
Das dreidimensionale Telepräsenzsystem 700 beinhaltet eine Anzeige 725 und eine Kameraanordnung, die Kameraeinheiten 782a, 782b und 782c enthält. Ein lokaler Teilnehmer 705a und ein entfernter Teilnehmer nehmen mit dem dreidimensionalen Telepräsenzsystem 700 an einer Videokonferenz teil. Eine Darstellung 705b des entfernten Teilnehmers wird mit der Anzeige 725 erzeugt. Die 3D-Fähigkeiten der Anzeige 725 kann die Darstellung 705b derart erzeugen, dass der entfernte Teilnehmer mindestens für den lokalen Teilnehmer 705a so erscheint, als befände er sich vom lokalen Teilnehmer 705a aus gesehen auf der anderen Seite der Anzeige 725.
-
In einigen Implementierungen beinhaltet die Anzeige 725 einen 4K-Linsenanzeigebildschirm, der eine effektive Auflösung von etwa 1920×1080 bereitstellt. Andere tatsächliche und effektive Auflösungen sind ebenfalls möglich. Die Anzeige 725 kann eine Breite W von 1,3 Metern aufweisen. In einigen Implementierungen hat die Anzeige 725 eine Breite W von 1–1,5 Metern. In einigen Implementierungen weist die Anzeige 725 eine Breite W von zwischen 0,5 und 2 Metern auf. Möglicherweise weist die Anzeige 725 in einigen Implementierungen eine Breite von weniger als 0,5 Metern oder über 2 Metern auf.
-
Die Anzeige 725 kann konfiguriert sein, grafische Daten zu empfangen und anzuzeigen, die Farb- und Tiefenwerte (z. B. RGB + D) beinhalten. In einigen Implementierungen ist die Anzeige 725 konfiguriert, den lokalen Teilnehmer in einem Fenster um einen Punkt zu erfassen, der sich um einen Abstand L von der Anzeige 725 entfernt befindet. So entspricht in einigen Implementierungen L beispielsweise 1 Meter, etwa 1 Meter, 1,2 Meter oder einem anderen Abstand. Die Anzeige 725 kann zudem konfiguriert sein, die Darstellung des entfernten Teilnehmers derart zu erzeugen, dass sie um einen Versatzabstand O hinter der Anzeige 725 erscheint. So entspricht in einigen Implementierungen der Versatzabstand O 0,2 Meter, etwa 0,2 Meter, 0,3 Meter oder einem anderen Abstand.
-
Wie in den Figuren dargestellt, weisen die Kameraeinheiten 782a, 782b und 782c entsprechende Blickfelder 784a, 784b und 784c auf. Die Blickfelder 784a, 784b und 784c weisen möglicherweise einen horizontalen Blickwinkel (angegeben mit Θhoriz) und eine horizontale Reichweite (angegeben mit rhoriz) auf, die der Brennweite der Kameraeinheiten entsprechen. Die horizontale Reichweite kann dem Abstand von der Kamera entsprechen, in der sich der lokale Teilnehmer 705a befinden sollte, um ein ausreichendes Erfassen von Bild und Tiefe durch die Kameraeinheiten zu ermöglichen. In einigen Implementierungen sind die Kameraeinheiten 782a, 782b und 782c konfiguriert, die gleichen horizontalen Blickwinkel und horizontalen Reichweiten aufzuweisen. In einigen Implementierungen beträgt der horizontale Blickwinkel 57 Grad. In einigen Implementierungen beträgt der horizontale Blickwinkel zwischen 55 und 60 Grad. Darüber hinaus kann der horizontale Blickwinkel zwischen 45 und 70 Grad liegen. Andere Implementierungen können zudem Kameraeinheiten beinhalten, die mit anderen horizontalen Blickwinkeln konfiguriert sind. Die horizontale Reichweite ist in einigen Implementierungen gleich oder nahezu gleich 1,2 Meter. In einigen Implementierungen beträgt die horizontale Reichweite zwischen 1 Meter und 1,5 Meter. Die horizontale Reichweite kann größer als 0,5 Meter und kleiner als 2 Meter sein. Andere horizontale Reichweiten sind ebenfalls denkbar.
-
Verschiedene horizontale Tiefenwertabstände (angegeben als d) können von verschiedenen Konfigurationen des Systems 700 unterstützt werden. Der horizontale Tiefenwertabstand entspricht dem horizontalen Abstand auf der entfernten Seite zwischen Tiefenwerten, die eingesetzt werden, um 3D-Bilder auf der Anzeige 725 zu erzeugen. So können sich zum Beispiel verschiedene Implementierungen des Systems 700 auf den horizontalen Tiefenwertabstand auswirken. Einige Implementierungen weisen einen horizontalen Tiefenwertabstand von 0,8 Millimeter auf, allerdings weisen andere Implementierungen andere horizontale Tiefenwertabstände auf. In einigen Implementierungen kann der horizontale Tiefenwertabstand mit der folgenden Gleichung berechnet werden: d = L + O / LW / R wobei:
- L
- = der Abstand von dem Auge des lokalen Teilnehmers 705a zu der Anzeige 825;
- O
- = der projizierte Versatzabstand von der Anzeige 725 zu der Darstellung des entfernt angeordneten Teilnehmers;
- W
- = die Breite der Anzeige 725; und
- R
- = die effektive horizontale Auflösung der Anzeige 725.
So kann zum Beispiel in einigen Implementierungen das System 700 konfiguriert sein, ein erstes Bild und ein zweites Bild auf der Linsenanzeige zu erzeugen, wobei das zweite Bild erzeugt wird, sich von dem ersten Bild zu unterscheiden, um einen Parallaxe-Effekt für den Benutzer zu erzeugen, der bewirkt, dass eine Darstellung des entfernten Teilnehmers mit einem Versatzabstand hinter dem Anzeigegerät erscheint. In einigen Implementierungen wird der Versatzabstand auf Grundlage eines Zieltiefenwertabstands bestimmt. In einigen Implementierungen sind ein oder mehrere Infrarot-Tiefensensoren (z. B. der Kameraeinheiten 782a, 782b oder 782c) möglicherweise konfiguriert, Tiefenwerte mit einer Tiefenabtastfrequenz zu sammeln, um einen Zielversatzabstand zu unterstützen. So können die Tiefendaten mit einem horizontalen Tiefenwertabstand gesammelt werden, der auf Grundlage eines Zielabstands von der Anzeige zu dem Benutzer der Breite der Anzeige und der effektiven horizontalen Auflösung der Anzeige (z. B. nach der zuvor gezeigten Gleichung) berechnet wird.
-
In einigen Implementierungen definiert das System 700 möglicherweise eine Headbox 790, in der der Kopf des lokalen Teilnehmers 705a platziert sein sollte. Die Headbox 790 kann zum Beispiel ein Bereich im physischen Raum sein, in dem die Anzeige 725 betrachtet werden kann und sich die Blickfelder der Kameraeinheiten 782a, 782b und 782c überlappen, um ein Erfassen von Bild und/oder Tiefe des lokalen Teilnehmers 705a zu ermöglichen. In einigen Implementierungen weist die Headbox 790 möglicherweise eine Höhe (angegeben mit h) von 0,6 m und einer Breite (angegeben mit w) von 0,6 m auf. Andere Implementierungen weisen möglicherweise eine Headbox 790 mit einer anderen Höhe und/oder Breite auf. Typischerweise sind die Grenzen der Headbox 790 nicht physisch definiert, sondern werden dem lokalen Teilnehmer 705a mit verschiedenen Techniken (z. B. einem Anzeigen einer Warnung, wenn der Kopf des lokalen Teilnehmers 705a die Headbox 790 verlässt) auf der Anzeige 725 angezeigt.
-
In einigen Implementierungen weist ein Blickfeld 792 für den lokalen Teilnehmer 705a, wenn von der Mitte der Headbox 790 aus gemessen, einen Blickwinkel von etwa 66 Grad auf. In anderen Implementierungen beträgt der Blickwinkel für das Blickfeld 792 50–80 Grad. Andere Blickwinkel sind ebenfalls möglich. In einigen Implementierungen wird das effektive Blickfeld 794 für den lokalen Teilnehmer 705a auf Grundlage der Tatsache, dass sich das Blickfeld des lokalen Teilnehmers 705a von verschiedenen Positionen innerhalb der Headbox 790 unterscheidet, erweitert. So beträgt das effektive Blickfeld 794 in einigen Implementierungen etwa 107 Grad. In einigen Implementierungen weist die Anzeige 725 eine höhere Auflösung auf, um einen minimalen horizontalen Tiefenwertabstand über die größere horizontale Breite (angegeben als K) des effektiven Blickfelds 794 zu unterstützen. So enthalten zum Beispiel einige Implementierungen des Systems eine Anzeige 725 mit einer effektiven horizontalen Auflösung von mindestens etwa 2270 Pixeln.
-
Wie in 7G dargestellt, weist die Anzeige 725 eine Höhe H auf. In einigen Implementierungen ist die Höhe H gleich 0,8 Meter oder nahezu gleich 0,8 Meter. In einigen Implementierungen beträgt die Höhe H 0,5–1,5 Meter. In anderen Implementierungen ist die Höhe H möglicherweise kleiner als 0,5 Meter oder größer als 1,5 Meter.
-
Die Kameraeinheiten 782a, 782b und 782c weisen entsprechende Blickfelder 784a, 784b und 784c auf. Die Blickfelder 784a, 784b und 784c weisen möglicherweise einen vertikalen Blickwinkel (angegeben mit Θvert) und eine vertikale Reichweite (angegeben mit rvert) auf, die der Brennweite der Kameraeinheiten entsprechen. Die vertikale Reichweite kann dem vertikalen Abstand von der Kamera entsprechen, in der sich der lokale Teilnehmer 705a befinden sollte, um ein ausreichendes Erfassen von Bild und Tiefe durch die Kameraeinheiten zu ermöglichen. In einigen Implementierungen sind die Kameraeinheiten 782a, 782b und 782c konfiguriert, die gleichen vertikalen Blickwinkel und vertikalen Reichweiten aufzuweisen. In einigen Implementierungen beträgt der vertikale Blickwinkel 68 Grad. In einigen Implementierungen beträgt der vertikale Blickwinkel zwischen 65 und 75 Grad. Darüber hinaus kann der vertikale Blickwinkel zwischen 50 und 80 Grad liegen. Andere Implementierungen können Kameraeinheiten beinhalten, die mit anderen vertikalen Blickwinkeln konfiguriert sind. Die vertikale Reichweite ist in einigen Implementierungen gleich oder nahezu gleich 1 Meter. In einigen Implementierungen beträgt die vertikale Reichweite zwischen 0,5 und 1,5 Meter. Die vertikale Reichweite kann kleiner als 0,5 Meter und größer als 1,5 Meter sein. Andere vertikale Reichweiten sind ebenfalls möglich.
-
8 zeigt ein schematisches Diagramm einer exemplarischen Implementierung eines dreidimensionalen Telepräsenzsystems 800. Das dreidimensionale Telepräsenzsystem 800 ist ein Beispiel des dreidimensionalen Telepräsenzsystems 100.
-
In einigen Implementierungen beinhaltet das System 800 eine Anzeige 825; eine Kameraanordnung, die eine Kameraeinheit 882a, 882b, 882c, 882d und 882e aufweist; eine Lautsprecheranordnung mit Lautsprechern 842a und 842b; und eine Mikrofonanordnung mit Mikrofonen 852a und 852b sowie ein Augenverfolgungsmodul 890. So können die Kameraeinheiten an verschiedenen Positionen um die Anzeige 825 herum angeordnet sein. In dem dargestellten Beispiel sind die Kameraeinheiten 882a und 882b oberhalb der Anzeige 825 angeordnet, die Kameraeinheit 882c ist auf einer Seite der Anzeige 825 angeordnet, die Kameraeinheit 882d ist auf der anderen Seite der Anzeige 825 angeordnet und die Kameraeinheit 882e ist unterhalb der Anzeige 825 angeordnet. In einigen Implementierungen sind die Lautsprecher und Mikrofone an verschiedenen Stellen angeordnet, um ein Aufzeichnen und ein Erzeugen von Richt- oder räumlichem Audio zu ermöglichen. So sind zum Beispiel der Lautsprecher 842a und das Mikrofon 852a auf einer Seite der Anzeige 825 angeordnet, während der Lautsprecher 842b und das Mikrofon 852b auf der anderen Seite der Anzeige 825 angeordnet sind. In einigen Implementierungen beinhaltet die Mikrofonanordnung mehr als zwei Mikrofone (z. B. vier Mikrofone). Auf ähnliche Weise beinhaltet die Lautsprecheranordnung in einigen Implementierungen mehr als zwei Lautsprecher (z. B. vier Lautsprecher).
-
Das Augenverfolgungsmodul 890 kann an verschiedenen Positionen um die Anzeige 825 herum angeordnet sein. Das Augenverfolgungsmodul 890 beinhaltet ggf. eine oder mehrere Kameras oder andere Arten von Bildgebungsvorrichtungen, die konfiguriert sind, den Standort/die Position des Auges eines lokalen Teilnehmers (nicht dargestellt) und/oder eine Blickrichtung oder ein Ziel für den lokalen Teilnehmer zu identifizieren. Das Augenverfolgungsmodul 890 kann zudem andere Merkmale des Benutzers, wie zum Beispiel den Mund oder andere Gesichtsmerkmale, nachverfolgen. Darüber hinaus beinhaltet in einigen Implementierungen das Augenverfolgungsmodul eine Kamera, die im Vergleich zu den Kameraeinheiten 882a, 882b, 882c, 882d und 882e der Kameraanordnung mit einer höheren Bildfrequenz betrieben wird. Darüber hinaus oder alternativ dazu können die Kameraeinheiten der Kameraanordnung Augenverfolgungen durchführen.
-
Es wurde eine Reihe von Implementierungen beschrieben. Nichtsdestotrotz versteht sich, dass verschiedene Modifikationen vorgenommen werden können, ohne vom Sinn und Umfang der Erfindung abzuweichen.
-
Außerdem erfordern die in den Figuren dargestellten logischen Abläufe nicht die bestimmte dargestellte Reihenfolge oder sequenzielle Reihenfolge, um wünschenswerte Ergebnisse zu erzielen. Darüber hinaus können andere Schritte vorgesehen sein oder Schritte aus den beschriebenen Abläufen eliminiert und andere Komponenten zu den beschriebenen Systemen hinzugefügt oder aus denselben entfernt werden.