DE202017105484U1 - Dreidimensionales Telepräsenzsystem - Google Patents

Dreidimensionales Telepräsenzsystem Download PDF

Info

Publication number
DE202017105484U1
DE202017105484U1 DE202017105484.5U DE202017105484U DE202017105484U1 DE 202017105484 U1 DE202017105484 U1 DE 202017105484U1 DE 202017105484 U DE202017105484 U DE 202017105484U DE 202017105484 U1 DE202017105484 U1 DE 202017105484U1
Authority
DE
Germany
Prior art keywords
display
image
data
depth
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202017105484.5U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of DE202017105484U1 publication Critical patent/DE202017105484U1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/291—Two-dimensional analogue deflection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4113—PC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Telepräsenz-Endgerät, umfassend: eine Anzeige, die eine Mikrolinsenanordnung angeordnet vor einem Pixelgitter beinhaltet; einen Bildsensor; einen Infrarotsender; einen Infrarot-Tiefensensor; ein Verarbeitungsgerät; und einen Speicher, in dem Anweisungen gespeichert sind, die, wenn ausgeführt, das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, beinhaltend: Bestimmen von Bilddaten auf Grundlage von sichtbaren, von dem Bildsensor erfassten Licht; Bestimmen von Tiefendaten auf Grundlage von dem Infrarotsender ausgesendeten und von dem Infrarot-Tiefensensor erfassten Infrarotlicht; Kommunizieren der Tiefendaten und der Bilddaten an ein entferntes Telepräsenz-Endgerät; Empfangen von entfernten Bilddaten und entfernten Tiefendaten, wobei die entfernten Bilddaten und die entfernten Tiefendaten von einem entfernten Telepräsenz-Endgerät ausgehen; Erzeugen eines ersten Anzeigebildes auf Grundlage der entfernten Bilddaten unter Einsatz einer ersten Teilmenge von Pixeln des Pixelgitters, die von einem ersten Betrachtungsstandort aus durch die Mikrolinsenanordnung betrachtbar ist; und Erzeugen eines zweiten Anzeigebildes auf Grundlage der entfernten Bilddaten und der entfernten Tiefendaten unter Einsatz einer zweiten Teilmenge von Pixeln des Pixelgitters, die von einem zweiten Betrachtungsstandort aus durch die Mikrolinsenanordnung betrachtbar ist.

Description

  • HINTERGRUND
  • Konferenzsysteme, wie etwa Videokonferenzsysteme, werden in verschiedenen Gebieten eingesetzt, um Teilnehmern Möglichkeiten zu bieten, virtuelle Konferenzen abzuhalten, ohne sich am selben Ort zu befinden. Videokonferenzsysteme können zum Beispiel eine Anzeige, eine Kommunikationsverbindung, Lautsprecher und Mikrofone bereitstellen, die es Teilnehmern ermöglichen, entfernte Teilnehmer zu sehen und mit diesen zu kommunizieren. Da Teilnehmer einander sehen können, während sie sprechen, können Videokonferenzsysteme ein besseres Verständnis der diskutierten Themen bieten, als schriftliche oder verbale Kommunikation allein. Diese Videokonferenzsysteme können ferner eine leichtere Konferenzterminplanung ermöglichen, da nicht alle Teilnehmer am gleichen Ort sein müssen. Darüber hinaus können Videokonferenzsysteme eine Vergeudung von Ressourcen (z. B. Zeit und Geld) verringern, indem die Notwendigkeit von Reisen beseitigt wird. Zu herkömmlichen Videokonferenzsystemen zählen typischerweise ein Kommunikationssystem (z. B. ein Telefon, ein VoIP-System oder Ähnliches), ein herkömmlicher Bildmonitor (z. B. eine CRT-, Plasma-, HD-, LED- oder LCD-Anzeige), eine Kamera, ein Mikrofon und Lautsprecher.
  • KURZDARSTELLUNG
  • Implementierungen der folgenden Offenbarung beziehen sich auf Videokonferenz- und Telepräsenzsysteme. Wenigstens manche Implementierungen stellen eine dreidimensionale Telepräsenz ohne eine am Kopf befestigte Anzeige, Kopfhörer und/oder andere physische Behinderungen bereit.
  • Nach einem Aspekt beinhaltet ein Telepräsenz-Endgerät eine Anzeige, die eine Mikrolinsenanordnung vor einem Pixelgitter aufweist. Das Endgerät beinhaltet möglicherweise auch einen Infrarotsender und einen Infrarot-Tiefensensor. Das Endgerät beinhaltet ferner möglicherweise ein Verarbeitungsgerät und einen Speicher, in dem Anweisungen gespeichert sind. Diese Anweisungen können, wenn ausgeführt, das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, einschließlich: Bestimmen von Bilddaten auf Grundlage des von dem Bildsensor erfassten sichtbaren Lichtes und Bestimmen von Tiefendaten auf Grundlage des von dem Infrarotsender ausgesendeten und durch den Infrarot-Tiefensensor erfassten Infrarotlichtes. Zu den Vorgängen zählt möglicherweise auch das Kommunizieren der Tiefendaten und der Bilddaten an ein entferntes Telepräsenz-Endgerät und das Empfangen von entfernten Bilddaten und entfernten Tiefendaten, wobei die entfernten Bilddaten und die entfernten Tiefendaten von einem entfernten Telepräsenz-Endgerät stammen. Die Vorgänge beinhalten möglicherweise ferner das Erzeugen eines ersten Anzeigebildes auf Grundlage der entfernten Bilddaten unter Einsatz einer ersten Teilmenge von Pixeln des Gitters aus Pixeln, das durch die Mikrolinsenanordnung von einem ersten Betrachtungsstandort aus zu sehen ist, und das Erzeugen eines zweiten Anzeigebildes auf Grundlage der entfernten Bilddaten und der entfernten Tiefendaten unter Einsatz einer zweiten Teilmenge aus Pixeln des Gitters aus Pixeln, das durch die Mikrolinsenanordnung von einem zweiten Betrachtungsstandort aus zu sehen ist.
  • In einigen Implementierungen werden das erste Anzeigebild und das zweite Anzeigebild möglicherweise derart erzeugt, dass sie Unterschiede aufweisen, die eine Parallaxe auf Grundlage der empfangenen Tiefendaten simulieren. Hierzu können die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Bestimmen eines Standorts eines Benutzers des Telepräsenz-Endgeräts. Der Standort des Benutzers des Telepräsenz-Endgeräts kann zum Beispiel auf Grundlage der Tiefendaten und/oder der Bilddaten bestimmt werden. So können zum Beispiel das erste Anzeigebild und das zweite Anzeigebild derart erzeugt werden, dass sie Unterschiede aufweisen, die Parallaxe auf Grundlage des bestimmten Standorts des Benutzers simulieren.
  • In einigen Implementierungen veranlassen die Anweisungen ferner möglicherweise das Verarbeitungsgerät, Vorgänge auszuführen, umfassend das Erzeugen eines dreidimensionalen stereoskopischen Bildes auf der Anzeige unter Einsatz der entfernten Bilddaten und der entfernten Tiefendaten sowie des bestimmten Standorts des Benutzers des Telepräsenz-Endgeräts.
  • In einigen Implementierungen, die mit den zuvor erwähnten Implementierungen kombiniert werden können, veranlassen die Anweisungen möglicherweise ferner das Verarbeitungsgerät, Vorgänge auszuführen, umfassend das Erzeugen eines ersten Abschnitts des ersten Anzeigebildes in einer ersten Richtung und das Erzeugen eines zweiten Abschnitts des zweiten Anzeigebildes in einer zweiten Richtung. So können zum Beispiel Mikrolinsen der Mikrolinsenanordnung konfiguriert sein, Licht über einen oder mehrere Winkel auszusenden und/oder verschiedene Pixelwerte in einer oder mehreren verschiedenen Richtungen anzuzeigen. Die erste Richtung kann auf Grundlage des ersten Standorts bestimmt werden und die zweite Richtung kann auf Grundlage des zweiten Standorts bestimmt werden.
  • In einigen Implementierungen veranlassen die Anweisungen möglicherweise ferner das Verarbeitungsgerät Vorgänge, auszuführen, umfassend Bestimmen der Tiefendaten nach einem Laufzeitverfahren, welches einen Phasenversatz zwischen einem von dem Infrarotsender ausgesendeten ersten Infrarotlicht und einem von einem Objekt in einem Pfad des ausgesendeten ersten Infrarotlichts reflektierten und von dem Infrarot-Tiefensensor erfassten zweiten Infrarotlicht misst.
  • In einigen Implementierungen umfasst das Telepräsenz-Endgerät möglicherweise ferner eine Mikrofonanordnung, einschließlich eines an einer ersten Seite der Anzeige angeordneten ersten Mikrofons und eines an einer zweiten Seite der Anzeige angeordneten zweiten Mikrofons; sowie eine Lautsprecheranordnung, einschließlich eines an einer ersten Seite der Anzeige angeordneten ersten Lautsprechers und eines an einer zweiten Seite der Anzeige angeordneten zweiten Lautsprechers. In dieser Implementierung veranlassen die Anweisungen möglicherweise ferner das Verarbeitungsgerät, Vorgänge auszuführen, darunter auch Erfassen von Richt-Audiodaten unter Einsatz der Mikrofonanordnung; das Übermitteln der Richt-Audiodaten an das entfernte Endgerät; Empfangen von Richt-Audiodaten von dem entfernten Endgerät; und Ausgeben von Audio unter Einsatz der Lautsprecheranordnung auf Grundlage der entfernten Richt-Audiodaten.
  • Möglicherweise beinhaltet das Telepräsenz-Endgerät eine Kameraanordnung, umfassend mindestens eine Kameraeinheit, die den Bildsensor, den Infrarotsender und den Infrarot-Tiefensensor enthält. Die mindestens eine Kameraeinheit kann hinter der Anzeige angeordnet sein, wenn die Anzeige transparent ist. Im Fall einer transparenten Anzeige kann die Anzeige zwischen einem ausgeschalteten Zustand und einem Beleuchtungszustand umschaltbar sein, wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Synchronisieren der Erfassung von sichtbarem Licht und Infrarotlicht mit dem ausgeschalteten Zustand der Anzeige. In dieser Implementierung sind die Mikrolinsen der Mikrolinsenanordnung möglicherweise aus einem ersten Material und einem zweiten Material gefertigt, wobei das erste Material ein Material ist, das von elektrischem Strom im Wesentlichen nicht beeinflusst wird, während das zweite Material im Wesentlichen von einem elektrischen Strom beeinflusst wird, und wobei das erste Material und das zweite Material verschiedene Brechungsindizes aufweisen, wenn kein Strom an das erste und das zweite Material angewendet wird.
  • In einigen Implementierungen umfasst das Telepräsenz-Endgerät möglicherweise einen Strahlteiler, der eingehendes Licht teilt und es an den Bildsensor und den Infrarot-Tiefensensor sendet. Der Strahlteiler kann demnach eingehendes Licht derart teilen, dass der Bildsensor und der Infrarot-Tiefensensor dasselbe Licht empfangen.
  • Nach einem anderen Aspekt beinhaltet ein Computerprogrammprodukt eine Reihe von Anweisungen, die, wenn von mindestens einem Prozessor ausgeführt, ein Computersystem veranlassen, ein Verfahren auszuführen, welches Erzeugen von erstem Infrarotlicht mit einem Infrarotsender enthält. Das Verfahren beinhaltet zudem das Empfangen von zweitem Infrarotlicht mit einem Infrarot-Tiefensensor. Das zweite Infrarotlicht kann durch Reflexionen des ersten ausgesendeten Infrarotlichts bewirkt sein. Möglicherweise beinhaltet das Verfahren ferner das Bestimmen von erfassten Tiefendaten auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts und das Bestimmen von erfassten Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes. Möglicherweise beinhaltet das Verfahren ferner das Kommunizieren der erfassten Tiefendaten und der erfassten Bilddaten an ein entferntes Endgerät. Das Verfahren beinhaltet möglicherweise ferner das Erzeugen eines ersten Anzeigebildes auf Grundlage von empfangenen Bilddaten von dem entfernten Endgerät unter Einsatz einer ersten Teilmenge eines Gitters aus Pixeln, wobei das erste Anzeigebild durch die Mikrolinsenanordnung aus einer ersten Richtung zu sehen ist, und das Erzeugen eines zweiten Anzeigebildes auf Grundlage der empfangenen Bilddaten und der empfangenen Tiefendaten von dem entfernten Endgerät unter Einsatz einer zweiten Teilmenge des Gitters aus Pixeln, wobei das zweite Anzeigebild durch die Mikrolinsenanordnung aus einer zweiten Richtung zu sehen ist.
  • Nach einem anderen Aspekt beinhaltet ein nicht flüchtiges computerlesbares Speichermedium darauf gespeicherte Anweisungen, die, wenn durch mindestens einen Prozessor ausgeführt, konfiguriert sind, ein Computersystem zu veranlassen, mit einem Infrarotsender mindestens erstes Infrarotlicht zu erzeugen, zweites Infrarotlicht mit einem Infrarot-Tiefensensor zu empfangen, Tiefendaten auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts zu bestimmen, Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes zu bestimmen, die Tiefendaten und die Bilddaten an ein entferntes Telepräsenz-Endgerät zu kommunizieren, mit einer Linsenanzeige ein erstes Anzeigebild auf Grundlage von empfangenen Bilddaten von dem entfernten Endgerät zu erzeugen, wobei das erste Anzeigebild von einem ersten Standort aus betrachtbar ist, und mit der Linsenanzeige ein zweites Anzeigebild auf Grundlage der empfangenen Bilddaten und der empfangenen Tiefendaten von dem entfernten Endgerät zu erzeugen, wobei das zweite Anzeigebild von einem zweiten Standort aus betrachtbar ist. Die empfangenen Tiefendaten stammen ggf. von dem entfernten Endgerät.
  • Andere Implementierungen dieses Aspekts beinhalten entsprechende Computersysteme, Vorrichtungen und Computerprogramme, die auf einem oder mehreren Computerspeichergeräten aufgezeichnet sind, die jeweils konfiguriert sind, Aktionen der Verfahren durchzuführen.
  • Nach einem Aspekt beinhaltet ein lokales Endgerät in einem Telepräsenzsystem eine Anzeige. Die Anzeige beinhaltet eine Mikrolinsenanordnung vor einem Pixelgitter. Das lokale Endgerät beinhaltet ferner eine oder mehrere Kameraeinheiten. Die Kameraeinheit beinhaltet möglicherweise eine Linse, einen Infrarotsender und einen Infrarot-Tiefensensor. Das lokale Endgerät beinhaltet ferner ein Verarbeitungsgerät und einen Speicher, in dem Anweisungen gespeichert sind, die, wenn ausgeführt, das Verarbeitungsgerät veranlassen, Vorgänge auszuführen. Die Vorgänge können das Bestimmen von durch den Bildsensor erfassten lokalen Bilddaten auf Grundlage von sichtbarem Licht, und das Bestimmen von durch den Infrarot-Tiefensensor an dem lokalen Endgerät erfassten lokalen Tiefendaten auf Grundlage von Infrarotlicht beinhalten. Die lokalen Tiefendaten können auf einem Standort eines Betrachters mit Bezug auf das lokale Endgerät basieren. Die Vorgänge können ferner das Kommunizieren der lokalen Tiefendaten und der lokalen Bilddaten an ein entferntes Videokonferenz-Endgerät beinhalten. Die Vorgänge können ferner das Erzeugen eines ersten Abschnitts eines ersten Bildes in einer ersten Richtung durch Mikrolinsen der Mikrolinsenanordnung auf Grundlage von entfernten Bilddaten und lokalen Standortdaten (z. B. lokalen Tiefendaten) beinhalten. Standortdaten können als lokale Positionsdaten bezeichnet werden. Die entfernten Bilddaten können von dem entfernten Videokonferenz-Endgerät stammen und auf entfernten Tiefendaten basieren. Die Vorgänge können ferner das Erzeugen eines zweiten Bildes in einer zweiten Richtung durch die Mikrolinsen der Mikrolinsenanordnung auf Grundlage der entfernten Bilddaten und der lokalen Standortdaten beinhalten. Die lokalen Standortdaten können von dem lokalen Videokonferenz-Endgerät stammen. Die erste und die zweite Richtung können sich abhängig von den lokalen Standortdaten unterscheiden. So kann die erste Richtung eine Richtung sein, die von einem ersten Standort (z. B. dem ersten Auge eines Betrachters) aus betrachtbar ist und die zweite Richtung kann eine Richtung sein, die von einem zweiten Standort (z. B. dem zweiten Auge eines Benutzers) aus betrachtbar ist. In einigen Implementierungen kann das Endgerät mehrere Kameraeinheiten beinhalten, die eine oder mehrere Linsen beinhalten können. In einigen Implementierungen können ein oder mehrere Bilder in jeder Mikrolinse der Mikrolinsenanordnung erzeugt werden. In einigen Implementierungen kann die erste Richtung durch Auswählen eines ersten Pixels aus einer Vielzahl von Pixeln bestimmt werden, um einen Abschnitt des ersten Bildes anzuzeigen, während die zweite Richtung durch Auswählen eines zweiten Pixels aus der Vielzahl von Pixeln bestimmt werden kann, um einen Abschnitt des zweiten Bildes anzuzeigen.
  • In einigen Implementierungen dieses Aspekts beinhalten die lokalen Standortdaten Standortdaten, die dem Benutzer des lokalen Endgeräts entsprechen. In einigen Implementierungen beinhalten Standortdaten ggf. Tiefendaten.
  • Zu weiteren Implementierungen dieses Aspekts zählen entsprechende Verfahren, konfiguriert zum Ausführen der Vorgänge des Verarbeitungsgeräts gemäß den in dem Speicher des Videokonferenzsystems gespeicherten Anweisungen.
  • Nach einem weiteren Aspekt beinhaltet Verfahren zum Bereitstellen von dreidimensionaler Telepräsenz das Erzeugen von erstem Infrarotlicht unter Einsatz eines Infrarotsenders und das Empfangen von zweitem Infrarotlicht unter Einsatz eines Infrarot-Tiefensensors. Erfasste Tiefendaten können auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts bestimmt werden, während erfasste Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes bestimmt werden können. Die erfassten Tiefendaten und die erfassten Bilddaten können an ein entferntes Videokonferenz-Endgerät kommuniziert werden. Ein erstes Bild wird in einer ersten Richtung durch eine Mikrolinse einer Mikrolinsenanordnung eines lokalen Endgeräts auf Grundlage von empfangenen Bilddaten von dem entfernten Videokonferenz-Endgerät erzeugt, und ein zweites Bild wird durch die Mikrolinse der Mikrolinsenanordnung des lokalen Endgeräts auf Grundlage der empfangenen Bilddaten von dem entfernten Videokonferenz-Endgerät sowie auf Grundlage von Standortdaten, die einem Benutzer des lokalen Endgeräts entsprechen, erzeugt. Das erste Bild und das zweite Bild unterscheiden sich auf Grundlage der Standortdaten.
  • In einigen Implementierungen dieses Aspekts basiert das Erzeugen des ersten Bildes und/oder des zweiten Bildes durch die Mikrolinse der Mikrolinsenanordnung ferner auf den Standortdaten, die dem Benutzer entsprechen, dessen Bild durch den Bildsensor erfasst worden ist.
  • Die Details von einer oder mehreren Implementierungen sind in den begleitenden Zeichnungen und der nachfolgenden Beschreibung dargelegt. Andere Merkmale werden aus der Beschreibung und den Zeichnungen und aus den Ansprüchen offensichtlich.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt ein exemplarisches Videokonferenzsystem, das den offenbarten Implementierungen entspricht.
  • 2 zeigt ein exemplarisches Videokonferenzsystem, das den offenbarten Implementierungen entspricht.
  • 3A und 3B zeigen exemplarische Videokonferenz-Endgeräte, die den offenbarten Implementierungen entsprechen.
  • 4 zeigt eine exemplarische Kameraeinheit, die den offenbarten Implementierungen entspricht.
  • 5 zeigt ein Ablaufdiagramm für einen Vorgang zum Darstellen eines dreidimensionalen Bildes in einem Videokonferenz-Endgerät im Einklang mit offenbarten Implementierungen.
  • 6 zeigt ein exemplarisches Computergerät, das eingesetzt werden kann, um die Vorgehensweisen im Einklang mit offenbarten Implementierungen zu implementieren.
  • 7A bis einschließlich 7G sind Beispiele für Tiefe und Projektion gemäß den Implementierungen.
  • 8 zeigt ein schematisches Diagramm eines dreidimensionalen Telepräsenzsystems gemäß den Implementierungen.
  • Gleiche Bezugszeichen in den verschiedenen Zeichnungen verweisen auf gleiche Elemente.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Obgleich herkömmliche Videokonferenzsysteme ein Erlebnis bereitstellen, das einer Konferenz von Angesicht zu Angesicht ähnlicher ist als eine Telekonferenz (z. B. ohne Video), weisen herkömmliche Videokonferenzsysteme Einschränkungen auf, die von einem „echten“ Konferenzerlebnis abweichen. So stellen zum Beispiel Anzeigen in herkömmlichen Videokonferenzen Bilder in zwei Dimensionen dar und weisen eine eingeschränkte Fähigkeit auf, realistische Tiefe darzustellen. Infolgedessen erfahren Teilnehmer einer Videokonferenz keine Kopräsenz mit dem anderen Teilnehmer. Darüber hinaus sind Kameras in herkömmlichen Videokonferenzsystemen so angeordnet, dass Teilnehmer nicht in der Lage sind, direkten Blickkontakt aufzubauen – möglicherweise schaut jeder Teilnehmer direkt auf seine Anzeige, während die Kamera Teilnehmerbilder nicht durch die Anzeige hindurch erfasst. Obgleich manche Videokonferenzsysteme ein Erlebnis ähnlich Virtual Reality für Videokonferenzen bereitstellen, erfordern diese Videokonferenzsysteme, dass Teilnehmer am Kopf befestigte Anzeigegeräte, Brillen oder 3D-Brillen tragen, um eine Wiedergabe von dreidimensionalen Bildern zu erleben.
  • Dementsprechend beziehen sich die hierin offenbarten Implementierungen auf ein dreidimensionales Telepräsenzsystem, das ein realistischeres Konferenzerlebnis von Angesicht zu Angesicht bereitstellt als herkömmliche Videokonferenzsysteme, ohne am Kopf befestigte Anzeigegeräte und 3D-Brillen zu verwenden. Videokonferenz- und Bildkonferenzsysteme zählen zu den Beispielen für Telepräsenzsysteme. Im Einklang mit offenbarten Implementierungen kann ein dreidimensionales Telepräsenzsystem eine brillenlose 3D-Linsenanzeige beinhalten, die eine Vielzahl von Mikrolinsen in einer Mikrolinsenanordnung enthält. Nach einigen Implementierungen beinhaltet die Mikrolinsenanordnung möglicherweise eine Vielzahl von Gruppen (oder Unteranordnungen) aus Mikrolinsen, wobei jede der Vielzahl von Gruppen (oder Unteranordnungen) mehrere Mikrolinsen enthält, die jeweils konfiguriert sind, Licht über einen oder mehrere Winkel weiterzuleiten und/oder jede derselben konfiguriert sein kann, verschiedene Farbpixelwerte (z. B. RGB-Pixelwerte) in einer oder mehreren verschiedenen Richtungen anzuzeigen. Der Einsatz von Mikrolinsengruppen/-unteranordnungen kann in einer Anzeige enthalten sein, um verschiedene Bilder in verschiedenen Betrachtungswinkeln (d. h. von verschiedenen Betrachtungsstandorten aus betrachtbar) zu zeigen. In einigen Implementierungen des dreidimensionalen Telepräsenzsystems beinhaltet jede der Vielzahl von Mikrolinsengruppen mindestens zwei Mikrolinsen und dreidimensionale Bilder können erzeugt werden, indem ein Abschnitt (z. B. ein erstes Pixel) eines ersten Bildes in einer ersten Richtung durch die mindestens eine Mikrolinse projiziert wird und ein Abschnitt (z. B. ein zweites Pixel) eines zweiten Bildes in einer zweiten Richtung durch die mindestens eine andere Mikrolinse projiziert wird. Das zweite Bild kann dem ersten Bild ähneln, allerdings kann das zweite Bild versetzt sein, um eine Parallaxe zu simulieren, wodurch für den Betrachter ein dreidimensionales stereoskopisches Bild erzeugt wird.
  • Die hierin offenbarten dreidimensionalen Telepräsenzsysteme können zudem eine Kameraanordnung mit einer oder mehreren Kameraeinheiten beinhalten. Jede Kameraeinheit beinhaltet möglicherweise einen Bildsensor zum Erfassen von sichtbarem Licht (z. B. Farbe), einen Infrarotsender und einen Infrarot-Tiefensensor zum Erfassen von Infrarotlicht, das von dem Infrarotsender ausgesendet und von dem Betrachter und den Objekten, die den Betrachter umgeben, reflektiert wird. In einigen Implementierungen befinden sich eine oder mehrere der Komponenten der Kameraeinheit (z. B. Bildsensor, Infrarotsender und Infrarot-Tiefensensor) möglicherweise nicht am gleichen Ort. In einigen Implementierungen kann ein erstes Endgerät des dreidimensionalen Telepräsenzsystems eine Kombination des erfassten sichtbaren Lichts und des erfassten Infrarotlichts verwenden, um erste Endgerät-Bilddaten und erste Endgerät-Tiefendaten zu erzeugen, die an ein zweites Endgerät des dreidimensionalen Telepräsenzsystems kommuniziert werden. In einigen Implementierungen kann das erste Endgerät des dreidimensionalen Telepräsenzsystems zweite Endgerät-Bilddaten und zweite Endgerät-Tiefendaten von dem zweiten Endgerät des dreidimensionalen Telepräsenzsystems empfangen und die zweiten Endgerät-Bilddaten und die zweiten Endgerät-Tiefendaten sowie Standortdaten für den Standort eines Benutzers mit Bezug auf das erste Endgerät (z. B. bestimmt auf Grundlage der ersten Endgerät-Tiefendaten) verwenden, um dreidimensionale stereoskopische Bilder auf der Anzeige des ersten Endgeräts zu erzeugen.
  • Eine exemplarische Implementierung des dreidimensionalen Telepräsenzsystems 100 wird in 1 dargestellt. Zwei Benutzer 105a und 105b können das dreidimensionale Telepräsenzsystem 100 verwenden, um zwar aus der Ferne, aber dennoch von Angesicht zu Angesicht zu kommunizieren. Ein erster Benutzer 105a befindet sich an einem von einem zweiten Benutzer 105b entfernen Standort. Der zweite Benutzer 105b sieht ein dreidimensionales grafisches Bild des ersten Benutzers 105a auf der Anzeige 125. In einigen Implementierungen befindet sich die Anzeige 125 einen Abstand vom zweiten Benutzer 105b und weist eine ungefähre Größe auf, um eine Kopräsenz des ersten Benutzers 105a und des zweiten Benutzers 105b zu simulieren. So kann die Anzeige 125 zum Beispiel gegenüber am Tisch mit einem Abstand von 1 m vom zweiten Benutzer 105b angeordnet sein, wobei es sich bei der Anzeige 125 um eine 1-m-Anzeige handeln kann. Die Kameraanordnung 180 kann konfiguriert sein, sichtbares Licht und Infrarotlicht zu erfassen, das von dem dreidimensionalen Telepräsenzsystem 100 (z. B. durch das von dem zweiten Benutzer 105b verwendete Endgerät) eingesetzt werden kann, um ein dreidimensionales stereoskopisches Bild des zweiten Benutzers 105b auf einer von dem ersten Benutzer 105a betrachtbaren Anzeige (nicht in 1 dargestellt) anzuzeigen. In einigen Implementierungen können ein oder mehrere Mikrofone und/oder Lautsprecher (z. B. Lautsprecheranordnungen) in dem System 100 enthalten sein. In diesen Systemen 100 kann das Mikrofon und/oder der Lautsprecher bzw. können die Mikrofone und/oder die Lautsprecher eingesetzt werden, um Raumklang (z. B. Töne, die räumlich abhängig vom Ursprung erzeugt werden) zu simulieren.
  • 2 zeigt in Blockform das dreidimensionale Telepräsenzsystem 100 zum Abhalten von dreidimensionalen Videokonferenzen zwischen zwei Benutzern. In den in 2 dargestellten Implementierungen kann jedes Endgerät 120 über das Netzwerk 190 mit den jeweiligen Benutzern (z. B. einem ersten Teilnehmer und einem zweiten Teilnehmer) kommunizieren.
  • Das in 2 gezeigte dreidimensionale Telepräsenzsystem 100 kann computergestützt sein, wobei jede der dargestellten Komponenten ein Computergerät oder einen Teil eines Computergeräts beinhaltet, das konfiguriert ist, über Netzwerk 190 mit anderen Computergeräten zu kommunizieren. So kann zum Beispiel jedes Endgerät 120 ein oder mehrere Computergeräte, wie z. B. ein Desktop-, Notebook- oder Handheld-Computergerät beinhalten, das konfiguriert ist, Daten über Netzwerk 190 an andere Computergeräte zu senden bzw. von denselben zu empfangen. In einigen Implementierungen ist jedes Endgerät 120 möglicherweise ein spezielles Telekonferenzgerät, wobei jede Komponente von Endgerät 120 im selben Gehäuse angeordnet ist. In einigen Implementierungen kann die Kommunikation zwischen jedem Endgerät 120 durch einen oder mehrere Server oder Computercluster (nicht dargestellt), die das Aufbauen, Beenden und/oder Planen von Konferenzen verwalten, erleichtert werden. In einigen Implementierungen, wie z. B. in den in 2 gezeigten Implementierungen, können die Endgeräte 120 mit Punkt-zu-Punkt-Kommunikationsprotokollen kommunizieren.
  • In den in 2 gezeigten Implementierungen kann Endgerät 120 von Teilnehmern an einer Videokonferenz eingesetzt werden. In einigen Implementierungen verwenden die Teilnehmer identische Endgeräte. So kann zum Beispiel jeder Teilnehmer dieselbe Modellnummer von Endgerät 120 mit derselben Konfiguration oder Spezifikation, oder Endgeräte 120, die auf ähnliche Weise konfiguriert worden sind, verwenden, um die Kommunikation während der Videokonferenz zu erleichtern. In einigen Implementierungen können sich von Teilnehmern verwendete Endgeräte unterscheiden, sind jedoch konfiguriert, um Bild- und Tiefendaten zu senden und zu empfangen und dreidimensionale stereoskopische Bilder ohne die Nutzung von am Kopf getragenen Anzeigegeräten oder 3D-Brillen zu erzeugen. Zur vereinfachten Erläuterung zeigt die Implementierung von 2 identische Endgeräte 120 an beiden Enden des dreidimensionalen Telepräsenzsystems 100.
  • In einigen Implementierungen beinhaltet das Endgerät 120 die Anzeige 125. In einigen Implementierungen beinhaltet die Anzeige 125 möglicherweise eine brillenlose 3D-Linsenanzeige. Die Anzeige 125 kann eine Mikrolinsenanordnung, die eine Vielzahl von Mikrolinsen enthält, beinhalten. In einigen Implementierungen können die Mikrolinsen der Mikrolinsenanordnung eingesetzt werden, um eine erste von einem ersten Standort aus betrachtbare Anzeige und eine zweite von einem zweiten Standort aus betrachtbare Anzeige zu erzeugen. Ein stereoskopisches dreidimensionales Bild kann mit der Anzeige 125 erzeugt werden durch Wiedergeben des ersten Anzeigebildes auf einem Abschnitt eines Pixelgitters derart, dass es durch die Mikrolinsenanordnung von einem ersten Standort aus betrachtet wird, der einem ersten Auge eines Benutzers entspricht, und eines zweiten Anzeigebildes auf einem Abschnitt des Pixelgitters derart, dass es durch die Mikrolinsenanordnung von einem zweiten Standort aus betrachtet wird, der einem zweiten Auge eines Benutzers entspricht, derart, dass das zweite Anzeigebild einen Tiefenversatz von dem ersten Anzeigebild darstellt, um eine Parallaxe zu simulieren. So kann zum Beispiel das Pixelgitter ein erstes Anzeigebild anzeigen, das von dem linken Auge eines Teilnehmers durch die Mikrolinsenanordnung zu betrachten ist und das Pixelgitter kann ein zweites Anzeigebild anzeigen, das von dem rechten Auge eines Teilnehmers durch die Mikrolinsenanordnung zu betrachten ist. Der erste und der zweite Standort können auf einem Standort (z. B. einem lateralen/vertikalen Standort, einer Position, einer Tiefe, einem Standort eines linken oder rechten Auges) des Betrachters mit Bezug auf die Anzeigebasieren basieren. In einigen Implementierungen können die erste und die zweite Richtung zum Erzeugen des ersten und des zweiten Anzeigebildes durch Auswählen bestimmter Pixel aus einer mit der Mikrolinsenanordnung verknüpften Pixelanordnung bestimmt werden.
  • In einigen Implementierungen kann die Mikrolinsenanordnung eine Vielzahl von Mikrolinsenpaaren beinhalten, die zwei Mikrolinsen enthalten, wobei die Anzeige 125 zum Anzeigen von Bildern ggf. mindestens zwei der Mikrolinsen verwendet. In einigen Implementierungen wählt das Verarbeitungsgerät 130 möglicherweise einen Satz aus ausgehenden Strahlen aus, durch die ein Bild durch die Mikrolinsen betrachtet werden kann, um ein Bild für ein linkes Auge und ein Bild für ein rechtes Auge auf Grundlage von Standortinformationen, die der Position des Teilnehmers mit Bezug auf die Anzeige 125 entsprechen (der Standort kann im Einklang mit den offenbarten Implementierungen durch die Kameraanordnung 180 erfasst werden). In einigen Implementierungen deckt jede von einer Vielzahl von Mikrolinsen manche der Pixel ab (kann z. B. über diesen angeordnet sein oder mit diesen verknüpft sein), sodass jeder Pixel aus einer begrenzten Teilmenge von Richtungen vor der Anzeige 125 sichtbar ist. Wenn der Standort des Betrachters bekannt ist, kann die Teilmenge von Pixeln unter jeder Linse (auf der gesamten Anzeige 125), die von einem Auge aus sichtbar ist, und die Teilmenge von Pixeln auf der Anzeige 125, die von dem anderen Auge aus sichtbar ist, identifiziert werden. Durch Auswählen, für jeden Pixel, des entsprechenden wiedergegebenen Bildes, das der virtuellen Ansicht entspricht, die von den Standorten der Augen des Benutzers aus zu sehen wäre, kann jedes Auge das korrekte Bild sehen.
  • Das Verarbeitungsgerät 130 beinhaltet möglicherweise ein oder mehrere zentrale Verarbeitungseinheiten, andere Arten von Verarbeitungseinheiten oder Kombinationen derselben.
  • In einigen Implementierungen kann der Standort des Benutzers mit Bezug auf das Endgerät zum gleichzeitigen Projizieren von mindestens zwei Bildern an den Benutzer des Endgeräts über die Mikrolinsen durch verschiedene Mechanismen bestimmt werden. So kann zum Beispiel ein Infrarot-Verfolgungssystem einen oder mehrere mit dem Benutzer gekoppelte Marker (z. B. die an einer Brille oder einer am Kopf getragenen Vorrichtung befestigten Marker) einsetzen. Als ein weiteres Beispiel kann eine Infrarotkamera eingesetzt werden. Die Infrarotkamera kann mit einer vergleichsweise schnellen Gesichtserkennungsvorrichtung konfiguriert werden, um die Augen des Benutzers in mindestens zwei Bildern zu erkennen und den Standort in 3D zu triangulieren. Als noch ein weiteres Beispiel können Farbpixel (z. B. RGB-Pixel) und ein Tiefensensor eingesetzt werden, um Standortinformationen des Benutzers zu bestimmen (z. B. direkt zu bestimmen). In einigen Implementierungen beträgt die Bildfrequenz zum genauen Verfolgen mit dem System mindestens 60 Hz (z. B. mindestens 120 Hz).
  • In einigen Implementierungen erzeugt die Anzeige 125 eine umschaltbare transparente 3D-Linsenanzeige. Die Anzeige 125 in diesen Implementierungen ermöglicht ggf. das Platzieren der Kameraanordnung 180 hinter der Anzeige 125 zum Simulieren von Blickkontakt während der Videokonferenz. In einigen Implementierungen kann die Anzeige 125 organische Leuchtdioden (OLEDs) beinhalten, die klein genug sind, sodass sie nicht leicht durch ein menschliches Auge oder eine Kameralinse erkannt werden, wodurch die Anzeige 125 effektiv transparent gestaltet wird. Diese OLEDs können zudem ausreichend hell sein, damit, wenn sie beleuchtet sind, der Bereich für das Licht, das sie ausstrahlen, deutlich größer ist als ihre jeweilige Fläche. Infolgedessen sind die OLEDs, obgleich sie nicht leicht mit einem menschlichen Auge oder einer Kameralinse zu erkennen sind, ausreichend hell, um die Anzeige 125 mit einem wiedergegebenen Bild ohne Lücken in dem angezeigten Bild zu beleuchten. In einer umschaltbaren transparenten 3D-Linsenanzeige können die OLEDs derart in dem Glassubstrat eingebettet sein, dass Glas zwischen aufeinanderfolgenden Zeilen der OLEDs angeordnet ist. Diese Anordnung führt dazu, dass Anzeige 125 transparent ist, wenn die OLEDs nicht beleuchtet sind, jedoch (aufgrund des auf der Anzeige 125 angezeigten Bildes) opak ist, wenn diese beleuchtet sind.
  • In Implementierungen, in denen die Kameraanordnung 180 hinter der Anzeige 125 angeordnet ist, ist die Kameraanordnung 180 möglicherweise nicht in der Lage, sichtbares Licht zu erfassen, wenn die OLEDs beleuchtet sind. In Implementierungen, bei denen die Anzeige 125 eine umschaltbare transparente 3D-Linsenanzeige beinhaltet, kann das Verarbeitungsgerät 130 die Beleuchtung der OLEDs der Anzeige 125 mit der Kameraanordnung 180 derart synchronisieren, dass, wenn die OLEDs beleuchtet sind, die Kameraanordnung 180 kein sichtbares Licht erfasst, wenn die OLEDs jedoch nicht beleuchtet sind, die Kameraanordnung 180 sichtbares Licht und Infrarotlicht erfasst, um Bilddaten, Tiefendaten und/oder Standortdaten im Einklang mit offenbarten Implementierungen zu bestimmen. Das Verarbeitungsgerät 130 synchronisiert möglicherweise die Beleuchtung der OLEDs der Anzeige 125 mit der Bilderfassung der Kameraanordnung 180 mit einer höheren Frequenz, als mit dem menschlichen Auge zu erkennen wäre, wie z. B. mit 90 Bildern pro Sekunde.
  • Da es sich bei der Anzeige 125 um eine Linsenanzeige handelt, erzeugt, wenn die Kameraanordnung 180 hinter einer nicht umschaltbaren transparenten 3D-Linsenanzeige angeordnet ist, der Linsencharakter der Anzeige 125 möglicherweise Verzerrungen im sichtbaren Licht und im Infrarotlicht, die mit der Kameraanordnung 180 erfasst werden. Infolgedessen ist die Anzeige 125 in einigen Implementierungen möglicherweise eine umschaltbare transparente 3D-Linsenanzeige. In Implementierungen einer umschaltbaren transparenten 3D-Linsenanzeige bestehen die Mikrolinsen der Mikrolinsenanordnung möglicherweise aus einem ersten Material und einem zweiten Material. So können zum Beispiel mindestens einige der Mikrolinsen aus einem ersten Material und mindestens einige der Mikrolinsen aus einem zweiten Material bestehen. Das erste Material ist möglicherweise ein Material, das von elektrischem Strom nicht beeinflusst (z. B. im Wesentlichen nicht beeinflusst) wird, während das zweite Material von einem elektrischen Strom beeinflusst (z. B. im Wesentlichen beeinflusst) wird. Möglicherweise weisen das erste Material und das zweite Material verschiedene Brechungsindizes auf, wenn kein Strom an das zweite Material angewendet wird. Dies kann zu einer Brechung an den Grenzflächen zwischen den Mikrolinsen aus dem ersten Material aus dem zweiten Material führen, wodurch eine Linsenanzeige erzeugt wird. Wenn ein Strom an das zweite Material angewendet wird, bewirkt der Strom möglicherweise, dass der Brechungsindex des zweiten Materials sich derart ändert, dass er dem Brechungsindex des ersten Material entspricht, wodurch der Linsencharakter der Anzeige 125 derart geändert wird, dass die zwei Materialien einen einzigen rechteckigen Block mit einheitlicher Brechung ausbilden, wodurch ermöglicht wird, dass das Bild der Anzeige unverzerrt ausgegeben wird. In einigen Implementierungen wird der Strom sowohl auf das erste Material als auch auf das zweite Material angewendet, wobei der Strom die zuvor beschriebene Auswirkung auf das zweite Material und keine Auswirkung auf das erste Material hat. Demnach legt, wenn die Anzeige 125 ein Bild anzeigt (z. B. ihre OLEDs beleuchtet sind), das Verarbeitungsgerät 130 möglicherweise keinen Strom an die Mikrolinsenanordnung an und die Anzeige 125 funktioniert möglicherweise als eine Linsenanordnung (z. B. wenn eingeschaltet). Wenn die OLEDs der Anzeige 125 nicht beleuchtet sind und das Verarbeitungsgerät 130 die Kameraanordnung 180 anweist, sichtbares Licht und Infrarotlicht zu erfassen, kann das Verarbeitungsgerät 130 bewirken, dass ein Strom auf die Anzeige 125 angewendet wird, wodurch die Mikrolinsen aus dem zweiten Material beeinflusst werden. Das Anwenden von Strom kann die Brechungsindizes für die Linsen aus dem zweiten Material ändern, woraufhin die Anzeige 125 demnach möglicherweise nicht als eine Linsenanordnung wirkt (z. B. kann die Anzeige 125 transparent sein oder als eine klare Glasscheibe ohne eine Linseneffekt wirken).
  • In einigen Implementierungen kann das Endgerät 120 das Verarbeitungsgerät 130 beinhalten. Das Verarbeitungsgerät 130 führt möglicherweise Funktionen und Vorgänge aus, um zu bewirken (z. B. auszulösen), dass die Anzeige 125 Bilder anzeigt. In einigen Implementierungen steht das Verarbeitungsgerät 130 möglicherweise in Kommunikation mit der Kameraanordnung 180, um Rohdaten zu empfangen, die die Position und den Standort eines Benutzers von Endgerät 120 darstellen. Das Verarbeitungsgerät 130 steht möglicherweise auch in Kommunikation mit dem Netzwerkadapter 160, um Bilddaten und Tiefendaten von anderen an einer Videokonferenz teilnehmenden Endgeräten 120 zu empfangen. Das Verarbeitungsgerät 130 verwendet möglicherweise die von der Kameraanordnung 180 empfangenen Standort- und Positionsdaten und die Bilddaten und die Tiefendaten von Netzwerkadapter 160, um dreidimensionale stereoskopische Bilder auf der Anzeige 125 im Einklang mit offenbarten Implementierungen wiederzugeben.
  • In einigen Implementierungen führt das Verarbeitungsgerät 130 möglicherweise Funktionen und Vorgänge aus, um von der Kameraanordnung 180 empfangene Rohdaten in Bilddaten, Tiefendaten und/oder Standortdaten zu übersetzen, die über Netzwerkadapter 160 an andere Endgeräte 120 in einer Videokonferenz kommuniziert werden können. So kann zum Beispiel während einer Videokonferenz die Kameraanordnung 180 sichtbares Licht und/oder Infrarotlicht erfassen, das von einem Benutzer von Endgerät 120 reflektiert wird. Die Kameraanordnung 180 kann elektronische Signale an das Verarbeitungsgerät 130 senden, die dem erfassten sichtbaren Licht und/oder Infrarotlicht entsprechen. Das Verarbeitungsgerät 130 kann das erfasste sichtbare Licht und/oder Infrarotlicht erfassen und Bilddaten (z. B. Daten, die RGB-Werten für einen Pixelsatz entsprechen, der als ein Bild wiedergegeben werden kann) und/oder Tiefendaten (z. B. Daten, die der Tiefe von jedem der RGB-Werte für den Pixelsatz in einem wiedergegebenen Bild entsprechen) bestimmen. In einigen Implementierungen kann das Verarbeitungsgerät 130 die Bilddaten und/oder Tiefendaten derart komprimieren oder codieren, dass weniger Speicher oder Bandbreite benötigt wird, bevor sie die Bilddaten oder die Tiefendaten über Netzwerk 190 kommuniziert. Dementsprechend kann das Verarbeitungsgerät 130 empfangene Bilddaten oder Tiefendaten entkomprimieren oder decodieren, bevor das Verarbeitungsgerät 130 stereoskopische dreidimensionale Bilder wiedergibt.
  • Nach bestimmten Implementierungen beinhaltet das Endgerät 120 möglicherweise die Lautsprecheranordnung 140 und die Mikrofonanordnung 150. Die Lautsprecheranordnung 140 kann Audio aussenden, das Audiodaten entspricht, die in einer Videokonferenz von anderen Endgeräten 120 empfangen worden sind. Die Lautsprecheranordnung 140 beinhaltet möglicherweise einen oder mehrere Lautsprecher, die an mehreren Standorten angeordnet sein können, um zum Beispiel Richt-Audio wiederzugeben. Die Mikrofonanordnung 150 kann Audio erfassen, das einem Benutzer von Endgerät 120 entspricht. Die Mikrofonanordnung 150 beinhaltet möglicherweise einen oder mehrere Lautsprecher, die an mehreren Standorten angeordnet sein können, um zum Beispiel Richt-Audio wiederzugeben. In einigen Implementierungen kann ein Verarbeitungsgerät (z. B. Verarbeitungsgerät 130) von der Mikrofonanordnung 150 erfasstes und an andere Endgeräte 120, die an der Videokonferenz teilnehmen, über Netzwerkadapter 160 und Netzwerk 190 kommuniziertes Audio komprimieren oder codieren.
  • Das Endgerät 120 kann zudem E/A-Geräte 170 beinhalten. Die E/A-Geräte 170 können Eingabe- und/oder Ausgabegeräte zum Steuern der Videokonferenz, an der das Endgerät 120 teilnimmt, beinhalten. So können z. B. die E/A-Geräte 170 Tasten oder Touchscreens beinhalten, die eingesetzt werden können, um Kontrast, Helligkeit oder Vergrößerungsstufe der Anzeige 125 einzustellen. Die E/A-Geräte 170 können zudem eine Tastaturschnittstelle beinhalten, die eingesetzt werden kann, um auf Anzeige 125 wiedergegebene Bilder zu annotieren, oder Anmerkungen zum Kommunizieren mit anderen Endgeräten 120 beinhalten, die an einer Videokonferenz teilnehmen.
  • Nach bestimmten Implementierungen beinhaltet das Endgerät 120 die Kameraanordnung 180. Die Kameraanordnung 180 kann eine oder mehrere Kameraeinheiten beinhalten. In einigen Implementierungen beinhaltet Kameraanordnung 180 einige Kameraeinheiten, die hinter der Anzeige 125 positioniert sind und eine oder mehrere Kameraeinheiten, die neben dem Umfang von Anzeige 125 (d. h. Kameraeinheiten, die nicht hinter der Kameraanordnung 180 positioniert sind) positioniert sind. So kann zum Beispiel die Kameraanordnung 180 eine Kameraeinheit, drei Kameraeinheiten oder sechs Kameraeinheiten beinhalten. Jede Kameraeinheit der Kameraanordnung 180 kann einen Bildsensor, einen Infrarotsensor und/oder einen Infrarotsender beinhalten. Die nachfolgend erläuterte 4 beschreibt eine Implementierung einer Kameraeinheit 182 noch ausführlicher.
  • In einigen Implementierungen kann das Endgerät 120 möglicherweise Speicher 185 beinhalten. Bei dem Speicher 185 kann es sich je nach der Implementierung um eine oder mehrere flüchtige Speichereinheiten oder eine oder mehrere nicht flüchtige Speichereinheiten handeln. Der Speicher 185 kann eine beliebige Form von computerlesbarem Medium sein, wie beispielsweise ein magnetischer oder optischer Datenträger oder ein Solid-State-Speicher. Nach bestimmten Implementierungen können im Speicher 185 Anweisungen gespeichert sein, die das Verarbeitungsgerät 130 veranlassen, Funktionen und Vorgänge auszuführen, die den offenbarten Implementierungen entsprechen.
  • In einigen Implementierungen kommunizieren die Endgeräte 120 des dreidimensionalen Telepräsenzsystems 100 verschiedene Formen von Daten zwischen einander, um die Videokonferenz zu ermöglichen. In einigen Implementierungen können die Endgeräte 120 Bilddaten, Tiefendaten, Audiodaten und/oder Standortdaten kommunizieren, die jedem jeweiligen Benutzer von Endgerät 120 entsprechen. Das Verarbeitungsgerät 130 eines jeden Endgeräts 120 kann empfangene Bilddaten, Tiefendaten und/oder Standortdaten verwenden, um stereoskopische dreidimensionale Bilder auf der Anzeige 125 wiederzugeben. Das Verarbeitungsgerät 130 kann Audiodaten interpretieren, um die Lautsprecheranordnung 140 anzuweisen, Audio wiederzugeben, das den Audiodaten entspricht. In einigen Implementierungen können die Bilddaten, die Tiefendaten, die Audiodaten und/oder die Standortdaten komprimiert und/oder codiert sein und das Verarbeitungsgerät 130 kann Funktionen und Vorgänge ausführen, um die Daten zu entkomprimieren oder zu decodieren. In einigen Implementierungen können Bilddaten in einem Standardbildformat, wie z. B. JPEG oder MPEG, vorliegen. Die Tiefendaten können in einigen Implementierungen eine Matrix sein, die Tiefenwerte für jeden Pixel der Bilddaten in einer Eins-zu-eins-Entsprechung spezifiziert. Dementsprechend können die Audiodaten in einem Standardaudioformat vorliegen, das nach dem Stand der Technik bekannt ist, die in einigen Implementierungen ggf. Voice-over-Internet-Protokoll(VoIP)-Techniken einsetzen.
  • Je nach der Implementierung kann das Netzwerk 190 ein oder mehrere beliebige Netzwerktypen, wie z. B. ein oder mehrere lokale Netzwerke, Großraumnetzwerke, persönliche Netzwerke, Telefonnetzwerke und/oder das Internet, beinhalten, die über beliebige drahtgebundene und/oder drahtlose Kommunikationsprotokolle zugänglich sind. So kann zum Beispiel das Netzwerk 190 eine Internetverbindung beinhalten, über die jedes Endgerät 120 kommuniziert. Jede andere Kombination von Netzwerken, einschließlich gesicherter und ungesicherter Netzwerkkommunikationsverbindungen wird für den Gebrauch mit den hierin beschriebenen Systemen in Betracht gezogen.
  • 3A zeigt eine Implementierung von Endgerät 120, in der die Kameraanordnung 180 drei Kameraeinheiten 182 beinhaltet, die entlang des Umfangs von Anzeige 125 angeordnet sind. Die Implementierung aus 3A beinhaltet drei Kameraeinheiten 182, eine erste oben auf der Anzeige 125, eine zweite, links von der Anzeige 125, und eine dritte, rechts von der Anzeige 125. In den Implementierungen aus 3A kann die Anzeige 125 eine brillenlose 3D-Linsenanzeige sein. Nach bestimmten Implementierungen kann jede Kameraeinheit 182 der Kameraanordnung 180 eine Linse 310 und einen Infrarotsender 320 beinhalten. Die Kameraeinheit 182 verwendet die Linse 310, um sichtbares Licht und Infrarotlicht zu erfassen, die dem Benutzer von Endgerät 120 entsprechen. Der Infrarotsender 320 sendet in einigen Implementierungen möglicherweise Infrarotlicht aus, das von dem Benutzer des Endgeräts 120 und von der Umgebung des Benutzers reflektiert und von der Linse 310 (wie nachfolgend mit Bezug auf 4 noch ausführlicher beschrieben) erfasst wird.
  • 3B zeigt eine weitere Implementierung von Endgerät 120. In dieser Implementierung ist die Anzeige 125 eine brillenlose umschaltbare transparente 3D-Linsenanzeige im Einklang mit offenbarten Implementierungen. Darüber hinaus kann in dieser Implementierung die Kameraanordnung 180 hinter der Anzeige 125 angeordnet sein. Durch das Anordnen der Kameraanordnung 180 hinter der Anzeige 125 kann die Wahrscheinlichkeit eines Blickkontakts während einer Videokonferenz erhöht werden, da die Kameraeinheiten 182 der Kameraanordnung 180 in einer Position angeordnet sind, in die ein Benutzer von Endgerät 120 am wahrscheinlichsten schauen wird. In herkömmlichen Videokonferenzsystemen wird eine einzelne Kamera typischerweise am Umfang der Anzeige angeordnet, die von dem Teilnehmer der Videokonferenz betrachtet wird. Infolgedessen kann der Blickkontakt zwischen Teilnehmern der Videokonferenz unterbunden werden. Durch Einsatz einer brillenlosen umschaltbaren transparenten 3D-Linsenanzeige kann die Kameraanordnung 180 hinter dem Bildschirm angeordnet und der Blickkontakt während der Videokonferenz erhöht werden.
  • Obgleich 3A und 3B verschiedene exemplarische Implementierungen der Kameraanordnung 180 mit mehreren an verschiedenen Standorten in der Nähe der Anzeige 125 angeordneten Kameraeinheiten 182 darstellen, können Kameraeinheiten 182 an anderen Standorten in der Nähe der Anzeige 125 angeordnet sein, ohne vom Sinn und vom Umfang der vorliegenden Offenbarung abzuweichen. So können zum Beispiel, obgleich die in 3A und 3B dargestellte Implementierung die drei Kameraeinheiten 182 in der Nähe von Anzeige 125 angeordnet zeigt, andere Implementierungen mehr oder weniger Kameraeinheiten 182 beinhalten. Darüber hinaus können, obgleich in den in 3A und 3B gezeigten Implementierungen die Kameraeinheiten 182 der Kameraanordnung 180 an festen Standorten dargestellt werden, Kameraeinheiten 182 einstellbar sein oder gemäß bestimmten Implementierungen bewegbar sein. So können zum Beispiel eine oder mehrere der Kameraeinheiten 182 mit beweglichen Stellgliedern verbunden sein, die den Standort und/oder die Drehung der Kameraeinheit 182 je nach den Standortdaten in Verbindung mit dem Benutzer des Endgeräts 120 einstellen.
  • 4 zeigt eine exemplarische Kameraeinheit 182 der Kameraanordnung 180, einen Aussende-Lichtpfad 410 für Infrarotlicht, das von dem Infrarotsender 320 der Kameraanordnung 180 ausgestrahlt wird, und einen Empfangs-Lichtpfad 420 für sichtbares Licht und Infrarotlicht, die von der Kameraanordnung 180 empfangen werden, in einigen Implementierungen. Die Kameraeinheit 182 kann Infrarotsender 320, Linse 310, Strahlteiler 440, Bildsensor 450 und Infrarot-Tiefensensor 460 beinhalten. Nach einigen Implementierungen strahlt der Infrarotsender 320 eine Infrarotlichtwelle als Aussende-Lichtpfad 410 aus. Der Aussende-Lichtpfad 410 wird ggf. von einem Benutzer 105 reflektiert und ist möglicherweise Teil des über Linse 310 von der Kameraeinheit 182 erfassten Empfangs-Lichtpfads 420. Darüber hinaus beinhaltet der Empfangs-Lichtpfad 420 über Linse 310 möglicherweise auch sichtbares Licht (z. B. Licht im sichtbaren Farbspektrum). Der Strahlteiler 440 kann das erfasste Licht teilen und es an Bildsensor 450 und Infrarotsender 460 senden. Der Bildsensor 450 und der Infrarot-Tiefensensor 460 können in einigen Implementierungen Rohdaten an das Verarbeitungsgerät 130 senden, die der Frequenz und der Phase des erfassten Lichts entsprechen.
  • In einigen Implementierungen kann der Bildsensor 450 ein Bildsensor sein, der in der Lage ist, sichtbares Licht zu erfassen und es mit Rot-Grün-Blau(RGB)-Werten, CMYK-Werten und/oder YUV-Werten in Verbindung zu bringen. In einigen Implementierungen kann der Bildsensor 450 ein hochauflösender (HD) oder ein 4K-Auflösungs-Sensor sein.
  • In einigen Implementierungen können der Infrarotsensor 320 und der Infrarot-Tiefensensor 460 ein Laufzeitsender beziehungsweise ein Laufzeitsensor sein. In einigen Implementierungen sendet der Infrarotsender 320 einen Sinuswellenimpuls aus Infrarotlicht. Das Infrarotlicht kann von Objekten in dessen Pfad reflektiert, in die Kameraanordnung 180 zurückgeworfen und durch den Infrarot-Tiefensensor 460 erfasst werden. In einigen Implementierungen kann der Infrarot-Tiefensensor 460 (oder das Verarbeitungsgerät 130 in anderen Implementierungen) den Phasenversatz zwischen dem von dem Infrarotsender 320 ausgesendeten Infrarotlicht-Sinuswellenimpuls und dem von dem Infrarot-Tiefensensor 460 erfassten Infrarotlicht-Sinuswellenimpuls bestimmen. Der Phasenversatz kann eingesetzt werden, um zum Beispiel Tiefe zu bestimmen. In einigen Implementierungen können Infrarotsender 320 und Infrarot-Tiefensensor 460 ein Sender beziehungsweise Empfänger für aktives Stereo, unstrukturiertes Lichtstereo oder unterstützende projizierte Textur (gemeinsam der Einfachheit der Erläuterung halber als aktives Stereo bezeichnet) sein. In einigen Implementierungen sendet der Infrarotsender 320 eine unstrukturierte Hochfrequenztextur aus Infrarotlicht aus, die von Objekten in dessen Pfad reflektiert und zu der Kameraanordnung 180 zurückgeführt werden kann. In Implementierungen von aktivem Stereo sind möglicherweise Infrarot-Tiefensensoren 460 von mehreren Kameraeinheiten erforderlich, um die Tiefe von Objekten zu berechnen. In einigen Implementierungen können der Infrarotsensor 320 und der Infrarot-Tiefensensor 460 ein Sender beziehungsweise Sensor für codiertes Lichtstereo sein. In Implementierungen mit codiertem Lichtstereo erzeugt der Infrarotsender 320 ein spezifisches Muster aus Licht, das eingesetzt werden kann, um Stereotriangulierung durchzuführen, um die Tiefe von Punkten in dessen erfassten Bild zu bestimmen.
  • Nach bestimmten Implementierungen teilt der Strahlteiler 440 eingehendes Licht derart, dass Lichtsensor 450 Infrarot-Tiefensensor 460 dasselbe Licht empfangen. In einigen Implementierungen weisen Bildsensor 450 und Infrarot-Tiefensensor 460 dieselbe oder im Wesentlichen dieselbe Geometrie auf, sodass eine Frequenz eines sichtbaren Lichts, die einem Punkt in der Geometrie des Bildsensors 450 entspricht, direkt einer Infrarotlichtfrequenz entspricht, die einem Punkt in der Geometrie des Infrarot-Tiefensensors 460 entspricht. Infolgedessen weist ein RGB-Wert für ein Pixel in einem von Bildsensor 450 erfasstem Licht eine eindeutige Entsprechung als ein Tiefenwert für ein entsprechendes Pixel an derselben Stelle in dem von dem Infrarot-Tiefensensor 460 erfasstem Bild auf. In einigen Implementierungen können von Bildsensor 450 und von Infrarot-Tiefensensor 460 erfasste Bilder eingesetzt werden, um ein Tiefennetz für das von Bildsensor 450 erfasste Bild zu erzeugen. Da die Geometrie von Bildsensor 450 und Infrarotsensor 460 dieselben sind, kann das Tiefennetz ferner ohne oder mit nur begrenzter Kalibrierung erzeugt werden.
  • 5 zeigt ein Ablaufdiagramm, das einen exemplarischen Vorgang 500 zum Darstellen eines dreidimensionalen stereoskopischen Bildes in einem Videokonferenz-Endgerät im Einklang mit offenbarten Implementierungen darstellt. Nach bestimmten Implementierungen kann der Vorgang 500 zum Darstellen eines Bildes durch eine oder mehrere Komponenten eines Videokonferenz-Endgeräts, wie z B. durch Endgerät 120, ausgeführt werden. Obgleich die folgende Erläuterung den Vorgang 500 zum Darstellen eines Bildes als durch ein Videokonferenz-Endgerät ausgeführt beschreibt, können andere Komponenten eines Computersystems, das konfiguriert ist, dreidimensionale Bilder an einem Videokonferenz-Endgerät zu erzeugen, den Vorgang 500 zum Darstellen eines Bildes ausführen, ohne vom Sinn und vom Umfang der vorliegenden Offenbarung abzuweichen.
  • In Schritt 510 erzeugt ein Infrarotsender einer Kameraeinheit des lokalen Endgeräts das erste Infrarotlicht. Das erste Infrarotlicht kann von Objekten in dessen Pfad reflektiert werden. Die Kameraeinheit des lokalen Endgeräts kann das reflektierte Infrarotlicht in Schritt 520 empfangen. Ein Infrarotlichtsensor in der Kameraeinheit kann in Schritt 530 das empfangene zweite Infrarotlicht erfassen und Rohdaten an die Verarbeitungseinheit des lokalen Endgeräts bereitstellen, der Tiefendaten auf Grundlage einer Differenz zwischen dem ersten Infrarotlicht und dem zweiten Infrarotlicht bestimmt. In einigen Implementierungen kann der Schritt 530 durch den Infrarotlichtsensor oder eine andere Komponente von Endgerät 120 ausgeführt werden. In einigen Implementierungen werden die Tiefendaten auf Grundlage eines Laufzeitverfahrens bestimmt, das den Phasenversatz zwischen dem ersten Infrarotlicht und dem zweiten Infrarotlicht misst, während in verschiedenen anderen Implementierungen andere Techniken, wie z. B. aktives Stereo oder codiertes Lichtstereo, eingesetzt werden können.
  • In Schritt 540 bestimmt das lokale Endgerät Bilddaten aus dem erfassten sichtbaren Licht. In einigen Implementierungen kann ein Bildsensor, der Teil der Kameraeinheit des lokalen Endgeräts ist, das sichtbare Licht erfassen und daraus Bilddaten bestimmen. In einigen Implementierungen kann der Bildsensor Rohdaten bestimmen, die dem erfassten sichtbaren Licht entsprechen, das an eine Verarbeitungseinheit des lokalen Endgeräts (z. B. grafische Verarbeitungseinheit 130) kommuniziert wird, um die Bilddaten zu bestimmen. In einigen Implementierungen wird Schritt 540 gleichzeitig mit einem oder mehreren Schritten aus 510, 520 und 530 ausgeführt.
  • In Schritt 550 kommuniziert das lokale Endgerät möglicherweise die erfassten Tiefendaten und die erfassten Bilddaten an ein entferntes Endgerät. Das lokale Endgerät kann Tiefendaten und Bilddaten von dem entfernten Endgerät empfangen und diese einsetzen, um ein dreidimensionales stereoskopisches Bild zu erzeugen, das ein erstes Bild (das zum Beispiel dem linken Auge entsprechen kann) und ein zweites Bild (das zum Beispiel dem rechten Auge entsprechen kann) beinhaltet. In Schritt 560 kann das Endgerät das erste Bild durch eine Mikrolinse einer Mikrolinsenanordnung erzeugen, die die Anzeige des lokalen Endgeräts ausmacht. Das erste Bild basiert möglicherweise auf den empfangenen Bilddaten und auf den lokalen Standortdaten. Das lokale Endgerät kann zudem in Schritt 570 ein zweites Bild durch die Mikrolinse der Mikrolinsenanordnung erzeugen, die die Anzeige des lokalen Endgeräts bildet. Das zweite Bild basiert ggf. sowohl auf den empfangenen Bilddaten als auch auf den lokalen Standortdaten. Die lokalen Standortdaten können einen Standort eines Betrachters (z. B. eines Auges des Betrachters) mit Bezug auf das lokale Endgerät angeben. In mindestens einigen Implementierungen können das erste und das zweite Bild mindestens zum Teil auf Grundlage von empfangenen Tiefendaten von dem entfernten Endgerät erzeugt werden. In einigen Implementierungen werden die Schritte 560 und 570 in einer anderen Reihenfolge oder gleichzeitig ausgeführt.
  • In einigen Implementierungen kann Endgerät 120 ein dediziertes Computergerät beinhalten, das fest mit Anzeige 125 verdrahtet ist. In diesen Implementierungen sind Verarbeitungsgerät 130, Lautsprecheranordnung 140, Mikrofonanordnung 150, Netzwerkadapter 160, E/A-Geräte 170 und Speicher 185 möglicherweise im selben Gehäuse angeordnet wie Anzeige 125 oder mit Anzeige 125 verbunden, sodass diese nicht leicht von Benutzern entfernt werden können (z. B. sind die Verbindungen zusammengelötet oder die Verbindungen können nicht getrennt werden, ohne das Gehäuse von Anzeige 125 zu öffnen). In einigen Implementierungen kann die von Verarbeitungsgerät 130, Lautsprecheranordnung 140, Mikrofonanordnung 150, Netzwerkadapter 160, E/A-Geräten 170 und Speicher 185 ausgeführte Funktionalität von einem externen herkömmlichen Computergerät ausgeführt werden, das mit Anzeige 125 und Kameraanordnung 180 verbunden ist. In diesen Implementierungen kann das herkömmliche Computergerät die den offenbarten Implementierungen des dreidimensionalen Telepräsenzsystems entsprechenden Vorgänge ausführen und elektronische Signale an Anzeige 125 senden, um die Anzeige „anzusteuern“, um dreidimensionale Bilder zu erzeugen.
  • Obgleich der Vorgang 500 in einer bestimmten Reihenfolge dargestellt und erläutert wird, ist dieser Vorgang nicht auf diese bestimmte Reihenfolge beschränkt, zudem werden in einigen Implementierungen mindestens einige der Schritte des Vorgangs 500 in einer anderen Reihenfolge ausgeführt. Darüber hinaus werden in einigen Implementierungen mehrere der Schritte des Vorgangs 500 gleichzeitig ausgeführt.
  • 6 zeigt ein Beispiel eines generischen Computergeräts 600, das mit den hier beschriebenen Techniken verwendet werden kann. Das Computergerät 600 soll verschiedene Formen von Digitalrechnern, wie z. B. Laptops, Desktops, Tablets, Workstations, persönliche digitale Assistenten, Fernseher, Server, Blade-Server, Mainframes und andere geeignete Computergeräte, darstellen. Die hier gezeigten Komponenten, deren Verbindungen, Beziehungen und Funktionen sollen lediglich exemplarisch sein und die Implementierungen der in diesem Dokument offenbarten Implementierungen in keiner Weise einschränken.
  • Das Computergerät 600 beinhaltet einen Prozessor 602, einen Speicher 604, ein Speichergerät 606, eine Hochgeschwindigkeitsschnittstelle 608, die mit Speicher 604 und Hochgeschwindigkeitserweiterungsanschlüssen 610 verbunden wird, sowie eine Niedergeschwindigkeitsschnittstelle 612, die mit dem Niedergeschwindigkeitsbus 614 und dem Speichergerät 606 verbunden wird. Der Prozessor 602 kann ein halbleiterbasierter Prozessor sein. Der Speicher 604 kann ein halbleiterbasierter Speicher sein. Alle Komponenten 602, 604, 606, 608, 610 und 612 sind unter Verwendung verschiedener Busse miteinander verbunden und können auf einer gängigen Hauptplatine oder gegebenenfalls in anderer Weise montiert sein. Der Prozessor 602 kann Befehle zur Ausführung innerhalb des Computergeräts 600 verarbeiten, die Befehle beinhalten, die in dem Speicher 604 oder auf dem Speichergerät 606 gespeichert sind, um grafische Informationen für eine GUI auf einem externen Eingabe-/Ausgabegerät, wie z. B. der Anzeige 616, die mit der Hochgeschwindigkeitsschnittstelle 608 verbunden ist, anzuzeigen. In anderen Implementierungen können gegebenenfalls mehrere Prozessoren und/oder mehrere Busse zusammen mit mehreren Speichern und Speicherarten verwendet sein. Zudem können mehrere Computergeräte 600 verbunden sein, wobei jedes Gerät Teile der notwendigen Vorgänge (z. B. als Serverbank, Gruppe von Blade-Servern oder Mehrprozessorsystem) bereitstellt.
  • Der Speicher 604 speichert Informationen innerhalb des Computergeräts 600. In einer Implementierung handelt es sich bei dem Speicher 604 eine nicht flüchtige Speichereinheit oder -einheiten. In einer anderen Implementierung handelt es sich bei dem Speicher 604 um eine nicht flüchtige Speichereinheit oder -einheiten. Der Speicher 604 kann zudem eine andere Form von computerlesbarem Medium, wie beispielsweise ein magnetischer oder optischer Datenträger, sein.
  • Das Speichergerät 606 ist in der Lage, Massenspeicher für die Computergeräte 600 bereitzustellen. In einer Implementierung kann das Speichergerät 606 ein computerlesbares Medium, wie z. B. ein Floppy-Disk-Laufwerk, ein Festplattenlaufwerk, ein optisches Laufwerk, eine Magnetbandeinheit, ein Flash-Speicher oder ein anderes ähnliches Solid-State-Speichergerät oder eine Reihe von Geräten, einschließlich Geräten in einem Speichernetzwerk oder anderen Konfigurationen, sein oder beinhalten. Ein Computerprogrammprodukt kann physisch in einem Informationsträger enthalten sein. Das Computerprogrammprodukt kann außerdem Befehle enthalten, die bei Ausführung ein oder mehrere Verfahren wie diejenigen, die vorstehend beschrieben sind, ausführen. Der Informationsträger ist ein computer- oder maschinenlesbares Medium, wie z. B. der Speicher 604, das Speichergerät 606 oder Speicher auf Prozessor 602.
  • Der Hochgeschwindigkeitscontroller 608 verwaltet bandbreitenintensive Operationen für das Computergerät 600, während der Niedergeschwindigkeitscontroller 612 weniger bandbreitenintensive Operationen verwaltet. Diese Zuordnung von Funktionen ist jedoch nur exemplarisch. In einer Implementierung ist der Hochgeschwindigkeitscontroller 608 mit Speicher 604, Anzeige 616 (z. B. über einen Grafikprozessor oder -beschleuniger) und mit den Hochgeschwindigkeitserweiterungsanschlüssen 610, die verschiedene Erweiterungskarten (nicht dargestellt) aufnehmen können, verbunden. In der Implementierung ist Niedergeschwindigkeitscontroller 612 an Speichergerät 606 und an Niedergeschwindigkeitserweiterungsanschluss 614 gekoppelt. Der Niedergeschwindigkeitserweiterungsanschluss, der ggf. verschiedene Kommunikationsanschlüsse (z. B. USB, Bluetooth, Ethernet, Funkethernet) beinhaltet, kann an ein oder mehrere Eingabe-/Ausgabegeräte, wie z. B. eine Tastatur, ein Zeigegerät, einen Scanner oder ein Netzwerkgerät wie einen Switch oder Router, z. B. durch einen Netzwerkadapter gekoppelt sein.
  • Das Computergerät 600 kann, wie in der Figur dargestellt, in einer Reihe unterschiedlicher Formen implementiert sein. Es kann beispielsweise als Standardserver 620 oder mehrfach in einer Gruppe jener Server implementiert sein. Es kann außerdem als Teil eines Rackserversystems 624 implementiert sein. Zusätzlich kann es in einem Personal-Computer, wie z. B. einem Laptop 622, implementiert sein. Alternativ können Komponenten von Computergerät 600 mit anderen Komponenten in einem Mobilgerät (nicht dargestellt) kombiniert sein. Jedes dieser Geräte kann ein oder mehrere von Computergeräten 600 enthalten und ein gesamtes System kann aus mehreren miteinander kommunizierenden Computergeräten 600 zusammengesetzt sein.
  • Verschiedene Implementierungen der hier beschriebenen Systeme und Techniken können in digitalen elektronischen Schaltungen, integrierten Schaltungen, speziell konzipierten ASICs (anwendungsorientierten integrierten Schaltungen), Computerhardware, Firmware, Software und/oder Kombinationen derselben realisiert sein. Diese verschiedenen Implementierungen können eine Implementierung in einem oder mehreren Computerprogrammen beinhalten, die auf einem programmierbaren System ausführbar und/oder interpretierbar sind, das mindestens einen programmierbaren Prozessor beinhaltet, bei dem es sich um einen Spezial- oder Universalprozessor handeln kann, und der zum Empfangen von Daten und Anweisungen von und zum Übertragen von Daten und Befehlen an ein Speichersystem, mindestens ein Eingabegerät und mindestens ein Ausgabegerät gekoppelt ist.
  • Diese Computerprogramme (auch bekannt als Programme, Software, Softwareanwendungen oder Code) beinhalten Maschinenbefehle für einen programmierbaren Prozessor und können in einer höheren prozeduralen und/oder objektorientierten Programmiersprache und/oder in Assembler-/Maschinensprache implementiert sein. Wie hierin verwendet, bezeichnen die Begriffe „maschinenlesbares Medium“, „computerlesbares Medium“ ein beliebiges Computerprogrammprodukt, eine beliebige Vorrichtung und/oder ein beliebiges Gerät (z. B. magnetische Platten, optische Platten, Speicher, programmierbare Logikbausteine (PLDs)), die verwendet werden, um einem programmierbaren Prozessor, darunter auch einem maschinenlesbaren Medium, das Maschinenbefehle als maschinenlesbares Signal empfängt, Maschinenbefehle und/oder Daten bereitzustellen. Der Begriff „maschinenlesbares Signal“ bezeichnet ein beliebiges Signal, das verwendet wird, um einem programmierbaren Prozessor Maschinenbefehle und/oder Daten bereitzustellen.
  • Die hier beschriebenen Systeme und Techniken können in einem Computersystem implementiert werden, das eine Backendkomponente (z. B. einen Datenserver) beinhaltet, oder das eine Middlewarekomponente (z. B. einen Applikationsserver) beinhaltet, oder das eine Frontendkomponente (z. B. einen Clientcomputer mit einer grafischen Benutzeroberfläche oder einem Webbrowser beinhaltet, durch die bzw. den ein Benutzer mit hier beschriebenen Systemimplementationen und Techniken interagieren kann) oder eine Kombination aus denselben Backend-, Middleware- oder Frontendkomponenten beinhaltet. Die Komponenten des Systems können durch eine beliebige Form oder ein beliebiges Medium digitaler Datenkommunikation (wie z. B. ein Kommunikationsnetzwerk, miteinander verbunden sein). Beispiele von Kommunikationsnetzwerken beinhalten ein lokales Netzwerk („LAN“), ein Großraumnetzwerk („WAN“) und das Internet.
  • Das Computersystem kann Clients und Server beinhalten. Ein Client und ein Server befinden sich im Allgemeinen entfernt voneinander und interagieren typischerweise über ein Kommunikationsnetzwerk. Die Beziehung zwischen Client und Server entsteht aufgrund von Computerprogrammen, die auf den jeweiligen Computern ausgeführt werden und eine Client-Server-Beziehung zueinander aufweisen.
  • 7A bis 7G zeigen schematische Diagramme von exemplarischen Implementierungen eines dreidimensionalen Telepräsenzsystems 700. Das dreidimensionale Telepräsenzsystem 700 ist ein Beispiel des dreidimensionalen Telepräsenzsystems 100. 7A–7F zeigen Draufsichten des Systems 700. 7G zeigt eine Seitenansicht.
  • Das dreidimensionale Telepräsenzsystem 700 beinhaltet eine Anzeige 725 und eine Kameraanordnung, die Kameraeinheiten 782a, 782b und 782c enthält. Ein lokaler Teilnehmer 705a und ein entfernter Teilnehmer nehmen mit dem dreidimensionalen Telepräsenzsystem 700 an einer Videokonferenz teil. Eine Darstellung 705b des entfernten Teilnehmers wird mit der Anzeige 725 erzeugt. Die 3D-Fähigkeiten der Anzeige 725 kann die Darstellung 705b derart erzeugen, dass der entfernte Teilnehmer mindestens für den lokalen Teilnehmer 705a so erscheint, als befände er sich vom lokalen Teilnehmer 705a aus gesehen auf der anderen Seite der Anzeige 725.
  • In einigen Implementierungen beinhaltet die Anzeige 725 einen 4K-Linsenanzeigebildschirm, der eine effektive Auflösung von etwa 1920×1080 bereitstellt. Andere tatsächliche und effektive Auflösungen sind ebenfalls möglich. Die Anzeige 725 kann eine Breite W von 1,3 Metern aufweisen. In einigen Implementierungen hat die Anzeige 725 eine Breite W von 1–1,5 Metern. In einigen Implementierungen weist die Anzeige 725 eine Breite W von zwischen 0,5 und 2 Metern auf. Möglicherweise weist die Anzeige 725 in einigen Implementierungen eine Breite von weniger als 0,5 Metern oder über 2 Metern auf.
  • Die Anzeige 725 kann konfiguriert sein, grafische Daten zu empfangen und anzuzeigen, die Farb- und Tiefenwerte (z. B. RGB + D) beinhalten. In einigen Implementierungen ist die Anzeige 725 konfiguriert, den lokalen Teilnehmer in einem Fenster um einen Punkt zu erfassen, der sich um einen Abstand L von der Anzeige 725 entfernt befindet. So entspricht in einigen Implementierungen L beispielsweise 1 Meter, etwa 1 Meter, 1,2 Meter oder einem anderen Abstand. Die Anzeige 725 kann zudem konfiguriert sein, die Darstellung des entfernten Teilnehmers derart zu erzeugen, dass sie um einen Versatzabstand O hinter der Anzeige 725 erscheint. So entspricht in einigen Implementierungen der Versatzabstand O 0,2 Meter, etwa 0,2 Meter, 0,3 Meter oder einem anderen Abstand.
  • Wie in den Figuren dargestellt, weisen die Kameraeinheiten 782a, 782b und 782c entsprechende Blickfelder 784a, 784b und 784c auf. Die Blickfelder 784a, 784b und 784c weisen möglicherweise einen horizontalen Blickwinkel (angegeben mit Θhoriz) und eine horizontale Reichweite (angegeben mit rhoriz) auf, die der Brennweite der Kameraeinheiten entsprechen. Die horizontale Reichweite kann dem Abstand von der Kamera entsprechen, in der sich der lokale Teilnehmer 705a befinden sollte, um ein ausreichendes Erfassen von Bild und Tiefe durch die Kameraeinheiten zu ermöglichen. In einigen Implementierungen sind die Kameraeinheiten 782a, 782b und 782c konfiguriert, die gleichen horizontalen Blickwinkel und horizontalen Reichweiten aufzuweisen. In einigen Implementierungen beträgt der horizontale Blickwinkel 57 Grad. In einigen Implementierungen beträgt der horizontale Blickwinkel zwischen 55 und 60 Grad. Darüber hinaus kann der horizontale Blickwinkel zwischen 45 und 70 Grad liegen. Andere Implementierungen können zudem Kameraeinheiten beinhalten, die mit anderen horizontalen Blickwinkeln konfiguriert sind. Die horizontale Reichweite ist in einigen Implementierungen gleich oder nahezu gleich 1,2 Meter. In einigen Implementierungen beträgt die horizontale Reichweite zwischen 1 Meter und 1,5 Meter. Die horizontale Reichweite kann größer als 0,5 Meter und kleiner als 2 Meter sein. Andere horizontale Reichweiten sind ebenfalls denkbar.
  • Verschiedene horizontale Tiefenwertabstände (angegeben als d) können von verschiedenen Konfigurationen des Systems 700 unterstützt werden. Der horizontale Tiefenwertabstand entspricht dem horizontalen Abstand auf der entfernten Seite zwischen Tiefenwerten, die eingesetzt werden, um 3D-Bilder auf der Anzeige 725 zu erzeugen. So können sich zum Beispiel verschiedene Implementierungen des Systems 700 auf den horizontalen Tiefenwertabstand auswirken. Einige Implementierungen weisen einen horizontalen Tiefenwertabstand von 0,8 Millimeter auf, allerdings weisen andere Implementierungen andere horizontale Tiefenwertabstände auf. In einigen Implementierungen kann der horizontale Tiefenwertabstand mit der folgenden Gleichung berechnet werden: d = L + O / LW / R wobei:
    • L
    = der Abstand von dem Auge des lokalen Teilnehmers 705a zu der Anzeige 825;
    O
    = der projizierte Versatzabstand von der Anzeige 725 zu der Darstellung des entfernt angeordneten Teilnehmers;
    W
    = die Breite der Anzeige 725; und
    R
    = die effektive horizontale Auflösung der Anzeige 725.
    So kann zum Beispiel in einigen Implementierungen das System 700 konfiguriert sein, ein erstes Bild und ein zweites Bild auf der Linsenanzeige zu erzeugen, wobei das zweite Bild erzeugt wird, sich von dem ersten Bild zu unterscheiden, um einen Parallaxe-Effekt für den Benutzer zu erzeugen, der bewirkt, dass eine Darstellung des entfernten Teilnehmers mit einem Versatzabstand hinter dem Anzeigegerät erscheint. In einigen Implementierungen wird der Versatzabstand auf Grundlage eines Zieltiefenwertabstands bestimmt. In einigen Implementierungen sind ein oder mehrere Infrarot-Tiefensensoren (z. B. der Kameraeinheiten 782a, 782b oder 782c) möglicherweise konfiguriert, Tiefenwerte mit einer Tiefenabtastfrequenz zu sammeln, um einen Zielversatzabstand zu unterstützen. So können die Tiefendaten mit einem horizontalen Tiefenwertabstand gesammelt werden, der auf Grundlage eines Zielabstands von der Anzeige zu dem Benutzer der Breite der Anzeige und der effektiven horizontalen Auflösung der Anzeige (z. B. nach der zuvor gezeigten Gleichung) berechnet wird.
  • In einigen Implementierungen definiert das System 700 möglicherweise eine Headbox 790, in der der Kopf des lokalen Teilnehmers 705a platziert sein sollte. Die Headbox 790 kann zum Beispiel ein Bereich im physischen Raum sein, in dem die Anzeige 725 betrachtet werden kann und sich die Blickfelder der Kameraeinheiten 782a, 782b und 782c überlappen, um ein Erfassen von Bild und/oder Tiefe des lokalen Teilnehmers 705a zu ermöglichen. In einigen Implementierungen weist die Headbox 790 möglicherweise eine Höhe (angegeben mit h) von 0,6 m und einer Breite (angegeben mit w) von 0,6 m auf. Andere Implementierungen weisen möglicherweise eine Headbox 790 mit einer anderen Höhe und/oder Breite auf. Typischerweise sind die Grenzen der Headbox 790 nicht physisch definiert, sondern werden dem lokalen Teilnehmer 705a mit verschiedenen Techniken (z. B. einem Anzeigen einer Warnung, wenn der Kopf des lokalen Teilnehmers 705a die Headbox 790 verlässt) auf der Anzeige 725 angezeigt.
  • In einigen Implementierungen weist ein Blickfeld 792 für den lokalen Teilnehmer 705a, wenn von der Mitte der Headbox 790 aus gemessen, einen Blickwinkel von etwa 66 Grad auf. In anderen Implementierungen beträgt der Blickwinkel für das Blickfeld 792 50–80 Grad. Andere Blickwinkel sind ebenfalls möglich. In einigen Implementierungen wird das effektive Blickfeld 794 für den lokalen Teilnehmer 705a auf Grundlage der Tatsache, dass sich das Blickfeld des lokalen Teilnehmers 705a von verschiedenen Positionen innerhalb der Headbox 790 unterscheidet, erweitert. So beträgt das effektive Blickfeld 794 in einigen Implementierungen etwa 107 Grad. In einigen Implementierungen weist die Anzeige 725 eine höhere Auflösung auf, um einen minimalen horizontalen Tiefenwertabstand über die größere horizontale Breite (angegeben als K) des effektiven Blickfelds 794 zu unterstützen. So enthalten zum Beispiel einige Implementierungen des Systems eine Anzeige 725 mit einer effektiven horizontalen Auflösung von mindestens etwa 2270 Pixeln.
  • Wie in 7G dargestellt, weist die Anzeige 725 eine Höhe H auf. In einigen Implementierungen ist die Höhe H gleich 0,8 Meter oder nahezu gleich 0,8 Meter. In einigen Implementierungen beträgt die Höhe H 0,5–1,5 Meter. In anderen Implementierungen ist die Höhe H möglicherweise kleiner als 0,5 Meter oder größer als 1,5 Meter.
  • Die Kameraeinheiten 782a, 782b und 782c weisen entsprechende Blickfelder 784a, 784b und 784c auf. Die Blickfelder 784a, 784b und 784c weisen möglicherweise einen vertikalen Blickwinkel (angegeben mit Θvert) und eine vertikale Reichweite (angegeben mit rvert) auf, die der Brennweite der Kameraeinheiten entsprechen. Die vertikale Reichweite kann dem vertikalen Abstand von der Kamera entsprechen, in der sich der lokale Teilnehmer 705a befinden sollte, um ein ausreichendes Erfassen von Bild und Tiefe durch die Kameraeinheiten zu ermöglichen. In einigen Implementierungen sind die Kameraeinheiten 782a, 782b und 782c konfiguriert, die gleichen vertikalen Blickwinkel und vertikalen Reichweiten aufzuweisen. In einigen Implementierungen beträgt der vertikale Blickwinkel 68 Grad. In einigen Implementierungen beträgt der vertikale Blickwinkel zwischen 65 und 75 Grad. Darüber hinaus kann der vertikale Blickwinkel zwischen 50 und 80 Grad liegen. Andere Implementierungen können Kameraeinheiten beinhalten, die mit anderen vertikalen Blickwinkeln konfiguriert sind. Die vertikale Reichweite ist in einigen Implementierungen gleich oder nahezu gleich 1 Meter. In einigen Implementierungen beträgt die vertikale Reichweite zwischen 0,5 und 1,5 Meter. Die vertikale Reichweite kann kleiner als 0,5 Meter und größer als 1,5 Meter sein. Andere vertikale Reichweiten sind ebenfalls möglich.
  • 8 zeigt ein schematisches Diagramm einer exemplarischen Implementierung eines dreidimensionalen Telepräsenzsystems 800. Das dreidimensionale Telepräsenzsystem 800 ist ein Beispiel des dreidimensionalen Telepräsenzsystems 100.
  • In einigen Implementierungen beinhaltet das System 800 eine Anzeige 825; eine Kameraanordnung, die eine Kameraeinheit 882a, 882b, 882c, 882d und 882e aufweist; eine Lautsprecheranordnung mit Lautsprechern 842a und 842b; und eine Mikrofonanordnung mit Mikrofonen 852a und 852b sowie ein Augenverfolgungsmodul 890. So können die Kameraeinheiten an verschiedenen Positionen um die Anzeige 825 herum angeordnet sein. In dem dargestellten Beispiel sind die Kameraeinheiten 882a und 882b oberhalb der Anzeige 825 angeordnet, die Kameraeinheit 882c ist auf einer Seite der Anzeige 825 angeordnet, die Kameraeinheit 882d ist auf der anderen Seite der Anzeige 825 angeordnet und die Kameraeinheit 882e ist unterhalb der Anzeige 825 angeordnet. In einigen Implementierungen sind die Lautsprecher und Mikrofone an verschiedenen Stellen angeordnet, um ein Aufzeichnen und ein Erzeugen von Richt- oder räumlichem Audio zu ermöglichen. So sind zum Beispiel der Lautsprecher 842a und das Mikrofon 852a auf einer Seite der Anzeige 825 angeordnet, während der Lautsprecher 842b und das Mikrofon 852b auf der anderen Seite der Anzeige 825 angeordnet sind. In einigen Implementierungen beinhaltet die Mikrofonanordnung mehr als zwei Mikrofone (z. B. vier Mikrofone). Auf ähnliche Weise beinhaltet die Lautsprecheranordnung in einigen Implementierungen mehr als zwei Lautsprecher (z. B. vier Lautsprecher).
  • Das Augenverfolgungsmodul 890 kann an verschiedenen Positionen um die Anzeige 825 herum angeordnet sein. Das Augenverfolgungsmodul 890 beinhaltet ggf. eine oder mehrere Kameras oder andere Arten von Bildgebungsvorrichtungen, die konfiguriert sind, den Standort/die Position des Auges eines lokalen Teilnehmers (nicht dargestellt) und/oder eine Blickrichtung oder ein Ziel für den lokalen Teilnehmer zu identifizieren. Das Augenverfolgungsmodul 890 kann zudem andere Merkmale des Benutzers, wie zum Beispiel den Mund oder andere Gesichtsmerkmale, nachverfolgen. Darüber hinaus beinhaltet in einigen Implementierungen das Augenverfolgungsmodul eine Kamera, die im Vergleich zu den Kameraeinheiten 882a, 882b, 882c, 882d und 882e der Kameraanordnung mit einer höheren Bildfrequenz betrieben wird. Darüber hinaus oder alternativ dazu können die Kameraeinheiten der Kameraanordnung Augenverfolgungen durchführen.
  • Es wurde eine Reihe von Implementierungen beschrieben. Nichtsdestotrotz versteht sich, dass verschiedene Modifikationen vorgenommen werden können, ohne vom Sinn und Umfang der Erfindung abzuweichen.
  • Außerdem erfordern die in den Figuren dargestellten logischen Abläufe nicht die bestimmte dargestellte Reihenfolge oder sequenzielle Reihenfolge, um wünschenswerte Ergebnisse zu erzielen. Darüber hinaus können andere Schritte vorgesehen sein oder Schritte aus den beschriebenen Abläufen eliminiert und andere Komponenten zu den beschriebenen Systemen hinzugefügt oder aus denselben entfernt werden.

Claims (34)

  1. Telepräsenz-Endgerät, umfassend: eine Anzeige, die eine Mikrolinsenanordnung angeordnet vor einem Pixelgitter beinhaltet; einen Bildsensor; einen Infrarotsender; einen Infrarot-Tiefensensor; ein Verarbeitungsgerät; und einen Speicher, in dem Anweisungen gespeichert sind, die, wenn ausgeführt, das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, beinhaltend: Bestimmen von Bilddaten auf Grundlage von sichtbaren, von dem Bildsensor erfassten Licht; Bestimmen von Tiefendaten auf Grundlage von dem Infrarotsender ausgesendeten und von dem Infrarot-Tiefensensor erfassten Infrarotlicht; Kommunizieren der Tiefendaten und der Bilddaten an ein entferntes Telepräsenz-Endgerät; Empfangen von entfernten Bilddaten und entfernten Tiefendaten, wobei die entfernten Bilddaten und die entfernten Tiefendaten von einem entfernten Telepräsenz-Endgerät ausgehen; Erzeugen eines ersten Anzeigebildes auf Grundlage der entfernten Bilddaten unter Einsatz einer ersten Teilmenge von Pixeln des Pixelgitters, die von einem ersten Betrachtungsstandort aus durch die Mikrolinsenanordnung betrachtbar ist; und Erzeugen eines zweiten Anzeigebildes auf Grundlage der entfernten Bilddaten und der entfernten Tiefendaten unter Einsatz einer zweiten Teilmenge von Pixeln des Pixelgitters, die von einem zweiten Betrachtungsstandort aus durch die Mikrolinsenanordnung betrachtbar ist.
  2. Telepräsenz-Endgerät nach Anspruch 1, wobei das erste Anzeigebild und das zweite Anzeigebild derart erzeugt werden, dass sie Unterschiede aufweisen, die eine Parallaxe auf Grundlage der empfangenen Tiefendaten simulieren.
  3. Telepräsenz-Endgerät nach Anspruch 2, wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Bestimmen eines Standorts eines Benutzers des Telepräsenz-Endgeräts.
  4. Telepräsenz-Endgerät nach Anspruch 3, wobei der Standort des Benutzers des Telepräsenz-Endgeräts auf Grundlage der Tiefendaten bestimmt wird.
  5. Telepräsenz-Endgerät nach Anspruch 3, wobei der Standort des Benutzers des Telepräsenz-Endgeräts auf Grundlage der Bilddaten bestimmt wird.
  6. Telepräsenz-Endgerät nach Anspruch 3, wobei das erste Anzeigebild und das zweite Anzeigebild derart erzeugt werden, dass sie Unterschiede aufweisen, die eine Parallaxe auf Grundlage des bestimmten Standorts des Benutzers simulieren.
  7. Telepräsenz-Endgerät nach Anspruch 3 bis 6, wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Erzeugen eines dreidimensionalen stereoskopischen Bildes auf der Anzeige unter Einsatz der entfernten Bilddaten und der entfernten Tiefendaten, sowie des bestimmten Standorts des Benutzers des Telepräsenz-Endgeräts.
  8. Telepräsenz-Endgerät nach Anspruch 1, wobei die Anweisungen das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Erzeugen eines ersten Abschnitts des ersten Anzeigebildes in einer ersten Richtung und Erzeugen eines zweiten Abschnitts des zweiten Anzeigebildes in einer zweiten Richtung.
  9. Telepräsenz-Endgerät nach Anspruch 8, wobei Mikrolinsen der Mikrolinsenanordnung konfiguriert sind, Licht über einen oder mehrere Winkel auszusenden und/oder verschiedenfarbige Pixelwerte in einer oder mehreren verschiedenen Richtungen anzuzeigen.
  10. Telepräsenz-Endgerät nach Anspruch 8 oder 9, wobei die erste Richtung bestimmt wird durch Auswählen eines ersten Pixels aus einer Vielzahl von Pixeln um einen Abschnitt des ersten Anzeigebildes anzuzeigen und die zweite Richtung bestimmt wird durch Auswählen eines zweiten Pixels aus der Vielzahl von Pixeln, um einen Abschnitt des zweiten Anzeigebildes anzuzeigen.
  11. Telepräsenz-Endgerät nach Anspruch 1, wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Bestimmen der Tiefendaten auf Grundlage eines Laufzeitverfahrens, welches einen Phasenversatz zwischen einem von dem Infrarotsender ausgesendeten ersten Infrarotlicht und einem von einem Objekt in einem Pfad des ausgesendeten ersten Infrarotlichts reflektierten und von dem Infrarot-Tiefensensor erfassten zweiten Infrarotlicht misst.
  12. Telepräsenz-Endgerät nach Anspruch 1, ferner umfassend: eine Mikrofonanordnung, beinhaltend ein erstes Mikrofon, angeordnet auf einer ersten Seite der Anzeige und ein zweites Mikrofon, angeordnet auf einer zweiten Seite der Anzeige; und eine Lautsprecheranordnung, beinhaltend einen ersten Lautsprecher, angeordnet auf der ersten Seite der Anzeige und einen zweiten Lautsprecher, angeordnet auf der zweiten Seite der Anzeige; wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend: Erfassen von Richt-Audiodaten unter Einsatz der Mikrofonanordnung; Übermitteln der Richt-Audiodaten an das entfernte Endgerät; Empfangen von entfernten Richt-Audiodaten von dem entfernten Endgerät; und Ausgeben von Audio unter Einsatz der Lautsprecheranordnung auf Grundlage der entfernten Richt-Audiodaten.
  13. Telepräsenz-Endgerät nach Anspruch 12, wobei die Mikrofonanordnung mehr als zwei Mikrofone beinhaltet.
  14. Telepräsenz-Endgerät nach Anspruch 1, wobei das Telepräsenz-Endgerät eine Kameraanordnung umfasst, umfassend mindestens eine Kameraeinheit, die den Bildsensor, den Infrarotsender und den Infrarot-Tiefensensor beinhaltet.
  15. Telepräsenz-Endgerät nach Anspruch 14, wobei die Kameraeinheit hinter der Anzeige angeordnet ist und die Anzeige transparent ist.
  16. Telepräsenz-Endgerät nach Anspruch 15, wobei die Anzeige zwischen einem ausgeschalteten Zustand und einem Beleuchtungszustand umschaltbar ist, und wobei die Anweisungen ferner das Verarbeitungsgerät veranlassen, Vorgänge auszuführen, umfassend Synchronisieren des Erfassens von sichtbarem Licht und Infrarotlicht mit dem ausgeschalteten Zustand der Anzeige.
  17. Telepräsenz-Endgerät nach Anspruch 16, wobei mindestens einige Mikrolinsen der Mikrolinsenanordnung aus einem ersten Material gefertigt sind und mindestens einige der Mikrolinsen der Mikrolinsenanordnung aus einem zweiten Material gefertigt sind, wobei das erste Material ein Material ist, das von elektrischem Strom im Wesentlichen nicht beeinflusst wird, und das zweite Material ein Material ist, das im Wesentlichen von einem elektrischen Strom beeinflusst wird und das erste Material und das zweite Material verschiedene Brechungsindizes aufweisen, wenn kein Strom auf das erste und das zweite Material angewendet wird.
  18. Telepräsenz-Endgerät nach Anspruch 1, ferner umfassend einen Strahlteiler, der eingehendes Licht teilt und das geteilte eingehende Licht an den Bildsensor und den Infrarot-Tiefensensor sendet.
  19. Telepräsenzsystem, umfassend ein Telepräsenz-Endgerät nach Anspruch 1 sowie das entfernte Telepräsenz-Endgerät.
  20. Computerprogrammprodukt, umfassend eine Reihe von Anweisungen, die, wenn sie durch mindestens einen Prozessor ausgeführt werden, ein Computersystem veranlassen ein Verfahren auszuführen, das Verfahren umfassend: Erzeugen von erstem Infrarotlicht unter Einsatz eines Infrarotsenders; Empfangen von zweitem Infrarotlicht unter Einsatz eines Infrarot-Tiefensensors; Bestimmen von erfassten Tiefendaten auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts; Bestimmen von erfassten Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes; Kommunizieren der erfassten Tiefendaten und der erfassten Bilddaten an ein entferntes Endgerät; Erzeugen eines ersten Anzeigebildes auf Grundlage der empfangenen und von dem entfernten Endgerät stammenden Bilddaten unter Einsatz einer ersten Teilmenge eines Pixelgitters, wobei das erste Anzeigebild von einem ersten Standort aus durch eine Mikrolinsenanordnung betrachtbar ist; und Erzeugen eines zweiten Anzeigebildes auf Grundlage der empfangenen Bilddaten und empfangenen Tiefendaten, die von dem entfernten Endgerät stammen, unter Einsatz einer zweiten Teilmenge eines Pixelgitters, wobei das zweite Anzeigebild von einem zweiten Standort aus durch die Mikrolinsenanordnung betrachtbar ist.
  21. Computerprogrammprodukt nach Anspruch 20, wobei das zweite Anzeigebild erzeugt wird, um sich von dem ersten Anzeigebild zu unterscheiden, um einen Parallaxe-Effekt auf Grundlage der erfassten Tiefendaten zu erzeugen.
  22. Computerprogrammprodukt nach Anspruch 20, wobei die Anweisungen ferner das Computersystem veranlassen, Vorgänge auszuführen, umfassend Bestimmen eines Standorts eines Benutzers des Telepräsenz-Endgeräts.
  23. Computerprogrammprodukt nach Anspruch 22, wobei das zweite Anzeigebild erzeugt wird, um sich von dem ersten Anzeigebild zu unterscheiden, um einen Parallaxe-Effekt auf Grundlage des bestimmten Standorts des Benutzers zu erzeugen.
  24. Computerprogrammprodukt nach Anspruch 23, wobei das zweite Anzeigebild erzeugt wird, um sich von dem ersten Bild zu unterscheiden, um einen Parallaxe-Effekt auf Grundlage einer Kombination des bestimmten Standorts des Benutzers und der empfangenen Tiefendaten zu erzeugen.
  25. Computerprogrammprodukt nach Anspruch 20, wobei das Verfahren ferner umfasst: Erfassen von Richt-Audiodaten unter Einsatz einer Mikrofonanordnung; Übermitteln der Richt-Audiodaten an das entfernte Endgerät; Empfangen von entfernten Richt-Audiodaten von dem entfernten Endgerät; und Ausgeben von Audio unter Einsatz einer Lautsprecheranordnung auf Grundlage der entfernten Richt-Audiodaten.
  26. Computerprogrammprodukt nach Anspruch 20, wobei das Empfangen von zweitem Infrarotlicht unter Einsatz eines Infrarot-Tiefensensors umfasst: Abschalten der Mikrolinsenanordnung und des Pixelgitters; Erfassen des zweiten Infrarotlichts durch die Mikrolinsenanordnung und das Pixelgitter; und Einschalten der Mikrolinsenanordnung und des Pixelgitters.
  27. Nicht flüchtiges computerlesbares Speichermedium, das Befehle umfasst, die darauf gespeichert sind und bei Ausführung durch mindestens einen Prozessor konfiguriert sind, ein Computersystem mindestens zu veranlassen zu: Erzeugen von erstem Infrarotlicht unter Einsatz eines Infrarotsenders; Empfangen von zweitem Infrarotlicht unter Einsatz eines Infrarot-Tiefensensors; Bestimmen von Tiefendaten auf Grundlage des ersten Infrarotlichts und des zweiten Infrarotlichts; Bestimmen von Bilddaten auf Grundlage des von einem Bildsensor erfassten sichtbaren Lichtes; Kommunizieren der Tiefendaten und der Bilddaten an ein entferntes Telepräsenz-Endgerät; Erzeugen, unter Einsatz einer Linsenanzeige, eines ersten Anzeigebildes auf Grundlage der empfangenen, von dem entfernten Endgerät stammenden Bilddaten, wobei das erste Anzeigebild von einem ersten Standort aus betrachtbar ist; und Erzeugen, unter Einsatz der Linsenanzeige, eines zweiten Anzeigebildes auf Grundlage der empfangenen Bilddaten und empfangenen Tiefendaten, die von dem entfernten Endgerät stammen, wobei das zweite Anzeigebild von einem ersten Standort aus betrachtbar ist.
  28. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 27, wobei das zweite Anzeigebild erzeugt wird, um sich von dem ersten Bild zu unterscheiden, um einen Parallaxe-Effekt auf Grundlage einer Kombination des bestimmten Standorts des Benutzers und der empfangenen Tiefendaten zu erzeugen.
  29. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 27, ferner umfassend Befehle, die das Computersystem veranlassen zu: Bestimmen eines Standorts eines Benutzers des Telepräsenz-Endgeräts.
  30. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 29, wobei das zweite Anzeigebild erzeugt wird, um sich von dem ersten Bild zu unterscheiden, um einen Parallaxe-Effekt auf Grundlage einer Kombination des bestimmten Standorts des Benutzers und der empfangenen Tiefendaten zu erzeugen.
  31. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 29, wobei das zweite Anzeigebild derart erzeugt wird, dass es sich von dem ersten Anzeigebild unterscheidet, um einen Parallaxe-Effekt für den Benutzer zu erzeugen, der eine Repräsentierung einer Fernbedienung veranlasst an dem entfernten Telepräsenz-Endgerät mit einem versetzten Abstand hinter dem Anzeigegerät zu erscheinen.
  32. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 29, wobei der versetzte Abstand auf Grundlage eines Zieltiefenwertabstands bestimmt wird.
  33. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 32, wobei die Tiefendaten mit einem horizontalen Tiefenwertabstand (d) erfasst werden, der auf Grundlage eines Zielabstands von der Anzeige zu dem Benutzer (L), dem versetzten Abstand (O), einer Breite der Anzeige (W) und einer effektiven horizontalen Auflösung der Anzeige (R) berechnet wird.
  34. Nicht flüchtiges computerlesbares Speichermedium nach Anspruch 33, wobei der horizontale Tiefenwertabstand d als d = L + O / LW / R berechnet wird.
DE202017105484.5U 2016-09-09 2017-09-11 Dreidimensionales Telepräsenzsystem Active DE202017105484U1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662385685P 2016-09-09 2016-09-09
US62/385,685 2016-09-09

Publications (1)

Publication Number Publication Date
DE202017105484U1 true DE202017105484U1 (de) 2018-01-09

Family

ID=59930787

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202017105484.5U Active DE202017105484U1 (de) 2016-09-09 2017-09-11 Dreidimensionales Telepräsenzsystem

Country Status (7)

Country Link
US (5) US20180077437A1 (de)
EP (1) EP3510768B1 (de)
JP (2) JP7001675B2 (de)
KR (3) KR20190026804A (de)
CN (2) CN112584080B (de)
DE (1) DE202017105484U1 (de)
WO (1) WO2018049201A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750210B2 (en) 2016-09-09 2020-08-18 Google Llc Three-dimensional telepresence system

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD778941S1 (en) * 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
GB201621879D0 (en) * 2016-12-21 2017-02-01 Branston Ltd A crop monitoring system and method
EP3593525A1 (de) * 2017-03-10 2020-01-15 Sling Media PVT Ltd Mediensitzungsverwaltung
US11064226B2 (en) * 2017-03-16 2021-07-13 Echo-Sense, Inc. System and method for concurrent data streams from a singular sensor with remotely selectable parameters
US11140455B1 (en) * 2017-06-09 2021-10-05 Amazon Technologies, Inc. Video encoder network sandboxing
TWI665649B (zh) * 2018-02-27 2019-07-11 鴻海精密工業股份有限公司 微型led陣列、顯示幕及電子裝置
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
US20210368080A1 (en) * 2018-08-09 2021-11-25 Corephotonics Ltd. Multi-cameras with shared camera apertures
US10764533B2 (en) 2018-11-09 2020-09-01 Google Llc Computerworkstation with curved lenticular display
CN110290375A (zh) 2019-01-17 2019-09-27 深圳市光鉴科技有限公司 具有3d摄像模组的显示装置及电子设备
US20220217301A1 (en) * 2019-04-15 2022-07-07 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11057549B2 (en) * 2019-08-16 2021-07-06 Lenovo (Singapore) Pte. Ltd. Techniques for presenting video stream next to camera
CN112394527A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 多维摄像装置及其应用终端和方法
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN114450970B (zh) * 2019-09-27 2023-05-23 苹果公司 用于向不同用户显示不同内容的方法、电子设备和介质
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US20210409893A1 (en) * 2020-06-25 2021-12-30 Microsoft Technology Licensing, Llc Audio configuration for displayed features
EP4199509A1 (de) * 2020-09-18 2023-06-21 Moon, Myung Il 3d-bilderfassungsvorrichtung
EP4007992A1 (de) * 2020-10-08 2022-06-08 Google LLC Few-shot-synthese von talking heads
WO2022115119A1 (en) * 2020-11-30 2022-06-02 Google Llc Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
US11818637B2 (en) * 2021-06-10 2023-11-14 Getac Technology Corporation Providing alternate communication proxies for media collection devices
CN114567767B (zh) * 2022-02-23 2024-06-18 京东方科技集团股份有限公司 显示装置、光场采集方法、图像数据传输方法及相关设备
CN114827465A (zh) * 2022-04-19 2022-07-29 京东方科技集团股份有限公司 图像采集方法、装置及电子设备
US12039140B2 (en) 2022-04-25 2024-07-16 Zoom Video Communications, Inc. Configuring a graphical user interface for display at an output interface during a video conference
IL296044B1 (en) * 2022-08-29 2024-04-01 Abu Freh Ismael A system and method for streaming video in real time through virtual reality glasses using a network of cameras

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
AU6171200A (en) * 1999-08-10 2001-03-05 Peter Mcduffie White Communications system
JP2004514304A (ja) * 1999-12-03 2004-05-13 アワワールド　ライヴ　インコーポレイテッド コンシューマアクセスシステムおよびその提供方法
GB2411735A (en) * 2004-03-06 2005-09-07 Sharp Kk Control of liquid crystal alignment in an optical device
JP2005303683A (ja) * 2004-04-12 2005-10-27 Sony Corp 画像送受信装置
US7535468B2 (en) * 2004-06-21 2009-05-19 Apple Inc. Integrated sensing display
WO2006110646A2 (en) * 2005-04-08 2006-10-19 Real D Autostereoscopic display with planar pass-through
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
US20090146915A1 (en) 2007-12-05 2009-06-11 Marathe Madhav V Multiple view display device
CN101472133B (zh) * 2007-12-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2010171573A (ja) * 2009-01-21 2010-08-05 Epson Imaging Devices Corp ３次元画像表示・撮像装置、通信システム、および表示装置
US8570423B2 (en) * 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
WO2011034924A1 (en) * 2009-09-15 2011-03-24 Envysion, Inc. Video streaming method and system
KR20120095424A (ko) * 2009-11-17 2012-08-28 에테하 쭈리히 투명한 무안경 입체영상 디스플레이 장치 및 방법
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和***
JP5494283B2 (ja) 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US8576271B2 (en) * 2010-06-25 2013-11-05 Microsoft Corporation Combining direct and routed communication in a video conference
KR101280636B1 (ko) * 2010-07-29 2013-07-01 주식회사 팬택 능동형 입체영상 디스플레이 장치 및 그의 구동 방법
US8624960B2 (en) * 2010-07-30 2014-01-07 Silicon Image, Inc. Multi-view display system
KR101732135B1 (ko) 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
CN103339658A (zh) * 2011-01-30 2013-10-02 诺基亚公司 用于三维立体显示器的方法、设备和计算机程序产品
JP2012169822A (ja) 2011-02-14 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US20120254933A1 (en) * 2011-03-31 2012-10-04 Hunt Electronic Co., Ltd. Network video server and video control method thereof
US20120257004A1 (en) * 2011-04-05 2012-10-11 Polycom, Inc. Direct Eye-Contact Enhancing Videoconferencing Unit
JP5834533B2 (ja) * 2011-06-23 2015-12-24 沖電気工業株式会社 コミュニケーションシステム及びコミュニケーション装置
JP2013125985A (ja) * 2011-12-13 2013-06-24 Sharp Corp 表示システム
JP2013128181A (ja) 2011-12-16 2013-06-27 Fujitsu Ltd 表示装置、表示方法および表示プログラム
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
CN104601976A (zh) * 2012-01-31 2015-05-06 索尼公司 图像处理装置和图像处理方法
WO2013153464A1 (en) * 2012-04-13 2013-10-17 Nokia Corporation Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input
US9384581B2 (en) 2012-04-20 2016-07-05 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
US20130321564A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
KR101350996B1 (ko) * 2012-06-11 2014-01-13 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
US8976224B2 (en) * 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
EP4184443A1 (de) * 2012-12-18 2023-05-24 Eyesmatch Ltd. Vorrichtungen, systeme und verfahren zum erfassen und anzeigen von erscheinungsbildern
US20140176684A1 (en) * 2012-12-24 2014-06-26 Alejandro Varela Techniques for multiple viewer three-dimensional display
US9307217B1 (en) * 2013-06-12 2016-04-05 Ambarella, Inc. Portable video camera/recorder having video security feature
JP6199619B2 (ja) * 2013-06-13 2017-09-20 株式会社ニューフレアテクノロジー 気相成長装置
KR20140147376A (ko) * 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
US20150097925A1 (en) * 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera
US20150128174A1 (en) * 2013-11-04 2015-05-07 Broadcom Corporation Selecting audio-video (av) streams associated with an event
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
CN104866261B (zh) * 2014-02-24 2018-08-10 联想(北京)有限公司 一种信息处理方法和装置
US9344748B2 (en) * 2014-03-31 2016-05-17 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
US10171792B2 (en) 2014-08-15 2019-01-01 The University Of Akron Device and method for three-dimensional video communication
KR102269318B1 (ko) * 2014-09-15 2021-06-28 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
KR102396289B1 (ko) * 2015-04-28 2022-05-10 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
US9609275B2 (en) * 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US20170070804A1 (en) * 2015-09-03 2017-03-09 Monster, Llc Multifunction Wireless Adapter
KR20170035608A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
US10203566B2 (en) * 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US20180077437A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Parallel Video Streaming

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750210B2 (en) 2016-09-09 2020-08-18 Google Llc Three-dimensional telepresence system
US10880582B2 (en) 2016-09-09 2020-12-29 Google Llc Three-dimensional telepresence system

Also Published As

Publication number Publication date
US10750210B2 (en) 2020-08-18
WO2018049201A1 (en) 2018-03-15
US20200344500A1 (en) 2020-10-29
US20180077437A1 (en) 2018-03-15
JP2019533324A (ja) 2019-11-14
KR102256707B1 (ko) 2021-05-26
US20180077430A1 (en) 2018-03-15
CN109565567A (zh) 2019-04-02
CN112584080B (zh) 2023-10-24
US10327014B2 (en) 2019-06-18
JP7443314B2 (ja) 2024-03-05
JP2022009242A (ja) 2022-01-14
KR20200078703A (ko) 2020-07-01
US20190306541A1 (en) 2019-10-03
EP3510768A1 (de) 2019-07-17
US20180077384A1 (en) 2018-03-15
EP3510768B1 (de) 2023-05-24
US10880582B2 (en) 2020-12-29
KR20200096322A (ko) 2020-08-11
JP7001675B2 (ja) 2022-01-19
CN109565567B (zh) 2020-12-08
KR20190026804A (ko) 2019-03-13
KR102142643B1 (ko) 2020-08-07
CN112584080A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
DE202017105484U1 (de) Dreidimensionales Telepräsenzsystem
US11729351B2 (en) System and methods for facilitating virtual presence
DE102018129009A1 (de) Dynamischer Sichtsensor und Projektor für Tiefenabbildung
DE69215058T2 (de) Dreidimensionale Bildwiedergabeeinrichtung, die elektrisch erzeugte Parallaxstreifen verwendet
EP2383995B1 (de) Anzeigesystem, Verfahren und Computerprogramm zur Erfassung von Bildern mit mehrfach integrierten Bildsensoren
DE112016004114T5 (de) Stereorenderingsystem
US20160269685A1 (en) Video interaction between physical locations
DE112011105927T5 (de) Grafik-Renderingverfahren für autostereoskopisches dreidimensionales Display
CN1201338A (zh) 视频显示方法和视频显示装置
DE202017104934U1 (de) Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme
DE112011102392T5 (de) Synchronisation von Shutter-Signalen für mehrere 3D-Wiedergabegeräte/Vorrichtungen
DE102020200933A1 (de) Projektor für aktive Stereotiefensensoren
WO2011032642A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
Viola et al. A comprehensive framework for visual quality assessment of light field tensor displays
EP1680929B1 (de) Ansteuerung zur stereoprojektion
DE212020000701U1 (de) System zum Erzeugen eines kontinuerlichen Bildes aus separaten Bildquellen
EP4329291A1 (de) System, verfahren, computerprogramm und computerlesbares medium
DE102021213661A1 (de) Systeme und verfahren zur anzeidge von benutzern, die an einer kommunikationssitzung teilnehmen
Rizek Evaluation and improvements of 3D technology for video conferencing
DE102015016714A1 (de) Kommunikationsvorrichtung
Atkins et al. 3D Magic Mirror: Converting a 2D Display into a 3D Autosterescopic Display

Legal Events

Date Code Title Description
R207 Utility model specification
R081 Change of applicant/patentee

Owner name: GOOGLE LLC (N.D.GES.D. STAATES DELAWARE), MOUN, US

Free format text: FORMER OWNER: GOOGLE INC., MOUNTAIN VIEW, CALIF., US

R082 Change of representative

Representative=s name: MAIKOWSKI & NINNEMANN PATENTANWAELTE PARTNERSC, DE

R150 Utility model maintained after payment of first maintenance fee after three years
R151 Utility model maintained after payment of second maintenance fee after six years