DE102017112772A1

DE102017112772A1 - System zur Echtzeit-Übertragung von 3D-Daten, u. a.

Info

Publication number: DE102017112772A1
Application number: DE102017112772.0A
Authority: DE
Inventors: Thomas Riedel
Original assignee: Riedel Communications International GmbH
Current assignee: Riedel Communications International GmbH
Priority date: 2017-06-09
Filing date: 2017-06-09
Publication date: 2018-12-13

Abstract

Die Erfindung betrifft unter anderem ein System (10) zur Echtzeit-Übertragung von 3D-Daten (17), umfassend 3D-Video-Daten (38) und zugehörige Audio-Daten (24), von einer an einem Veranstaltungsort (11) platzierten 3D-Kamera-Mikrofon-Einheit (12a, b), zu entfernt von dem Veranstaltungsort befindlichen Zuschauern.

Description

Die Erfindung betrifft zunächst ein System zur Echtzeit-Übertragung von 3D-Daten nach Anspruch 1.
Systeme zur Echtzeit-Übertragung, also zur Live-Übertragung, von 3D-Daten sind bekannt. Als 3D-Daten in der vorliegenden Patentanmeldung werden Daten oder Informationen bezeichnet, die dreidimensionale, räumliche Video-Daten, also sogenannte 3D-Video-Daten, als auch zugehörige Audio-Daten umfassen. Derartige Daten werden allgemein auch als VR-Daten (VR = Virtual Reality) bezeichnet. Es handelt sich dabei insbesondere um Bilddaten, die von einer besonderen Kamera aufgenommen werden, oder von mehreren Kameras, so dass unterschiedliche Perspektiven oder Blickrichtungen für einen Betrachter zugelassen werden. Diese 3D-Daten können in an sich bereits bekannter, herkömmlicher Weise an VR-Endgeräte, z. B. an eine VR-Brille, übermittelt werden. Dem Benutzer dieser VR-Brille können die von der Kamera in Echtzeit übertragenen Bilddaten durch eine BildanzeigeVorrichtung angezeigt werden. Die Bildanzeige ist aber von dem Benutzer steuerbar. Hierzu kann er beispielsweise durch eine Bewegung des Kopfes - im Falle einer kopfseitig getragenen VR-Brille - oder alternativ z. B. auch durch eine Pupillenbewegung - die Bildanzeige steuern und entsprechend unterschiedliche Kameraperspektiven entsprechend unterschiedlicher Blickrichtungen erreichen.
Für den Fall, dass ein Benutzer eine entsprechend angeschlossene VR-Brille trägt, kann er beispielsweise eine Live-Veranstaltung, wie ein Fußballspiel, mitverfolgen und die Stadionatmosphäre miterleben. Er wähnt sich sozusagen im Stadion befindlich.
Um den Benutzer der VR-Endgerätes unterschiedliche Blick- bzw. Kameraperspektiven zu ermöglichen, umfasst der an das VR-Endgerät über ein Netzwerk, z. B. über das Internet, übermittelte 3D-Datentrom bereits sämtliche Bilddaten. Das VR-Endgerät zeigt dem Benutzer aber - je nach gewählter Perspektive - nur bestimmte, der gewählten Perspektive entsprechende Bilddaten an.
Um an den Träger der VR-Brille - oder allgemein an den Benutzer des VR-Endgerätes - die Stadionatmosphäre oder jedenfalls die am Veranstaltungsort befindliche Geräuschkulisse zu übermitteln, enthält der 3D-Datenstrom auch zugehörige Audio-Daten. Die Audio-Daten sind also zeitlich mit den 3D-Video-Daten korreliert.
Bei einem bekannten, druckschriftlichen nicht belegbaren System werden die 3D-Daten von einer 3D-Kamera - bzw. einer Kamera-Mikrofon-Einheit - am Veranstaltungsort aufgenommen und von einer Einspeiseeinrichtung in das Internet eingespeist. Der eingespeiste 3D-Datenstrom kann von einer VR-Brille empfangen werden. Die VR-Brille weist einen oder mehrere Lautsprecher auf, sowie eine steuerbare Bildanzeigevorrichtung, mit der die Bedienperson die Bildperspektive verändern oder wählen kann.
Der 3D-Datenstrom fließt unidirektional von der Einspeiseeinrichtung über das Netzwerk zu dem VR-Empfänger. In der entgegengesetzten Richtung werden keine Daten, insbesondere keine Audiodaten, übertragen.
Ausgehend von dem vorliegend beschriebenen, druckschriftlich nicht belegbaren System zur Echtzeit-Übertragung von 3D-Daten des Standes der Technik besteht die Aufgabe der Erfindung darin, das System so weiterzuentwickeln, dass eine virtuelle Teilnahme an der Veranstaltung durch Benutzer noch realistischer wirkt.
Die Erfindung löst diese Aufgabe mit einem System mit den Merkmalen des Anspruches 1.
Das Prinzip der Erfindung besteht im Wesentlichen darin, dem System wenigstens eine Intercom-Vorrichtung hinzuzufügen. Mittels der Intercom-Vorrichtung - oder einer dieser zugeordneten Einrichtung - können zwei oder mehrere VR-Endgeräte ausgewählt werden. In Folge einer Auswahl können diese mehreren VR-Endgeräte miteinander verknüpft werden, insbesondere mittels der Intercom-Vorrichtung miteinander verknüpft werden. Eine Verknüpfung kann aber alternativ beispielsweise auch durch eine Administrationsvorrichtung erfolgen, die an das Netzwerk angeschlossen ist.
In diesem Zusammenhang ist anzumerken, dass insbesondere sämtliche VR-Endgeräte innerhalb des Netzwerkes über eine eindeutige Kennung oder eine eindeutige Netzwerkadresse verfügen und hierdurch voneinander unterscheidbar sind. Auch die Administrationseinheit kennt diese Adressen. Die Administrationseinheit kann insbesondere der Intercom-Vorrichtung zugeordnet sein oder Bestandteil der Intercom-Vorrichtung sein.
In Folge der Verknüpfung mehrerer VR-Geräte miteinander stellt die Intercom-Vorrichtung eine unmittelbare Duplex-Audio-Verbindung zwischen den ausgewählten VR-Endgeräten bereit. Eine solche unmittelbare Duplex-Audio-Verbindung wird als Intercom-Verbindung bezeichnet. Eine Intercom-Verbindung zwischen zwei VR-Endgeräten erlaubt ein gleichzeitiges Hören und Sprechen der Benutzer der beiden ausgewählten VR-Endgeräte miteinander. Die Intercom-Verbindung kann vorteilhafterweise über das Netzwerk, also über das Internet, bereitgestellt werden.
Alternativ kann die Intercom-Verbindung aber auch über ein unabhängiges Netzwerk bereitgestellt werden.
Die Intercom-Vorrichtung kann zentral in dem Netzwerk ausgebildet sein, und beispielsweise von einem Internet-Server bereitgestellt sein. Die Intercom-Vorrichtung kann aber alternativ auch dezentral ausgebildet sein, und z. B. an den unterschiedlichen Endgeräten angeordnet oder diesen zugeordnet werden.
Gemäß des Prinzips der Erfindung ist des Weiteren eine Überlagerungsvorrichtung in dem System vorgesehen. Die Überlagerungsvorrichtung kann zentral in dem Netzwerk vorgesehen sein, und beispielsweise der Einspeiseeinrichtung zugeordnet sein. Vorteilhafterweise ist die Überlagerungsvorrichtung aber dezentral ausgebildet, und insbesondere den einzelnen ausgewählten VR-Endgeräten zugeordnet.
Die Überlagerungsvorrichtung kann Bestandteil der Intercom-Vorrichtung sein oder der Intercom-Vorrichtung zugeordnet sein.
Die Überlagerungsvorrichtung sorgt bei dem erfindungsgemäßen System dafür, dass dem Audio-Anteil des 3D-Datenstroms ein Intercom-Audio-Signal überlagert wird. Das Intercom-Audio-Signal entstammt der Intercom-Verbindung zwischen den ausgewählten VR-Endgeräten und entstammt insoweit einer Sprach-Kommunikation zwischen den Benutzern der ausgewählten VR-Endgeräte. Diese Audio-Informationen (das sogenannte Audio-Signal) wird dem Audio-Anteil des 3D-Datenstroms zugemischt. Das VR-Endgerät kann also einen entsprechend vermischten 3D-Datenstrom empfangen, in dem die Audio-Signale von dem Veranstaltungsort und die Audiosignale, die aus der Intercom-Verbindung resultieren, miteinander vermischt sind. Dieser überlagerte Audio-Datenstrom wird dem Lautsprecher des VR-Endgerätes zugeführt.
Die Bedienpersonen der ausgewählten VR-Endgeräte können so nicht nur die Audio-Atmosphäre des Veranstaltungsortes live erfahren, sondern sich darüber hinaus auch unmittelbar miteinander unterhalten oder austauschen, so als ob sie gleichzeitig - z. B. nebeneinander sitzend oder nebeneinander stehend - an der Live-Veranstaltung teilnehmen würden.
Dies erhöht den Realitätseindruck der erhaltenen virtuellen Information erheblich.
Als Anwendungsbeispiel wird auf Folgendes hingewiesen: Mehrere Personen, die sich an beliebigen, unterschiedlichen Orten in der Welt befinden können, können sich beispielsweise zu einer virtuellen Teilnahme an einem Fußballspiel verabreden. So kann beispielsweise eine Person einer anderen oder mehreren anderen Personen einen virtuellen Stadionbesuch vorschlagen und diesen z. B. eine E-Mail, eine SMS oder eine andere elektronische Nachricht, z. B. zusammen mit einem Link oder einem Registrierungscode oder dgl., zukommen lassen. Die eingeladenen Teilnehmer können z. B. durch Anklicken des Links oder durch Eingabe des Registrierungscodes die Teilnahme bestätigen. Zu Beginn der Veranstaltung - oder eine bestimmte Zeit vorher, z. B. eine halbe Stunde vorher - kann dann beispielsweise an das mitgeteilte VR-Endgerät, z. B. an ein Mobiltelefon, an eine VR-Brille, an ein Tablet oder an ein anderes der eingeladenen Person zugeordnetes Gerät, ein entsprechendes Initiierungssignal für den Beginn der Veranstaltung übermittelt oder mitgeteilt werden. Sodann können zwei oder mehrere Personen gemeinsam die Live-Veranstaltung verfolgen und miteinander sprechen, als säßen sie nebeneinander an dem Veranstaltungsort. Sie können sich dann über die direkte Duplex-Audioverbindung unmittelbar austauschen und miteinander sprechen, so als ob sie im Stadion nebeneinander säßen. Zugleich kann jeder der zwei oder mehr Teilnehmer - unabhängig von den anderen - die jeweils eigene Bildanzeige so steuern, wie er im Stadion die Betrachtungsrichtung ändern könnte. Hierdurch wird eine Erzielung eines sehr realistischen Eindrucks einer Teilnahme an einer Veranstaltung erzielt.
Das erfindungsgemäße System dient der Echtzeit-, also Live-Übertragung, von 3D-Daten. Als 3D-Daten im Sinne der vorliegenden Erfindung werden räumliche Bildinformationen verstanden, die eine Perspektiv-Änderung oder Blickwinkeländerung des Betrachters ermöglichen. Diese Bildinformationen werden in der vorliegenden Patentanmeldung als 3D-Daten oder 3D-Video-Daten oder VR-Daten bezeichnet. Zu den 3D-Daten gehören darüber hinaus zugehörige Audio-Daten. Dies sind die am Veranstaltungsort aufgenommenen und mit den 3D-Video-Daten korrelierten Audio-Daten.
Das erfindungsgemäße System dient dazu, die 3D-Daten in Echtzeit von einer 3D-Kamera-Mikrofon-Einheit am Veranstaltungsort an weit entfernt befindliche Zuschauer zu übertragen. Die 3D-Kamera-Mikrofon-Einheit ist beispielsweise in einem Fußballstadion platziert. Es kann sich dabei um eine sogenannte 360°-Kamera handeln, die ein Mikrofon aufweist oder der ein Mikrofon zugeordnet ist. Während die 3D-Kamera-Mikrofon-Einheit am Veranstaltungsort platziert ist, ist der Zuschauer entfernt von dem Veranstaltungsort befindlich und kann sich im Prinzip an jedem beliebigen Ort der Welt befinden.
Das erfindungsgemäße System umfasst wenigstens eine 3D-Kamera-Mikrofon-Einheit. Von der Erfindung ist aber auch umfasst, wenn das System am Veranstaltungsort eine Mehrzahl derartiger SD-Kamera-Mikrofon-Einheiten aufweist. Bei einem Ausführungsbeispiel der Erfindung ist vorgesehen, dass die Bedienperson, die das VR-Endgerät verwendet, auch unter mehreren zur Verfügung stehenden SD-Kamera-Mikrofon-Einheiten eine oder mehrere auswählen kann.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist vorgesehen, dass sich die Kamera-Mikrofon-Einheit am Veranstaltungsort auch in ihrer Position verändern kann. Weiter vorteilhaft kann vorgesehen sein, dass die Positionsveränderung der Kamera, also beispielsweise eine Verfahrbewegung oder eine Verlagerungsbewegung der Kamera durch den Benutzer initiiert werden kann. Angemerkt sei, dass derartige Verlagerungs- oder Verfahrbewegungen der Kamera-Mikrofon-Einheit natürlich nur in dem Maße zugelassen sind, als dass keine Kollisionen mit entsprechenden Steuerkommandos bestehen, die von anderen Benutzern, bezogen auf dieselbe Kamera-Mikrofon-Einheit, erhalten werden.
Das erfindungsgemäße System umfasst darüber hinaus eine Einspeiseeinrichtung. Diese dient dazu, die von der Kamera-Mikrofon-Einheit aufgenommenen 3D-Daten in das Netzwerk einzuspeisen. Das Netzwerk ist insbesondere das Internet oder ein anderes vergleichbares Netzwerk. Die 3D-Daten werden von der Einspeiseeinrichtung als 3D-Datenstrom eingespeist.
Von der Erfindung ist auch umfasst, wenn eine Einspeisung dezentral durch mehrere Einspeiseeinrichtungen erfolgt, oder alternativ durch eine zentral organisierte Einspeiseeinrichtung in das Netzwerk erfolgt.
Das System umfasst darüber hinaus mehrere, an das Netzwerk angeschlossene oder an das Netzwerk anschließbare VR-Endgeräte. Ein VR-Endgerät ist insbesondere eine VR-Brille, alternativ auch ein VR-Tablet oder ein VR-Computer oder dergleichen. Es handelt sich dabei um eine Vorrichtung, mit der der 3D-Datenstrom empfangbar ist. Außerdem kann mittels eines VR-Endgerätes der Datenstrom einem Benutzer als steuerbares Bild anzeigbar sein. Steuerbar bedeutet, dass die Bedienperson, also der Benutzer, durch irgendeine Einflussnahme, z. B. eine Kopfbewegung oder Pupillenbewegung - aber alternativ z. B. auch unter Zuhilfenahme einer manuellen Betätigungseinrichtung, wie Joystick, oder mittels eines Graphical User Interfaces - eine Änderung der Bildperspektive erreichen kann. Je nach gewählter Perspektive verwendet die Anzeigeeinrichtung in dem VR-Endgerät andere Bestandteile des 3D-Datenstroms zur Anzeige des Bildes.
Darüber hinaus weist jedes VR-Endgerät wenigstens einen Lautsprecher und wenigstens ein Mikrofon auf.
Bei herkömmlichen Systemen zur Echtzeit-Übertragung von 3D-Daten von Veranstaltungsorten zu Zuschauern sind Mikrofone nicht erforderlich. Für das erfindungsgemäße System ist es allerdings essentiell, dass jedes VR-Endgerät wenigstens ein Mikrofon aufweist oder dass jedem VR-Endgerät wenigstens ein Mikrofon zugeordnet ist.
Gemäß der Erfindung ist eine Intercom-Vorrichtung vorgesehen, mit der wenigstens zwei VR-Endgeräte auswählbar sind und in Form dieser Auswahl miteinander verknüpfbar sind.
Die Intercom-Vorrichtung kann z. B. von einer von der Einspeisevorrichtung gesonderten Einrichtung gebildet sein, die beispielsweise an das Netzwerk anschließbar ist. Die Intercom-Vorrichtung kann insbesondere die Audio-Konferenz berechnen, also eine Intercom-Verbindung zwischen ausgewählten Teilnehmern bereitstellen.
Die Intercom-Vorrichtung kann z. B. nach Art eines zentralen Servers in dem Netzwerk, also insbesondere in dem Internet, angeordnet sein.
Die Intercom-Vorrichtung kann auch einem anderen Bestandteil des Systems, wie beispielsweise der Einspeiseeinrichtung oder auch dem VR-Endgerät zugeordnet sein oder ein Bestandteil der Einspeiseeinrichtung oder eines VR-Endgerätes sein.
Die Intercom-Vorrichtung kann schließlich auch dezentral ausgebildet sein. Sie kann in diesem Falle einem oder mehreren VR-Endgeräten zugeordnet sein.
An der Intercom-Vorrichtung oder an einer dieser zugeordneten Eingabevorrichtung kann ein Benutzer eine Eingabe vornehmen. Eine Auswahl bzw. Verknüpfung mehrerer VR-Endgeräte miteinander wird beispielsweise durch Angabe von Kennungen der VR-Endgeräte realisiert. Hierzu können z. B. auch Teilnehmerinformationen, wie beispielsweise Handynummern, eingegeben werden, die eine unmittelbare oder mittelbare Zuordnung einer Person zu einem VR-Endgerät oder eine Zuordnung eines VR-Endgerätes zu einer Person ermöglichen. Entscheidend ist jedenfalls, dass die unterschiedlichen VR-Endgeräte, die miteinander verknüpft werden sollen, in dem System klar identifizierbar und erkennbar sind.
Die Intercom-Vorrichtung kann auch Bestandteil der Einspeisevorrichtung sein oder dieser zugeordnet sein. Schließlich kann die Intercom-Vorrichtung auch Bestandteil eines oder mehrerer VR-Endgeräte sein, bzw. vorteilhaft jedem VR-Endgerät zugeordnet sein. Die Intercom-Vorrichtung kann auch von Schaltkreisen, von elektronischen oder elektrischen Elementen oder Bauelementen bereitgestellt sein. Schließlich ist von der Erfindung auch umfasst, wenn die Intercom-Vorrichtung in digitaler Form, z. B. als Software, ausgebildet ist.
Das erfindungsgemäße System umfasst darüber hinaus eine Überlagerungsvorrichtung. Diese kann gleichermaßen entweder als eine eigene, gesonderte Vorrichtung ausgestaltet sein, die z. B. lediglich einmalig vorhanden ist, also nur an einer Stelle im Netzwerk angeordnet ist. In diesem Falle kann sie beispielsweise der Einspeisevorrichtung zugeordnet sein.
Die Überlagerungsvorrichtung kann aber alternativ auch dezentral organisiert sein. Insbesondere ist von der Erfindung umfasst, wenn eine Vielzahl von Überlagerungsvorrichtungen jeweils in den ausgewählten VR-Endgeräten angeordnet ist. Wiederum kann die Überlagerungsvorrichtung dort als eigene, gesonderte, elektrische oder elektronische Baueinheit ausgebildet sein. Sie kann aber auch Bestandteil eines Mikroprozessors des VR-Endgerätes sein, oder alternativ in Form einer programmierten Software auf einem Prozessor eines VR-Endgerätes oder auf einem, einem VR-Endgerät zugeordneten Prozessor ausgeführt werden.
Nach einer vorteilhaften Ausgestaltung der Erfindung ist die Überlagerungsvorrichtung dem ausgewählten VR-Endgerät zugeordnet. Dies ermöglicht eine besonders einfache Ausgestaltung der Erfindung. Insbesondere kann die Überlagerungsvorrichtung als Bestandteil einer Application Software (sogenannte App) auf einem VR-Endgerät als Programmcode hinterlegt sein und dort ausgeführt werden. Dies ermöglicht eine besonders elegante Hinzumischung der Intercom-Audio-Signale zu den Audio-Anteilen des 3D-Datenstroms.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Intercom-Verbindung über das Netzwerk bereitgestellt. Da das VR-Endgerät ohnehin an das Netzwerk angeschlossen ist, ist es vorteilhaft, das bestehende Netzwerk auch für die Bereitstellung der Intercom-Verbindung zu verwenden. Hierdurch wird eine besonders komfortable Systemarchitektur bereitgestellt.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung empfängt der Lautsprecher des VR-Endgerätes - zusätzlich zu den AudioSignalen vom Veranstaltungsort - Intercom-Audio-Signale von anderen ausgewählten VR-Endgeräten und sendet das Mikrofon des VR-Endgerätes Intercom-Audio-Signale an andere ausgewählte VR-Endgeräte. Der Lautsprecher des VR-Endgerätes empfängt Intercom-Audio-Signale natürlich nur von anderen ausgewählten VR-Endgeräten, die mit dem VR-Endgerät - das den Lautsprecher aufweist - verknüpft sind. Das Mikrofon der ausgewählten VR-Endgeräte sendet Intercom-Audio-Signale natürlich nur an die anderen ausgewählten VR-Endgeräte.
Anders ausgedrückt erhält der Lautsprecher eines ausgewählten VR-Endgerätes sogenannte Audio-Konferenz-Summen-Signale. Dieses Audio-Konferenz-Summen-Signal wird als sogenanntes n-1-Signal bezeichnet. Dies bedeutet, dass der Teilnehmer oder Benutzer des VR-Endgerätes die Audio-Signale aller ausgewählten Teilnehmer empfängt und hört, mit Ausnahme seines eigenen Signals. Damit sich der Benutzer dieses VR-Endgerätes aber bei Bedarf selbst auch hören kann, kann zusätzlich ein sogenannter Sidetone eingestellt werden. Hierzu kann durch eine gesonderte Einrichtung das eigene Mikrofon-Signal des ausgewählten VR-Endgerätes auf den Kopfhörer oder Lautsprecher dieses VR-Endgerätes - in der Lautstärke einstellbar - hinzugemischt werden. Diese Hinzumischung findet lokal, auf dem zugehörigen VR-Endgerät statt. Die Funktion muss einstellbar gehalten sein, da die Benutzer unterschiedliche Vorlieben besitzen.
Eine Berechnung des Audio-Konferenz-Summen-Signals kann bei einem Ausführungsbeispiel der Erfindung in dem jeweiligen VR-Endgerät stattfinden. Dies gilt insbesondere, wenn die Audio-Duplex-Verbindungen zwischen den Endgeräten durch dezentral bereitgestellte Intercom-Vorrichtungen werden.
Für den Fall, dass eine Intercom-Vorrichtung zentral angeordnet ist, kann in der zentralen Intercom-Vorrichtung zentral die Audio-Konferenz berechnet und das Audio-Konferenz-Summen-Signal dort gemischt werden.
Im Falle einer zentralen Berechnung des Audio-Konferenz-Summen-Signals findet also insbesondere dort bereits eine Mischung der Audio-Signale statt. In diesem Falle werden die jeweiligen n-1 Summen-Signale zu den einzeln ausgewählten VR-Endgeräten hin vermittelt. Auch bei diesem Ausführungsbeispiel kann lokal jeweils an dem VR-Endgerät ein Sidetone hinzugemischt werden.
Im Falle einer zentralen Ausbildung einer Intercom-Vorrichtung birgt das zentrale Berechnen der Audio-Konferenz-Summen-Signale den Vorteil, dass eine geringere Bandbreite für das Audio-Signal erforderlich ist. Hier muss beispielsweise nur jedes VR-Endgerät ein Audio-Signal für die Intercom-Funktion empfangen können müssen.
Die demgegenüber dezentral ausgebildete Intercom-Vorrichtung, die den einzelnen VR-Endgeräten zugeordnet ist, besitzt zunächst den Vorteil, dass ein zentraler Server oder eine zentrale Intercom-Vorrichtung nicht vorgesehen sein muss. Problematisch ist hier, dass Audio-Signale von jedem VR-Endgerät empfangen werden können müssen, um eine lokale Mischung der Audio-Signale leisten zu können. Da jedes Audio-Signal aber eine gewisse Bandbreite erfordert, stößt diese Lösung bei großen Audio-Konferenzen, also bei einer Vielzahl von an einer Audio-Duplex-Verbindung teilnehmenden VR-Endgeräten, an Praktikabilitätsgrenzen.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung weist das System eine Eingabevorrichtung auf, mit der die miteinander zu verknüpfenden VR-Endgeräte auswählbar sind. Die Eingabevorrichtung kann beispielsweise als eigene, gesonderte Vorrichtung ausgebildet sein. Sie kann z. B. auch von einer elektronischen oder elektrischen Baueinheit ausgebildet sein. Diese kann unmittelbar mit dem Netzwerk verbunden sein. Die Eingabevorrichtung kann alternativ auch Bestandteil eines VR-Endgerätes sein und dort z. B. als Software auf dem Prozessor ablaufen.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung ist den VR-Endgeräten in dem Netzwerk jeweils eine eindeutige Kennung zugeordnet. Sie findet insbesondere in Form einer IP-Adresse Anwendung.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist der Verknüpfungsvorrichtung eine Administrationseinrichtung zugeordnet, die die Kennungen der VR-Endgeräte verwaltet. Die Administrationseinrichtung kann Bestandteil der Verknüpfungsvorrichtung sein. Sie kann alternativ auch von einer gesonderten elektrischen oder elektronischen Baueinheit bereitgestellt sein, die der Verknüpfungsvorrichtung zugeordnet ist.
Die Erfindung betrifft gemäß einem weiteren Aspekt ein VR-Endgerät nach Anspruch 8.
Die Erfindung geht wiederum aus von dem eingangs beschriebenen, druckschriftlich nicht belegbarem Stand der Technik.
Ein solches VR-Endgerät herkömmlicher Art wird bereits zur Übertragung von virtuellen Daten von Live-Veranstaltungen eingesetzt. Das bekannte VR-Endgerät verwendet aber kein Mikrofon und ermöglicht keine Duplex-Audio-Kommunikation mit anderen ausgewählten Teilnehmern.
Hiervon ausgehend liegt der Erfindung die Aufgabe zugrunde, das bekannte VR-Endgerät derartig weiterzuentwickeln, dass ein Benutzer des VR-Gerätes einen realistischeren Eindruck von einer virtuellen Teilnahme an einer Live-Veranstaltung erhält.
Die Erfindung löst diese Aufgabe mit den Merkmalen des Anspruches 8.
Das Prinzip der Erfindung besteht darin, dass dem VR-Endgerät eine Überlagerungsvorrichtung zugeordnet ist. Diese überlagert dem Audio-Anteil des empfangenden 3D-Datenstroms ein Intercom-Signal. Das Intercom-Signal ist also ein zusätzliches, der Intercom-Verbindung zwischen den ausgewählten VR-Endgeräten entstammendes Audio-Signal.
Zur Vermeidung von Wiederholungen wird auf die obigen Ausführungen verwiesen, die die Erfindung nach Anspruch 1 beschreiben, und die für den Gegenstand des Anspruches 8 in analoger Weise gelten.
Die Erfindung betrifft gemäß einem weiteren Aspekt einen 3D-Datenstrom für ein VR-Endgerät nach Anspruch 9.
Der Erfindung liegt die Aufgabe zugrunde, einen druckschriftlich nicht belegbaren, durch offenkundige Vorbenutzung bekannt gewordenen 3D-Datenstrom des Standes der Technik derartig weiterentwickeln, dass der Benutzer eines VR-Endgerätes einen realistischeren Eindruck einer virtuellen Teilnahme an einer Live-Veranstaltung erhält.
Diese Aufgabe wird gelöst mit Merkmalen des Anspruches 9.
Zur Vermeidung von Wiederholungen wird auf die obigen Ausführungen zu Anspruch 1 verwiesen, die für den Gegenstand des Anspruches 9 gleichermaßen analog gelten.
Die Erfindung betrifft gemäß einem weiteren Aspekt ein Verfahren nach Anspruch 10.
Der Erfindung liegt ausgehend von dem eingangs beschrieben Stand der Technik die Aufgabe zugrunde, das druckschriftlich nicht belegbare bekannte Verfahren des Standes der Technik derartig weiterzuentwickeln, dass einem Benutzer des VR-Endgerätes ein realistischer Eindruck einer virtuellen Teilnahme an einer Live-Veranstaltung ermöglicht wird.
Die Erfindung löst diese Aufgabe mit den Merkmalen des Anspruches 10.
Wiederum wird zur Vermeidung von Wiederholungen auf die obigen Ausführungen zu Anspruch 1 verwiesen, die für die Erfindung nach Anspruch 10 analog gelten.
Weitere Vorteile der Erfindung ergeben sich aus den nicht zitierten Unteransprüchen, sowie anhand der nachfolgenden Beschreibung der in den Figuren dargestellten Ausführungsbeispiele. Hierin zeigen:

1 in einer schematischen, blockschaltbildartigen Darstellung ein erstes Ausführungsbeispiel eines erfindungsgemäßen Systems zur Echtzeit-Übertragung von 3D-Daten,
2 ein zweites Ausführungsbeispiel eines erfindungsgemäßen Systems in einer abgebrochenen Ausschnittsdarstellung, etwa gemäß Teilkreis II in 1,
3 in einer schematischen, perspektivischen, teilweise blockschaltbildartigen Darstellung ein Ausführungsbeispiel eines als VR-Brille ausgebildeten VR-Endgerätes,
4 ein weiteres Ausführungsbeispiel eines erfindungsgemäßen VR-Endgerätes in Form einer VR-Brille, wobei ein zusätzlicher Anschluss vorgesehen ist,
5 eine schematische Darstellung eines 3D-Datenstroms, und
6 eine schematische Darstellung einer Überlagerung eines Datenabschnitts eines herkömmlichen 3D-Datenstroms mit einem Intercom-Audiosignal zu einem erfindungsgemäßen 3D-Datenstrom.

Ausführungsbeispiele der Erfindung sind in der nachfolgenden Figurenbeschreibung, auch unter Bezugnahme auf die Zeichnungen, beispielhaft beschrieben. Dabei werden der Übersichtlichkeit halber - auch soweit unterschiedliche Ausführungsbespiele betroffen sind - gleiche oder vergleichbare Teile oder Elemente oder Bereiche mit gleichen Bezugszeichen, teilweise unter Hinzufügung kleiner Buchstaben, bezeichnet.
Merkmale, die nur in Bezug zu einem Ausführungsbeispiel beschrieben sind, können im Rahmen der Erfindung auch bei jedem anderen Ausführungsbeispiel der Erfindung vorgesehen werden. Derartig geänderte Ausführungsbeispiele sind - auch wenn sie in den Zeichnungen nicht dargestellt sind - von der Erfindung mit umfasst.
Alle offenbarten Merkmale sind für sich erfindungswesentlich. In die Offenbarung der Anmeldung wird hiermit auch der Offenbarungsinhalt der zugehörigen Prioritätsunterlagen (Abschrift der Voranmeldung) sowie der zitierten Druckschriften und der beschriebenen Vorrichtungen des Standes der Technik vollinhaltlich mit einbezogen, auch zu dem Zweck, einzelne oder mehrere Merkmale dieser Unterlagen in einen oder in mehrere Ansprüche der vorliegenden Anmeldung mit aufzunehmen.
Das erfindungsgemäße System zur Echtzeitübertragung von 3D-Daten ist in seiner Gesamtheit in den Zeichnungen mit 10 bezeichnet.
Ausweislich 1 ist schematisch als Veranstaltungsort 11 ein Stadion oder eine Wettkampfarena angedeutet. Weiter erkennt der Betrachter der 1 schematisch ein Spielfeld 41 und Zuschauerränge 42a, 42b.
An beliebigen Stellen innerhalb des Stadions 11 sind Kamera-Mikrofon-Einheiten 12a, 12b positioniert. 1 zeigt lediglich zwei Mikrofon-Einheiten 12a, 12b. Die Zahl der an dem Veranstaltungsort 11 bereitgestellten Kamera- und Mikrofon-Einheiten 12 ist aber beliebig.
Jede Kamera-Mikrofon-Einheit 12a, 12b umfasst bei dem Ausführungsbeispiel eine 360°-Kamera und eine an dieser angeordnetes oder dieser zugeordnetes Mikrofon 14a, 14b.
Eine 3D-Kamera, insbesondere eine 360°-Kamera, ist in der Lage, zeitgleich Bilddaten in mehrere Blickrichtungen hin aufzunehmen. Bei einer 3D-Kamera kann ein vorgegebener, im Prinzip beliebig großer Raumwinkelbereich von der Kamera als Echtzeit-Datenstrom erfasst werden.
Die 3D-Kamera-Mikrofon-Einheit 12a, 12b nimmt zeitgleich mit dem 3D-Bild auch in Echtzeit die Audio-Daten in dem Veranstaltungsort 11 auf. Diese 3D-Daten werden insgesamt, als Datenstrom 17a, von der Kamera 12a über eine Verbindungsleitung 34a an ein Datenverarbeitungsgerät 33a übermittelt. Gleichermaßen werden von der 3D-Kamera-Mikrofon-Einheit 12b die von dieser 3D-Kamera erfassten Bilddaten und die von dem Mikrofon 14b, das dieser Kamera-Mikrofon-Einheit 12b zugeordnet ist, erfassten Audiodaten über die Verbindungsleitung 34b als 3D-Datenstrom 17b an eine Datenverarbeitungseinrichtung 33b übermittelt.
Die Datenverarbeitungsgeräte 33a, 33b sind über in 1 lediglich angedeutete Verbindungsleitungen mit einer Einspeiseeinrichtung 15 verbunden. Die Einspeiseeinrichtung 15 speist den 3D-Datenstrom in das von dem Internet bereitgestellte Netzwerk 16 ein, und stellt diesen Datenstrom über das Internet 16 zur Verfügung.
Angemerkt sei, dass bei sämtlichen Ausführungsbeispielen Varianten beschrieben werden, bei denen das Netzwerk 16 von dem Internet bereitgestellt ist. Von der Erfindung ist allerdings auch umfasst, wenn das Netzwerk 16 von einem anderen Netzwerk, z. B. von einem Local Area Net (LAN), einem Funknetz, oder anderen elektronischen Datenübertragungsnetzen bereitgestellt ist.
An das Netzwerk 16 sind bei dem Ausführungsbeispiel der 1 zwei VR-Endgeräte 18a und 18b angeschlossen. Diese VR-Endgeräte 18a, 18b sind in der Lage, den 3D-Datenstrom zu empfangen, zu verarbeiten und als ein von dem Benutzer steuerbares Bild anzuzeigen. 1 macht dabei deutlich, dass die VR-Endgeräte 18a, 18b unmittelbar an das Internet angebunden sind. Von der Erfindung sind aber gleichermaßen Ausführungsbeispiele umfasst, bei denen eine Anbindung der VR-Endgeräte 18a, 18b mittelbar, d. h. z. B. unter Zwischenschaltung weiterer Netzwerkkomponenten, wie z. B. elektrotechnischer Geräte, umfassend Prozessoren, z. B. Computer, Smartphones oder dergleichen, an das Netzwerk erfolgt.
Im Folgenden soll ausweislich des Ausführungsbeispiels der 3 zunächst eine VR-Brille 30 als Beispiel für ein VR-Endgerät 18 erläutert werden. Von der Erfindung sind aber auch andere VR-Endgeräte, wie Tablets, Personalcomputer oder dergleichen umfasst.
Ausweislich 3 weist eine VR-Brille 30 einen Brillenkörper 36 auf, der eine in 3 lediglich angedeutete steuerbare Bildanzeigevorrichtung 31 aufweist. Des weiteren ist die VR-Brille 30 mit einer Befestigungsvorrichtung 37 in Form eines Bandes, insbesondere eines elastischen Bandes, ausgestattet. Die VR-Brille 30 kann insoweit - wie eine herkömmliche Brille, z. B. eine Skibrille - aufgesetzt werden. Das Befestigungsband 37 hält den Brillenkörper 36 sicher am Kopf der nicht dargestellten Bedienperson fest.
Die VR-Brille 30 umfasst zwei Lautsprecher 19a, 19b, die in dem Ausführungsbeispiel an dem Brillenkörper 36 angeordnet sind. Alternativ können die Lautsprecher 19a, 19b - was in der Figur aber nicht dargestellt ist - beispielsweise auch an dem Befestigungsband 37 angeordnet sein.
Die VR-Brille 30 umfasst darüber hinaus ein Mikrophon 20, welches ebenfalls angedeutet ist.
Die VR-Brille 30 gemäß 3 umfasst eine Steuereinheit 43, die mit den beiden Lautsprechern 19a, 19b und mit dem Mikrofon 20 über elektrische Verbindungsleitungen 26d, 26e, 26g verbunden ist.
Die Steuereinheit 43 der VR-Brille 30 ist darüber hinaus über eine Verbindungsleitung 26h mit einem Kommunikationsmodul 32 verbunden, das auch als Anschluss bezeichenbar ist. Dieses ist über eine Funkverbindung, z. B. über eine WLAN-Funkverbindung, mit einem Empfangsgerät 44 verbunden. Das Empfangsgerät 44 kann unmittelbar mit der Netzwerkleitung 35 des Netzwerks 16 verbunden sein.
Die erforderliche Intelligenz, z. B. in Form eines Mikroprozessors und/oder die Rechenkapazität, und/oder die Rechenleistung, die zum Betrieb des VR-Endgerätes erforderlich ist, kann z. B. nur in der VR-Brille 30, oder beispielsweise nur in der Steuereinheit 43, befindlich sein, oder alternativ in dem Empfangsgerät 44, oder alternativ sowohl in dem Empfangsgerät 44 als auch in dem VR-Endgerät 18 angeordnet oder vorgesehen werden.
Bei einer herkömmlichen VR-Brille, die - ähnlich der Darstellung gemäß 1 - über eine Netzwerkleitung 35a unmittelbar an das Netzwerk 16 - oder über ein Empfangsgerät mittelbar an das Netzwerk 16 - angeschlossen ist, kann die VR-Brille 30 den 3D-Datenstrom empfangen und verarbeiten. Bewegt eine Bedienperson der VR-Brille den Kopf, z. B. in Rechts-/Linksrichtung oder nach oben oder nach unten, oder führt sie eine entsprechende Pupillenbewegung durch, ändert sich die Blickperspektive oder die Betrachtungsrichtung. Die steuerbare Bildanzeigevorrichtung 31 kann diese Kopfbewegung oder Augenbewegung, insbesondere Pupillenbewegung, auf an sich bekannte Weise detektieren, und dem Betrachter das Bild in Echtzeit anzeigen, das eine Person im Stadion 11 bei Durchführung einer entsprechenden Kopfbewegung oder Pupillenbewegung erkennen würde. Hierzu kann die Steuereinheit 43 in Verbindung mit der steuerbaren Bildanzeigeeinrichtung 31 der VR-Brille 30 aus dem 3D-Datenstrom die Datenteilmenge extrahieren, und dem Betrachter als Bild anzeigen, die dem Bild entspricht, das sich einem im Stadion 11 befindlichen Betrachter ergeben würde.
Der Benutzer eines VR-Endgerätes 18, z. B. einer VR-Brille 30 gemäß 3, kann also bereits in herkömmlicher Weise Stadionatmosphäre genießen, und hierzu in Echtzeit 3D-Bilddaten und zugehörige Audiodaten erlangen. Die Bedienperson oder der Benutzer, der die VR-Brille 30 gemäß 3 trägt, kann also virtuell an der Veranstaltung in dem Veranstaltungsort 11 live teilnehmen.
Das erfindungsgemäße System 10 gemäß 1 weist mehrere an das Netzwerk 16 angeschlossene VR-Endgeräte 18a, 18b auf, sowie zusätzlich wenigstens eine Eingabevorrichtung 27.
Eine erste Eingabevorrichtung ist in 1 mit 27b bezeichnet, und wird von einem Computer oder Rechner 45 bereitgestellt, der über eine Netzwerkleitung 35c an das Internet 16 angeschlossen ist. Über die Eingabevorrichtung 27b kann eine Intercom-Vorrichtung 21a oder 21b angesprochen werden, mit welcher zwei oder mehrere VR-Endgeräte 18a, 18b miteinander verknüpfbar sind.
Hier sei zunächst darauf hingewiesen, dass jedes VR-Endgerät 18a, 18b eine eigene eindeutige Kennung 28a, 28b aufweist. Es kann sich dabei beispielsweise um unterschiedliche IP-Adressen handeln. Alternativ können den VR-Endgeräten Netzwerkadressen zugeordnet sein, die jedenfalls eine eindeutige Zuordnung dieses entsprechenden VR-Endgerätes innerhalb des Netzwerks 16 ermöglichen.
Die Eingabevorrichtung 27b ermöglicht ein Ansprechen beispielsweise einer Intercom-Vorrichtung, die in 1 mit 21a bezeichnet ist. Diese Intercom-Vorrichtung 21a wird von einem gesonderten, elektronischen Bauelement bereitgestellt, welches unmittelbar an das Internet 16 angeschlossen ist. Die Intercom-Vorrichtung 21a kann auch Bestandteil der Einspeisevorrichtung 15 sein, oder dieser zugeordnet sein. Die Intercom-Vorrichtung 21a kann darüber hinaus auch eine Administrationsvorrichtung 29 aufweisen, die sämtliche Kennungen 28a, 28b sämtlicher VR-Endgeräte 18a, 18b in dem Netzwerk 16 verwaltet.
Die Administrationseinrichtung 29 kann, wie es die 1 zeigt, auch von einem gesonderten elektronischen Bauelement bereitgestellt sein, welches ebenfalls an das Netzwerk 16 angeschlossen ist.
Angemerkt sei, dass die Einspeisevorrichtung 15, die Intercom-Vorrichtung 21a, und die Administrationseinrichtung 29 auch von einem gemeinsamen elektronischen Bauelement bereitgestellt sein können.
Die Intercom-Vorrichtung 21a und die Administrationseinrichtung 29 können zentral, wie in 1 dargestellt, aber alternativ auch dezentral angesiedelt sein.
Durch Eingabe von Benutzerinformationen an der Eingabevorrichtung 27b kann eine Person beispielsweise die beiden VR-Endgeräte 18a, 18b miteinander verknüpfen. Dies kann beispielsweise durch eine Auswahl geleistet werden, die beispielsweise Namen, und/oder Telefonnummern, oder andere Informationen, die über die VR-Endgeräte 18a, 18b oder die Benutzer eingegeben werden, berücksichtigt.
Die Eingabevorrichtung 27b kann aber beispielsweise auch Informationen darüber, welche VR-Endgeräte miteinander verknüpft werden sollen, auf elektronische Weise erhalten, beispielsweise über ein Internet-Browser, über E-Mail oder eine andere denkbare Weise.
Angemerkt sei an dieser Stelle auch, dass die Eingabevorrichtung 27b auch Bestandteil der Intercom-Vorrichtung 21a (oder anderer weiterer, später erläuterter Intercom-Vorrichtungen 21b, 21c, 21d, 21e) sein kann.
Sobald eine Auswahl der miteinander zu verknüpfenden VR-Endgeräte bzw. eine Auswahl von Personen getroffen worden ist, während zugehörige VR-Endgeräte miteinander verknüpft werden sollen, können diese Informationen über die Netzwerkleitung 35c an die Intercom-Vorrichtung 21a übermittelt werden. Diese kann sodann einen Bezug zwischen diesen ausgewählten VR-Endgeräten 18a, 18b herstellen, und diese beiden VR-Endgeräte 18a, 18b miteinander verknüpfen. Angemerkt sei an dieser Stelle, dass im Prinzip beliebig viele VR-Endgeräte 18a, 18b miteinander verknüpft werden können.
Die Besonderheit besteht nun darin, dass zwischen den ausgewählten und miteinander verknüpften VR-Endgeräten eine unmittelbare Intercom-Verbindung durch die Intercom-Vorrichtung 21a bereitgestellt wird. Als Intercom-Verbindung 22 wird eine unmittelbare Duplex-Audio-Verbindung bezeichnet.
Dieser Duplex-Audio-Verbindung entstammenden Audioinformationen können bei dem Ausführungsbeispiel der 1 als Audiodaten über das Netzwerk 16 übermittelt werden. Hierbei können die an den VR-Endgeräten 18a, 18b jeweils befindlichen Mikrofone 20 zur Eingabe von Audioinformationen an dem entsprechenden VR-Endgerät 18a, 18b verwendet werden. Beispielsweise werden Audioinformationen von dem VR-Endgerät 18a durch entsprechende Mikrofoneingaben an dem entsprechenden VR-Endgerät 18a über die Intercom-Verbindung 22b (s. Pfeilrichtung an dem Netzleitungszweig 35a in 1) an die Intercom-Vorrichtung 21a vermittelt. Von dort werden diese Audio-Informationen weiter an das VR-Endgerät 18b geleitet. Dabei ist in erfindungsgemäßer Weise in der Intercom-Vorrichtung 21a eine Überlagerungsvorrichtung 23a vorgesehen. Die Überlagerungsvorrichtung 23a überlagert die von dem VR-Endgerät 18a erhaltenen Audioanteile auf das Audiosignal 17a des 3D-Datenstroms, das an das VR-Endgerät 18b übermittelt wird. Der gesamte Audioanteil, der von dem VR-Endgerät 18a gesendet wird, wird also durch die Überlagerungsvorrichtung 23a in der Intercom-Vorrichtung 21a auf das 3D-Datensignal aufmoduliert, so dass ein kombiniertes, oder überlagertes oder gemischtes Signal an die VR-Brille 18b übermittelt wird.
Der Benutzer der VR-Brille 18b erhält also die originalen 3D-Daten mit den zugehörigen Audiodaten und zeitgleich die Intercom-Audiosignale von der Bedienperson des VR-Endgerätes 18a.
Gleichermaßen werden Audiosignale von dem VR-Endgerät 18b über die Intercom-Verbindung 22a an die Intercom-Vorrichtung 21a übermittelt, und dort durch die Überlagerungsvorrichtung 23a dem 3D-Datenstrom auferlegt, den an das VR-Endgerät 18a übermittelt wird. Der Benutzer des VR-Endgerätes 18a erhält also zusätzlich zu den 3D-Daten, umfassend 3D-Videodaten und zugehörige Audiodaten vom Veranstaltungsort, auch die die Audiosignale von dem VR-Endgerät 18b.
Die Intercom-Vorrichtung 21a sorgt dabei dafür, dass andere - in 1 nicht dargestellte - Teilnehmer von der unmittelbaren Duplex-Audiokommunikation zwischen den ausgewählten VR-Endgeräten 18a, 18b nichts mitbekommen. Die übrigen VR-Endgeräte erhalten nur den unveränderten, ursprünglichen 3D-Datenstrom.
Die Benutzer der VR-Endgeräte 18a und 18b können infolge der geschalteten Duplex-Audio-Verbindung miteinander sprechen, als ob sie nebeneinander im Stadion 11 säßen.
Unter Bezugnahme auf 1 sei angedeutet, dass bei weiteren Ausführungsbeispielen der Erfindung der Rechner 45 der 1 ebenfalls eine Intercom-Vorrichtung 21c ausbilden kann, oder Bestandteil einer Intercom-Vorrichtung 21c sein kann. Die Eingabevorrichtung 27b kann also unmittelbar mit der Intercom-Vorrichtung 21c gekoppelt oder Bestandteil dieser sein. Bei diesem zuletzt beschriebenen Ausführungsbeispiel übernimmt die Intercom-Vorrichtung 21c die Bereitstellung einer unmittelbaren Intercom-Verbindung zwischen ausgewählten VR-Endgeräten 18a, 18b. In dem Ausführungsbeispiel kann die Intercom-Vorrichtung 21a auch entfallen. Auch ist von der Erfindung umfasst, wenn mehrere Intercom-Vorrichtungen 21a, 21c, redundant angeordnet sind.
Wenn die Intercom-Vorrichtung 21c die zuvor beschriebenen Aufgaben übernimmt, kann die Überlagerungsvorrichtung 23a Bestandteil der Intercom-Vorrichtung 21c ein.
Bei einem weiteren Ausführungsbeispiel sind die Intercom-Vorrichtung 21c und 21a dezentral organisiert. Dabei können mehrere Intercom-Vorrichtungen z. B. auch im Master-Slave-Betrieb arbeiten, wobei ein Netzwerkadministrator festlegen kann, welche der vorgesehenen Intercom-Vorrichtungen 21a, 21c im Master-Betrieb arbeiten soll, und welche im Slave-Betrieb arbeiten soll.
Schließlich zeigt das Ausführungsbeispiel der 1 eine weitere Intercom-Einrichtung 21b, die über eine Verbindungsleitung 26a an das VR-Endgerät 18a angeschlossen ist. Hier kann die Intercom-Vorrichtung 21a unmittelbar dem VR-Endgerät 18a zugeordnet sein. Wiederum kann auch die Intercom-Vorrichtung 21b eine in 1 nicht dargestellte Überlagerungseinrichtung 23 umfassen.
Bei diesem Ausführungsbeispiel kann vorgesehen sein, dass jedes VR-Endgerät 18a, 18b eine Intercom-Einrichtung 21b aufweist.
Diese - bei diesem Ausführungsbeispiel dezentral organisierte Intercom-Vorrichtung 21b - kann als eine Application Software auf einem dem VR-Endgerät zugeordneten Mikroprozessor ablaufen.
Ausweislich des Ausführungsbeispiels der 2 sind die beiden VR-Endgeräte 18a, 18b - wie bei dem Ausführungsbeispiel der 1 - jeweils über eine Netzwerkleitung 35a, 35b an das Netzwerk 16 angeschlossen. Hier wird die Intercom-Verbindung 22a von zwei Intercom-Vorrichtungen 21d und 21e bereitgestellt, die jeweils über eine Verbindungsleitung 26i, 26j an das entsprechende VR-Endgerät 18a, 18b angeschlossen sind.
Beispielsweise kann es sich bei den Intercom-Vorrichtungen 21d, 21e um Mobiltelefone handeln, wie sie in 3 angedeutet sind, oder alternativ um Empfangsgeräte 44, wie sie in 3 angedeutet sind. Insbesondere kann auf dem Mobiltelefon auch eine Application Software laufen, die eine Intercom-Vorrichtung 21d, 21e simuliert.
Jeder Intercom-Vorrichtung 21d, 21e kann auch eine Überlagerungsvorrichtung 23d, 23e zugeordnet sein. Die unmittelbare Duplex-Audio-Verbindung wird in diesem Falle über eine gesonderte Intercom-Verbindung 22a geleistet. Diese Intercom-Verbindung 22a kann eine gesonderte Funkverbindung, oder alternativ eine elektrische kabelgebundene Leitung, oder wiederum das Internet oder ein anderes Netzwerk sein. Die Darstellung der 2 macht insoweit deutlich, dass die Übermittlung der Audiosignale zwischen den ausgewählten VR-Endgeräten 18a, 18b auch gänzlich unabhängig von der Einspeisung der Audiodaten in das Netzwerk 16 erfolgen kann.
Angemerkt sei, dass abweichend von der Darstellung der 2 bei einem weiteren Ausführungsbeispiel die Leitungszweige 35a, 35b des Netzwerks 16 nicht zwingend unmittelbar mit dem VR-Endgerät 18a, 18b verbunden sein müssen, sondern beispielsweise auch mit den Intercom-Vorrichtungen 21d, 21e verbunden sein können.
Gemäß einem wesentlichen erfindungsgemäßen Aspekt ist bei diesem Ausführungsbeispiel vorgesehen, dass die Überlagerungsvorrichtungen 23d, 23e die über die Intercom-Verbindung 22a erhaltenen Audiosignale wiederum mit dem Audioanteil des 3D-Datenstroms überlagern. In diesem Fall findet eine Überlagerung oder Mischung der Audio-Signale aber lokal, in den VR-Endgeräten 18a, 18b oder in den diesen VR-Endgeräten 18a, 18b zugeordneten Intercom-Vorrichtungen 21d, 21e, statt.
Ausweislich des Ausführungsbeispiels der 3 soll erläutert werden, dass das VR-Endgerät 18, 30 über eine WLAN-Funk-Verbindungsleitung 26c mit einem Empfangsgerät 44 verbunden sein kann. Statt der Funkverbindung kann auch eine Kabelverbindung 26c eingesetzt werden.
Das Empfangsgerät 44 kann - was in 3 nicht dargestellt ist - ebenfalls einen Prozessor mit einer entsprechenden Intelligenz umfassen. Insbesondere kann auch an dem Empfangsgerät 44 eine Überlagerungsvorrichtung 23f angeordnet sein.
Das Empfangsgerät 44 kann über eine Verbindungsleitung 26b mit einem elektronischen Gerät, z. B. mit einem Smartphone 46 verbunden sein. Das Smartphone 46 kann sowohl eine Eingabevorrichtung 27a bereitstellen, mit der VR-Endgeräte 18a, 18b auswählbar und auf diese in Kontakt bringbar sind. Das Smartphone 46 kann aber auch eine Intercom-Vorrichtung 21b umfassen oder ausbilden. Schließlich kann das Smartphone 46 auch eine Überlagerungsvorrichtung 23b umfassen.
Das Smartphone 46 kann insbesondere mittels bereitgestellter, herunterladbarer Application Software (Apps) so konfiguriert oder programmiert werden, dass hierdurch über eine Software-mäßige Lösung sowohl eine Eingabevorrichtung 27a, als auch eine Intercom-Vorrichtung 21b, als auch eine Überlagerungsvorrichtung 23b bereitgestellt wird.
Auch diese Ausführungsform ist von der Erfindung umfasst.
Ausweislich des Ausführungsbeispiels der 4 soll verdeutlicht werden, dass bei weiteren Ausführungsbeispielen der Erfindungen auch unmittelbar an dem VR-Endgerät 18c eine Überlagerungsvorrichtung 23c angeordnet sein kann. Bei diesem Ausführungsbeispiel sei angenommen, dass der Empfänger 44 mit der Steuereinheit 43 über ein Kommunikationsmodul 32 und über eine WLAN-Funkstrecke 26c verbunden ist. Das Empfangsgerät 44 ist unmittelbar an den Netzwerkleitungszweig 35 des Internets 16 angeschlossen. Die VR-Brille 18c kann insoweit über das Internet den herkömmlichen 3D-Datenstrom 17 empfangen und auslesen.
Die VR-Brille 18c gemäß 4 ist darüber hinaus mit einem Anschluss 47 versehen, über den sie Intercom-Audiosignale empfangen und senden kann. Über diesen Anschluss 47 kann die VR-Brille 18c gemäß 4 mit einem weiteren, in 4 nicht dargestellten Gerät verbunden werden.
Dieses weitere, nicht dargestellte Gerät kann beispielhaft ein Mobiltelefon sein, das zu einem anderen oder mehreren anderen Mobiltelefonen im Rahmen einer Konferenzschaltung Duplex-Audio-Verbindungen aufbaut. Über den Anschluss 27 können also Audio-Signale, die einer Duplex-Audio-Intercom-Verbindung entstammen, übermittelt werden.
Die Überlagerungseinrichtung 23c an der VR-Brille 18c gemäß 4 sorgt für eine Überlagerung und Mischung der über das Kabel 47 empfangenen Intercom-Audiosignale und mit den über das Kommunikationsmodul 32 erhaltenen Audioanteile des 3D-Datenstroms.
Diese gemischten Audio-Signale können in Lautsprechern 19a, 19b der VR-Brille 18c von der Steuereinheit 43 sodann gemischt gemeinsam zugeführt werden.
Anhand der 5 und 6 soll nun erläutert werden, wie tatsächlich eine Signalmischung und Signalüberlagerung durchgeführt wird:
5 zeigt einen 3D-Datenstrom 17 in abgebrochener Darstellung. Dargestellt sind zu vier verschiedenen Zeitpunkten T=1, T=2, T=3, T=4, die aufeinander folgen, vier unterschiedliche Signalinhalte. Je nach Wiederholungsfrequenz können beispielsweise 100 Signale pro Sekunde über das Netzwerk 16 übermittelt werden, so dass die vier dargestellten Signale zu den unterschiedlichen Zeitpunkten insgesamt etwa eine Signalzeitdauer oder Länge von 4/100 Sekunden aufweisen. Die Signallänge ist jedoch grundsätzlich beliebig.
Der 3D-Datenstrom 17 der 5 ist ein anhand von vier beispielhaft dargestellten Signalen 38a, 38b, 38c, 38d dargestellt.
Jedes Signal 38a, 38b, 38c, 38d umfasst einen sogenannten 3D-Videodatenanteil, der in 5, zu den unterschiedlichen Zeitpunkten T=1, T=2, T=3, T=4, mit V1, V2, V3, V4 bezeichnet ist. Jedes Signal 38a, 38b, 38c, 38d umfasst darüber hinaus einen Audiodatenanteil, der in den Figuren mit 24a, 24b, 24c, 24d bezeichnet ist. Jeder Audiodatenanteil 24a, 24b, 24c, 24d umfasst darüber hinaus aufgrund der Stereosignalqualität einen rechten Audio-Kanalanteil (z. B. R1) und einen linken Audiokanalanteil L1.
Herkömmlicherweise wird von einer VR-Brille 30 gemäß 3 der Datenstrom 17 empfangen und verarbeitet. In den Videodaten V1 bis V4 befinden sich sämtliche Informationen, die von der jeweiligen 3D-Kamera 12a, 12b aufgenommen worden sind.
Ausweislich 6 soll nun verdeutlicht werden, wie das Teilsignal 38c der 5 mit dem Audiosignal der Intercom-Verbindung überlagert wird:
Dargestellt ist in 6 schematisch eine Überlagerungsvorrichtung 23. Diese weist einen ersten Eingang auf, an dem das Signal aus dem 3D-Datenstrom, welches mit 38c bezeichnet ist, ankommt. Darüber hinaus weist die Überlagerungsvorrichtung 23 der 6 einen weiteren Eingang auf, an dem Intercom-Signal 25 ansteht. Auch das Intercom-Signal 25 kann einen rechten Intercom-Audio-Signalanteil IR3 und einen linken Audio-Intercom-Signalanteil IL3 aufweisen.
Die Überlagerungsvorrichtung 23 vermischt nun den Audioanteil 24 des Signals 38c und das Intercom-Signal 25 miteinander, und erzeugt ein neues Gesamtsignal 39, das den von dem Signal 38c entstammenden Bildanteil V3, aber einen durch Mischung und Überlagerung entstandenen Audioanteil 40 aufweist.
Dieses neue Gesamtsignal 39 wird nun der Steuereinheit 43 in dem VR-Endgerät 18b zugeführt, und dort - wie ein herkömmliches 3D-Datensignal - verarbeitet.
Gemäß der Erfindung kann bei einem weiteren Ausführungsbeispiel der Erfindung der 3D-Datenstrom auch zusätzliche Informationen aufweisen, und beispielsweise Informationen darüber enthalten, an welche IP-Adressen welche Signale übermittelt werden. Bei dem Ausführungsbeispiel der 1 kann beispielsweise vorgesehen sein, dass die Intercom-Vorrichtung 21a zusammen mit der Administrationsvorrichtung 29 und der Überlagerungsvorrichtung 23a zentral für sämtliche miteinander verknüpften VR-Endgeräte 18a, 18b die Überlagerung der Audiosignale durchführt, und nur an die ausgewählten VR-Endgeräte entsprechend überlagerte Signale adressiert.
Von der Erfindung ist aber auch umfasst, wenn die Intercom-Vorrichtung 21a zusammen mit der Überlagerungsvorrichtung 23a der 1 zentral für alle installierten Intercom-Verbindungen zwischen unterschiedlichen Teilnehmern Signale an alle VR-Endgeräte 18, also nicht nur an die miteinander verknüpften Endgeräte 18a, 18b, sendet, sondern auch an weitere, nicht verknüpfte VR-Endgeräte sendet. Hier wird aufgrund der IP-Adressen oder eindeutigen Kennung 28a, 28b von den verknüpften VR-Endgeräten erkannt, dass für sie bestimmte Intercom-Audiosignale übermittelt werden, so können nur die verknüpften VR-Endgeräte die für sie bestimmten Intercom-Audiosignale mithören.
Bei dem Ausführungsbeispiel der 2 hingegen wird der 3D-Datenstrom im Internet 16 nicht geändert, sondern es erfolgt eine Zumischung des Audio-Signals erst im Bereich des VR-Endgerätes, beispielsweise durch die dezentral angeordneten und lokal den VR-Endgeräten 18a, 18b zugeordneten Intercom-Vorrichtungen 21d, 21e, die jeweils über eine eigene Überlagerungsvorrichtung 23d, 23e verfügen.

Claims

System (10) zur Echtzeit-Übertragung von 3D-Daten (17), umfassend 3D-Video-Daten (38) und zugehörige Audio-Daten (24), von einer an einem Veranstaltungsort (11) platzierten 3D-Kamera-Mikrofon-Einheit (12a, 12b), zu entfernt von dem Veranstaltungsort befindlichen Zuschauern, umfassend a) wenigstens eine 3D-Kamera-Mikrofon-Einheit (12a, 12b), insbesondere eine 360°-Kamera (13a, 13b) mit einem Mikrofon (14a, 14b), b) eine Einspeiseeinrichtung (15), die die von der Kamera-Mikrofon-Einheit aufgenommenen 3D-Daten als einen 3D-Datenstrom in ein Netzwerk (16), insbesondere in das Internet, einspeist, c) mehrere an das Netzwerk anschließbare VR-Endgeräte (18a, 18b), wie VR-Brille, VR-Tablet od. dgl., mit denen jeweils der 3D-Datenstrom empfangbar und einem Benutzer als steuerbares Bild anzeigbar ist, wobei jedes VR-Endgerät wenigstens einen Lautsprecher (11a, 11b) und wenigstens ein Mikrofon (20) aufweist, oder wobei jedem VR-Endgerät wenigstens ein Lautsprecher und wenigstens ein Mikrofon zugeordnet ist, d) eine Intercom-Vorrichtung (21a, 21b, 21c, 21d, 21e), mit der wenigstens zwei VR-Endgeräte (18a, 18b) auswählbar und miteinander verknüpfbar sind, wobei die Intercom-Vorrichtung eine Intercom-Verbindung, also eine unmittelbare Duplex-Audio-Verbindung, zwischen den ausgewählten VR-Endgeräten bereitstellt, e) und wenigstens eine Überlagerungsvorrichtung (23a, 23b, 23c, 23d, 23e), die dem Audio-Anteil (24a, 24b, 24c, 24d) des von einem ausgewählten VR-Endgerät zu empfangenden 3D-Datenstromes (15, 17a, 17b, 17c, 17d) ein Intercom-Audio-Signal (25), also ein zusätzliches, der Intercom-Verbindung zwischen den ausgewählten VR-Endgeräten entstammendes Audio-Signal, überlagert.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Überlagerungsvorrichtung (23a, 23b, 23c, 23d, 23e) dem ausgewählten VR-Endgerät (18a, 18b) zugeordnet ist.
System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Intercom-Verbindung über das Netzwerk (16) bereitgestellt wird.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Lautsprecher des VR-Endgerätes Intercom-Audio-Signale empfängt und das Mikrofon des VR-Endgerätes Intercom-Audio-Signale aufnimmt.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System eine Eingabevorrichtung (27a, 27b, 27c, 27d, 27e, 27f, 27g) umfasst, mit der die miteinander zu verknüpfenden VR-Endgeräte auswählbar sind.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den VR-Endgeräten (18a, 18b) in dem Netzwerk (16) eine eindeutige Kennung (28a, 28b) zugeordnet ist.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Intercom-Vorrichtung eine Administrationseinrichtung (29) zugeordnet ist, die die Kennungen der VR-Endgeräte verwaltet.
VR-Endgerät (18a, 18b, 30), wie VR-Brille oder Tablet, umfassend wenigstens einen Lautsprecher (19a, 19b), wenigstens ein Mikrofon (20), wenigstens eine steuerbare Bildanzeigevorrichtung (31), und einen Anschluss (32) zur Verbindung mit einem Netzwerk (16), zum Echtzeit-Empfang eines 3D-Daten-Stromes (17a, 17b, 17c), umfassend 3D-Video-Daten (38a, 38b, 38c, 38d) und zugehörige Audio-Daten (24a, 24b, 24c, 24d) von einer an einem von dem VR-Endgerät entfernt befindlichen Veranstaltungsort (11) platzierten 3D-Kamera-Mikrofon-Einheit (12a, 12b), wobei dem VR-Endgerät (18a, 18b) eine Intercom-Vorrichtung (21a, 21b, 21c, 21d) zugeordnet ist, mit der eine Intercom-Verbindung, also eine unmittelbare Duplex-Audio-Verbindung, zu wenigstens einem anderen VR-Endgerät herstellbar ist, und wobei dem VR-Endgerät eine Überlagerungsvorrichtung (23a, 23b, 23c, 23d, 23e, 23f, 23g) zugeordnet ist, die dem Audio-Anteil (24a, 24b, 24c, 24d) des zu empfangenen 3D-Datenstromes (17a, 17b, 17c) ein Intercom-Signal (25), also ein zusätzliches, der Intercom-Verbindung zwischen den ausgewählten VR-Endgeräten entstammendes Audio-Signal, überlagert.
3D-Datenstrom (17a, 17b, 17c) für ein VR-Endgerät (18a, 18b), umfassend 3D-Video-Daten (38a, 38b, 38c, 38d) und zugehörige Audio-Daten (24a, 24b, 24c, 24d), die von einer an einem von dem VR-Endgerät entfernt angeordneten Veranstaltungsort (11) platzierten 3D-Kamera-Mikrofon-Einheit (12a, 12b) in Echtzeit übermittelbar sind, dadurch gekennzeichnet, dass der 3D-Datenstrom (17a, 17b, 17c) zusätzlich ein Intercom-Audio-Signal (25) umfasst, das einer Intercom-Verbindung zwischen dem VR-Endgerät (z. B. 18a) und wenigstens einem weiteren VR-Endgerät (z. B. 18b) entstammt, wobei das Intercom-Audio-Signal (25) dem Audio-Anteil (24) des von der 3D-Kamera-Mikrofon-Einheit (12a, 12b) stammenden 3D-Datenstromes (17) überlagert ist.
Verfahren zur Echtzeit-Übertragung von 3D-Daten (17a, 17b, 17c), umfassend 3D-Video-Daten (38a, 38b, 38c, 38d) und zugehörige Audio-Daten (24a, 24b, 24c, 24d), von einer an einem Veranstaltungsort (11) platzierten 3D-Kamera-Mikrofon-Einheit (12a, 12b) zu entfernt von dem Veranstaltungsort (11) befindlichen Zuschauern, umfassend die folgenden Schritte: i) Aufnehmen von 3D-Daten (17a, 17b, 17c) mittels wenigstens einer 3D-Kamera-Mikrofon-Einheit (12a, 12b), insbesondere einer 360°-Kamera (13a, 13b) mit einem Mikrofon (14), ii) Einspeisen der von der Kamera-Mikrofon-Einheit (12a, 12b) aufgenommenen 3D-Daten (17a, 17b, 17c) als 3D-Datenstrom (17a, 17b, 17c) in ein Netzwerk (16), insbesondere in das Internet, iii) Auswählen von wenigstens zwei an das Netzwerk (16) angeschlossenen oder anschließbaren VR-Endgeräten (18a, 18b), wie VR-Brille, VR-Tablet od. dgl., wobei jedes VR-Endgerät wenigstens einen Lautsprecher (19) und wenigstens ein Mikrofon (20) aufweist, iv) Verknüpfen dieser ausgewählten VR-Endgeräte (18a, 18b) mittels einer Intercom-Vorrichtung (21), wobei die Intercom-Vorrichtung eine Intercom-Verbindung, also eine unmittelbare Duplex-Audio-Verbindung, zwischen den ausgewählten VR-Endgeräten (18a, 18b) bereitstellt, v) Überlagern des Audio-Anteils (24a, 24b, 24c, 24d) des jeweils von einem ausgewählten VR-Endgerät (18a, 18b) zu empfangenden 3D-Datenstromes (17a, 17b, 17c) durch ein Intercom-Audio-Signal (25), das der Intercom-Verbindung zwischen den ausgewählten VR-Endgeräten (18a, 18b) entstammt, vi) Empfangen des 3D-Datenstromes (17a, 17b, 17c) mit dem jeweils überlagerten Intercom-Audio-Signal (40) durch die ausgewählten VR-Endgeräte (18a, 18b).