DE102020123305B3 - Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system - Google Patents

Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system Download PDF

Info

Publication number
DE102020123305B3
DE102020123305B3 DE102020123305.1A DE102020123305A DE102020123305B3 DE 102020123305 B3 DE102020123305 B3 DE 102020123305B3 DE 102020123305 A DE102020123305 A DE 102020123305A DE 102020123305 B3 DE102020123305 B3 DE 102020123305B3
Authority
DE
Germany
Prior art keywords
handheld
transmission protocol
virtual reality
server
bds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102020123305.1A
Other languages
German (de)
Inventor
Christian Daudert
André Gröschel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Triple A Code GmbH
Original Assignee
Triple A Code GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Triple A Code GmbH filed Critical Triple A Code GmbH
Priority to DE102020123305.1A priority Critical patent/DE102020123305B3/en
Application granted granted Critical
Publication of DE102020123305B3 publication Critical patent/DE102020123305B3/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Handhelds (4) in einer virtuellen Realität (VR), mit den Schritten:(S100) Einlesen eines Bildschirm-Datensatzes (BDS) zum Ansteuern eines Bildschirms (6) des Handhelds (4),(S200) Übertragen des Bildschirm-Datensatzes (BDS) zu einem VR-Server (8) gemäß einem ersten Übertragungs-Protokoll,(S300) Einbetten des Bildschirm-Datensatzes (BDS) in die virtuelle Realität (VR),(S400) Einbetten von einem virtuellen Eingabegerät (10) in die virtuelle Realität (VR),(S500) Erfassen einer Nutzerinteraktion eines Nutzers (12) mit dem virtuellen Eingabegerät (10) in der virtuellen Realität (VR)(S600) Auswerten einer Nutzerinteraktion um einen Ansteuer-Datensatz (ADS) zum Ansteuern des Handhelds zu erzeugen,(S700) Übertragen des Ansteuer-Datensatzes (ADS) zu dem Handheld (4) gemäß einem zweiten Übertragungs-Protokoll zum Anschluss eines realen Eingabegerätes, wobei sich das zweite Übertragungs-Protokoll vom ersten Übertragungs-Protokoll unterscheidet, und(S800) Steuern des Handhelds (4) gemäß dem Ansteuer-Datensatz (ADS).The invention relates to a method for operating a handheld (4) in a virtual reality (VR), with the steps: (S100) reading in a screen data record (BDS) to control a screen (6) of the handheld (4), (S200 ) Transmission of the screen data set (BDS) to a VR server (8) according to a first transmission protocol, (S300) embedding the screen data set (BDS) in the virtual reality (VR), (S400) embedding of a virtual Input device (10) in virtual reality (VR), (S500) detecting a user interaction of a user (12) with the virtual input device (10) in virtual reality (VR) (S600) evaluating a user interaction for a control data set (ADS ) to control the handheld to generate (S700) transmission of the control data set (ADS) to the handheld (4) according to a second transmission protocol for connecting a real input device, the second transmission protocol differing from the first transmission protocol , and (S800) controlling the handheld (4) according to the control data set (ADS).

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Handhelds in einer virtuellen Realität. Ferner betrifft die Erfindung ein Computerprogrammprodukt für ein Handheld und ein Computerprogrammprodukt für einen VR-Server, ein System zum Betrieb eines Handhelds in einer virtuellen Realität, ein Handheld für ein derartiges System und ein VR-Server für ein derartiges System.The invention relates to a method for operating a handheld in a virtual reality. The invention also relates to a computer program product for a handheld and a computer program product for a VR server, a system for operating a handheld in a virtual reality, a handheld for such a system and a VR server for such a system.

Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Realität bezeichnet.Virtual reality, or VR for short, is the representation and simultaneous perception of reality and its physical properties in an interactive virtual reality that is computer-generated in real time.

Um ein Gefühl der Immersion zu erzeugen werden zur Darstellung der virtuellen Realität spezielle Ausgabegeräte, wie z.B. Virtual-Reality-Headsets oder Head-Mounted Displays (HMD), verwendet. Um einen räumlichen Eindruck zu vermitteln, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).In order to create a feeling of immersion, special output devices such as virtual reality headsets or head-mounted displays (HMD) are used to represent virtual reality. In order to convey a spatial impression, two images are generated and displayed from different perspectives (stereo projection).

Zum Durchführen von Interaktionen in der virtuellen Realität werden spezielle Eingabegeräte, wie z.B. Controller genutzt.Special input devices such as controllers are used to carry out interactions in virtual reality.

Für die Erzeugung einer virtuellen Realität ist ferner eine speziell für diesen Zweck entwickelte Software erforderlich. Die Software muss komplexe dreidimensionale Welten in Echtzeit, d.h. mit mindestens 60 Bildern pro Sekunde, in Stereo getrennt für linkes und rechtes Auge des Nutzers berechnen können. Dieser Wert variiert je nach Anwendung - eine dynamische Simulation, wie z.B. Fahrsimulation, erfordern allerdings mindestens 60 Bilder pro Sekunde, um Übelkeit (Simulatorkrankheit) zu vermeiden.In addition, software specially developed for this purpose is required to generate a virtual reality. The software must be able to calculate complex three-dimensional worlds in real time, i.e. with at least 60 images per second, separately in stereo for the left and right eye of the user. This value varies depending on the application - a dynamic simulation, such as driving simulation, however, requires at least 60 images per second in order to avoid nausea (simulator sickness).

Eine Rechnereinheit, auf der diese Software läuft, kann als separater VR-Server ausgebildet sein oder in das Ausgabegerät integriert sein.A computer unit on which this software runs can be designed as a separate VR server or integrated into the output device.

Unter einem Handheld, wie z.B. einem Smartphone, einem Tabletcomputer oder einer Handheld-Konsole wird ein tragbares, elektronisches Gerät verstanden, welches über Akkus oder Batterien mit elektrischer Betriebsenergie versorgt wird und für unterschiedliche Anwendungen genutzt werden kann. Es ist so klein und leicht, dass es bei der Bedienung in nur einer Hand gehalten werden kann; daher die Bezeichnung Handheld (von engl. in der Hand gehalten).A handheld, such as a smartphone, a tablet computer or a handheld console, is understood to be a portable, electronic device that is supplied with electrical operating energy via rechargeable batteries or batteries and can be used for different applications. It is so small and light that it can be operated in just one hand; hence the term handheld.

Unter Smartphones werden dabei Mobiltelefone mit umfangreichen Computer-Funktionalitäten und Konnektivitäten verstanden. Der Begriff dient der Abgrenzung von herkömmlichen Mobiltelefonen. Zentrale Merkmale sind Touchscreens zur Bedienung sowie Computer-ähnliche Betriebssysteme. Ein Internetzugang ist wahlweise per mobiler Breitbandverbindung des Mobilfunkanbieters oder per WLAN möglich.Smartphones are understood to mean mobile phones with extensive computer functions and connectivity. The term is used to differentiate it from conventional cell phones. Central features are touchscreens for operation and computer-like operating systems. Internet access is possible either via the mobile broadband connection of the cell phone provider or via WLAN.

Unter einem Touchscreen wird dabei ein kombiniertes Ein- und Ausgabegerät verstanden, bei dem durch Berührung von Teilen eines auf dem Touchscreen dargestellten Bildes ein Programmablauf des Handhelds direkt gesteuert werden kann.A touchscreen is understood to mean a combined input and output device in which a handheld program sequence can be controlled directly by touching parts of an image displayed on the touchscreen.

Unter einem Tabletcomputer (auch Tablet) wird ein tragbarer, flacher Computer in besonders leichter Ausführung mit einem Touchscreen, aber, anders als bei Notebooks, ohne ausklappbare mechanische Tastatur, verstanden.A tablet computer (also tablet) is understood to be a portable, flat computer in a particularly light design with a touchscreen, but, unlike notebooks, without a fold-out mechanical keyboard.

Unter einer Handheld-Konsole hingegen wird ein tragbares elektronisches Gerät verstanden, welches in erster Linie zum Spielen von Videospielen ausgebildet ist und u.a. ebenfalls einen als Touchscreen ausgebildeten Bildschirm aufweist.A handheld console, on the other hand, is understood to mean a portable electronic device which is primarily designed for playing video games and, among other things, also has a screen designed as a touchscreen.

Gerade als Smartphones oder als Tablet-Computer ausgebildete Handhelds werden intensiv und auf vielfältige Weise zu Kommunikationszwecken genutzt. Jedoch muss ein Nutzer die virtuelle Realität verlassen, d.h. ein z.B. als Virtual-Reality-Headset oder Head-Mounted Display ausgebildetes Ausgabegerät abnehmen um dann das Handheld bedienen zu können.Handhelds designed as smartphones or tablet computers are used intensively and in a variety of ways for communication purposes. However, a user has to leave virtual reality, i.e. remove an output device designed, for example, as a virtual reality headset or head-mounted display in order to then be able to operate the handheld.

Aus der US 2020 / 0 219 310 A1 ist ein Verfahren zum Betrieb eines Handhelds in einer virtuellen Realität bekannt, bei dem ein Bildschirm-Datensatzes zum Ansteuern eines Bildschirms des Handhelds eingelesen wird, der Bildschirm-Datensatz gemäß einem ersten Übertragungs-Protokoll zu einem VR-Server übertragen wird, der Bildschirm-Datensatz in die virtuelle Realität eingebettet wird, und das virtuelle Eingabegerät in die virtuelle Realität eingebettet wird.From US 2020/0 219 310 A1 a method for operating a handheld in a virtual reality is known, in which a screen data set is read in for controlling a screen of the handheld, the screen data set according to a first transmission protocol to a VR -Server is transmitted, the screen data set is embedded in the virtual reality, and the virtual input device is embedded in the virtual reality.

Aus der WO 2018 / 047 202 A1 ist ein Verfahren zur drahtlosen Übertragung von Daten, die einen virtuellen Inhalt in der virtuellen Realität repräsentieren eines tragbaren Geräts zu einem Ausgabebildschirm bekannt. Steuersignale einer drahtlosen Maus können von dem tragbaren Gerät empfangen werden.WO 2018/047 202 A1 discloses a method for the wireless transmission of data representing virtual content in virtual reality from a portable device to an output screen. Wireless mouse control signals can be received by the portable device.

Aus der US 2018/0 095 542 A1 aus der ist ein Verfahren zur Interaktion mit dem Raum der virtuellen Realität unter Verwendung eines Head-Mounted Display bekannt, umfassend eine Erfassung eines Objekts in der realen Welt in einem Raum der realen Welt, in dem ein Benutzer mit dem virtuellen Realität interagiert. Ein Abbild des realen Objekts wird in der virtuellen Realität dargestellt. Das Abbild des realen Objekts wird verwendet, um die Anwesenheit des realen Objekts während der Interaktion mit der virtuellen Realität zu identifizieren. Die Interaktion des Benutzers mit dem Objekt der realen Welt wird erfasst. Die virtuelle Realität ist so konfiguriert, dass eine simulierte Ansicht des Benutzers erzeugt wird, der mit einem Objekt in der virtuellen Realität interagiert. Die simulierte Ansicht wird auf dem HMD dargestellt.From the US 2018/0 095 542 A1 A method for interacting with the space of virtual reality using a head-mounted display is known from US Pat. An image of the real object is displayed in virtual reality. The image of the real Object is used to identify the presence of the real object while interacting with virtual reality. The interaction of the user with the real world object is recorded. The virtual reality is configured to generate a simulated view of the user interacting with an object in the virtual reality. The simulated view is displayed on the HMD.

Es besteht Bedarf daran, Wege aufzuzeigen, wie hier auf einfache Art und Weise Abhilfe geschaffen werden kann.There is a need to show ways how this can be remedied in a simple manner.

Die Aufgabe der Erfindung wird gelöst durch ein Verfahren zum Betrieb eines Handhelds in einer virtuellen Realität, mit den Schritten:

  • Einlesen eines Bildschirm-Datensatzes zum Ansteuern eines Bildschirms des Handhelds,
  • Übertragen des Bildschirm-Datensatzes zu einem VR-Server gemäß einem ersten Übertragungs-Protokoll,
  • Einbetten des Bildschirm-Datensatzes in die virtuelle Realität,
  • Einbetten von einem virtuellen Eingabegerät in die virtuelle Realität,
  • Erfassen einer Nutzerinteraktion eines Nutzers mit dem virtuellen Eingabegerät in der virtuellen Realität,
  • Auswerten der Nutzerinteraktion um einen Ansteuer-Datensatz zum Ansteuern des Handhelds zu erzeugen,
  • Übertragen des Ansteuer-Datensatzes zu dem Handheld gemäß einem zweiten Übertragungs-Protokoll zum Anschluss eines realen Eingabegerätes, wobei sich das zweite Übertragungs-Protokoll vom ersten Übertragungs-Protokoll unterscheidet, und
  • Steuern des Handhelds gemäß dem Ansteuer-Datensatz.
The object of the invention is achieved by a method for operating a handheld in a virtual reality, with the steps:
  • Reading in a screen data record to control a screen of the handheld,
  • Transmission of the screen data set to a VR server in accordance with a first transmission protocol,
  • Embedding the screen data set in virtual reality,
  • Embedding a virtual input device in virtual reality,
  • Capturing a user interaction of a user with the virtual input device in virtual reality,
  • Evaluation of the user interaction in order to generate a control data record for controlling the handheld,
  • Transferring the control data set to the handheld according to a second transfer protocol for connecting a real input device, the second transfer protocol differing from the first transfer protocol, and
  • Controlling the handheld according to the control data record.

Es werden also zwei unterschiedliche Übertragungs-Protokolle für jeweils eine unidirektionale Datenübertragung verwendet und nicht lediglich ein einiges Übertragungs-Protokoll für eine bidirektionale Datenübertragung. Dabei wird unter einer unidirektionalen Datenübertragung verstanden, dass nur Daten in eine Richtung übertragen werden, wie z.B. die Bild-Datensätze von dem Handheld zu dem VR-Server bzw. der Ansteuer-Datensatz von dem VR-Server zu dem Handheld. Ausgenommen sind hingegen Daten, die im Rahmen eines Verbindungsaufbaus, wie z.B. im Rahmen einer Handshakeprozedur, ausgetauscht werden. So kann ein Übertragungs-Protokoll genutzt werden, das eigentlich für den Anschluss realer Eingabegeräte, wie z.B. einer Computermaus oder einer externen Tastatur, vorgesehen ist. Dies erlaubt es auch auf eine Aktivierung eines Entwicklermodus auf dem Handheld zu verzichten.Two different transmission protocols are used for unidirectional data transmission and not just a single transmission protocol for bidirectional data transmission. A unidirectional data transmission is understood to mean that only data is transmitted in one direction, such as the image data records from the handheld to the VR server or the control data record from the VR server to the handheld. However, this does not apply to data that is exchanged as part of establishing a connection, e.g. as part of a handshake procedure. A transmission protocol can be used that is actually intended for the connection of real input devices, such as a computer mouse or an external keyboard. This also makes it possible to forego activating a developer mode on the handheld.

Ein Nutzer kann also dann sein Handheld nutzen und auch Bedienen ohne die virtuelle Realität zu verlassen, d.h. er muss ein z.B. als Virtual-Reality-Headset oder Head-Mounted Display ausgebildetes Ausgabegerät nicht abnehmen.A user can then use his handheld and also operate it without leaving virtual reality, i.e. he does not have to remove an output device designed as a virtual reality headset or head-mounted display, for example.

Gemäß einer Ausführungsform weist das erste Übertragungs-Protokoll eine höhere Übertragungsrate auf als das zweite Übertragungs-Protokoll. Somit werden auf dem Bildschirm dargestellte Bildschirminhalte mit einer höheren Übertragungsrate übertragen als Nutzereingaben. Somit werden die von der Datenmenge größeren Bildschirm-Datensätze mit einer höheren Übertragungsrate als die Nutzereingaben übertragen. So entsteht für einen Nutzer in der virtuellen Realität der Eindruck, er sieht sein Handheld in der Realität und Veränderungen der auf dem Bildschirm dargestellten Bildschirminhalte werden quasi verzögerungsfrei in Echtzeit wiedergegeben.According to one embodiment, the first transmission protocol has a higher transmission rate than the second transmission protocol. This means that screen contents displayed on the screen are transmitted at a higher transmission rate than user inputs. In this way, the screen data sets that are larger due to the amount of data are transmitted at a higher transmission rate than the user inputs. This creates the impression for a user in virtual reality that he is seeing his handheld in reality and changes to the screen contents displayed on the screen are reproduced almost without delay in real time.

Gemäß einer weiteren Ausführungsform weist das erste Übertragungs-Protokoll eine größere Reichweite als das zweite Übertragungs-Protokoll auf. So wird eine sichere Datenübertragung zumindest der dargestellten Bildschirminhalte auch dann gewährleistet, wenn das Handheld sich einer Entfernung außerhalb des zweiten Übertragung-Protokolls befindet. Mit anderen Worten, es können noch Bildschirminhalte übertragen und in die virtuelle Realität eingebettet werden, wie z.B. eingehende Textnachrichten. Allerdings sind dann keine Nutzereingaben möglich, wohl aber ein Hinweis an den Nutzer, dass er sich außerhalb der Reichweite des zweiten Übertragungs-Protokolls befindet.According to a further embodiment, the first transmission protocol has a greater range than the second transmission protocol. In this way, secure data transmission of at least the displayed screen contents is guaranteed even when the handheld is located a distance outside of the second transmission protocol. In other words, screen content can still be transmitted and embedded in virtual reality, such as incoming text messages. However, no user inputs are then possible, but an indication to the user that he is outside the range of the second transmission protocol.

Gemäß einer weiteren Ausführungsform wird als erstes Übertragungs-Protokoll ein Wifi-Protokoll und als zweites Übertragungs-Protokoll ein Bluetooth-Protokoll verwendet. Unter einem Wifi-Protokoll wird ein Protokoll gemäß dem IEEE-802.11-Standard oder gemäß Wifi-Direct verstanden mit Übertragungsraten bis zu 960 Mbit/s. Unter Bluetooth wird ein durch die Bluetooth Special Interest Group (SIG) entwickelter Industriestandard für die Datenübertragung zwischen Geräten über kurze Distanz (bis 100 Meter) per Funktechnik (WPAN) verstanden mit Übertragungsraten von bis zu 2 MBit/s. Geräte nach den Standards der Bluetooth SIG senden als Short Range Devices (SRD) in einem lizenzfreien ISM-Band (Industrial, Scientific and Medical Band) zwischen 2,402 GHz und 2,480 GHz.According to a further embodiment, a WiFi protocol is used as the first transmission protocol and a Bluetooth protocol is used as the second transmission protocol. A Wifi protocol is understood to mean a protocol in accordance with the IEEE 802.11 standard or in accordance with Wifi Direct with transmission rates of up to 960 Mbit / s. Bluetooth is an industrial standard developed by the Bluetooth Special Interest Group (SIG) for data transmission between devices over short distances (up to 100 meters) using wireless technology (WPAN) with transmission rates of up to 2 Mbit / s. Devices according to the standards of the Bluetooth SIG transmit as Short Range Devices (SRD) in a license-free ISM band (Industrial, Scientific and Medical Band) between 2.402 GHz and 2.480 GHz.

Gemäß einer weiteren Ausführungsform wird der Bildschirm-Datensatz mit einer Frequenz von 20 Hz bis 50 Hz eingelesen. So können Bildschirminhalte, die auf dem Bildschirm dargestellt werden, mit einer ausreichenden Geschwindigkeit erfasst und übertragen werden bei gleichzeitig optimaler Ausnutzung der Bandbreite des verwendeten Übertragungs-Protokolls, ohne das es hierbei zu Verzögerungen im Betrieb des Handhelds kommt, sodass für einen Nutzer in der virtuellen Realität der Eindruck entsteht, er bedient sein Handheld in der Realität und sein Handheld reagiert auf seine Nutzereingaben quasi verzögerungsfrei in Echtzeit.According to a further embodiment, the screen data record is generated with a frequency of 20 Hz to 50 Hz read in. In this way, screen contents that are displayed on the screen can be captured and transmitted with sufficient speed while at the same time making optimal use of the bandwidth of the transmission protocol used, without delays in the operation of the handheld, so that for a user in the virtual Reality The impression arises that he is operating his handheld in reality and his handheld reacts to his user input almost instantaneously in real time.

Gemäß einer weiteren Ausführungsform wird der Bildschirm-Datensatz komprimiert bevor er zu dem VR-Server übertragen wird. Z.B. kann zur Komprimierung der MP4-Standard verwendet werden. Es kann die nutzbare Bandbreite des verwendeten Übertragungs-Protokolls maximal ausgenutzt werden und es kann ein Bild-Datensatz übertragen werden, der die Inhalte der Bildschirmdarstellung auf dem Bildschirm des Handhelds detailgetreu wiedergibt. So kann die Immersion nochmals gesteigert werden.According to a further embodiment, the screen data record is compressed before it is transmitted to the VR server. E.g. the MP4 standard can be used for compression. The usable bandwidth of the transmission protocol used can be used to the maximum and an image data record can be transmitted which reproduces the contents of the screen display on the screen of the handheld in great detail. In this way, the immersion can be increased again.

Ferner gehören zur Erfindung ein Computerprogrammprodukt für ein Handheld und ein Computerprogrammprodukt für einen VR-Server, ein System zum Betrieb eines Handhelds in einer virtuellen Realität, ein Handheld für ein derartiges System und ein VR-Server für ein derartiges System.The invention also includes a computer program product for a handheld and a computer program product for a VR server, a system for operating a handheld in a virtual reality, a handheld for such a system and a VR server for such a system.

Es wird nun die Erfindung anhand einer Zeichnung erläutert. Es zeigen:

  • 1 in schematischer Darstellung ausgewählte Komponenten eines Systems zum Betrieb eines Handhelds in einer virtuellen Realität,
  • 2 in schematischer Darstellung weitere Details des in 1 gezeigten Systems.
  • 3 in schematischer Darstellung einen Verfahrensablauf zum Betrieb des in den 1 und 2 gezeigten Systems.
The invention will now be explained with reference to a drawing. Show it:
  • 1 Components of a system for operating a handheld in a virtual reality are selected in a schematic representation,
  • 2 a schematic representation of further details of the in 1 shown system.
  • 3 a schematic representation of a process sequence for operating the in the 1 and 2 shown system.

Es wird zunächst auf 1 Bezug genommen.It gets on first 1 Referenced.

Dargestellt ist ein Szenario, bei dem sich ein Nutzer 12 sich in einer virtuellen Realität VR befindet, z.B. um im Rahmen von Freizeitaktivitäten ein Computerspiel zu spielen oder um z.B. Ingenieurdienstleistungen im Rahmen von Entwicklungsprojekten oder Testzyklen durchzuführen.A scenario is shown in which a user 12 is in a virtual reality VR, e.g. to play a computer game as part of leisure activities or, for example, to perform engineering services as part of development projects or test cycles.

Hierzu trägt der Nutzer 12 im vorliegenden Ausführungsbeispiel auf seinem Kopf ein Ausgabegerät 14, wie z.B. ein HMD. Das Ausgabegerät 14 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet, einen VR-Bild-Datensatz VDS wiederzugeben, der repräsentativ für die virtuelle Realität VR ist. Um einen räumlichen Eindruck zu vermitteln, werden im vorliegenden Ausführungsbeispiel zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).For this purpose, in the present exemplary embodiment, the user 12 wears an output device 14, such as an HMD, on his head. In the present exemplary embodiment, the output device 14 is designed to reproduce a VR image data record VDS which is representative of the virtual reality VR. In order to convey a spatial impression, in the present exemplary embodiment two images are generated and displayed from different perspectives (stereo projection).

Der VR-Bild-Datensatz VDS wird von einem VR-Server 8 bereitgestellt, auf dem eine Software zur Erzeugung der virtuellen Realität VR ausgeführt wird. Abweichend vom vorliegenden Ausführungsbeispiel kann ein Rechner, auf dem die Software in das Ausgabegerät 14 integriert sein.The VR image data record VDS is provided by a VR server 8 on which software for generating the virtual reality VR is executed. In a departure from the present exemplary embodiment, a computer on which the software is integrated into the output device 14 can be used.

Der Nutzer 12 kann mithilfe eines Eingabegerätes 18, im vorliegenden Ausführungsbeispiel ein Controller, Nutzerinteraktion in der virtuellen Realität VR durchführen.The user 12 can use an input device 18, in the present exemplary embodiment a controller, to carry out user interaction in the virtual reality VR.

Ferner ist in 1 ein Handheld 4 dargestellt. Bei dem Handheld 4 handelt es sich im vorliegenden Ausführungsbeispiel um ein Smartphone mit einem als Touchscreen ausgebildeten Bildschirm. Abweichend vom vorliegenden Ausführungsbeispiel kann das Handheld 4 aber auch als Tabletcomputer oder Handheld-Konsole mit einem Touchscreen als Bildschirm 6 ausgebildet sein. Das Handheld 4 weist eine grafische Benutzeroberfläche (GUI - graphical user interface) als Benutzerschnittstelle auf. Sie hat die Aufgabe, Anwendungssoftware auf dem Handheld 4 mittels grafischer Symbole, Steuerelemente oder auch Widgets bedienbar zu machen.Furthermore, in 1 a handheld 4 is shown. In the present exemplary embodiment, the handheld 4 is a smartphone with a screen designed as a touchscreen. In a departure from the present exemplary embodiment, however, the handheld 4 can also be designed as a tablet computer or handheld console with a touchscreen as the screen 6. The handheld 4 has a graphical user interface (GUI) as a user interface. It has the task of making application software operable on the handheld 4 by means of graphic symbols, control elements or widgets.

In dem in 1 gezeigten Szenario geht z.B. eine an den Nutzer 12 gerichtete Textnachricht auf seinem Handheld 4 ein und wird auf dem Bildschirm 6 in Form z.B. eines Icons als ein Teil des gesamten Bildschirminhalts BI dargestellt.In the in 1 The scenario shown is received, for example, by a text message directed to the user 12 on his handheld 4 and is displayed on the screen 6 in the form of, for example, an icon as part of the entire screen content BI.

Um den Nutzer 12 zu ermöglichen, die Textnachricht zu lesen sowie gegebenenfalls darauf zu reagieren ohne die virtuelle Realität VR verlassen zu müssen, also das Ausgabegerät 14 nicht abnehmen zu müssen, ist ein System 2 zum Betrieb des Handhelds 4 in einer virtuellen Realität VR vorgesehen.In order to enable the user 12 to read the text message and, if necessary, to react to it without having to leave the virtual reality VR, i.e. not having to remove the output device 14, a system 2 for operating the handheld 4 in a virtual reality VR is provided.

Dabei weist das System 2 und seine Komponenten für die nachfolgend beschriebenen Aufgaben und /Funktionen Hard- und/oder Software-Komponenten auf.The system 2 and its components have hardware and / or software components for the tasks and / functions described below.

Es wird nun zusätzlich auf 2 Bezug genommen.It is now additionally on 2 Referenced.

Von den Komponenten des Handhelds 4 sind in 2 neben dem Bildschirm 6 ein Encoder 20 und ein Einlese-Modul 2 gezeigt.Of the components of the handheld 4 are in 2 In addition to the screen 6, an encoder 20 and a read-in module 2 are shown.

Das Einlese-Modul 26 ist dazu ausgebildet, auf Empfang der Textnachricht einen Bildschirm-Datensatz BDS repräsentativ für den auf dem Bildschirm 6 dargestellten Bildschirminhalt BI einzulesen. Der Bildschirm-Datensatz BDS dient also zum Ansteuern eines Bildschirms 6 des Handhelds 4. Das Einlesen des aktuellen Bildschirm-Datensatzes BDS kann natürlich auch auf einen Eingang einer Textnachricht oder durch andere Ereignisse automatisch ausgelöst bzw. getriggert werden. Ferner kann zusätzlich oder alternativ vorgesehen sein, dass der Nutzer 12 manuell ein Einlesen des Bildschirm-Datensatzes BDS auslösen, z.B. um zu prüfen, ob in der Zwischenzeit Nachrichten auf seinem Handheld 4 eingegangen sind.The read-in module 26 is designed to receive a screen data record BDS representative of the image in the image upon receipt of the text message screen 6 to read the screen content BI shown. The screen data record BDS is therefore used to control a screen 6 of the handheld 4. The reading in of the current screen data record BDS can of course also be triggered or triggered automatically upon receipt of a text message or by other events. Furthermore, it can additionally or alternatively be provided that the user 12 manually initiate the reading of the screen data record BDS, for example to check whether messages have been received on his handheld 4 in the meantime.

Das Einlesen des Bildschirm-Datensatzes BDS kann mit einer Frequenz von 20 Hz bis 50 Hz erfolgen. Im vorliegenden Ausführungsbeispiel erfolgt auf eine Auslösung hin ein Einlesen des Bildschirm-Datensatzes BDS mit einer Frequenz von 30 Hz. Damit liegt der Wert für diese Frequenz deutlich unter dem Wert, der für dynamische Simulationen erforderlich wäre, jedoch kann so die zu übertragende Datenmenge und damit auch der Zeitbedarf für das Übertragen des Bildschirm-Datensatzes BDS reduziert werden.The BDS screen data set can be read in at a frequency of 20 Hz to 50 Hz. In the present exemplary embodiment, the screen data set BDS is read in at a frequency of 30 Hz when triggered. The value for this frequency is thus significantly below the value that would be required for dynamic simulations the time required for transferring the screen data set BDS can also be reduced.

Der Encoder 20 ist dazu ausgebildet den eingelesenen Bildschirm-Datensatz BDS zu kodieren und zu komprimieren, z.B. gemäß dem MP4-Standard, und stellt dann einen komprimierten Bildschirm-Datensatz BDS' bereit. Es können aber auch andere Kompressionsverfahren und -standards verwendet werden. So kann die zu übertragende Datenmenge und damit auch der Zeitbedarf für das Übertragen des Bildschirm-Datensatzes BDS nochmals reduziert werden.The encoder 20 is designed to encode and compress the read-in screen data record BDS, for example in accordance with the MP4 standard, and then provides a compressed screen data record BDS '. However, other compression methods and standards can also be used. In this way, the amount of data to be transferred and thus also the time required for transferring the BDS screen data set can be reduced again.

Des Weiteren ist das Handheld 4 dazu ausgebildet, den nun komprimierten Bildschirm-Datensatz BDS' drahtlos zu dem VR-Server 8 gemäß einem ersten Übertragungs-Protokoll zu übertragen. Hierzu weist das Handheld 4 eine entsprechend ausgebildete Sendeeinrichtung (nicht dargestellt) auf. Bei dem ersten Übertragungs-Protokoll handelt es sich im vorliegenden Ausführungsbeispiel um ein Protokoll gemäß dem IEEE-802.11-Standard. Furthermore, the handheld 4 is designed to wirelessly transmit the now compressed screen data set BDS 'to the VR server 8 in accordance with a first transmission protocol. For this purpose, the handheld 4 has a correspondingly designed transmission device (not shown). In the present exemplary embodiment, the first transmission protocol is a protocol in accordance with the IEEE 802.11 standard.

Von den Komponenten des VR-Servers 8 sind in 2 der Decoder 22 und die Rechnereinheit 24 sowie das mit dem VR-Server 8 datenübertragend verbundene Ausgabegerät 14 und das ebenfalls mit dem VR-Server 8 datenübertragend verbundene Eingabegerät 18 gezeigt.Of the components of the VR server 8 are in 2 the decoder 22 and the computer unit 24 as well as the output device 14 connected to the VR server 8 for data transfer and the input device 18 also connected to the VR server 8 for data transfer are shown.

Der Decoder 22 ist zum Dekodieren des komprimierten Bildschirm-Datensatzes BDS' ausgebildet und stellt den decodierten Bildschirm-Datensatz BDS bereit. Der decodierte Bildschirm-Datensatz BDS wird von der Rechnereinheit 24 des VR-Servers 8 eingelesen und in den VR-Bild-Datensatz VDS eingebettet, der zu dem Ausgabegerät 14 übertragen und dort dem Nutzer 12 visualisiert wird. Dabei wird der decodierte Bildschirm-Datensatz BDS von der Rechnereinheit 24 des VR-Servers 8 im vorliegenden Ausführungsbeispiel als Overlay Quad in den VR-Bild-Datensatz VDS eingebettet. Mit anderen Worten, dem Nutzer 12 wird der Bildschirminhalt BI, der auf dem Bildschirm 6 des Handhelds 4 wiedergegeben wird, in der virtuellen Realität VR, visualisiert.The decoder 22 is designed to decode the compressed screen data record BDS 'and provides the decoded screen data record BDS. The decoded screen data record BDS is read in by the computer unit 24 of the VR server 8 and embedded in the VR image data record VDS, which is transmitted to the output device 14 and visualized there for the user 12. In this case, the decoded screen data record BDS is embedded in the VR image data record VDS by the computer unit 24 of the VR server 8 in the present exemplary embodiment as an overlay quad. In other words, the screen content BI, which is reproduced on the screen 6 of the handheld 4, is visualized for the user 12 in the virtual reality VR.

Ferner ist das System 2 dazu ausgebildet, dass der Nutzer 12 nun auch Nutzerinteraktionen durchführen kann, wie z.B. ein Beantworten, Markieren Verschieben oder Löschen der empfangenen Textnachricht, z.B. durch Betätigen des Eingabegeräts 18. Auf derartige Nutzerinteraktionen hin erzeugt das Eingabegerät 18 einen Eingabe-Datensatz EDS, der zu der Rechnereinheit 24 übertragen wird.Furthermore, the system 2 is designed so that the user 12 can now also carry out user interactions, such as answering, marking, moving or deleting the received text message, for example by operating the input device 18. The input device 18 generates an input data record in response to such user interactions EDS, which is transmitted to the computer unit 24.

Die Rechnereinheit 24 des VR-Servers 8 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet auf eine derartige Nutzerinteraktion hin einen Mauszeiger 16 oder andere grafische Bedienelemente in den VR-Bild-Datensatz VDS einzubetten. Der Nutzer 12 kann den in der virtuellen Realität VR dargestellten Mauszeiger 6 durch Verlagern des Eingabegerätes 18 in gewünschter Weise verlagern und z.B. durch Klick-Operationen auch Betätigen wie bei einer realen Computermaus. Zusätzlich wird von der Rechnereinheit 24 des VR-Servers 8 ein zu dem Eingabegerät 18 korrespondierendes virtuelles Eingabegerät 10 in den VR-Bild-Datensatz VDS eingebettet. Dabei kann die Rechnereinheit 24 des VR-Servers 8 auf einen entsprechenden Datensatz zurückgreifen, der indikativ für die aktuelle Position des Mauszeigers 16 und/oder repräsentativ für das virtuelle Eingabegerät 10 ist.In the present exemplary embodiment, the computer unit 24 of the VR server 8 is designed to embed a mouse pointer 16 or other graphic control elements in the VR image data record VDS in response to such user interaction. The user 12 can move the mouse pointer 6 shown in the virtual reality VR in the desired manner by moving the input device 18 and, for example, by clicking operations, as with a real computer mouse. In addition, the computer unit 24 of the VR server 8 embeds a virtual input device 10 corresponding to the input device 18 in the VR image data record VDS. The computer unit 24 of the VR server 8 can access a corresponding data record which is indicative of the current position of the mouse pointer 16 and / or representative of the virtual input device 10.

Mit anderen Worten, während ein Handheld 4 außerhalb der virtuellen Realität VR durch Berührungen des Bildschirms 6 seitens des Nutzers 12 bedient wird, also hilfsmittelfrei, erfolgt dies in der virtuellen Realität VR durch ein grafisches Element wie z.B. den Mauszeiger 16, der mit dem Eingabegerät 18 gekoppelt ist.In other words, while a handheld 4 is operated outside of the virtual reality VR by touching the screen 6 on the part of the user 12, i.e. without aids, this is done in the virtual reality VR by a graphic element such as the mouse pointer 16, which is connected to the input device 18 is coupled.

Auf ein Anklicken eines dargestellten Objektes, wie z.B. eines Icons für eine Textnachricht, mit dem Mauszeiger 16 als Beispiel für eine Nutzerinteraktion, ist der VR-Server 8 dazu ausgebildet einen Ansteuer-Datensatz ADS zum Ansteuern des Handhelds 4 zu erzeugen.When a displayed object, such as an icon for a text message, is clicked with the mouse pointer 16 as an example of user interaction, the VR server 8 is designed to generate a control data record ADS for controlling the handheld 4.

Der Ansteuer-Datensatz ADS ist zumindest indikativ für Veränderungen der auf dem Bildschirm 6 dargestellten Bildschirminhalte BI, hervorgerufen durch die Nutzerinteraktion. Zusätzlich kann der Ansteuer-Datensatz ADS auch repräsentativ für Steuerbefehle zum Ansteuern des Handhelds 4 bzw. einer auf dem Handheld 4 ausgeführten App sein, wie z.B. ein Beantworten, Markieren, Verschieben oder Löschen der empfangenen Textnachricht.The control data record ADS is at least indicative of changes in the screen contents BI displayed on the screen 6, caused by the user interaction. In addition, the control data record ADS can also be representative of control commands for controlling the handheld 4 or an app executed on the handheld 4 such as replying, marking, moving or deleting the received text message.

Der VR-Server 8 ist dazu ausgebildet den Ansteuer-Datensatz ADS drahtlos zu dem Handheld 4 gemäß einem zweiten Übertragungs-Protokoll zu übertragen. Hierzu weist der VR-Server 8 eine entsprechend ausgebildete Sendeeinrichtung (nicht dargestellt) und das Handheld 4 eine entsprechend ausgebildete Empfangseinrichtung (ebenfalls nicht dargestellt) auf.The VR server 8 is designed to transmit the control data record ADS wirelessly to the handheld 4 in accordance with a second transmission protocol. For this purpose, the VR server 8 has a correspondingly designed transmitting device (not shown) and the handheld 4 has a correspondingly designed receiving device (also not shown).

Im vorliegenden Ausführungsbeispiel wird als zweites Übertragungs-Protokoll ein Bluetooth-Protokoll verwendet. Ein derartiges Bluetooth-Protokoll ist zum Anschluss eines realen Eingabegerätes, wie z.B. einer Computermaus oder einer separaten Tastatur an das Handheld 4 ausgebildet. Mit anderen Worten, es wird eine Schnittstelle zum Anschluss eines realen Eingabegerätes genutzt, um das virtuelle Eingabegerät 10 in der virtuellen Realität VR nutzbar zu machen um Nutzerinteraktionen durchführen zu können.In the present exemplary embodiment, a Bluetooth protocol is used as the second transmission protocol. Such a Bluetooth protocol is designed to connect a real input device, such as a computer mouse or a separate keyboard, to the handheld 4. In other words, an interface for connecting a real input device is used in order to make the virtual input device 10 usable in the virtual reality VR in order to be able to carry out user interactions.

Auf Empfang des Ansteuer-Datensatzes ADS ist das Handheld 4 dazu ausgebildet, diesen auszuführen. Dies umfasst ein Anpassen der auf dem Bildschirm 6 dargestellten Bildschirminhalte BI und kann zusätzlich das Ausführen der übertragenen Steuerbefehle umfassen. Ferner ist das Handheld 4 dazu ausgebildet, die nun aktualisierten Bildschirminhalte BI in Form eines weiteren Bildschirm-Datensatzes BDS einzulesen und zum Einbetten in den VR-Bild-Datensatz VDS zu übertragen.Upon receipt of the control data record ADS, the handheld 4 is designed to execute it. This includes adapting the screen contents BI shown on the screen 6 and can additionally include the execution of the transmitted control commands. Furthermore, the handheld 4 is designed to read in the now updated screen contents BI in the form of a further screen data record BDS and to transmit them for embedding in the VR image data record VDS.

Es wird nun unter zusätzlicher Bezugnahme auf 3 ein Verfahren zum Betrieb des in den 1 und 2 gezeigten Systems 2 erläutert.It will now be made with additional reference to FIG 3 a method of operating the in the 1 and 2 system 2 shown.

Wie schon beschrieben startet das Verfahren z.B. auf einen Eingang einer Textnachricht oder aufgrund eines anderen Ereignisses oder aufgrund einer manuellen Auslösung durch den Nutzer 12.As already described, the method starts, for example, upon receipt of a text message or on the basis of another event or on the basis of a manual trigger by the user 12.

In einem ersten Schritt S100 liest das Handheld 4 den aktuellen auf dem Bildschirm 6 des Handhelds 4 dargestellten Bildschirminhalt BI gemäß ein und erstellt den Bildschirm-Datensatz BDS.In a first step S100, the handheld 4 reads in the current screen content BI shown on the screen 6 of the handheld 4 and creates the screen data record BDS.

Nachdem der eingelesene Bildschirm-Datensatz BDS in einem weiteren Schritt S150 von dem Encoder 20 des Handhelds 4 kodiert und komprimiert wurde, z.B. gemäß dem MP4-Standard, wird er in einem weiteren Schritt S200 drahtlos zu dem VR-Server 8 übertragen, und zwar gemäß einem Wifi-Protokoll.After the screen data record BDS read in has been encoded and compressed in a further step S150 by the encoder 20 of the handheld 4, for example in accordance with the MP4 standard, it is transmitted wirelessly to the VR server 8 in a further step S200, in accordance with a wifi protocol.

Der komprimierte Bildschirm-Datensatz BDS' wird in einem weiteren Schritt S250 gemäß dem ersten Übertragungs-Protokoll, d.h. gemäß einem Wifi-Protokoll, übertragen und von dem VR-Server 8 eingelesen sowie von dem Decoder 22 des VR-Servers 8 dekodiert.The compressed screen data record BDS 'is transmitted in a further step S250 in accordance with the first transmission protocol, i.e. in accordance with a WiFi protocol, and is read in by the VR server 8 and decoded by the decoder 22 of the VR server 8.

In einem weiteren Schritt S300 bettet die Rechnereinheit 24 den Bildschirm-Datensatz BDS in den VR-Bild-Datensatz VDS für die virtuelle Realität VR ein.In a further step S300, the computer unit 24 embeds the screen data record BDS in the VR image data record VDS for the virtual reality VR.

In einem weiteren Schritt S400 bettet die Rechnereinheit 24 das virtuelle Eingabegerät 10 in den VR-Bild-Datensatz VDS für die virtuelle Realität VR ein.In a further step S400, the computer unit 24 embeds the virtual input device 10 in the VR image data record VDS for the virtual reality VR.

In einem weiteren Schritt S500 erfasst der VR-Server 8 eine Nutzerinteraktion des Nutzers 12 mit dem virtuellen Eingabegerät 10 in der virtuellen Realität VR.In a further step S500, the VR server 8 records a user interaction of the user 12 with the virtual input device 10 in the virtual reality VR.

In einem weiteren Schritt S600 erzeugt auf die erfasste Nutzerinteraktion hin der VR-Server 8 den Ansteuer-Datensatz ADS zum Ansteuern des Handhelds 4. Hierbei kann auch der Mauszeiger 16 in den VR-Bild-Datensatz VDS für die virtuelle Realität VR eingebettet werden, der später mittels dem Ausgabegerät 14 dem Nutzer 12 zusammen mit dem Bildschirm-Datensatz BDS und weiteren Inhalten der virtuellen Realität VR visualisiert wird.In a further step S600, the VR server 8 generates the control data record ADS for controlling the handheld 4 in response to the recorded user interaction is later visualized to the user 12 by means of the output device 14 together with the screen data record BDS and further contents of the virtual reality VR.

In einem weiteren Schritt S700 überträgt der VR-Server 8 den Ansteuer-Datensatz ADS zu dem Handheld 4 gemäß dem zweiten Übertragungs-Protokoll, d.h. gemäß einem Bluetooth-Protokoll.In a further step S700, the VR server 8 transmits the control data record ADS to the handheld 4 in accordance with the second transmission protocol, i.e. in accordance with a Bluetooth protocol.

In einem weiteren Schritt S800 wird das Handheld 4 dann gemäß dem Ansteuer-Datensatz ADS angesteuert, d.h. es führt die durch die in der virtuellen Realität VR von dem Nutzer 12 durchgeführte Nutzerinteraktion aus.In a further step S800, the handheld 4 is then controlled in accordance with the control data record ADS, i.e. it carries out the user interaction carried out by the user 12 in the virtual reality VR.

Des Weiteren liest nun in einem weiteren Schritt S900 das Handheld 4 die nun entsprechend der durchgeführten Nutzerinteraktion aktualisierten Bildschirminhalte BI in Form eines weiteren Bildschirm-Datensatzes BDS ein und überträgt sie zum Einbetten in den VR-Bild-Datensatz VDS zu dem VR-Server 8, um diese dem Nutzer 12 mittels des Ausgabegeräts 14 zu visualisieren.Furthermore, in a further step S900, the handheld 4 now reads in the screen contents BI, which are now updated in accordance with the user interaction carried out, in the form of a further screen data record BDS and transmits them to the VR server 8 for embedding in the VR image data record VDS, in order to visualize this to the user 12 by means of the output device 14.

Abweichend vom vorliegenden Ausführungsbeispiel kann die Reihenfolge der Schritte auch eine andere sein. Ferner können mehrere Schritte auch zeitgleich bzw. simultan ausgeführt werden. Des Weiteren können auch abweichend vom vorliegenden Ausführungsbeispiel einzelne Schritte übersprungen oder ausgelassen werden.In a departure from the present exemplary embodiment, the sequence of the steps can also be different. Furthermore, several steps can also be carried out at the same time or simultaneously. Furthermore, in a departure from the present exemplary embodiment, individual steps can also be skipped or omitted.

So kann ein Nutzer sein Handheld 4 nutzen und auch Bedienen ohne die virtuelle Realität VR zu verlassen, d.h. er muss ein z.B. als Virtual-Reality-Headset oder Head-Mounted Display ausgebildetes Ausgabegerät 12 nicht abnehmen.A user can use his handheld 4 and also operate it without leaving the virtual reality VR, ie he has to use a virtual reality Do not remove the headset or head-mounted display designed output device 12.

BezugszeichenlisteList of reference symbols

22
Systemsystem
44th
HandheldHandheld
66th
Bildschirmscreen
88th
VR-ServerVR server
1010
virtuelles Eingabegerätvirtual input device
1212th
NutzerUsers
1414th
AusgabegerätOutput device
1616
Mauszeigercursor
1818th
EingabegerätInput device
2020th
EncoderEncoder
2222nd
Decoderdecoder
2424
RechnereinheitComputing unit
2626th
Einlese-Modul Read-in module
ADSADS
Ansteuer-DatensatzControl data record
BDSBDS
Bildschirm-DatensatzScreen record
BDS'BDS '
komprimierter Bildschirm-Datensatzcompressed screen data set
BIBI
BildschirminhaltScreen content
EDSEDS
Eingabe-DatensatzInput record
VDSVDS
VR-Bild-DatensatzVR image data set
VRVR
virtuelle Realität virtual reality
S100S100
Schrittstep
S150S150
Schrittstep
S200S200
Schrittstep
S250S250
Schrittstep
S300S300
Schrittstep
S400S400
Schrittstep
S500S500
Schrittstep
S600S600
Schrittstep
S700S700
Schrittstep
S800S800
Schrittstep
S900S900
Schrittstep

Claims (16)

Verfahren zum Betrieb eines Handhelds (4) in einer virtuellen Realität (VR), mit den Schritten: (S100) Einlesen eines Bildschirm-Datensatzes (BDS) zum Ansteuern eines Bildschirms (6) des Handhelds (4), (S200) Übertragen des Bildschirm-Datensatzes (BDS) zu einem VR-Server (8) gemäß einem ersten Übertragungs-Protokoll, (S300) Einbetten des Bildschirm-Datensatzes (BDS) in die virtuelle Realität (VR), (S400) Einbetten von einem virtuellen Eingabegerät (10) in die virtuelle Realität (VR), (S500) Erfassen einer Nutzerinteraktion eines Nutzers (12) mit dem virtuellen Eingabegerät (10) in der virtuellen Realität (VR), (S600) Auswerten einer Nutzerinteraktion um einen Ansteuer-Datensatz (ADS) zum Ansteuern des Handhelds (4) zu erzeugen, (S700) Übertragen des Ansteuer-Datensatzes (ADS) zu dem Handheld (4) gemäß einem zweiten Übertragungs-Protokoll zum Anschluss eines realen Eingabegerätes (18), wobei sich das zweite Übertragungs-Protokoll vom ersten Übertragungs-Protokoll unterscheidet, und (S800) Steuern des Handhelds (4) gemäß dem Ansteuer-Datensatz (ADS). Method for operating a handheld (4) in a virtual reality (VR), with the steps: (S100) Reading in a screen data record (BDS) to control a screen (6) of the handheld (4), (S200) transmission of the screen data record (BDS) to a VR server (8) according to a first transmission protocol, (S300) Embed the screen data set (BDS) in virtual reality (VR), (S400) embedding a virtual input device (10) in the virtual reality (VR), (S500) recording a user interaction of a user (12) with the virtual input device (10) in virtual reality (VR), (S600) Evaluation of a user interaction in order to generate a control data record (ADS) for controlling the handheld (4), (S700) Transmission of the control data record (ADS) to the handheld (4) according to a second transmission protocol for connecting a real input device (18), the second transmission protocol differing from the first transmission protocol, and (S800) Controlling the handheld (4) according to the control data record (ADS). Verfahren nach Anspruch 1, wobei das erste Übertragungs-Protokoll eine höhere Übertragungsrate als das zweite Übertragungs-Protokoll aufweist.Procedure according to Claim 1 , wherein the first transmission protocol has a higher transmission rate than the second transmission protocol. Verfahren nach Anspruch 1 oder 2, wobei das erste Übertragungs-Protokoll eine größere Reichweite als das zweite Übertragungs-Protokoll aufweist.Procedure according to Claim 1 or 2 , the first transmission protocol having a greater range than the second transmission protocol. Verfahren nach Anspruch 1, 2 oder 3, wobei als erstes Übertragungs-Protokoll ein Wifi-Protokoll und als zweites Übertragungs-Protokoll ein Bluetooth-Protokoll verwendet wird.Procedure according to Claim 1 , 2 or 3 , whereby a Wifi protocol is used as the first transmission protocol and a Bluetooth protocol is used as the second transmission protocol. Verfahren nach einem der Ansprüche 1 bis 4, wobei der Bildschirm-Datensatz (BDS) mit einer Frequenz von 20 Hz bis 50 Hz eingelesen wird.Method according to one of the Claims 1 until 4th , whereby the screen data set (BDS) is read in with a frequency of 20 Hz to 50 Hz. Verfahren nach einem der Ansprüche 1 bis 5, wobei der Bildschirm-Datensatz (BDS) komprimiert wird bevor er zu dem VR-Server (8) übertragen wird.Method according to one of the Claims 1 until 5 , the screen data set (BDS) being compressed before it is transmitted to the VR server (8). Computerprogrammprodukt für ein Handheld (4), ausgebildet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 6.Computer program product for a handheld (4), designed to carry out a method according to one of the Claims 1 until 6th . Computerprogrammprodukt für einen VR-Server (8), ausgebildet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 6.Computer program product for a VR server (8), designed to carry out a method according to one of the Claims 1 until 6th . System (2) zum Betrieb eines Handhelds (4) in einer virtuellen Realität (VR), wobei das Handheld (4) dazu ausgebildet ist einen Bildschirm-Datensatz (BDS) zum Ansteuern eines Bildschirms (6) des Handhelds (4) einzulesen und den Bildschirm-Datensatz (BDS) zu einem VR-Server (8) gemäß einem ersten Übertragungs-Protokoll zu übertragen, wobei der VR-Server (8) dazu ausgebildet ist, den Bildschirm-Datensatz (BDS) in die virtuelle Realität (VR) und ein virtuelles Eingabegerät (10) in die virtuelle Realität (VR) einzubetten, zum Erfassen einer Nutzerinteraktion eines Nutzers (12) mit dem virtuellen Eingabegerät (10) in der virtuellen Realität (VR), zum Auswerten der Nutzerinteraktion um einen Ansteuer-Datensatz (ADS) zum Ansteuern des Handhelds (4) zu erzeugen, zum Übertragen des Ansteuer-Datensatzes (ADS) zu dem Handheld (4) gemäß einem zweiten Übertragungs-Protokoll zum Anschluss eines realen Eingabegerätes (18), wobei sich das zweite Übertragungs-Protokoll vom ersten Übertragungs-Protokoll unterscheidet, und wobei das Handheld (4) gemäß dem Ansteuer-Datensatz (ADS) steuerbar ist.System (2) for operating a handheld (4) in a virtual reality (VR), the handheld (4) being designed to read in a screen data set (BDS) for controlling a screen (6) of the handheld (4) and to read in the To transmit screen data set (BDS) to a VR server (8) according to a first transmission protocol, the VR server (8) being designed to convert the screen data set (BDS) into virtual reality (VR) and a virtual input device (10) to be embedded in the virtual reality (VR) to record a user interaction of a user (12) with the virtual input device (10) in the virtual reality (VR) to evaluate the user interaction around a control - Generate data set (ADS) for controlling the handheld (4), for transmitting the control data set (ADS) to the handheld (4) according to a second transmission protocol for connecting a real input device (18), the second transmission being -Protocol differs from the first transmission protocol, and wherein the handheld (4) can be controlled according to the control data record (ADS). System (2) nach Anspruch 9, wobei das erste Übertragungs-Protokoll eine höhere Übertragungsrate als das zweite Übertragungs-Protokoll aufweist.System (2) according to Claim 9 , wherein the first transmission protocol has a higher transmission rate than the second transmission protocol. System (2) nach Anspruch 9 oder 10, wobei das erste Übertragungs-Protokoll eine größere Reichweite als das zweite Übertragungs-Protokoll aufweist.System (2) according to Claim 9 or 10 , the first transmission protocol having a greater range than the second transmission protocol. System (2) nach Anspruch 9, 10 oder 11, wobei als erstes Übertragungs-Protokoll ein Wifi-Protokoll und als zweites Übertragungs-Protokoll ein Bluetooth-Protokoll verwendet wird.System (2) according to Claim 9 , 10 or 11th , whereby a Wifi protocol is used as the first transmission protocol and a Bluetooth protocol is used as the second transmission protocol. System (2) nach einem der Ansprüche 9 bis 12, wobei das Handheld (4) dazu ausgebildet ist den Bildschirm-Datensatz (BDS) mit einer Frequenz von 20 Hz bis 50 Hz einzulesen.System (2) according to one of the Claims 9 until 12th , the handheld (4) being designed to read in the screen data set (BDS) at a frequency of 20 Hz to 50 Hz. System (2) nach einem der Ansprüche 9 bis 13, wobei das Handheld (4) dazu ausgebildet ist den Bildschirm-Datensatz (BDS) zu komprimieren bevor er zu dem VR-Server (8) übertragen wird.System (2) according to one of the Claims 9 until 13th , wherein the handheld (4) is designed to compress the screen data record (BDS) before it is transmitted to the VR server (8). Handheld (4) für ein System (2) nach einem der Ansprüche 9 bis 14.Handheld (4) for a system (2) according to one of the Claims 9 until 14th . VR-Server (8) für ein System (2) nach einem der Ansprüche 9 bis 14.VR server (8) for a system (2) according to one of the Claims 9 until 14th .
DE102020123305.1A 2020-09-07 2020-09-07 Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system Expired - Fee Related DE102020123305B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020123305.1A DE102020123305B3 (en) 2020-09-07 2020-09-07 Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020123305.1A DE102020123305B3 (en) 2020-09-07 2020-09-07 Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system

Publications (1)

Publication Number Publication Date
DE102020123305B3 true DE102020123305B3 (en) 2022-01-05

Family

ID=79019825

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020123305.1A Expired - Fee Related DE102020123305B3 (en) 2020-09-07 2020-09-07 Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system

Country Status (1)

Country Link
DE (1) DE102020123305B3 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047202A1 (en) 2016-09-10 2018-03-15 Smartron India Private Limited A wearable virtual reality device with wireless display
US20180095542A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20200219310A1 (en) 2019-01-08 2020-07-09 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Mobile device integration with a virtual reality environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047202A1 (en) 2016-09-10 2018-03-15 Smartron India Private Limited A wearable virtual reality device with wireless display
US20180095542A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20200219310A1 (en) 2019-01-08 2020-07-09 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Mobile device integration with a virtual reality environment

Similar Documents

Publication Publication Date Title
CN102143235B (en) Touch screen terminal is provided with the method and system of remote service
CN108831218A (en) Teleeducation system based on virtual reality
CN104199879B (en) A kind of data processing method and data processing equipment
DE60117530T2 (en) MODULAR CALCULATOR
CN108011951B (en) Remote assistance method, device and system and electronic equipment
CN107943282A (en) A kind of man-machine interactive system and method based on augmented reality and wearable device
CN210867774U (en) Remote control system
CN104244027A (en) Control method and system used for live transmission and play process sharing of audio/video data
EP1848216A3 (en) Video communication device for a door intercom
DE112016002645T5 (en) Communication support device, procedure and computer program
CN111341166A (en) Control method and system of emergency drilling system
CN110072133A (en) Display on the same screen method and system
WO2023016107A1 (en) Remote interaction method, apparatus and system, and electronic device and storage medium
CN109753315A (en) A kind of smart machine interactive content editor implementation method and storage medium
CN103279314A (en) Transmission apparatus with virtual device window operation and transmission system of using the same
CN111710032A (en) Method, device, equipment and medium for constructing three-dimensional model of transformer substation
DE102020123305B3 (en) Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system
CN106502417A (en) Mobile virtual real world devices are adapted to the methods, devices and systems of computer peripheral equipment
DE112004000055T5 (en) Remote control device, remote control method and remote-controlled device
CN203661193U (en) Internet-based real environment simulation video conference system
DE112004000056T5 (en) Remote control device, remote control method and remote-controlled device
EP2672660B1 (en) Method for influencing the bus communication of a electronical control unit
CN210072615U (en) Immersive training system and wearable equipment
DE102015103430B4 (en) Data processing method and portable electronic device
CN111796846A (en) Information updating method and device, terminal equipment and readable storage medium

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee