DE102020123305B3 - Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system - Google Patents
Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system Download PDFInfo
- Publication number
- DE102020123305B3 DE102020123305B3 DE102020123305.1A DE102020123305A DE102020123305B3 DE 102020123305 B3 DE102020123305 B3 DE 102020123305B3 DE 102020123305 A DE102020123305 A DE 102020123305A DE 102020123305 B3 DE102020123305 B3 DE 102020123305B3
- Authority
- DE
- Germany
- Prior art keywords
- handheld
- transmission protocol
- virtual reality
- server
- bds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 64
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
- H04M1/724097—Worn on the head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Betrieb eines Handhelds (4) in einer virtuellen Realität (VR), mit den Schritten:(S100) Einlesen eines Bildschirm-Datensatzes (BDS) zum Ansteuern eines Bildschirms (6) des Handhelds (4),(S200) Übertragen des Bildschirm-Datensatzes (BDS) zu einem VR-Server (8) gemäß einem ersten Übertragungs-Protokoll,(S300) Einbetten des Bildschirm-Datensatzes (BDS) in die virtuelle Realität (VR),(S400) Einbetten von einem virtuellen Eingabegerät (10) in die virtuelle Realität (VR),(S500) Erfassen einer Nutzerinteraktion eines Nutzers (12) mit dem virtuellen Eingabegerät (10) in der virtuellen Realität (VR)(S600) Auswerten einer Nutzerinteraktion um einen Ansteuer-Datensatz (ADS) zum Ansteuern des Handhelds zu erzeugen,(S700) Übertragen des Ansteuer-Datensatzes (ADS) zu dem Handheld (4) gemäß einem zweiten Übertragungs-Protokoll zum Anschluss eines realen Eingabegerätes, wobei sich das zweite Übertragungs-Protokoll vom ersten Übertragungs-Protokoll unterscheidet, und(S800) Steuern des Handhelds (4) gemäß dem Ansteuer-Datensatz (ADS).The invention relates to a method for operating a handheld (4) in a virtual reality (VR), with the steps: (S100) reading in a screen data record (BDS) to control a screen (6) of the handheld (4), (S200 ) Transmission of the screen data set (BDS) to a VR server (8) according to a first transmission protocol, (S300) embedding the screen data set (BDS) in the virtual reality (VR), (S400) embedding of a virtual Input device (10) in virtual reality (VR), (S500) detecting a user interaction of a user (12) with the virtual input device (10) in virtual reality (VR) (S600) evaluating a user interaction for a control data set (ADS ) to control the handheld to generate (S700) transmission of the control data set (ADS) to the handheld (4) according to a second transmission protocol for connecting a real input device, the second transmission protocol differing from the first transmission protocol , and (S800) controlling the handheld (4) according to the control data set (ADS).
Description
Die Erfindung betrifft ein Verfahren zum Betrieb eines Handhelds in einer virtuellen Realität. Ferner betrifft die Erfindung ein Computerprogrammprodukt für ein Handheld und ein Computerprogrammprodukt für einen VR-Server, ein System zum Betrieb eines Handhelds in einer virtuellen Realität, ein Handheld für ein derartiges System und ein VR-Server für ein derartiges System.The invention relates to a method for operating a handheld in a virtual reality. The invention also relates to a computer program product for a handheld and a computer program product for a VR server, a system for operating a handheld in a virtual reality, a handheld for such a system and a VR server for such a system.
Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Realität bezeichnet.Virtual reality, or VR for short, is the representation and simultaneous perception of reality and its physical properties in an interactive virtual reality that is computer-generated in real time.
Um ein Gefühl der Immersion zu erzeugen werden zur Darstellung der virtuellen Realität spezielle Ausgabegeräte, wie z.B. Virtual-Reality-Headsets oder Head-Mounted Displays (HMD), verwendet. Um einen räumlichen Eindruck zu vermitteln, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).In order to create a feeling of immersion, special output devices such as virtual reality headsets or head-mounted displays (HMD) are used to represent virtual reality. In order to convey a spatial impression, two images are generated and displayed from different perspectives (stereo projection).
Zum Durchführen von Interaktionen in der virtuellen Realität werden spezielle Eingabegeräte, wie z.B. Controller genutzt.Special input devices such as controllers are used to carry out interactions in virtual reality.
Für die Erzeugung einer virtuellen Realität ist ferner eine speziell für diesen Zweck entwickelte Software erforderlich. Die Software muss komplexe dreidimensionale Welten in Echtzeit, d.h. mit mindestens 60 Bildern pro Sekunde, in Stereo getrennt für linkes und rechtes Auge des Nutzers berechnen können. Dieser Wert variiert je nach Anwendung - eine dynamische Simulation, wie z.B. Fahrsimulation, erfordern allerdings mindestens 60 Bilder pro Sekunde, um Übelkeit (Simulatorkrankheit) zu vermeiden.In addition, software specially developed for this purpose is required to generate a virtual reality. The software must be able to calculate complex three-dimensional worlds in real time, i.e. with at least 60 images per second, separately in stereo for the left and right eye of the user. This value varies depending on the application - a dynamic simulation, such as driving simulation, however, requires at least 60 images per second in order to avoid nausea (simulator sickness).
Eine Rechnereinheit, auf der diese Software läuft, kann als separater VR-Server ausgebildet sein oder in das Ausgabegerät integriert sein.A computer unit on which this software runs can be designed as a separate VR server or integrated into the output device.
Unter einem Handheld, wie z.B. einem Smartphone, einem Tabletcomputer oder einer Handheld-Konsole wird ein tragbares, elektronisches Gerät verstanden, welches über Akkus oder Batterien mit elektrischer Betriebsenergie versorgt wird und für unterschiedliche Anwendungen genutzt werden kann. Es ist so klein und leicht, dass es bei der Bedienung in nur einer Hand gehalten werden kann; daher die Bezeichnung Handheld (von engl. in der Hand gehalten).A handheld, such as a smartphone, a tablet computer or a handheld console, is understood to be a portable, electronic device that is supplied with electrical operating energy via rechargeable batteries or batteries and can be used for different applications. It is so small and light that it can be operated in just one hand; hence the term handheld.
Unter Smartphones werden dabei Mobiltelefone mit umfangreichen Computer-Funktionalitäten und Konnektivitäten verstanden. Der Begriff dient der Abgrenzung von herkömmlichen Mobiltelefonen. Zentrale Merkmale sind Touchscreens zur Bedienung sowie Computer-ähnliche Betriebssysteme. Ein Internetzugang ist wahlweise per mobiler Breitbandverbindung des Mobilfunkanbieters oder per WLAN möglich.Smartphones are understood to mean mobile phones with extensive computer functions and connectivity. The term is used to differentiate it from conventional cell phones. Central features are touchscreens for operation and computer-like operating systems. Internet access is possible either via the mobile broadband connection of the cell phone provider or via WLAN.
Unter einem Touchscreen wird dabei ein kombiniertes Ein- und Ausgabegerät verstanden, bei dem durch Berührung von Teilen eines auf dem Touchscreen dargestellten Bildes ein Programmablauf des Handhelds direkt gesteuert werden kann.A touchscreen is understood to mean a combined input and output device in which a handheld program sequence can be controlled directly by touching parts of an image displayed on the touchscreen.
Unter einem Tabletcomputer (auch Tablet) wird ein tragbarer, flacher Computer in besonders leichter Ausführung mit einem Touchscreen, aber, anders als bei Notebooks, ohne ausklappbare mechanische Tastatur, verstanden.A tablet computer (also tablet) is understood to be a portable, flat computer in a particularly light design with a touchscreen, but, unlike notebooks, without a fold-out mechanical keyboard.
Unter einer Handheld-Konsole hingegen wird ein tragbares elektronisches Gerät verstanden, welches in erster Linie zum Spielen von Videospielen ausgebildet ist und u.a. ebenfalls einen als Touchscreen ausgebildeten Bildschirm aufweist.A handheld console, on the other hand, is understood to mean a portable electronic device which is primarily designed for playing video games and, among other things, also has a screen designed as a touchscreen.
Gerade als Smartphones oder als Tablet-Computer ausgebildete Handhelds werden intensiv und auf vielfältige Weise zu Kommunikationszwecken genutzt. Jedoch muss ein Nutzer die virtuelle Realität verlassen, d.h. ein z.B. als Virtual-Reality-Headset oder Head-Mounted Display ausgebildetes Ausgabegerät abnehmen um dann das Handheld bedienen zu können.Handhelds designed as smartphones or tablet computers are used intensively and in a variety of ways for communication purposes. However, a user has to leave virtual reality, i.e. remove an output device designed, for example, as a virtual reality headset or head-mounted display in order to then be able to operate the handheld.
Aus der US 2020 / 0 219 310 A1 ist ein Verfahren zum Betrieb eines Handhelds in einer virtuellen Realität bekannt, bei dem ein Bildschirm-Datensatzes zum Ansteuern eines Bildschirms des Handhelds eingelesen wird, der Bildschirm-Datensatz gemäß einem ersten Übertragungs-Protokoll zu einem VR-Server übertragen wird, der Bildschirm-Datensatz in die virtuelle Realität eingebettet wird, und das virtuelle Eingabegerät in die virtuelle Realität eingebettet wird.From US 2020/0 219 310 A1 a method for operating a handheld in a virtual reality is known, in which a screen data set is read in for controlling a screen of the handheld, the screen data set according to a first transmission protocol to a VR -Server is transmitted, the screen data set is embedded in the virtual reality, and the virtual input device is embedded in the virtual reality.
Aus der WO 2018 / 047 202 A1 ist ein Verfahren zur drahtlosen Übertragung von Daten, die einen virtuellen Inhalt in der virtuellen Realität repräsentieren eines tragbaren Geräts zu einem Ausgabebildschirm bekannt. Steuersignale einer drahtlosen Maus können von dem tragbaren Gerät empfangen werden.WO 2018/047 202 A1 discloses a method for the wireless transmission of data representing virtual content in virtual reality from a portable device to an output screen. Wireless mouse control signals can be received by the portable device.
Aus der
Es besteht Bedarf daran, Wege aufzuzeigen, wie hier auf einfache Art und Weise Abhilfe geschaffen werden kann.There is a need to show ways how this can be remedied in a simple manner.
Die Aufgabe der Erfindung wird gelöst durch ein Verfahren zum Betrieb eines Handhelds in einer virtuellen Realität, mit den Schritten:
- Einlesen eines Bildschirm-Datensatzes zum Ansteuern eines Bildschirms des Handhelds,
- Übertragen des Bildschirm-Datensatzes zu einem VR-Server gemäß einem ersten Übertragungs-Protokoll,
- Einbetten des Bildschirm-Datensatzes in die virtuelle Realität,
- Einbetten von einem virtuellen Eingabegerät in die virtuelle Realität,
- Erfassen einer Nutzerinteraktion eines Nutzers mit dem virtuellen Eingabegerät in der virtuellen Realität,
- Auswerten der Nutzerinteraktion um einen Ansteuer-Datensatz zum Ansteuern des Handhelds zu erzeugen,
- Übertragen des Ansteuer-Datensatzes zu dem Handheld gemäß einem zweiten Übertragungs-Protokoll zum Anschluss eines realen Eingabegerätes, wobei sich das zweite Übertragungs-Protokoll vom ersten Übertragungs-Protokoll unterscheidet, und
- Steuern des Handhelds gemäß dem Ansteuer-Datensatz.
- Reading in a screen data record to control a screen of the handheld,
- Transmission of the screen data set to a VR server in accordance with a first transmission protocol,
- Embedding the screen data set in virtual reality,
- Embedding a virtual input device in virtual reality,
- Capturing a user interaction of a user with the virtual input device in virtual reality,
- Evaluation of the user interaction in order to generate a control data record for controlling the handheld,
- Transferring the control data set to the handheld according to a second transfer protocol for connecting a real input device, the second transfer protocol differing from the first transfer protocol, and
- Controlling the handheld according to the control data record.
Es werden also zwei unterschiedliche Übertragungs-Protokolle für jeweils eine unidirektionale Datenübertragung verwendet und nicht lediglich ein einiges Übertragungs-Protokoll für eine bidirektionale Datenübertragung. Dabei wird unter einer unidirektionalen Datenübertragung verstanden, dass nur Daten in eine Richtung übertragen werden, wie z.B. die Bild-Datensätze von dem Handheld zu dem VR-Server bzw. der Ansteuer-Datensatz von dem VR-Server zu dem Handheld. Ausgenommen sind hingegen Daten, die im Rahmen eines Verbindungsaufbaus, wie z.B. im Rahmen einer Handshakeprozedur, ausgetauscht werden. So kann ein Übertragungs-Protokoll genutzt werden, das eigentlich für den Anschluss realer Eingabegeräte, wie z.B. einer Computermaus oder einer externen Tastatur, vorgesehen ist. Dies erlaubt es auch auf eine Aktivierung eines Entwicklermodus auf dem Handheld zu verzichten.Two different transmission protocols are used for unidirectional data transmission and not just a single transmission protocol for bidirectional data transmission. A unidirectional data transmission is understood to mean that only data is transmitted in one direction, such as the image data records from the handheld to the VR server or the control data record from the VR server to the handheld. However, this does not apply to data that is exchanged as part of establishing a connection, e.g. as part of a handshake procedure. A transmission protocol can be used that is actually intended for the connection of real input devices, such as a computer mouse or an external keyboard. This also makes it possible to forego activating a developer mode on the handheld.
Ein Nutzer kann also dann sein Handheld nutzen und auch Bedienen ohne die virtuelle Realität zu verlassen, d.h. er muss ein z.B. als Virtual-Reality-Headset oder Head-Mounted Display ausgebildetes Ausgabegerät nicht abnehmen.A user can then use his handheld and also operate it without leaving virtual reality, i.e. he does not have to remove an output device designed as a virtual reality headset or head-mounted display, for example.
Gemäß einer Ausführungsform weist das erste Übertragungs-Protokoll eine höhere Übertragungsrate auf als das zweite Übertragungs-Protokoll. Somit werden auf dem Bildschirm dargestellte Bildschirminhalte mit einer höheren Übertragungsrate übertragen als Nutzereingaben. Somit werden die von der Datenmenge größeren Bildschirm-Datensätze mit einer höheren Übertragungsrate als die Nutzereingaben übertragen. So entsteht für einen Nutzer in der virtuellen Realität der Eindruck, er sieht sein Handheld in der Realität und Veränderungen der auf dem Bildschirm dargestellten Bildschirminhalte werden quasi verzögerungsfrei in Echtzeit wiedergegeben.According to one embodiment, the first transmission protocol has a higher transmission rate than the second transmission protocol. This means that screen contents displayed on the screen are transmitted at a higher transmission rate than user inputs. In this way, the screen data sets that are larger due to the amount of data are transmitted at a higher transmission rate than the user inputs. This creates the impression for a user in virtual reality that he is seeing his handheld in reality and changes to the screen contents displayed on the screen are reproduced almost without delay in real time.
Gemäß einer weiteren Ausführungsform weist das erste Übertragungs-Protokoll eine größere Reichweite als das zweite Übertragungs-Protokoll auf. So wird eine sichere Datenübertragung zumindest der dargestellten Bildschirminhalte auch dann gewährleistet, wenn das Handheld sich einer Entfernung außerhalb des zweiten Übertragung-Protokolls befindet. Mit anderen Worten, es können noch Bildschirminhalte übertragen und in die virtuelle Realität eingebettet werden, wie z.B. eingehende Textnachrichten. Allerdings sind dann keine Nutzereingaben möglich, wohl aber ein Hinweis an den Nutzer, dass er sich außerhalb der Reichweite des zweiten Übertragungs-Protokolls befindet.According to a further embodiment, the first transmission protocol has a greater range than the second transmission protocol. In this way, secure data transmission of at least the displayed screen contents is guaranteed even when the handheld is located a distance outside of the second transmission protocol. In other words, screen content can still be transmitted and embedded in virtual reality, such as incoming text messages. However, no user inputs are then possible, but an indication to the user that he is outside the range of the second transmission protocol.
Gemäß einer weiteren Ausführungsform wird als erstes Übertragungs-Protokoll ein Wifi-Protokoll und als zweites Übertragungs-Protokoll ein Bluetooth-Protokoll verwendet. Unter einem Wifi-Protokoll wird ein Protokoll gemäß dem IEEE-802.11-Standard oder gemäß Wifi-Direct verstanden mit Übertragungsraten bis zu 960 Mbit/s. Unter Bluetooth wird ein durch die Bluetooth Special Interest Group (SIG) entwickelter Industriestandard für die Datenübertragung zwischen Geräten über kurze Distanz (bis 100 Meter) per Funktechnik (WPAN) verstanden mit Übertragungsraten von bis zu 2 MBit/s. Geräte nach den Standards der Bluetooth SIG senden als Short Range Devices (SRD) in einem lizenzfreien ISM-Band (Industrial, Scientific and Medical Band) zwischen 2,402 GHz und 2,480 GHz.According to a further embodiment, a WiFi protocol is used as the first transmission protocol and a Bluetooth protocol is used as the second transmission protocol. A Wifi protocol is understood to mean a protocol in accordance with the IEEE 802.11 standard or in accordance with Wifi Direct with transmission rates of up to 960 Mbit / s. Bluetooth is an industrial standard developed by the Bluetooth Special Interest Group (SIG) for data transmission between devices over short distances (up to 100 meters) using wireless technology (WPAN) with transmission rates of up to 2 Mbit / s. Devices according to the standards of the Bluetooth SIG transmit as Short Range Devices (SRD) in a license-free ISM band (Industrial, Scientific and Medical Band) between 2.402 GHz and 2.480 GHz.
Gemäß einer weiteren Ausführungsform wird der Bildschirm-Datensatz mit einer Frequenz von 20 Hz bis 50 Hz eingelesen. So können Bildschirminhalte, die auf dem Bildschirm dargestellt werden, mit einer ausreichenden Geschwindigkeit erfasst und übertragen werden bei gleichzeitig optimaler Ausnutzung der Bandbreite des verwendeten Übertragungs-Protokolls, ohne das es hierbei zu Verzögerungen im Betrieb des Handhelds kommt, sodass für einen Nutzer in der virtuellen Realität der Eindruck entsteht, er bedient sein Handheld in der Realität und sein Handheld reagiert auf seine Nutzereingaben quasi verzögerungsfrei in Echtzeit.According to a further embodiment, the screen data record is generated with a frequency of 20 Hz to 50 Hz read in. In this way, screen contents that are displayed on the screen can be captured and transmitted with sufficient speed while at the same time making optimal use of the bandwidth of the transmission protocol used, without delays in the operation of the handheld, so that for a user in the virtual Reality The impression arises that he is operating his handheld in reality and his handheld reacts to his user input almost instantaneously in real time.
Gemäß einer weiteren Ausführungsform wird der Bildschirm-Datensatz komprimiert bevor er zu dem VR-Server übertragen wird. Z.B. kann zur Komprimierung der MP4-Standard verwendet werden. Es kann die nutzbare Bandbreite des verwendeten Übertragungs-Protokolls maximal ausgenutzt werden und es kann ein Bild-Datensatz übertragen werden, der die Inhalte der Bildschirmdarstellung auf dem Bildschirm des Handhelds detailgetreu wiedergibt. So kann die Immersion nochmals gesteigert werden.According to a further embodiment, the screen data record is compressed before it is transmitted to the VR server. E.g. the MP4 standard can be used for compression. The usable bandwidth of the transmission protocol used can be used to the maximum and an image data record can be transmitted which reproduces the contents of the screen display on the screen of the handheld in great detail. In this way, the immersion can be increased again.
Ferner gehören zur Erfindung ein Computerprogrammprodukt für ein Handheld und ein Computerprogrammprodukt für einen VR-Server, ein System zum Betrieb eines Handhelds in einer virtuellen Realität, ein Handheld für ein derartiges System und ein VR-Server für ein derartiges System.The invention also includes a computer program product for a handheld and a computer program product for a VR server, a system for operating a handheld in a virtual reality, a handheld for such a system and a VR server for such a system.
Es wird nun die Erfindung anhand einer Zeichnung erläutert. Es zeigen:
-
1 in schematischer Darstellung ausgewählte Komponenten eines Systems zum Betrieb eines Handhelds in einer virtuellen Realität, -
2 in schematischer Darstellung weitere Details des in1 gezeigten Systems. -
3 in schematischer Darstellung einen Verfahrensablauf zum Betrieb des in den1 und2 gezeigten Systems.
-
1 Components of a system for operating a handheld in a virtual reality are selected in a schematic representation, -
2 a schematic representation of further details of the in1 shown system. -
3 a schematic representation of a process sequence for operating the in the1 and2 shown system.
Es wird zunächst auf
Dargestellt ist ein Szenario, bei dem sich ein Nutzer 12 sich in einer virtuellen Realität VR befindet, z.B. um im Rahmen von Freizeitaktivitäten ein Computerspiel zu spielen oder um z.B. Ingenieurdienstleistungen im Rahmen von Entwicklungsprojekten oder Testzyklen durchzuführen.A scenario is shown in which a
Hierzu trägt der Nutzer 12 im vorliegenden Ausführungsbeispiel auf seinem Kopf ein Ausgabegerät 14, wie z.B. ein HMD. Das Ausgabegerät 14 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet, einen VR-Bild-Datensatz VDS wiederzugeben, der repräsentativ für die virtuelle Realität VR ist. Um einen räumlichen Eindruck zu vermitteln, werden im vorliegenden Ausführungsbeispiel zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).For this purpose, in the present exemplary embodiment, the
Der VR-Bild-Datensatz VDS wird von einem VR-Server 8 bereitgestellt, auf dem eine Software zur Erzeugung der virtuellen Realität VR ausgeführt wird. Abweichend vom vorliegenden Ausführungsbeispiel kann ein Rechner, auf dem die Software in das Ausgabegerät 14 integriert sein.The VR image data record VDS is provided by a
Der Nutzer 12 kann mithilfe eines Eingabegerätes 18, im vorliegenden Ausführungsbeispiel ein Controller, Nutzerinteraktion in der virtuellen Realität VR durchführen.The
Ferner ist in
In dem in
Um den Nutzer 12 zu ermöglichen, die Textnachricht zu lesen sowie gegebenenfalls darauf zu reagieren ohne die virtuelle Realität VR verlassen zu müssen, also das Ausgabegerät 14 nicht abnehmen zu müssen, ist ein System 2 zum Betrieb des Handhelds 4 in einer virtuellen Realität VR vorgesehen.In order to enable the
Dabei weist das System 2 und seine Komponenten für die nachfolgend beschriebenen Aufgaben und /Funktionen Hard- und/oder Software-Komponenten auf.The
Es wird nun zusätzlich auf
Von den Komponenten des Handhelds 4 sind in
Das Einlese-Modul 26 ist dazu ausgebildet, auf Empfang der Textnachricht einen Bildschirm-Datensatz BDS repräsentativ für den auf dem Bildschirm 6 dargestellten Bildschirminhalt BI einzulesen. Der Bildschirm-Datensatz BDS dient also zum Ansteuern eines Bildschirms 6 des Handhelds 4. Das Einlesen des aktuellen Bildschirm-Datensatzes BDS kann natürlich auch auf einen Eingang einer Textnachricht oder durch andere Ereignisse automatisch ausgelöst bzw. getriggert werden. Ferner kann zusätzlich oder alternativ vorgesehen sein, dass der Nutzer 12 manuell ein Einlesen des Bildschirm-Datensatzes BDS auslösen, z.B. um zu prüfen, ob in der Zwischenzeit Nachrichten auf seinem Handheld 4 eingegangen sind.The read-in
Das Einlesen des Bildschirm-Datensatzes BDS kann mit einer Frequenz von 20 Hz bis 50 Hz erfolgen. Im vorliegenden Ausführungsbeispiel erfolgt auf eine Auslösung hin ein Einlesen des Bildschirm-Datensatzes BDS mit einer Frequenz von 30 Hz. Damit liegt der Wert für diese Frequenz deutlich unter dem Wert, der für dynamische Simulationen erforderlich wäre, jedoch kann so die zu übertragende Datenmenge und damit auch der Zeitbedarf für das Übertragen des Bildschirm-Datensatzes BDS reduziert werden.The BDS screen data set can be read in at a frequency of 20 Hz to 50 Hz. In the present exemplary embodiment, the screen data set BDS is read in at a frequency of 30 Hz when triggered. The value for this frequency is thus significantly below the value that would be required for dynamic simulations the time required for transferring the screen data set BDS can also be reduced.
Der Encoder 20 ist dazu ausgebildet den eingelesenen Bildschirm-Datensatz BDS zu kodieren und zu komprimieren, z.B. gemäß dem MP4-Standard, und stellt dann einen komprimierten Bildschirm-Datensatz BDS' bereit. Es können aber auch andere Kompressionsverfahren und -standards verwendet werden. So kann die zu übertragende Datenmenge und damit auch der Zeitbedarf für das Übertragen des Bildschirm-Datensatzes BDS nochmals reduziert werden.The
Des Weiteren ist das Handheld 4 dazu ausgebildet, den nun komprimierten Bildschirm-Datensatz BDS' drahtlos zu dem VR-Server 8 gemäß einem ersten Übertragungs-Protokoll zu übertragen. Hierzu weist das Handheld 4 eine entsprechend ausgebildete Sendeeinrichtung (nicht dargestellt) auf. Bei dem ersten Übertragungs-Protokoll handelt es sich im vorliegenden Ausführungsbeispiel um ein Protokoll gemäß dem IEEE-802.11-Standard. Furthermore, the
Von den Komponenten des VR-Servers 8 sind in
Der Decoder 22 ist zum Dekodieren des komprimierten Bildschirm-Datensatzes BDS' ausgebildet und stellt den decodierten Bildschirm-Datensatz BDS bereit. Der decodierte Bildschirm-Datensatz BDS wird von der Rechnereinheit 24 des VR-Servers 8 eingelesen und in den VR-Bild-Datensatz VDS eingebettet, der zu dem Ausgabegerät 14 übertragen und dort dem Nutzer 12 visualisiert wird. Dabei wird der decodierte Bildschirm-Datensatz BDS von der Rechnereinheit 24 des VR-Servers 8 im vorliegenden Ausführungsbeispiel als Overlay Quad in den VR-Bild-Datensatz VDS eingebettet. Mit anderen Worten, dem Nutzer 12 wird der Bildschirminhalt BI, der auf dem Bildschirm 6 des Handhelds 4 wiedergegeben wird, in der virtuellen Realität VR, visualisiert.The
Ferner ist das System 2 dazu ausgebildet, dass der Nutzer 12 nun auch Nutzerinteraktionen durchführen kann, wie z.B. ein Beantworten, Markieren Verschieben oder Löschen der empfangenen Textnachricht, z.B. durch Betätigen des Eingabegeräts 18. Auf derartige Nutzerinteraktionen hin erzeugt das Eingabegerät 18 einen Eingabe-Datensatz EDS, der zu der Rechnereinheit 24 übertragen wird.Furthermore, the
Die Rechnereinheit 24 des VR-Servers 8 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet auf eine derartige Nutzerinteraktion hin einen Mauszeiger 16 oder andere grafische Bedienelemente in den VR-Bild-Datensatz VDS einzubetten. Der Nutzer 12 kann den in der virtuellen Realität VR dargestellten Mauszeiger 6 durch Verlagern des Eingabegerätes 18 in gewünschter Weise verlagern und z.B. durch Klick-Operationen auch Betätigen wie bei einer realen Computermaus. Zusätzlich wird von der Rechnereinheit 24 des VR-Servers 8 ein zu dem Eingabegerät 18 korrespondierendes virtuelles Eingabegerät 10 in den VR-Bild-Datensatz VDS eingebettet. Dabei kann die Rechnereinheit 24 des VR-Servers 8 auf einen entsprechenden Datensatz zurückgreifen, der indikativ für die aktuelle Position des Mauszeigers 16 und/oder repräsentativ für das virtuelle Eingabegerät 10 ist.In the present exemplary embodiment, the
Mit anderen Worten, während ein Handheld 4 außerhalb der virtuellen Realität VR durch Berührungen des Bildschirms 6 seitens des Nutzers 12 bedient wird, also hilfsmittelfrei, erfolgt dies in der virtuellen Realität VR durch ein grafisches Element wie z.B. den Mauszeiger 16, der mit dem Eingabegerät 18 gekoppelt ist.In other words, while a
Auf ein Anklicken eines dargestellten Objektes, wie z.B. eines Icons für eine Textnachricht, mit dem Mauszeiger 16 als Beispiel für eine Nutzerinteraktion, ist der VR-Server 8 dazu ausgebildet einen Ansteuer-Datensatz ADS zum Ansteuern des Handhelds 4 zu erzeugen.When a displayed object, such as an icon for a text message, is clicked with the
Der Ansteuer-Datensatz ADS ist zumindest indikativ für Veränderungen der auf dem Bildschirm 6 dargestellten Bildschirminhalte BI, hervorgerufen durch die Nutzerinteraktion. Zusätzlich kann der Ansteuer-Datensatz ADS auch repräsentativ für Steuerbefehle zum Ansteuern des Handhelds 4 bzw. einer auf dem Handheld 4 ausgeführten App sein, wie z.B. ein Beantworten, Markieren, Verschieben oder Löschen der empfangenen Textnachricht.The control data record ADS is at least indicative of changes in the screen contents BI displayed on the
Der VR-Server 8 ist dazu ausgebildet den Ansteuer-Datensatz ADS drahtlos zu dem Handheld 4 gemäß einem zweiten Übertragungs-Protokoll zu übertragen. Hierzu weist der VR-Server 8 eine entsprechend ausgebildete Sendeeinrichtung (nicht dargestellt) und das Handheld 4 eine entsprechend ausgebildete Empfangseinrichtung (ebenfalls nicht dargestellt) auf.The
Im vorliegenden Ausführungsbeispiel wird als zweites Übertragungs-Protokoll ein Bluetooth-Protokoll verwendet. Ein derartiges Bluetooth-Protokoll ist zum Anschluss eines realen Eingabegerätes, wie z.B. einer Computermaus oder einer separaten Tastatur an das Handheld 4 ausgebildet. Mit anderen Worten, es wird eine Schnittstelle zum Anschluss eines realen Eingabegerätes genutzt, um das virtuelle Eingabegerät 10 in der virtuellen Realität VR nutzbar zu machen um Nutzerinteraktionen durchführen zu können.In the present exemplary embodiment, a Bluetooth protocol is used as the second transmission protocol. Such a Bluetooth protocol is designed to connect a real input device, such as a computer mouse or a separate keyboard, to the
Auf Empfang des Ansteuer-Datensatzes ADS ist das Handheld 4 dazu ausgebildet, diesen auszuführen. Dies umfasst ein Anpassen der auf dem Bildschirm 6 dargestellten Bildschirminhalte BI und kann zusätzlich das Ausführen der übertragenen Steuerbefehle umfassen. Ferner ist das Handheld 4 dazu ausgebildet, die nun aktualisierten Bildschirminhalte BI in Form eines weiteren Bildschirm-Datensatzes BDS einzulesen und zum Einbetten in den VR-Bild-Datensatz VDS zu übertragen.Upon receipt of the control data record ADS, the
Es wird nun unter zusätzlicher Bezugnahme auf
Wie schon beschrieben startet das Verfahren z.B. auf einen Eingang einer Textnachricht oder aufgrund eines anderen Ereignisses oder aufgrund einer manuellen Auslösung durch den Nutzer 12.As already described, the method starts, for example, upon receipt of a text message or on the basis of another event or on the basis of a manual trigger by the
In einem ersten Schritt S100 liest das Handheld 4 den aktuellen auf dem Bildschirm 6 des Handhelds 4 dargestellten Bildschirminhalt BI gemäß ein und erstellt den Bildschirm-Datensatz BDS.In a first step S100, the
Nachdem der eingelesene Bildschirm-Datensatz BDS in einem weiteren Schritt S150 von dem Encoder 20 des Handhelds 4 kodiert und komprimiert wurde, z.B. gemäß dem MP4-Standard, wird er in einem weiteren Schritt S200 drahtlos zu dem VR-Server 8 übertragen, und zwar gemäß einem Wifi-Protokoll.After the screen data record BDS read in has been encoded and compressed in a further step S150 by the
Der komprimierte Bildschirm-Datensatz BDS' wird in einem weiteren Schritt S250 gemäß dem ersten Übertragungs-Protokoll, d.h. gemäß einem Wifi-Protokoll, übertragen und von dem VR-Server 8 eingelesen sowie von dem Decoder 22 des VR-Servers 8 dekodiert.The compressed screen data record BDS 'is transmitted in a further step S250 in accordance with the first transmission protocol, i.e. in accordance with a WiFi protocol, and is read in by the
In einem weiteren Schritt S300 bettet die Rechnereinheit 24 den Bildschirm-Datensatz BDS in den VR-Bild-Datensatz VDS für die virtuelle Realität VR ein.In a further step S300, the
In einem weiteren Schritt S400 bettet die Rechnereinheit 24 das virtuelle Eingabegerät 10 in den VR-Bild-Datensatz VDS für die virtuelle Realität VR ein.In a further step S400, the
In einem weiteren Schritt S500 erfasst der VR-Server 8 eine Nutzerinteraktion des Nutzers 12 mit dem virtuellen Eingabegerät 10 in der virtuellen Realität VR.In a further step S500, the
In einem weiteren Schritt S600 erzeugt auf die erfasste Nutzerinteraktion hin der VR-Server 8 den Ansteuer-Datensatz ADS zum Ansteuern des Handhelds 4. Hierbei kann auch der Mauszeiger 16 in den VR-Bild-Datensatz VDS für die virtuelle Realität VR eingebettet werden, der später mittels dem Ausgabegerät 14 dem Nutzer 12 zusammen mit dem Bildschirm-Datensatz BDS und weiteren Inhalten der virtuellen Realität VR visualisiert wird.In a further step S600, the
In einem weiteren Schritt S700 überträgt der VR-Server 8 den Ansteuer-Datensatz ADS zu dem Handheld 4 gemäß dem zweiten Übertragungs-Protokoll, d.h. gemäß einem Bluetooth-Protokoll.In a further step S700, the
In einem weiteren Schritt S800 wird das Handheld 4 dann gemäß dem Ansteuer-Datensatz ADS angesteuert, d.h. es führt die durch die in der virtuellen Realität VR von dem Nutzer 12 durchgeführte Nutzerinteraktion aus.In a further step S800, the
Des Weiteren liest nun in einem weiteren Schritt S900 das Handheld 4 die nun entsprechend der durchgeführten Nutzerinteraktion aktualisierten Bildschirminhalte BI in Form eines weiteren Bildschirm-Datensatzes BDS ein und überträgt sie zum Einbetten in den VR-Bild-Datensatz VDS zu dem VR-Server 8, um diese dem Nutzer 12 mittels des Ausgabegeräts 14 zu visualisieren.Furthermore, in a further step S900, the
Abweichend vom vorliegenden Ausführungsbeispiel kann die Reihenfolge der Schritte auch eine andere sein. Ferner können mehrere Schritte auch zeitgleich bzw. simultan ausgeführt werden. Des Weiteren können auch abweichend vom vorliegenden Ausführungsbeispiel einzelne Schritte übersprungen oder ausgelassen werden.In a departure from the present exemplary embodiment, the sequence of the steps can also be different. Furthermore, several steps can also be carried out at the same time or simultaneously. Furthermore, in a departure from the present exemplary embodiment, individual steps can also be skipped or omitted.
So kann ein Nutzer sein Handheld 4 nutzen und auch Bedienen ohne die virtuelle Realität VR zu verlassen, d.h. er muss ein z.B. als Virtual-Reality-Headset oder Head-Mounted Display ausgebildetes Ausgabegerät 12 nicht abnehmen.A user can use his
BezugszeichenlisteList of reference symbols
- 22
- Systemsystem
- 44th
- HandheldHandheld
- 66th
- Bildschirmscreen
- 88th
- VR-ServerVR server
- 1010
- virtuelles Eingabegerätvirtual input device
- 1212th
- NutzerUsers
- 1414th
- AusgabegerätOutput device
- 1616
- Mauszeigercursor
- 1818th
- EingabegerätInput device
- 2020th
- EncoderEncoder
- 2222nd
- Decoderdecoder
- 2424
- RechnereinheitComputing unit
- 2626th
- Einlese-Modul Read-in module
- ADSADS
- Ansteuer-DatensatzControl data record
- BDSBDS
- Bildschirm-DatensatzScreen record
- BDS'BDS '
- komprimierter Bildschirm-Datensatzcompressed screen data set
- BIBI
- BildschirminhaltScreen content
- EDSEDS
- Eingabe-DatensatzInput record
- VDSVDS
- VR-Bild-DatensatzVR image data set
- VRVR
- virtuelle Realität virtual reality
- S100S100
- Schrittstep
- S150S150
- Schrittstep
- S200S200
- Schrittstep
- S250S250
- Schrittstep
- S300S300
- Schrittstep
- S400S400
- Schrittstep
- S500S500
- Schrittstep
- S600S600
- Schrittstep
- S700S700
- Schrittstep
- S800S800
- Schrittstep
- S900S900
- Schrittstep
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020123305.1A DE102020123305B3 (en) | 2020-09-07 | 2020-09-07 | Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020123305.1A DE102020123305B3 (en) | 2020-09-07 | 2020-09-07 | Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020123305B3 true DE102020123305B3 (en) | 2022-01-05 |
Family
ID=79019825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020123305.1A Expired - Fee Related DE102020123305B3 (en) | 2020-09-07 | 2020-09-07 | Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102020123305B3 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018047202A1 (en) | 2016-09-10 | 2018-03-15 | Smartron India Private Limited | A wearable virtual reality device with wireless display |
US20180095542A1 (en) | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Object Holder for Virtual Reality Interaction |
US20200219310A1 (en) | 2019-01-08 | 2020-07-09 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Mobile device integration with a virtual reality environment |
-
2020
- 2020-09-07 DE DE102020123305.1A patent/DE102020123305B3/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018047202A1 (en) | 2016-09-10 | 2018-03-15 | Smartron India Private Limited | A wearable virtual reality device with wireless display |
US20180095542A1 (en) | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Object Holder for Virtual Reality Interaction |
US20200219310A1 (en) | 2019-01-08 | 2020-07-09 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Mobile device integration with a virtual reality environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102143235B (en) | Touch screen terminal is provided with the method and system of remote service | |
CN108831218A (en) | Teleeducation system based on virtual reality | |
CN104199879B (en) | A kind of data processing method and data processing equipment | |
DE60117530T2 (en) | MODULAR CALCULATOR | |
CN108011951B (en) | Remote assistance method, device and system and electronic equipment | |
CN107943282A (en) | A kind of man-machine interactive system and method based on augmented reality and wearable device | |
CN210867774U (en) | Remote control system | |
CN104244027A (en) | Control method and system used for live transmission and play process sharing of audio/video data | |
EP1848216A3 (en) | Video communication device for a door intercom | |
DE112016002645T5 (en) | Communication support device, procedure and computer program | |
CN111341166A (en) | Control method and system of emergency drilling system | |
CN110072133A (en) | Display on the same screen method and system | |
WO2023016107A1 (en) | Remote interaction method, apparatus and system, and electronic device and storage medium | |
CN109753315A (en) | A kind of smart machine interactive content editor implementation method and storage medium | |
CN103279314A (en) | Transmission apparatus with virtual device window operation and transmission system of using the same | |
CN111710032A (en) | Method, device, equipment and medium for constructing three-dimensional model of transformer substation | |
DE102020123305B3 (en) | Method and system for operating a handheld in a virtual reality, computer program product for a handheld and computer program product for a VR server and handheld and VR server for such a system | |
CN106502417A (en) | Mobile virtual real world devices are adapted to the methods, devices and systems of computer peripheral equipment | |
DE112004000055T5 (en) | Remote control device, remote control method and remote-controlled device | |
CN203661193U (en) | Internet-based real environment simulation video conference system | |
DE112004000056T5 (en) | Remote control device, remote control method and remote-controlled device | |
EP2672660B1 (en) | Method for influencing the bus communication of a electronical control unit | |
CN210072615U (en) | Immersive training system and wearable equipment | |
DE102015103430B4 (en) | Data processing method and portable electronic device | |
CN111796846A (en) | Information updating method and device, terminal equipment and readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |