WO2021160271A1 - Verfahren zur datenübertragung - Google Patents

Verfahren zur datenübertragung Download PDF

Info

Publication number
WO2021160271A1
WO2021160271A1 PCT/EP2020/053795 EP2020053795W WO2021160271A1 WO 2021160271 A1 WO2021160271 A1 WO 2021160271A1 EP 2020053795 W EP2020053795 W EP 2020053795W WO 2021160271 A1 WO2021160271 A1 WO 2021160271A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
user
user terminals
time
media stream
Prior art date
Application number
PCT/EP2020/053795
Other languages
English (en)
French (fr)
Inventor
Martin KLIMSCHA
Max KOSSATZ
Markus LEITSCH
René WEINBERGER
Original Assignee
Hitbox Entertainment Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitbox Entertainment Gmbh filed Critical Hitbox Entertainment Gmbh
Priority to PCT/EP2020/053795 priority Critical patent/WO2021160271A1/de
Priority to EP20705923.9A priority patent/EP4104401A1/de
Priority to US17/799,361 priority patent/US20230063532A1/en
Publication of WO2021160271A1 publication Critical patent/WO2021160271A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • the invention relates to a method for data transmission in which an audiovisual media stream of a live event, for example a sporting event, is sent from a first provider to a large number of user terminals via the Internet and / or via at least one cellular network, and from a second Provider is provided with a data stream generated on the basis of the live event for further processing or display via the Internet and / or via at least one cellular network, according to the preamble of claim 1.
  • a live transmission is understood here to mean that the audiovisual data about an event are not subject to any further time delay apart from the delay generated in the preparation and transmission process.
  • audio-visual data being broadcast via television stations that has been common for decades, audio-visual data content such as image and sound recorded at the location of the event can be transmitted within a few seconds to the receiving end device such as a consumer's television set. This time delay caused by processing and broadcasting is also referred to as latency.
  • OTT over-the-top content
  • ISP Internet Service Providers
  • Some of the bits form the actual useful data and some of the bits form a data header that contains certain control information.
  • This control information is used by Internet servers to route the data segments to their destination.
  • the transmission protocols used for this are usually TCP (Transmission Control Protocol), UDP (User Datagram Protocol) and IP (Internet Protocol).
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • IP Internet Protocol
  • the segments must subsequently be reassembled in such a way that continuous playback of the entire media stream is made possible.
  • this process causes latency times that are usually between 3 and 40 seconds, but can also be significantly higher. These comparatively long latencies are primarily due to the ones used
  • Transmission protocols such as HLS or MPEG-DASH, which were not optimized for the rapid transmission of data, but rather for the successful and complete transmission of audiovisual data to technically even less powerful but also less diverse end devices under the sometimes unstable Internet connections in the past.
  • the intermediate buffering of the data used in this case and the merging of the individual data segments into playable media content in the end device of a user caused the delays in the display of the data content.
  • the high latency also means that the audiovisual data is usually displayed on the user's terminal at different times.
  • the time of the display can differ by up to 30 seconds with latency times, which are usually between 3 and 40 seconds. Therefore, there is no simultaneity of the reproduction of audiovisual media content on the respective user terminals, which can impair the feeling of communal experience of the broadcast live event.
  • the feeling of communal experience can, however, intensify media consumption emotionally.
  • an interaction of the user with a provider or with other users based on the consumed media content is to be made possible, for example the placing of bets or just the mere exchange of comments, it is as simultaneous as possible Playback of the audiovisual media stream is essential. In other words, the lowest possible latency is required in the delivery of the audiovisual media stream to the individual user terminals and their reproduction on the screens of the user terminals.
  • the personal perception of a communal experience of the broadcast live event could also be intensified by providing the users with additional information or input requests as interactive offers for the audiovisual media stream.
  • the respective user is given the opportunity to exchange directly or indirectly with others about the media content they have just experienced, which gives them the feeling of shared experience of the broadcast live event.
  • these possibilities hardly exist or are impaired by the lack of synchronization.
  • Claim 1 relates to a method for data transmission in which an audiovisual media stream of a live event, for example a sporting event, is sent via the Internet and / or via at least one cellular network to a large number of user terminals from a first provider, and from a data stream generated on the basis of the live event is made available to a second provider for further processing or display via the Internet and / or via at least one cellular network.
  • the audiovisual media stream and the data stream are fed to a data processing device which generates a sequence of time-spaced data packets from the data stream and each data packet with a data packet that identifies the respective data packet
  • Real-time transfer protocols are sent to a group of user terminals for simultaneous playback synchronized with the audiovisual media stream.
  • first provider and “second provider” are intended to make it clear that the audiovisual media stream and the data stream come from different technical sources in practice, although in a legal sense they could also be the same company. Likewise, the operator of the method according to the invention could also be the “first provider” and / or “second provider” in the legal sense.
  • the second provider is a provider who is sometimes on site with their own equipment for image and sound extraction, or provides data streams generated on the basis of the live event for the distribution of sports data by media partners with the aid of audio-visual data that has already been recorded .
  • These data streams do not contain any audiovisual data, but data such as scores, statistics and other evaluations of the current live event.
  • the data streams are heavily dependent on the respective live event in terms of their data volume and time structure, for example on the sport in question, and are subject to strong fluctuations in terms of data volume and time structure. They are therefore not per se suitable for synchronization with continuously transmitted media streams or for simultaneous display on user terminals.
  • “simultaneity” is understood to mean the instantaneous occurrence of several events at the same time, for example the simultaneous display of certain audiovisual media content with the data of a generated data packet on several user terminals constant sequence of simultaneous presentations of a specific audiovisual media content with the data of a generated data packet on several user terminals.
  • a data processing device generates a sequence of time-spaced data packets from the data stream, the generated data packets being synchronized with the media stream at controllable time intervals.
  • a synchronization with the media stream can be achieved by the operator generating such a sequence of time-spaced data packets with controllable time intervals.
  • the data packets are preferably generated with an algorithm that recognizes typical events on the basis of the data stream and creates information or input requests that are coordinated with them as interactive offers.
  • Such algorithms are known in principle and are also used, for example, to generate the data streams themselves. For example, they are able to automatically recognize typical events from the audio and video material, such as scoring a goal or a penalty decision in football.
  • Similar algorithms are used according to the invention to generate the data packets by, for example, in the examples cited above, the prompt "Will team X equalize?" Or "Will a goal be scored from the penalty?" as a ready-to-send data packet.
  • Each data packet is then provided in a data header, which conventionally contains the control information for the transmission of the data packet over the Internet, with identification information identifying the respective data packet and a time stamp.
  • the time stamp enables synchronization with the audiovisual media stream, which has usually already been provided with a time stamp by the first provider, usually in the data headers of the so-called "frames" with which a media stream is transmitted.
  • a data packet and a frame of the media stream with the same time stamp are reproduced at the same time on the user terminal.
  • the reproduction can take place, for example, using a split screen by displaying the content of the audiovisual media stream in a first half of the screen is displayed, and in a second half of the screen the content of the data packet, for example a comment, additional information, or a prompt to the question "Will team X equalize?" .
  • the data packets synchronized with the media stream are transmitted to a group of user terminals via a bidirectional communication link using real-time transfer protocols and real-time streaming protocols.
  • the group of user terminals is preferably created by prior registration of the user with a Operator of the method according to the invention defined.
  • An interested user logs on to the operator of the method according to the invention by disclosing his connection data and optionally also by disclosing a specific group as a member of which he would like to participate, for example with the help of a web-based application or by installing a corresponding software application beforehand (" App ”) on his device.
  • App a corresponding software application beforehand
  • An essential aspect of the method according to the invention is the controllability of the time interval between two successive data packets. This makes it possible, on the one hand, to meet the requirements of different live events, since some live events are characterized by faster changes in events than others. On the other hand, it is also possible to focus on the quality of the bidirectional communication connection, which is essentially given by the maximum possible bit rate of the transmission, the number of frames transmitted per second and the latency times of the transmission. In the case of poor quality, i.e. with low bit rates and a low number of frames transmitted per second as well as long latency times, the time interval between two successive data packets will have to be selected to be greater than in the case of comparatively high quality. Possible criteria for this are discussed below.
  • Real-time protocols are understood to mean protocols that allow data to be transmitted with negligible latency. In the present case, the latency is to be neglected in particular if any existing latency would be technically measurable, but not perceptible by the user, i.e. if, for example, two images are perceived as being displayed at the same time, although they were actually displayed with a minimal time difference.
  • a real-time transfer protocol is characterized by the fact that there is no intermediate storage of the data on their way from the sender to the recipient. Conventional HTTP is therefore not a real-time protocol, for example, because it provides for the data to be temporarily stored on the user's terminal device before it is reproduced.
  • RTP Real Time Protocol
  • UDP User Datagram Protocol
  • IP Internet Protocol
  • RTP Real-time transfer protocol
  • DDP User Datagram Protocol
  • IP Internet Protocol
  • RTP is intended for real-time traffic over the Internet, on all types of Network protocol to be operated in that it does not depend on any information in the lower levels of the computing network model.
  • RTP is usually only implemented via IP / üDP, but could be used as a protocol on any type of packet network, e.g.
  • ATM or ISDN practical implementation can take place, for example, with the help of WebRTC (Web Real-Time Communication), an open standard that defines a collection of communication protocols and programming points (API) that enable real-time communication via computer-computer connections Web browsers no longer just retrieve data resources from backend servers, but also real-time information from other users' browsers.
  • WebRTC Web Real-Time Communication
  • API programming points
  • the transmission of the media stream with the synchronized data packets takes place according to the invention via a bidirectional communication connection, which can be implemented, for example, via so-called WebSockets.
  • a bidirectional communication connection which can be implemented, for example, via so-called WebSockets.
  • This is a bidirectional connection between a web application and a WebSocket server, i.e. a web server that also supports WebSockets.
  • a WebSocket server i.e. a web server that also supports WebSockets.
  • a content delivery network is a network of regionally distributed servers connected via the Internet with which content, usually large media files, is delivered.
  • a CDN provides scalable storage and delivery capacities and is in good shape organized by interconnected nodes, with the CDN nodes being distributed across many locations and backbones. The task of the CDN is to serve user requests for content as economically as possible. Individual locations are also referred to as PoP (Point of Presence) and consist of server clusters.
  • PoP Point of Presence
  • the method according to the invention enables the transmission of audiovisual media streams and synchronized data packets with a latency of less than 300 ms. This short latency ensures that the transmitted data is reproduced on all user terminals in a manner that is perceptible to all users at the same time. As part of this simultaneous playback, the synchronized playback with data packets generated by the operator also takes place.
  • the content of the synchronized data packets is basically freely selectable. For example, it can be additional information or comments on the transmitted content of the media stream.
  • the generated data packets each contain an input request displayed on the user terminals, and that a user-generated data packet is created from a user input and the identification information of the relevant data packet and sent to the data processing device via the bidirectional communication connection for evaluation or forwarding to other users .
  • the data packets synchronized with the media stream using the time stamp are transmitted by the data processing device at different bit rates via the bidirectional communication link.
  • the media stream and the data packets synchronized with the media stream are available to the user terminal with different bit rates, so that the user terminal can choose a suitable bit rate depending on the performance of the terminal and the reception quality in order to optimize the playback quality.
  • an essential aspect of the method according to the invention is the controllability of the time interval between two successive data packets. This is particularly important in order to check the quality of the bidirectional communication link between the data processing device and the user terminals to turn off.
  • an appropriate criterion could be developed for this purpose, according to which the controllable time interval between two successive data packets of the sequence of time-spaced data packets is controlled in such a way that it fulfills the criterion DT> (BR / FPS) t ed , where BR is the bit rate of the audiovisual media stream transmitted to the group of user terminals in kb / s (kilobits per second), FPS is the number of frames per second of the audiovisual media stream transmitted to the group of user terminals, and t ed the latency of the transmission of the audiovisual media stream transmitted to the group of user terminals between the
  • a good connection quality can be characterized, for example, by a bit rate of 2500 kb / s at 60 FPS and a latency time t ed between the data processing device and the user terminals of, for example, 100 ms, which results in a lower limit for the time interval DT between two data packets generated by the data processing device 4.2 seconds results.
  • a poor connection quality can be characterized, for example, by a bit rate of 500 kb / s at 30 FPS and a latency time t ed between the data processing device and the user terminals of 500 ms, for example, so that, according to the proposed criterion, the time interval DT between two of the
  • Data packets generated by the data processing device should be at least 8.3 seconds. These limits each represent technical limits for the time interval DT, which are determined by the transmission quality of the bidirectional communication link between the
  • time interval DT can be selected as desired above these technical limits.
  • the generated data packets can each contain, for example, an input request displayed on the user terminals.
  • a user-generated data packet can be created from a user input and the identification information of the relevant data packet, which is sent to the
  • the Data preparation device is sent.
  • the evaluation and any forwarding takes place in the The data processing device is, of course, preferably automated, since in practical operation a large number of data packets generated by the operator and data packets generated by the user can be expected. It would be advantageous to have criteria that check the correct sequence of this process of sending and receiving data packets, that is, plausibility criteria that make it possible, for example, to detect manipulations.
  • a simple criterion has proven to be particularly effective, as a result of which it is proposed that the evaluation of the user-generated data packet include a check of the criterion
  • qet is a predefined maximum period of time in seconds, measured from the sending of a certain data packet by the data processing device to the user terminals, for the creation of the user input
  • Provider and the data processing facility is in seconds
  • t ED is the latency of the transmission of the audiovisual media stream transmitted to the group of user terminals between the data preparation device and the user terminals in seconds
  • t D is the latency of the data processing and display at the user terminal in seconds, and if the criterion is not met, the relevant user-generated data packet is discarded.
  • Fig. 1 is a schematic representation of an embodiment of a method according to the invention.
  • FIG. 2 shows a schematic illustration of an embodiment of the data processing device.
  • FIG. 1 shows the basic mode of operation of the method according to the invention.
  • a first provider 1 is located with appropriate equipment for obtaining image and sound recordings on site of a live event, for example a sporting event, and provides these image and sound recordings as an audiovisual media stream MS via the Internet 6 and / or via at least one Cellular network of a large number of user terminals 4 are available.
  • a second provider 2 generates a data stream DS on the basis of the live event and makes this data stream DS available for further processing or display likewise via the Internet 6 and / or via at least one cellular network.
  • the data streams DS are intended for professional users and not for private consumers. In the case of sporting events, they contain an abundance of sport data, which can be used, for example, to determine any
  • the second provider 2 can either be on site with its own equipment for image and sound extraction, or it generates the data stream DS with the aid of audiovisual data that has already been recorded.
  • these data streams DS are highly dependent on the respective live event in terms of their data volume and their temporal structuring, for example on the sport in question, and are subject to strong fluctuations in terms of data volume and temporal structuring.
  • Data processing device 3 are supplied, which is operated by an operator of the method according to the invention.
  • the data processing device 3 performs in Essentially two steps, as will be explained with reference to FIG. 2.
  • a sequence of time-spaced data packets DP is generated from the data stream DS at controllable time intervals DT.
  • the data packets DP are preferably generated using an algorithm 8 which recognizes typical events on the basis of the data stream DS and creates information or input prompts that are coordinated with them as interactive offers.
  • algorithms 8 are known in principle and are also used, for example, to generate the data streams DS themselves. For example, they are able to automatically recognize typical events from the audio and video material, such as scoring a goal or a penalty decision in football.
  • Similar algorithms 8 are used according to the invention to generate the data packets DP by, for example, in the examples cited above, the input prompt "Will team X equalize?" Or "Will a goal be scored from the penalty?" as a ready-to-send data packet DP.
  • the content of the data packets DP can in principle be freely selected, so it can also be, for example, additional information or comments on the transmitted content of the media stream MS.
  • Each data packet DP is subsequently provided with identification information identifying the respective data packet and a time stamp in a data header which conventionally contains the control information for the transmission of the data packet DP over the Internet.
  • the generated data packets DP are synchronized with the media stream MS at controllable time intervals DT.
  • the controllable time interval DT between two successive data packets DP of the sequence of time-spaced data packets DP is chosen approximately in such a way that it meets the criterion
  • BR bit rate of the audiovisual media stream MS transmitted to the group of user terminals 4 in kb / s (kilobits per second)
  • FPS is the number of frames per second sent to the group from user terminals 4 transmitted audiovisual media streams MS
  • t ed is the latency of the transmission of the audiovisual media stream MS transmitted to the group of user terminals 4 between the
  • the synchronization takes place with the help of the time stamp of the data packets DP and the time stamp of the audiovisual media stream MS, which has usually already been provided by the first provider 1, usually in the data headers of the so-called "frames", with which a media stream
  • the result is an audiovisual media stream MS which has been synchronized with data packets DP with controllable time intervals DT and is hereinafter also referred to as a synchronized media data stream MD in FIGS when the synchronized media data stream MD is provided and transmitted by the data processing device 3 with different bit rates.
  • the synchronized media data stream MD is thus available to the user terminal 4 with different bit rates, so that the user terminal 4 depending on the performance of the terminal and reception quality can choose a suitable bit rate in each case n to optimize the playback quality.
  • the synchronized media data stream MD is transmitted via a bidirectional communication link 7 using real-time transfer protocols to a group of user terminals 4.
  • An example of a real-time transfer protocol is currently RTP (Real Time Protocol).
  • RTP can be used with ÜDP and IP as IP / UDP / RTP.
  • the practical implementation can take place, for example, with the help of WebRTC (Web Real-Time Communication).
  • the bidirectional communication connection 7 can be implemented, for example, via what are known as web sockets, with the transmission of audiovisual data usually being carried out with the aid of a content delivery network 5 (CDN or content distribution network).
  • a content delivery network 5 is a network of regionally distributed servers connected via the Internet, with which content, usually large media files, is delivered. Individual locations are also called PoP (Point of Presence) denotes and consist of server clusters.
  • the group of user terminals 4 is preferably defined by prior registration of the user with the operator of the method according to the invention.
  • An interested user registers with the operator of the method according to the invention by disclosing his connection data and optionally also by announcing a certain group as a member of which he would like to participate, for example with the help of a web-based application, or by installing a corresponding software application beforehand (" App ") on his terminal device.
  • App software application beforehand
  • the user starts a request for the transmission of data using a WebSocket protocol, for example, whereby after the transmission of the initial data to establish the connection, the underlying TCP connection remains and asynchronous transmissions in both Directions made possible.
  • the user in question then receives the data packets DP synchronized with the media stream MS as a synchronized media data stream MD. Since the synchronized media data stream MD with different bit rates is available to the user terminal 4, the user terminal 4 can subsequently, depending on the performance of the terminal as well
  • Reception quality select a suitable bit rate in each case in order to optimize the playback quality.
  • a data packet DP and a frame of the media stream MS with the same time stamp are displayed simultaneously on the user terminal 4 while the synchronized media data stream MD is being received.
  • the reproduction can take place, for example, with the aid of a split screen, as indicated with the aid of the dashed lines in FIG. 1, in that the content of the audiovisual media stream MS is displayed in a first half of the screen and the content is displayed in a second half of the screen of the data packet DP, for example a comment, additional information, or a prompt to the question "Will team X equalize?"
  • the user can make an input corresponding to the input request.
  • the input from the user and the identification information of the relevant data packet DP subsequently becomes a created user-generated data packet D and via the bidirectional communication link 7 for evaluation or forwarding to other users to the
  • Data processing device 3 sent, in turn the already mentioned content delivery network 5 can be used.
  • the data processing device 3 can use the relevant input for betting games, for example, or compare it with the inputs of other users.
  • the evaluation and any forwarding takes place in the data processing device 3, of course, preferably in an automated manner, since in practical operation an abundance of data packets DP generated by the operator and data packets D generated by the user can be expected.
  • qet is a predefined maximum period of time in seconds, measured from the sending of a specific data packet DP by the data processing device 3 to the user terminals 4, for the creation of the user input,
  • T BE is the latency of the transmission between the first provider 1 and the data processing device 3 in seconds
  • t E is the latency of the data processing at the data processing device 3 in seconds
  • t ß o is the latency of the transmission of the audiovisual media transmitted to the group of user terminals 4 Streams MS between the data processing device 3 and the user terminals 4 in seconds
  • t D is the latency of the data processing and display at the user terminal 4 in seconds, and if the criterion is not met, the relevant user-generated data packet D is discarded.
  • a notification of any kind is usually sent from the data processing device 3 to the user concerned in response to the input of a user in order to promote the collective experience of the live event.
  • This can be, for example, a notification of which or how many users in the same group have correctly answered questions that have been asked so far and contain a corresponding ranking.
  • the method according to the invention enables the transmission of audiovisual media streams MS and synchronized data packets DP with a latency of less than 300 ms. This short latency ensures that the transmitted data are reproduced on all user terminals 4 so that they can be perceived by all users at the same time. As part of this simultaneous playback, the synchronized playback with the data packets DP generated by the operator also takes place. This also enables the users to interact on the basis of the live event they have just experienced, both with the operator of the method according to the invention and with other users, as a result of which the shared experience of the transmitted live event can be intensified.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Verfahren zur Datenübertragung, bei dem von einem ersten Anbieter (1) ein audiovisueller Medien-Stream (MS) eines Live-Ereignisses, beispielsweise eines Sportereignisses, über das Internet (6) und/oder über mindestens ein Mobilfunknetz an eine Vielzahl an Benutzerendgeräten (4) gesendet wird, und von einem zweiten Anbieter (2) ein auf Basis des Live-Ereignisses generierter Daten-Stream (DS) bereit gestellt wird, wobei vorgeschlagen wird, dass der audiovisuelle Medien-Stream (MS) und der Daten-Stream (DS) einer Datenaufbereitungseinrichtung (3) zugeführt werden, die aus dem Daten-Stream (DS) eine Abfolge von zeitlich beabstandeten Datenpaketen (DP) generiert und jedes Datenpaket (DP) mit einer das jeweilige Datenpaket (DP) identifizierenden Identifizierungsinformation und einem Zeitstempel versieht, wobei die generierten Datenpakete (DP) in steuerbaren Zeitabständen (ΔΤ) mithilfe des Zeitstempels mit dem Medien-Stream (MS) synchronisiert und über eine bidirektionale Kommunikationsverbindung (7) mittels Echtzeit-Transferprotokolle (RTP) und Echtzeit-Streaming-Protokolle (RTSP) an eine Gruppe von Benutzerendgeräten (4) zur gleichzeitigen und mit dem audiovisuellen Medien-Stream (MS) synchronisierten Wiedergabe gesendet wird.

Description

Verfahren zur Datenübertragung
Die Erfindung betrifft ein Verfahren zur Datenübertragung, bei dem von einem ersten Anbieter ein audiovisueller Medien-Stream eines Live-Ereignisses, beispielsweise eines Sportereignisses, über das Internet und/oder über mindestens ein Mobilfunknetz an eine Vielzahl an Benutzerendgeräten gesendet wird, und von einem zweiten Anbieter ein auf Basis des Live-Ereignisses generierter Daten-Stream für eine weitere Verarbeitung oder Anzeige über das Internet und/oder über mindestens ein Mobilfunknetz bereit gestellt wird, gemäß dem Oberbegriff von Anspruch 1.
Mit derartigen Verfahren ist es möglich, Live-Übertragungen von audiovisuellen Daten zu Ereignissen, beispielsweise Sportereignissen, über das Internet oder ein oder mehrere Mobilfunknetze durchzuführen. Unter einer Live-Übertragung wird hierbei verstanden, dass die audiovisuellen Daten über ein Ereignis abgesehen von der im Aufbereitungs- und Übertragungsprozess generierten Verzögerung keiner weiteren Zeitverzögerung unterworfen sind. Bei der jahrzehntelang üblichen Ausstrahlung von audiovisuellen Daten über Fernsehstationen kann dabei ein am Ort des Geschehens des Ereignisses aufgenommener audiovisueller Dateninhalt wie Bild und Ton innerhalb weniger Sekunden an das empfangende Endgerät wie beispielsweise das Fernsehgerät eines Konsumenten übertragen werden. Diese durch Aufbereitung und Ausstrahlung bedingte Zeitverzögerung wird auch als Latenzzeit bezeichnet.
Der Konsum von audiovisuellen Daten durch die Konsumenten verlagert sich aber zunehmend von immobilen Endgeräten wie beispielsweise Fernsehgeräten, die die audiovisuellen Daten ausschließlich von Fernsehstationen beziehen, zu mobilen Endgeräten wie Tablets und Smartphones, die über einen Internet-Zugang auf audiovisuelle Daten zugreifen. Es wird in diesem Zusammenhang auch von OTT (Over-the-top-content) gesprochen, womit die Übermittlung und der Verkauf von audiovisuellen Dateninhalten, die im Folgenden auch als audiovisuelle Medien-Streams bezeichnet werden, über InternetZugänge gemeint ist, zumeist ohne dabei die Internet- Service-Provider (ISPs) selbst in die Kontrolle und die Verbreitung der Dateninhalte zu involvieren. Die Übertragung audiovisueller Medien-Streams wird in herkömmlicher Weise beispielweise mithilfe von HTTP-Streaming vorgenommen, wobei die audiovisuellen Daten in kleine Teilstücke der gesamten Datei geteilt und als Datensegmente über konventionelle Webserver übertragen werden, die zur Auslieferung der Segmente genutzt werden. Jedes Segment umfasst eine bestimmte Anzahl von Bits. Ein Teil der Bits bildet die eigentlichen Nutzdaten und ein anderer Teil der Bits bildet einen Datenanfangsblock, der bestimmte Steuerungsinformationen beinhaltet. Diese Steuerungsinformationen werden von Servern des Internets genutzt, um die Datensegmente zu ihrem Ziel zu leiten. Die hierfür verwendeten Übertragungsprotokolle sind in der Regel TCP (Transmission Control Protocol), UDP (User Datagram Protocol) und IP (Internet Protocol). Bei den mobilen Endgeräten, die im Folgenden auch als Benutzerendgeräte bezeichnet werden, müssen die Segmente in weiterer Folge wieder so zusammengefügt werden, dass eine kontinuierliche Wiedergabe des gesamten Medien-Streams ermöglicht wird. Dieser Vorgang verursacht jedoch Latenzzeiten, die in der Regel zwischen 3 und 40 Sekunden liegen, aber auch deutlich darüber liegen können. Diese vergleichsweise langen Latenzzeiten beruhen in erster Linie auf den verwendeten
Übertragungsprotokollen wie HLS oder MPEG-DASH, die weniger für die rasche Übertragung von Daten optimiert wurden, sondern vielmehr für die erfolgreiche und vollständige Übertragung von audiovisuellen Daten unter den in der Vergangenheit noch mitunter instabilen Internetverbindungen an technisch noch weniger leistungsfähige aber auch weniger vielfältige Endgeräte. Insbesondere die dabei verwendete Zwischenpufferung der Daten und das Zusammenfügen der einzelnen Datensegmente zu einem abspielbaren Medieninhalt im Endgerät eines Benutzers verursachten dabei die Verzögerungen in der Anzeige der Dateninhalte.
Die hohe Latenzzeit bewirkt jedoch auch, dass die audiovisuellen Daten in der Regel zu unterschiedlichen Zeiten am Endgerät des Benutzers zur Anzeige gelangen. Der Zeitpunkt der Anzeige kann dabei bei Latenzzeiten, die in der Regel zwischen 3 und 40 Sekunden liegen, bis zu 30 Sekunden differieren. Daher ist keine Gleichzeitigkeit der Wiedergabe audiovisueller Medieninhalte auf den jeweiligen Benutzerendgeräten gegeben, wodurch das Gefühl des gemeinschaftlichen Erlebens des übertragenen Live-Ereignisses beeinträchtigt sein kann. Das Gefühl des gemeinschaftlichen Erlebens kann den Medienkonsum aber emotional durchaus intensivieren. Falls zudem eine Interaktion der Benutzer mit einem Anbieter oder mit anderen Benutzern auf Basis des konsumierten Medieninhalts ermöglicht werden soll, beispielsweise die Abgabe von Wetten oder auch nur der bloße Austausch von Kommentaren, ist eine möglichst gleichzeitige Wiedergabe des audiovisuellen Medien-Streams unabdingbar. Mit anderen Worten ist eine möglichst niedrige Latenzzeit in der Auslieferung des audiovisuellen Medien-Streams an die einzelnen Benutzerendgeräte und deren Wiedergabe auf Bildschirmen der Benutzerendgeräte erforderlich.
Das persönliche Empfinden eines gemeinschaftlichen Erlebens des übertragenen Live-Ereignisses könnte zudem intensiviert werden, indem den Benutzern von Anbieterseite zusätzliche Informationen oder Eingabeaufforderungen als Interaktionsangebote zum audiovisuellen Medien-Stream bereitgestellt werden. Dadurch wird dem jeweiligen Benutzer die Möglichkeit gegeben sich mit Anderen direkt oder indirekt über den soeben erlebten Medieninhalt auszutauschen, wodurch ihm wieder das Gefühl des gemeinschaftlichen Erlebens des übertragenen Live-Ereignisses vermittelt wird. In herkömmlicher Weise bestehen diese Möglichkeiten kaum, oder sind durch die mangelnde Synchronisierung beeinträchtigt.
Es ist daher das Ziel der Erfindung audiovisuelle Medien- Streams gemeinsam mit zusätzlichen Informationen oder Eingabeaufforderungen als Interaktionsangebote so bereitzustellen, dass sie von Benutzerendgeräten möglichst gleichzeitig und synchronisiert sowie mit möglichst geringer Latenzzeit zur Wiedergabe gelangen können.
Diese Ziele werden durch die Merkmale von Anspruch 1 erreicht. Anspruch 1 bezieht sich auf ein Verfahren zur Datenübertragung, bei dem von einem ersten Anbieter ein audiovisueller Medien-Stream eines Live-Ereignisses, beispielsweise eines Sportereignisses, über das Internet und/oder über mindestens ein Mobilfunknetz an eine Vielzahl an Benutzerendgeräten gesendet wird, und von einem zweiten Anbieter ein auf Basis des Live-Ereignisses generierter Daten- Stream für eine weitere Verarbeitung oder Anzeige über das Internet und/oder über mindestens ein Mobilfunknetz bereit gestellt wird. Erfindungsgemäß wird hierfür vorgeschlagen, dass der audiovisuelle Medien-Stream und der Daten-Stream einer Datenaufbereitungseinrichtung zugeführt werden, die aus dem Daten-Stream eine Abfolge von zeitlich beabstandeten Datenpaketen generiert und jedes Datenpaket mit einer das jeweilige Datenpaket identifizierenden
Identifizierungsinformation und einem Zeitstempel versieht, wobei die generierten Datenpakete in steuerbaren Zeitabständen mithilfe des Zeitstempels mit dem Medien-Stream synchronisiert und über eine bidirektionale Kommunikationsverbindung mittels Echtzeit-Transferprotokolle an eine Gruppe von Benutzerendgeräten zur gleichzeitigen und mit dem audiovisuellen Medien-Stream synchronisierten Wiedergabe gesendet wird.
Die Begriffe „erster Anbieter" und „zweiter Anbieter" sollen dabei verdeutlichen, dass der audiovisuelle Medien-Stream und der Daten-Strea in der Praxis aus unterschiedlichen technischen Quellen stammen, wenngleich es sich dabei freilich im juristischen Sinn auch um dieselbe Firma handeln könnte. Ebenso könnte es sich auch bei dem Betreiber des erfindungsgemäßen Verfahrens im juristischen Sinn um den „ersten Anbieter" und/oder „zweiten Anbieter" handeln.
Bei dem zweiten Anbieter handelt es sich um Anbieter, die mitunter auch mit eigener Ausrüstung zur Bild- und Tongewinnung vor Ort sind, oder unter Zuhilfenahme von bereits aufgenommenen audiovisuellen Daten auf Basis des Live- Ereignisses generierte Daten-Streams zur Distribution von Sportdaten durch Medienpartner bereitstellt. Diese Daten- Streams umfassen keine audiovisuellen Daten, sondern Daten wie Spielstände, Statistiken und sonstige Auswertungen zum aktuellen Live-Ereignis. Die Daten-Streams sind in ihrem Datenumfang und in ihrer zeitlichen Strukturierung stark vom jeweiligen Live-Ereignis abhängig, etwa von der betreffenden Sportart, und unterliegen hinsichtlich Datenumfang und zeitlicher Strukturierung starken Schwankungen. Sie eignen sich daher an sich nicht für eine Synchronisierung mit kontinuierlich übertragenen Medien-Streams oder für eine gleichzeitige Darstellung auf Benutzerendgeräten. Im Folgenden wird unter „Gleichzeitigkeit" das momentane Auftreten mehrerer Ereignisse zur selben Zeit verstanden, also etwa die gleichzeitige Darstellung eines bestimmten audiovisuellen Medieninhalts mit den Daten eines generierten Datenpakets auf mehreren Benutzerendgeräten. Unter „Synchronisierung" wird darüber hinaus eine wiederkehrende Gleichzeitigkeit verstanden, also eine stete Abfolge gleichzeitiger Darstellungen eines bestimmten audiovisuellen Medieninhalts mit den Daten eines generierten Datenpakets auf mehreren Benutzerendgeräten.
Erfindungsgemäß werden als erster Schritt von einer Datenaufbereitungseinrichtung aus dem Daten-Stream eine Abfolge von zeitlich beabstandeten Datenpaketen generiert, wobei die generierten Datenpakete in steuerbaren Zeitabständen mit dem Medien-Stream synchronisiert werden. Mithilfe der betreiberseitigen Generierung einer solchen Abfolge von zeitlich beabstandeten Datenpaketen mit steuerbaren Zeitabständen kann eine Synchronisierung mit dem Medien-Stream erreicht werden. Die Generierung der Datenpakete wird vorzugsweise mit einem Algorithmus vorgenommen, der anhand des Daten-Streams typische Ereignisse erkennt und darauf abgestimmte Informationen oder Eingabeaufforderungen als Interaktionsangebote erstellt. Solche Algorithmen sind grundsätzlich bekannt und werden etwa auch zur Generierung der Daten-Streams selbst angewendet. Sie sind etwa in der Lage automatisiert aus dem Ton- und Bildmaterial typische Ereignisse zu erkennen, etwa im Fußballsport das Erzielen eines Tores oder eine Elfmeterentscheidung. Ähnliche Algorithmen werden erfindungsgemäß zur Generierung der Datenpakete verwendet, indem sie beispielsweise in den oben zitierten Beispielen die Eingabeaufforderung „Wird die Mannschaft X ausgleichen?" oder „Wird aus dem Elfmeter ein Tor erzielt ?" als sendebereites Datenpaket erstellen. Jedes Datenpaket wird in weiterer Folge in einem Datenanfangsblock, der in herkömmlicher Weise die Steuerungsinformationen für die Übertragung des Datenpakets über das Internet enthält, mit einer das jeweilige Datenpaket identifizierenden Identifizierungsinformation und einem ZeitStempel versehen.
Der Zeitstempel ermöglicht die Synchronisierung mit dem audiovisuellen Medien-Stream, der in der Regel seitens des ersten Anbieters bereits mit Zeitstempel versehen wurde, und zwar üblicherweise in den Datenanfangsblöcken der so genannten „Frames", mit denen ein Medien-Stream übertragen wird. Am Benutzerendgerät wird in weiterer Folge sichergestellt, dass ein Datenpaket und ein Frame des Medien-Strea s mit demselben Zeitstempel gleichzeitig am Benutzerendgerät wiedergegeben werden. Die Wiedergabe kann etwa mithilfe eines geteilten Bildschirms erfolgen, indem in einer ersten Hälfte des Bildschirms der Inhalt des audiovisuellen Medien-Streams angezeigt wird, und in einer zweiten Hälfte des Bildschirms der Inhalt des Datenpakets, also beispielsweise ein Kommentar, eine zusätzliche Information, oder auch eine Eingabeaufforderung zur Frage „Wird die Mannschaft X ausgleichen?" .
Die Übermittlung der mit dem Medien-Stream synchronisierten Datenpakete erfolgt erfindungsgemäß über eine bidirektionale Kommunikationsverbindung mittels Echtzeit-Transferprotokolle und Echtzeit-Streaming-Protokolle an eine Gruppe von Benutzerendgeräten. Die Gruppe der Benutzerendgeräte wird vorzugsweise durch vorherige Anmeldung der Benutzer bei einem Betreiber des erfindungsgemäßen Verfahrens definiert. Dabei meldet sich ein interessierter Benutzer beim Betreiber des erfindungsgemäßen Verfahrens durch Bekanntgabe seiner Verbindungsdaten und wahlweise auch durch Bekanntgabe einer bestimmten Gruppe, als deren Mitglied er teilnehmen möchte, an, etwa mithilfe einer webbasierten Anwendung, oder durch vorherige Installierung einer entsprechenden Software- Applikation („App") auf seinem Endgerät. Der betreffende Benutzer erhält in weiterer Folge die mit dem Medien-Stream synchronisierten Datenpakete.
Ein wesentlicher Aspekt des erfindungsgemäßen Verfahrens ist dabei die Steuerbarkeit des Zeitabstandes zwischen zwei aufeinanderfolgenden Datenpaketen. Damit wird es einerseits ermöglicht den Erfordernissen unterschiedlicher Live- Ereignisse zu entsprechen, da manche Live-Ereignisse von schnelleren Veränderungen des Geschehens gekennzeichnet sind als andere. Andererseits ist es dadurch aber auch möglich auf die Qualität der bidirektionalen Kommunikationsverbindung abzustellen, die im Wesentlichen durch die maximal mögliche Bitrate der Übertragung, der Anzahl der dabei übertragenen Frames pro Sekunde und die Latenzzeiten der Übertragung gegeben ist. Bei mangelnder Qualität, also bei niedrigen Bitraten und niedriger Anzahl der übertragenen Frames pro Sekunde sowie langen Latenzzeiten, wird der Zeitabstand zwischen zwei aufeinanderfolgenden Datenpaketen größer zu wählen sein als bei vergleichsweise hoher Qualität. Auf mögliche Kriterien hierfür wird im Folgenden noch eingegangen.
Die Übermittlung erfolgt mittels Echtzeit-Transferprotokolle. Unter Echtzeit-Protokolle werden dabei Protokolle verstanden, die eine Übermittlung von Daten mit zu vernachlässigender Latenz erlauben. Zu vernachlässigen ist die Latenz im vorliegenden Fall insbesondere dann, wenn eine allfällig vorhandene Latenz zwar technisch messbar wäre, vom Benutzer aber nicht wahrnehmbar ist, also wenn beispielsweise zwei Bilder als gleichzeitig angezeigt empfunden werden, obwohl sie tatsächlich mit einer minimalen zeitlichen Differenz angezeigt wurden. Ein Echtzeit-Transferprotokoll zeichnet sich dadurch aus, dass keine Zwischenspeicherung der Daten auf ihrem Weg vom Sender zum Empfänger vorgesehen ist. Herkömmliches HTTP ist daher beispielsweise kein Echtzeit-Protokoll, weil es eine Zwischenspeicherung der Daten am Endgerät des Benutzers vor deren Wiedergabe vorsieht. Ein Beispiel eines Echtzeit- Transferprotokolls ist derzeit etwa RTP (Real Time Protocol). RTP kann mit UDP und IP als IP/UDP/RTP benutzt werden. Video- und Äudiodaten sind dabei in RTP-Datenpaketen „verpackt", die wiederum in DDP (User Datagram Protocol)- und IP (Internet Protocol )-Datagrammen verpackt sind. RTP ist für den Echtzeit- Verkehr über das Internet dazu bestimmt, auf jeder Art von Netzwerkprotokoll betrieben zu werden, indem es von keiner Information in den unteren Ebenen des Rechennetzmodells abhängig ist. RTP ist in der Regel nur über IP/üDP implementiert, könnte als Protokoll aber auf jeder Art von Paketnetzwerk benutzt werden, z.B. dem ATM oder ISDN. Die praktische Umsetzung kann beispielsweise mithilfe von WebRTC (Web Real-Time Communication) erfolgen. Dabei handelt es sich um einen offenen Standard, der eine Sammlung von Kommunikationsprotokollen und Programmierstellen (API) definiert, die EchtZeitkommunikation über Rechner-Rechner- Verbindungen ermöglicht. Damit können beispielsweise Webbrowser nicht mehr nur Datenressourcen von Backend-Servern abrufen, sondern auch Echtzeitinformationen von Browsern anderer Benutzer.
Die Übermittlung des Medien-Streams mit den synchronisierten Datenpaketen erfolgt erfindungsgemäß über eine bidirektionale Kommunikationsverbindung, die beispielsweise über so genannte WebSockets verwirklicht werden kann. Dabei handelt es sich um eine bidirektionale Verbindung zwischen einer Webanwendung und einem WebSocket-Server, also einem Webserver, der ebenfalls WebSockets unterstützt. Während bei einer herkömmlichen HTTP- Verbindung jede Aktion des Servers eine vorhergehende Anfrage des Benutzers erfordert, ist beim WebSocket—Protokoll ein einmaliges Öffnen der Verbindung ausreichend. Der Server kann in weiterer Folge diese offene Verbindung aktiv verwenden, um den Medien-Stream sowie die synchronisierten Datenpakete an den Benutzer auszuliefern, ohne auf eine neue
Verbindungserstellung seitens des Benutzers warten zu müssen. In technischer Hinsicht startet bei WebSocket der Benutzer eine Anfrage („request") zur Übertragung von Daten, wobei nach der Übertragung der anfänglichen Daten zum Verbindungsaufbau die zugrundeliegende TCP-Verbindung bestehen bleibt und asynchrone Übertragungen in beide Richtungen ermöglicht.
Dabei wird die Übertragung in der Regel mithilfe eines CDN (Content Delivery Network oder Content Distribution Network) vorgenommen. Ein Content Delivery Network ist ein Netz regional verteilter und über das Internet verbundener Server, mit dem Inhalte, in der Regel große Mediendateien, ausgeliefert werden. Ein CDN stellt skalierende Speicher- und Auslieferungskapazitäten zur Verfügung und ist dabei in Form von miteinander verbundenen Knoten organisiert, wobei die CDN- Knoten auf viele Orte und Backbones verteilt sind. Die Aufgabe des CDN ist es dabei, Anfragen (Requests) der Benutzer nach Inhalten (Content) möglichst ökonomisch zu bedienen. Einzelne Standorte werden dabei auch als PoP (Point of Presence) bezeichnet und bestehen aus Server-Clustern.
Das erfindungsgemäße Verfahren ermöglicht die Übersendung audiovisueller Medien-Streams sowie synchronisierter Datenpakete mit einer Latenzzeit von unter 300ms. Diese kurze Latenz stellt sicher, dass die übersendeten Daten auf allen Benutzerendgeräten für alle Benutzer gleichzeitig wahrnehmbar wiedergegeben werden. Im Rahmen dieser gleichzeitigen Wiedergabe findet zudem die synchronisierte Wiedergabe mit betreiberseitig generierten Datenpaketen statt.
Der Inhalt der synchronisierten Datenpakete ist grundsätzlich frei wählbar. So kann es sich dabei etwa um zusätzliche Informationen oder Kommentare zu den übermittelten Inhalten des Medien-Streams handeln. Vorzugsweise wird jedoch vorgeschlagen, dass die generierten Datenpakete jeweils eine an den Benutzerendgeräten angezeigte Eingabeaufforderung enthalten, und aus einer benutzerseitigen Eingabe und der Identifizierungsinformation des betreffenden Datenpakets ein benutzergeneriertes Datenpaket erstellt und über die bidirektionale Kommunikationsverbindung zur Auswertung oder Weiterleitung an andere Benutzer an die Datenaufbereitungseinrichtung gesendet wird.
Des Weiteren wird vorgeschlagen, dass die mithilfe des Zeitstempels mit dem Medien-Stream synchronisierten Datenpakete von der Datenaufbereitungseinrichtung mit unterschiedlichen Bitraten über die bidirektionale Kommunikationsverbindung übertragen werden. Dem Benutzerendgerät stehen der Medien-Stream sowie die mit dem Medien-Stream synchronisierten Datenpakete mit unterschiedlichen Bitraten zur Verfügung, sodass das Benutzerendgerät je nach Leistungsfähigkeit des Endgeräts sowie Empfangsqualität eine jeweils passende Bitrate wählen kann, um die Wiedergabequalität zu optimieren.
Wie bereits erwähnt wurde, besteht ein wesentlicher Aspekt des erfindungsgemäßen Verfahrens in der Steuerbarkeit des Zeitabstandes zwischen zwei aufeinanderfolgenden Datenpaketen. Das ist insbesondere deshalb wichtig, um auf die Qualität der bidirektionalen Kommunikationsverbindung zwischen der Datenaufbereitungseinrichtung und den Benutzerendgeräten abzustellen. Aus mathematischen Modellen und praktischen Erfahrungen der Anmelderin konnte hierfür ein zweckmäßiges Kriterium entwickelt werden, dem zu Folge der steuerbare Zeitabstand zwischen zwei aufeinanderfolgenden Datenpaketen der Abfolge von zeitlich beabstandeten Datenpakete so gesteuert wird, dass er das Kriterium DT > (BR/FPS)ted erfüllt, wobei BR die Bitrate des an die Gruppe von Benutzerendgeräten übertragenen audiovisuellen Medien-Streams in kb/s (kilobit pro Sekunde) ist, FPS die Anzahl der Frames pro Sekunde des an die Gruppe von Benutzerendgeräten übertragenen audiovisuellen Medien-Streams ist, und ted die Latenzzeit der Übertragung des an die Gruppe von Benutzerendgeräten übertragenen audiovisuellen Medien-Streams zwischen der
Datenaufbereitungseinrichtung und den Benutzerendgeräten in Sekunden. Eine gute Verbindungsqualität kann beispielsweise durch eine Bitrate von 2500 kb/s bei 60 FPS und einer Latenzzeit ted zwischen der Datenaufbereitungseinrichtung und den Benutzerendgeräten von beispielsweise 100ms gekennzeichnet sein, woraus sich ein unteres Limit für den Zeitabstand DT zwischen zwei von der Datenaufbereitungseinrichtung generierten Datenpaketen von 4.2 Sekunden ergibt. Eine schlechtere Verbindungsqualität kann beispielsweise durch eine Bitrate von 500 kb/s bei 30 FPS und einer Latenzzeit ted zwischen der Datenaufbereitungseinrichtung und den Benutzerendgeräten von beispielsweise 500ms gekennzeichnet sein, sodass gemäß des vorgeschlagenen Kriteriums der Zeitabstand DT zwischen zwei von der
Datenaufbereitungseinrichtung generierten Datenpaketen zumindest 8.3 Sekunden betragen sollte. Diese Limits stellen dabei jeweils technische Limits für den Zeitabstand DT dar, die durch die Übertragungsqualität der bidirektionalen Kommunikationsverbindung zwischen der
Datenaufbereitungseinrichtung und den Benutzerendgeräten jedenfalls einzuhalten sind. Freilich kann oberhalb dieser technischen Limits der Zeitabstand DT beliebig gewählt werden.
Wie bereits ausgeführt wurde, können die generierten Datenpakete beispielsweise jeweils eine an den Benutzerendgeräten angezeigte Eingabeaufforderung enthalten. Dabei kann aus einer benutzerseitigen Eingabe und der Identifizierungsinformation des betreffenden Datenpakets ein benutzergeneriertes Datenpaket erstellt werden, das über die bidirektionale KommunikationsVerbindung zur Auswertung oder Weiterleitung an andere Benutzer an die
Datenaufbereitungseinrichtung gesendet wird. Die Auswertung und allfällige Weiterleitung erfolgt in der Datenaufbereitungseinrichtung freilich vorzugsweise automatisiert, da im praktischen Betrieb mit einer Fülle an betreiberseitig generierten Datenpaketen sowie benutzerseitig generierten Datenpaketen zu rechnen ist. Dabei wäre es vorteilhaft über Kriterien zu verfügen, die den ordnungsgemäßen Ablauf dieses Vorganges des Sendens und Empfangens von Datenpaketen prüfen, also über Plausibilitätskriterien, die es beispielsweise ermöglichen Manipulationen aufzudecken. Hierfür hat sich ein einfaches Kriterium als besonders effektiv erwiesen, dem zu Folge vorgeschlagen wird, dass die Auswertung des benutzergenerierten Datenpakets eine Überprüfung des Kriteriums
(qet— rt)x 100
— - - 1 - > 60 %
1
FPS X 1000+ (tBE + tE + tED + tD) umfasst, wobei
-) „qet" eine vorgegebene, ab dem Absenden eines bestimmten Datenpakets durch die Datenaufbereitungseinrichtung an die Benutzerendgeräte gemessene, maximale Zeitdauer für die Erstellung der benutzerseitigen Eingabe in Sekunden ist,
-) „rt" die tatsächliche Zeitdauer bis zum Einlangen eines benutzergenerierten Datenpakets bei der Datenaufbereitungseinrichtung in Sekunden ist,
-) „FPS" die Anzahl der Frames pro Sekunde des an die Gruppe von Benutzerendgeräten übertragenen audiovisuellen Medien- Streams ist,
-) „tBE die Latenzzeit der Übertragung zwischen dem ersten
Anbieter und der Datenaufbereitungseinrichtung in Sekunden ist,
-) „tE" die Latenzzeit der Datenverarbeitung bei der Datenaufbereitungseinrichtung in Sekunden ist,
-) „tED" die Latenzzeit der Übertragung des an die Gruppe von Benutzerendgeräten übertragenen audiovisuellen Medien-Streams zwischen der Datenaufbereitungseinrichtung und den Benutzerendgeräten in Sekunden ist, und
-) „tD" die Latenzzeit der Datenverarbeitung und Anzeige beim Benutzerendgerät in Sekunden ist, und bei Nicht-Erfüllung des Kriteriums das betreffende benutzergenerierte Datenpaket verworfen wird.
Falls das oben beschriebene Verhältnis unterhalb von 60% liegt, wird somit das betreffende benutzergenerierte Datenpaket verworfen, da technisch kaum erklärliche Anomalitäten vorliegen und auch Manipulationen nicht auszuschließen sind.
Die Erfindung wird in weiterer Folge anhand von Ausführungsbeispielen mithilfe der beiliegenden Figuren näher beschrieben. Es zeigen hierbei die
Fig. 1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Verfahrens, und die
Fig. 2 eine schematische Darstellung für eine Ausführungsform der Datenaufbereitungseinrichtung.
Zunächst wird auf die Fig. 1 Bezug genommen, die die grundsätzliche Funktionsweise des erfindungsgemäßen Verfahrens zeigt. Ein erster Anbieter 1 befindet sich mit entsprechender Ausrüstung zur Gewinnung von Bild- und Tonaufnahmen vor Ort eines Live-Ereignisses, beispielsweise eines Sportereignisses, und stellt diese Bild- und Tonaufnahmen als audiovisuellen Medien-Stream MS über das Internet 6 und/oder über mindestens ein Mobilfunknetz einer Vielzahl an Benutzerendgeräten 4 zur Verfügung. Ein zweiter Anbieter 2 generiert auf Basis des Live-Ereignisses einen Daten-Stream DS und stellt diesen Daten-Stream DS für eine weitere Verarbeitung oder Anzeige ebenfalls über das Internet 6 und/oder über mindestens ein Mobilfunknetz zur Verfügung. In herkömmlicher Weise sind die Daten-Streams DS für professionelle Anwender gedacht und nicht für den privaten Konsumenten. Sie enthalten im Fall von Sportereignissen etwa eine Fülle an Sportdaten, die beispielsweise zur Ermittlung allfälliger
Manipulationsversuche verwendet werden können. Der zweite Anbieter 2 kann entweder mit eigener Ausrüstung zur Bild- und Tongewinnung vor Ort sein, oder generiert den Daten-Stream DS unter Zuhilfenahme von bereits aufgenommenen audiovisuellen Daten. Wie bereits erwähnt wurde, sind diese Daten-Streams DS in ihrem Datenumfang und in ihrer zeitlichen Strukturierung stark vom jeweiligen Live-Ereignis abhängig, etwa von der betreffenden Sportart, und unterliegen hinsichtlich Datenumfang und zeitlicher Strukturierung starken Schwankungen .
Im Rahmen der vorliegenden Erfindung bedient sich das erfindungsgemäße Verfahren des audiovisuellen Medien-Stream MS und des Daten-Streams DS, indem sie einer
Datenaufbereitungseinrichtung 3 zugeführt werden, die von einem Betreiber des erfindungsgemäßen Verfahrens betrieben wird. Die Datenaufbereitungseinrichtung 3 vollzieht im Wesentlichen zwei Schritte, wie anhand der Fig. 2 erläutert werden soll. In einem ersten Schritt wird aus dem Daten-Stream DS eine Abfolge von zeitlich beabstandeten Datenpaketen DP in mit steuerbaren Zeitabständen DT generiert. Die Generierung der Datenpakete DP wird vorzugsweise mit einem Algorithmus 8 vorgenommen, der anhand des Daten-Streams DS typische Ereignisse erkennt und darauf abgestimmte Informationen oder Eingabeaufforderungen als Interaktionsangebote erstellt. Wie bereits erwähnt wurde, sind solche Algorithmen 8 grundsätzlich bekannt und werden etwa auch zur Generierung der Daten-Streams DS selbst angewendet. Sie sind etwa in der Lage automatisiert aus dem Ton- und Bildmaterial typische Ereignisse zu erkennen, etwa im Fußballsport das Erzielen eines Tores oder eine Elfmeterentscheidung. Ähnliche Algorithmen 8 werden erfindungsgemäß zur Generierung der Datenpakete DP verwendet, indem sie beispielsweise in den oben zitierten Beispielen die Eingabeaufforderung „Wird die Mannschaft X ausgleichen?" oder „Wird aus dem Elfmeter ein Tor erzielt?" als sendebereites Datenpaket DP erstellen. Der Inhalt der Datenpakete DP ist grundsätzlich frei wählbar, so kann es sich dabei etwa auch um zusätzliche Informationen oder Kommentare zu den übermittelten Inhalten des Medien-Streams MS handeln. Jedes Datenpaket DP wird in weiterer Folge in einem Datenanfangsblock, der in herkömmlicher Weise die Steuerungsinformationen für die Übertragung des Datenpakets DP über das Internet enthält, mit einer das jeweilige Datenpaket identifizierenden Identifizierungsinformation und einem Zeitstempel versehen.
In einem zweiten Schritt werden die generierten Datenpakete DP in steuerbaren Zeitabständen DT mit dem Medien-Stream MS synchronisiert. Der steuerbare Zeitabstand DT zwischen zwei aufeinanderfolgenden Datenpaketen DP der Abfolge von zeitlich beabstandeten Datenpakete DP wird etwa so gewählt, dass er das Kriterium
DT > (BR/FPS)ted erfüllt, wobei BR die Bitrate des an die Gruppe von Benutzerendgeräten 4 übertragenen audiovisuellen Medien- Streams MS in kb/s (kilobit pro Sekunde) ist, FPS die Anzahl der Frames pro Sekunde des an die Gruppe von Benutzerendgeräten 4 übertragenen audiovisuellen Medien- Streams MS ist, und ted die Latenzzeit der Übertragung des an die Gruppe von Benutzerendgeräten 4 übertragenen audiovisuellen Medien-Streams MS zwischen der
Datenaufbereitungseinrichtung 3 und den Benutzerendgeräten 4 in Sekunden. Dieses Kriterium bietet eine untere Grenze für die wählbaren Zeitabstände DT, die durch die Verbindungsqualität der Übertragung zwischen der Datenaufbereitungseinrichtung 3 und den Benutzerendgeräten 4 festgelegt ist. Eine schlechtere Verbindungsqualität erfordert dabei grundsätzlich größere Zeitabstände DT als eine vergleichsweise gute Verbindungsqualität. Freilich kann oberhalb dieser technischen Limits der Zeitabstand DT beliebig gewählt werden.
Die Synchronisierung erfolgt mithilfe der Zeitstempel der Datenpakete DP und der Zeitstempel des audiovisuellen Medien- Stream MS, der in der Regel bereits seitens des ersten Anbieters 1 vorgesehen wurde, und zwar üblicherweise in den Datenanfangsblöcken der so genannten „Frames", mit denen ein Medien-Stream übertragen wird. Das Ergebnis ist ein audiovisueller Medien-Stream MS, der mit Datenpaketen DP mit steuerbaren Zeitabständen DT synchronisiert wurde und fortan und in den Fig. 1 und 2 auch als synchronisierter Medien- Daten-Stream MD bezeichnet wird. Dabei ist es vorteilhaft, wenn der synchronisierte Medien-Daten-Stream MD von der Datenaufbereitungseinrichtung 3 mit unterschiedlichen Bitraten bereitgestellt und übertragen wird. Dem Benutzerendgerät 4 steht der synchronisierte Medien-Daten-Stream MD somit mit unterschiedlichen Bitraten zur Verfügung, sodass das Benutzerendgerät 4 je nach Leistungsfähigkeit des Endgeräts sowie Empfangsqualität eine jeweils passende Bitrate wählen kann, um die Wiedergabequalität zu optimieren.
Nunmehr wird wieder auf die Fig. 1 Bezug genommen. Die Übermittlung des synchronisierten Medien-Daten-Streams MD erfolgt über eine bidirektionale Kommunikationsverbindung 7 mittels Echtzeit-Transferprotokolle an eine Gruppe von Benutzerendgeräten 4. Ein Beispiel eines Echtzeit- Transferprotokolls ist derzeit etwa RTP (Real Time Protocol). RTP kann mit ÜDP und IP als IP/UDP/RTP benutzt werden. Die praktische Umsetzung kann beispielsweise mithilfe von WebRTC (Web Real-Time Communication) erfolgen. Die bidirektionale KommunikationsVerbindung 7 kann beispielsweise über so genannte WebSockets verwirklicht werden, wobei die Übertragung audiovisueller Daten in der Regel mithilfe eines Content Delivery Network 5 (CDN oder Content Distribution Network) vorgenommen wird. Ein Content Delivery Network 5 ist ein Netz regional verteilter und über das Internet verbundener Server, mit dem Inhalte, in der Regel große Mediendateien, ausgeliefert werden. Einzelne Standorte werden dabei auch als PoP (Point of Presence) bezeichnet und bestehen aus Server- Clustern .
Die Gruppe der Benutzerendgeräte 4 wird vorzugsweise durch vorherige Anmeldung der Benutzer beim Betreiber des erfindungsgemäßen Verfahrens definiert. Dabei meldet sich ein interessierter Benutzer beim Betreiber des erfindungsgemäßen Verfahrens durch Bekanntgabe seiner Verbindungsdaten und wahlweise auch durch Bekanntgabe einer bestimmten Gruppe, als deren Mitglied er teilnehmen möchte, an, etwa mithilfe einer webbasierten Anwendung, oder durch vorherige Installierung einer entsprechenden Software-Applikation („App") auf seinem Endgerät. Dabei startet der Benutzer beispielsweise mithilfe eines WebSocket-Protokolls eine Anfrage („request") zur Übertragung von Daten, wobei nach der Übertragung der anfänglichen Daten zum Verbindungsaufbau die zugrundeliegende TCP-Verbindung bestehen bleibt und asynchrone Übertragungen in beide Richtungen ermöglicht. Der betreffende Benutzer erhält in weiterer Folge die mit dem Medien-Stream MS synchronisierten Datenpakete DP als synchronisierten Medien- Daten-Stream MD. Da dem Benutzerendgerät 4 der synchronisierte Medien-Daten-Stream MD mit unterschiedlichen Bitraten zur Verfügung steht, kann das Benutzerendgerät 4 in weiterer Folge je nach Leistungsfähigkeit des Endgeräts sowie
Empfangsqualität eine jeweils passende Bitrate wählen, um die Wiedergabequalität zu optimieren.
Am Benutzerendgerät 4 wird in weiterer Folge sichergestellt, dass während des Empfanges des synchronisierten Medien-Daten- Streams MD ein Datenpaket DP und ein Frame des Medien-Streams MS mit demselben Zeitstempel gleichzeitig am Benutzerendgerät 4 angezeigt werden. Die Wiedergabe kann etwa mithilfe eines geteilten Bildschirms erfolgen, wie mithilfe der strichlierten Linien in der Fig. 1 angedeutet wird, indem in einer ersten Hälfte des Bildschirms der Inhalt des audiovisuellen Medien- Streams MS angezeigt wird, und in einer zweiten Hälfte des Bildschirms der Inhalt des Datenpakets DP, also beispielsweise ein Kommentar, eine zusätzliche Information, oder auch eine Eingabeaufforderung zur Frage „Wird die Mannschaft X ausgleichen ?".
Mithilfe einer auf dem Benutzerendgerät 4 in herkömmlicher Weise vorgesehenen Eingabeeinrichtung kann der Benutzer eine der Eingabeaufforderung entsprechende Eingabe tätigen. Aus der benutzerseitigen Eingabe und der Identifizierungsinformation des betreffenden Datenpakets DP wird in weiterer Folge ein benutzergeneriertes Datenpaket D erstellt und über die bidirektionale Kommunikationsverbindung 7 zur Auswertung oder Weiterleitung an andere Benutzer an die
Datenaufbereitungseinrichtung 3 gesendet, wobei wiederum das bereits erwähnte Content Delivery Network 5 herangezogen werden kann. Die Datenaufbereitungseinrichtung 3 kann die betreffende Eingabe beispielsweise für Wettspiele heranziehen, oder mit den Eingaben anderer Benutzer vergleichen.
Die Auswertung und allfällige Weiterleitung erfolgt in der Datenaufbereitungseinrichtung 3 freilich vorzugsweise automatisiert, da im praktischen Betrieb mit einer Fülle an betreiberseitig generierten Datenpaketen DP sowie benutzerseitig generierten Datenpaketen D zu rechnen ist.
Dabei wäre es vorteilhaft über Kriterien zu verfügen, die den ordnungsgemäßen Ablauf dieses Vorganges des Sendens und Empfangens von Datenpaketen DP prüfen, also über Plausibilitätskriterien, die es beispielsweise ermöglichen Manipulationen aufzudecken. Hierfür hat sich ein einfaches Kriterium als besonders effektiv erwiesen, dem zu Folge vorgeschlagen wird, dass die Auswertung des benutzergenerierten Datenpakets D eine Überprüfung des Kriteriums
(qet — rt) x 100
- 12 - 1 - > 60 % ppS X 1000+ ( tBE + tE + tED + tD) umfasst, wobei
-) „qet" eine vorgegebene, ab dem Absenden eines bestimmten Datenpakets DP durch die Datenaufbereitungseinrichtung 3 an die Benutzerendgeräte 4 gemessene, maximale Zeitdauer für die Erstellung der benutzerseitigen Eingabe in Sekunden ist,
-) „rt" die tatsächliche Zeitdauer bis zum Einlangen eines benutzergenerierten Datenpakets D bei der Datenaufbereitungseinrichtung 3 in Sekunden ist,
-) „FPS" die Anzahl der Frames pro Sekunde des an die Gruppe von Benutzerendgeräten 4 übertragenen audiovisuellen Medien- Streams MS ist,
~) „tBE" die Latenzzeit der Übertragung zwischen dem ersten Anbieter 1 und der Datenaufbereitungseinrichtung 3 in Sekunden ist,
-) „tE" die Latenzzeit der Datenverarbeitung bei der Datenaufbereitungseinrichtung 3 in Sekunden ist,
-) „tßo" die Latenzzeit der Übertragung des an die Gruppe von Benutzerendgeräten 4 übertragenen audiovisuellen Medien- Streams MS zwischen der Datenaufbereitungseinrichtung 3 und den Benutzerendgeräten 4 in Sekunden ist, und
-) „tD" die Latenzzeit der Datenverarbeitung und Anzeige beim Benutzerendgerät 4 in Sekunden ist, und bei Nicht-Erfüllung des Kriteriums das betreffende benutzergenerierte Datenpaket D verworfen wird.
Falls das oben beschriebene Verhältnis unterhalb von 60% liegt, wird somit das betreffende benutzergenerierte Datenpaket D verworfen, da technisch kaum erklärliche Anomalitäten vorliegen und auch Manipulationen nicht auszuschließen sind.
Falls keine Anomalitäten festgestellt werden können und Manipulationen auszuschließen sind, wird in der Regel eine Benachrichtigung jedweder Art als Reaktion auf die Eingabe eines Benutzers von der Datenaufbereitungseinrichtung 3 an den betreffenden Benutzer gesendet, um das gemeinschaftliche Erlebnis des Live-Ereignisses zu fördern. Dabei kann es sich beispielsweise um eine Benachrichtigung handeln, welche oder wie viele Benutzer derselben Gruppe bislang gestellte Fragen richtig beantwortet haben und eine entsprechende Rangordnung beinhalten .
Das erfindungsgemäße Verfahren ermöglicht die Übersendung audiovisueller Medien-Streams MS sowie synchronisierter Datenpakete DP mit einer Latenzzeit von unter 300ms. Diese kurze Latenz stellt sicher, dass die übersendeten Daten auf allen Benutzerendgeräten 4 für alle Benutzer gleichzeitig wahrnehmbar wiedergegeben werden. Im Rahmen dieser gleichzeitigen Wiedergabe findet zudem die synchronisierte Wiedergabe mit den betreiberseitig generierten Datenpaketen DP statt. Das ermöglicht auch die Interaktion der Benutzer auf Basis des soeben erlebten Live-Ereignisses, und zwar sowohl mit dem Betreiber des erfindungsgemäßen Verfahrens, als auch mit anderen Benutzern, wodurch das gemeinschaftliche Erleben des übertragenen Live-Ereignisses intensiviert werden kann.

Claims

Patentansprüche:
1. Verfahren zur Datenübertragung, bei dem von einem ersten Anbieter (1) ein audiovisueller Medien-Strea (MS) eines Live-Ereignisses , beispielsweise eines Sportereignisses, über das Internet (6) und/oder über mindestens ein Mobilfunknetz an eine Vielzahl an Benutzerendgeräten (4) gesendet wird, und von einem zweiten Anbieter (2) ein auf Basis des Live-Ereignisses generierter Daten-Stream (DS) für eine weitere Verarbeitung oder Anzeige über das Internet (6) und/oder über mindestens ein Mobilfunknetz bereit gestellt wird, dadurch gekennzeichnet, dass der audiovisuelle Medien-Stream (MS) und der Daten-Stream (DS) einer Datenaufbereitungseinrichtung (3) zugeführt werden, die aus dem Daten-Stream (DS) eine Abfolge von zeitlich beabstandeten Datenpaketen (DP) generiert und jedes Datenpaket (DP) mit einer das jeweilige Datenpaket (DP) identifizierenden Identifizierungsinformation und einem Zeitstempel versieht, wobei die generierten Datenpakete (DP) in steuerbaren Zeitabständen (DT) mithilfe des Zeitstempels mit dem Medien-Stream (MS) synchronisiert und über eine bidirektionale Kommunikationsverbindung (7) mittels Echtzeit- Transferprotokolle (RTP) an eine Gruppe von Benutzerendgeräten (4) zur gleichzeitigen und mit dem audiovisuellen Medien-Stream (MS) synchronisierten Wiedergabe gesendet wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei dem Echtzeit-Transferprotokoll um RTP (Real Time Protocol) handelt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die generierten Datenpakete (DP) jeweils eine an den Benutzerendgeräten (4) angezeigte Eingabeaufforderung enthalten, und aus einer benutzerseitigen Eingabe und der Identifizierungsinformation des betreffenden Datenpakets (DP) ein benutzergeneriertes Datenpaket (D) erstellt und zur Auswertung oder Weiterleitung an andere Benutzer über die bidirektionale Kommunikationsverbindung (7) an die Datenaufbereitungseinrichtung (3) gesendet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die mithilfe des Zeitstempels mit dem Medien-Stream (MS) synchronisierten Datenpakete (DP) von der Datenaufbereitungseinrichtung (3) mit unterschiedlichen Bitraten über die bidirektionale Kommunikationsverbindung (7) übertragen werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der steuerbare Zeitabstand (DT) zwischen zwei aufeinanderfolgenden Datenpaketen (DP) der Abfolge von zeitlich beabstandeten Datenpakete (DP) so gesteuert wird, dass er das Kriterium DT > (BR/FPS)tED erfüllt, wobei BR die Bitrate des an die Gruppe von Benutzerendgeräten (4) übertragenen audiovisuellen Medien-Streams (MS) in kb/s ist, FPS die Anzahl der Frames pro Sekunde des an die Gruppe von Benutzerendgeräten (4) übertragenen audiovisuellen Medien-Streams (MS) ist, und tED die Latenzzeit der Übertragung des an die Gruppe von Benutzerendgeräten (4) übertragenen audiovisuellen Medien-Streams (MS) zwischen der Datenaufbereitungseinrichtung (3) und den Benutzerendgeräten (4) in Sekunden.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Auswertung des benutzergenerierten Datenpakets (D) eine Überprüfung des Kriteriums
( qet — rt ) x 100
Ί- > 60%
FPS X 1000 + ( tBE + tE + tED + tZ)) umfasst, wobei
-) „qet" eine vorgegebene, ab dem Absenden eines bestimmten Datenpakets (DP) durch die Datenaufbereitungseinrichtung (3) an die Benutzerendgeräte (4) gemessene, maximale Zeitdauer für die Erstellung der benutzerseitigen Eingabe in Sekunden ist,
-) „rt" die tatsächliche Zeitdauer bis zum Einlangen eines benutzergenerierten Datenpakets (D) bei der Datenaufbereitungseinrichtung (3) in Sekunden ist,
-) „FPS" die Anzahl der Frames pro Sekunde des an die Gruppe von Benutzerendgeräten (4) übertragenen audiovisuellen Medien-Streams (MS) ist,
-) „tBE" die Latenzzeit der Übertragung zwischen dem ersten Anbieter (1) und der Datenaufbereitungseinrichtung (3) in Sekunden ist,
-) „tE" die Latenzzeit der Datenverarbeitung bei der Datenaufbereitungseinrichtung (3) in Sekunden ist, -) „tED" die Latenzzeit der Übertragung des an die Gruppe von Benutzerendgeräten (4) übertragenen audiovisuellen
Medien-Streams (MS) zwischen der
Datenaufbereitungseinrichtung (3) und den
Benutzerendgeräten (4) in Sekunden ist, und
-) „tD" die Latenzzeit der Datenverarbeitung und Anzeige beim Benutzerendgerät (4) in Sekunden ist, und bei Nicht-Erfüllung des Kriteriums das betreffende benutzergenerierte Datenpaket (D) verworfen wird.
PCT/EP2020/053795 2020-02-13 2020-02-13 Verfahren zur datenübertragung WO2021160271A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/EP2020/053795 WO2021160271A1 (de) 2020-02-13 2020-02-13 Verfahren zur datenübertragung
EP20705923.9A EP4104401A1 (de) 2020-02-13 2020-02-13 Verfahren zur datenübertragung
US17/799,361 US20230063532A1 (en) 2020-02-13 2020-02-13 Data transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/053795 WO2021160271A1 (de) 2020-02-13 2020-02-13 Verfahren zur datenübertragung

Publications (1)

Publication Number Publication Date
WO2021160271A1 true WO2021160271A1 (de) 2021-08-19

Family

ID=69630288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/053795 WO2021160271A1 (de) 2020-02-13 2020-02-13 Verfahren zur datenübertragung

Country Status (3)

Country Link
US (1) US20230063532A1 (de)
EP (1) EP4104401A1 (de)
WO (1) WO2021160271A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160234542A1 (en) * 2013-09-20 2016-08-11 Koninklijke Kpn N.V. Correlating Timeline Information Between Media Streams
US10198777B2 (en) * 2013-12-06 2019-02-05 Remote Media, Llc System, method, and application for exchanging content in a social network environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160234542A1 (en) * 2013-09-20 2016-08-11 Koninklijke Kpn N.V. Correlating Timeline Information Between Media Streams
US10198777B2 (en) * 2013-12-06 2019-02-05 Remote Media, Llc System, method, and application for exchanging content in a social network environment

Also Published As

Publication number Publication date
US20230063532A1 (en) 2023-03-02
EP4104401A1 (de) 2022-12-21

Similar Documents

Publication Publication Date Title
DE19983761B3 (de) Vorrichtung und Verfahren zum Sammeln und Analysieren von Kommunikationsdaten
DE69832247T2 (de) Auf einem verteilten Internet- Protokollen basierte Echtzeit- Multimedia- Datenströmungs- Architektur
DE60111276T2 (de) Verfahren und vorrichtung zur mehrfachsendung in einem umts-netzwerk
DE602004011485T2 (de) Breitbandfernmeldesystem und darin verwendetes Verfahren zur Reduzierung der Latenzzeit eines Kanal-Zappings von einem Multimedia-Empfänger
DE112013002247T5 (de) Kombinierte Broadcast- und Unicast-Übermittlung
CN107864402A (zh) 直播视频播放方法及装置
DE60035273T2 (de) Methoden zum übertragen und empfangen von informationen
DE60220802T2 (de) Verfahren zur verbreitung von inhalt ein erfassungsserver und empfänger
EP1855437A1 (de) Verfahren zum Aufbau einer Push-to-talk-Kommunikationsverbindung
Lu et al. Assessing the Quality of Experience of SopCast.
DE10004829B4 (de) Verfahren und Vorrichtung zum Übertragen von Dateneinheiten eines Datenstroms
Fallica et al. On the quality of experience of sopcast
EP1428371B1 (de) Verfahren zum übertragen eines datenstroms von einem produzenten an eine mehrzahl von zuschauern
WO2021160271A1 (de) Verfahren zur datenübertragung
WO2021008943A1 (de) Verfahren zur übertragung von videoinformation an ein telekommunikationsgerät, wobei die videoinformation eine mehrzahl an videoinformationsströmen umfasst, system, telekommunikationsgerät, inhaltebezogene hintergrund-servereinrichtung, computerprogramm und computerlesbares medium
DE60214854T2 (de) Verfahren zur verbreitung von inhalt ein erfassungsserver und empfänger
DE10050536C1 (de) Personalisierbares Radio
DE102007006432B4 (de) Vorrichtung und Verfahren zur Bereitstellung von Daten
WO2004100548A1 (de) Verfahren und vorrichtung zum erzeugen und senden eines fernsehprogrammes über ip-basierte medien, im speziellen das internet
EP2030474B1 (de) Verfahren und anordnung zum aufbau von kommunikationsbeziehungen
DE112016004480T5 (de) Synchronisierung des Renderns von Medien in heterogenen Netzwerkumgebungen
EP1168829B9 (de) Verfahren zur Durchführung von Livesendungen mit Bildeinspielung
EP2197202A1 (de) Verfahren und Vorrichtung zur Datenverarbeitung sowie die Vorrichtung umfassendes System
DE102005059992A1 (de) Verfahren, prozessorlesbares Medium und System zum Erzeugen einer Zusammenstellung von Videosequenzen
EP3507987A1 (de) Verfahren zur übertragung von echtzeitbasierten digitalen videosignalen in netzwerken

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20705923

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020705923

Country of ref document: EP

Effective date: 20220913