FR3124674A1 - VIDEO FLOW PROCESSING METHOD AND EQUIPMENT FOR IMPLEMENTING THE METHOD - Google Patents
VIDEO FLOW PROCESSING METHOD AND EQUIPMENT FOR IMPLEMENTING THE METHOD Download PDFInfo
- Publication number
- FR3124674A1 FR3124674A1 FR2106792A FR2106792A FR3124674A1 FR 3124674 A1 FR3124674 A1 FR 3124674A1 FR 2106792 A FR2106792 A FR 2106792A FR 2106792 A FR2106792 A FR 2106792A FR 3124674 A1 FR3124674 A1 FR 3124674A1
- Authority
- FR
- France
- Prior art keywords
- video stream
- data
- images
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005111 flow chemistry technique Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000005259 measurement Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Un procédé de traitement d’un flux vidéo comprenant une séquence d’images est proposé, qui comprend, à une unité de gestion de flux vidéo : démultiplexer le flux vidéo pour générer un flux vidéo élémentaire et des métadonnées relatives au flux vidéo ; générer des données de sous-titrage d’une image du flux vidéo élémentaire sur la base des métadonnées ; insérer des données d’horodatage de l’image dans les données de sous-titrage ; et multiplexer le flux vidéo élémentaire et les données de sous-titrage pour générer un flux vidéo enrichi. Figure de l’abrégé : Figure 2A method for processing a video stream comprising a sequence of images is provided, which includes, at a video stream management unit: demultiplexing the video stream to generate an elementary video stream and metadata relating to the video stream; generate caption data of an image of the elementary video stream based on the metadata; insert image timestamp data into caption data; and multiplexing the elementary video stream and the captioning data to generate an enriched video stream. Abstract Figure: Figure 2
Description
La présente divulgation se rapporte à un procédé de traitement de flux vidéo et un dispositif pour la mise en œuvre de ce procédé. Elle s’applique notamment à la mesure de latence dans une chaine de distribution d’un flux vidéo.The present disclosure relates to a video stream processing method and a device for implementing this method. It applies in particular to the measurement of latency in a distribution chain of a video stream.
Les données vidéo font en général l’objet d’un codage source visant à les compresser afin de limiter les ressources nécessaires à leur transmission et/ou à leur stockage. Il existe de nombreux standards de codage, tels que H.264/AVC, H.265/HEVC et MPEG-2, qui peuvent être utilisés à cette fin. On considère un flux vidéo comprenant un ensemble d’images. Dans les schémas de codage classique, les images du flux vidéo à encoder sont typiquement considérées selon une séquence d’encodage, et chacune est divisée en ensembles de pixels eux aussi traités séquentiellement.Video data is generally subject to source coding aimed at compressing it in order to limit the resources necessary for its transmission and/or storage. There are many encoding standards, such as H.264/AVC, H.265/HEVC and MPEG-2, which can be used for this purpose. We consider a video stream comprising a set of images. In classical coding schemes, the images of the video stream to be encoded are typically considered according to an encoding sequence, and each is divided into sets of pixels which are also processed sequentially.
La distribution de contenus multimédia, tels que des flux vidéo, utilise typiquement une tête de réseau de distribution vidéo comprenant une unité d’encodage vidéo qui reçoit en entrée des contenus à encoder et délivre à une unité de mise en forme (parfois dénommée en anglais « packager ») des flux encodés dits « flux élémentaires ». Un contenu reçu en entrée est encodé selon une pluralité de profils d’encodage (un profil étant par exemple défini avec des paramètres de codec, de résolution et de débit).The distribution of multimedia content, such as video streams, typically uses a video distribution network head comprising a video encoding unit which receives content to be encoded as input and delivers it to a shaping unit (sometimes called “packager”) of encoded streams called “elementary streams”. A content received as input is encoded according to a plurality of encoding profiles (a profile being for example defined with codec, resolution and bit rate parameters).
Les données produites par le packager sur la base des flux élémentaires sont typiquement fournies par le packager à un serveur de contenus, puis stockées sur des réseaux de distribution de contenus, appelés « CDN » (de l’anglais « Content Delivery Network »), fournissant des capacités de cache qui permettent d'améliorer la qualité des services, et de minimiser les temps d'accès et la latence pour la visualisation de contenus par un ou plusieurs terminaux de lecture (aussi couramment appelés « lecteurs vidéo »).The data produced by the packager on the basis of the elementary streams are typically provided by the packager to a content server, then stored on content distribution networks, called "CDN" (from the English "Content Delivery Network"), providing cache capabilities that improve the quality of services, and minimize access times and latency for the viewing of content by one or more playback terminals (also commonly referred to as "video players").
Pour mesurer la latence dans une chaîne de diffusion audiovisuelle dans laquelle un flux vidéo est distribuée, une possibilité consiste à inscrire (le terme anglais « burn » est parfois utilisé pour désigner cette inscription ou ce marquage) la date courante dans le flux vidéo avant encodage, puis de comparer ce marqueur temporel avec la date au moment de l’affichage par un lecteur vidéo. Cependant, ce procédé requiert de modifier les images du flux vidéo en incrustant un élément supplémentaire (pour une mesure de latence une date), de sorte que certaines au moins des images du flux vidéo sur lequel la mesure est effectuée sont modifiées irrémédiablement.To measure the latency in an audiovisual broadcast chain in which a video stream is distributed, one possibility is to write (the English term “burn” is sometimes used to designate this registration or this marking) the current date in the video stream before encoding , and then compare this time stamp with the date when displayed by a video player. However, this method requires modifying the images of the video stream by embedding an additional element (for a latency measurement, a date), so that at least some of the images of the video stream on which the measurement is performed are irremediably modified.
Ce procédé consistant à inscrire des informations utiles pour la mesure souhaitée dans le flux vidéo présente plusieurs inconvénients : d’une part, le flux vidéo est dégradé, ce qui empêche d’effectuer toute mesure dans un contexte de mise en production et limite les autres mesures qui seraient autrement possibles sur le flux, comme par exemple une mesure de comparaison de qualité entre le flux vidéo source et le flux vidéo en sortie de la chaîne de diffusion. D’autre part, il est uniquement possible de marquer une image non compressée, ce qui exclut toute mesure dans un élément de la chaine de diffusion ne traitant pas le flux décodé, tel que par exemple le packager, et réduit ainsi le nombre d’éléments de la chaine à partir desquels une mesure de latence peut être effectuée.This method consisting in writing useful information for the desired measurement in the video stream has several drawbacks: on the one hand, the video stream is degraded, which prevents any measurement from being carried out in a production setting context and limits the other measurements that would otherwise be possible on the stream, such as for example a quality comparison measurement between the source video stream and the video stream at the output of the broadcast chain. On the other hand, it is only possible to mark an uncompressed image, which excludes any measurement in an element of the broadcast chain that does not process the decoded stream, such as the packager for example, and thus reduces the number of elements of the chain from which a latency measurement can be made.
Il existe ainsi un besoin pour un procédé de traitement de flux vidéo permettant d’éviter ou d’atténuer les inconvénients précités.There is thus a need for a video stream processing method making it possible to avoid or attenuate the aforementioned drawbacks.
RésuméSummary
La présente divulgation vient améliorer la situation.This disclosure improves the situation.
Selon un premier aspect, il est proposé un procédé de traitement d’un flux vidéo comprenant une séquence d’images, le procédé pouvant être mis en œuvre par une unité de gestion de flux vidéo, et comprenant : démultiplexer le flux vidéo pour générer un flux vidéo élémentaire et des métadonnées relatives au flux vidéo ; générer des données de sous-titrage d’une image du flux vidéo élémentaire sur la base des métadonnées ; insérer des données d’horodatage de l’image dans les données de sous-titrage ; et multiplexer le flux vidéo élémentaire et les données de sous-titrage pour générer un flux vidéo enrichi.According to a first aspect, there is proposed a method for processing a video stream comprising a sequence of images, the method being able to be implemented by a video stream management unit, and comprising: demultiplexing the video stream to generate a elementary video stream and metadata relating to the video stream; generating subtitle data of an image of the elementary video stream based on the metadata; insert image timestamp data into caption data; and multiplexing the elementary video stream and the captioning data to generate an enriched video stream.
Le procédé proposé selon le premier aspect pourra avantageusement être mis en œuvre au sein de tout dispositif, comme par exemple une unité de gestion de flux vidéo, configuré pour être mise en œuvre au sein d’une chaîne de diffusion audiovisuelle, par exemple selon un schéma de transport de flux vidéo de type MPEG2-TS (de l’anglais « Moving Picture Expert Group 2 - Transport Stream »), « HLS » (de l’anglais « HTTP Live Streaming », l’acronyme « HTTP » désignant le protocole « HyperText Transfer Protocol »), « MSS » (de l’anglais « Microsoft Smooth Streaming »), « HDS » (de l’anglais « HTTP Dynamic Streaming »), « MPEG-DASH » (de l’anglais « MPEG Dynamic Adaptive Streaming over HTTP »), ou « HAS » (de l’anglais « HTTP Adaptive Streaming »), ou en utilisant une technologie de diffusion télévisuelle de contenus multimédia sur un réseau de diffusion de télévision, par exemple selon un schéma de type « DVB » (de l’anglais « Digital Video Broadcast »), ou de type « ATSC » (de l’anglais « Advanced Television Systems Committee »), tel que, de manière non limitative, un encodeur vidéo, par exemple conforme à la spécification AV1 actuelle ou à ses évolutions, une unité de type mise en forme (« packager »), tout ordinateur, serveur, équipement de tête de réseau de diffusion audiovisuelle, équipement de réseau de diffusion audiovisuelle, etc.The method proposed according to the first aspect can advantageously be implemented within any device, such as for example a video stream management unit, configured to be implemented within an audiovisual broadcasting chain, for example according to a video stream transport scheme of the MPEG2-TS (Moving Picture Expert Group 2 - Transport Stream) type, “HLS” (from the English “HTTP Live Streaming”, the acronym “HTTP” designating the "HyperText Transfer Protocol"), "MSS" (for "Microsoft Smooth Streaming"), "HDS" (for "HTTP Dynamic Streaming"), "MPEG-DASH" (for "MPEG Dynamic Adaptive Streaming over HTTP"), or "HAS" (from the English "HTTP Adaptive Streaming"), or by using a technology for the television broadcasting of multimedia content on a television broadcasting network, for example according to a scheme of the “DVB” (from the English “Digital Video Broadcast”), or of the “ATSC” type (from the English “Ad vanced Television Systems Committee"), such as, in a non-limiting manner, a video encoder, for example conforming to the current AV1 specification or its evolutions, a unit of the formatting type ("packager"), any computer, server, broadcast headend equipment, broadcast network equipment, etc.
En outre, le procédé proposé selon le premier aspect pourra avantageusement être mis en œuvre dans tout dispositif configuré pour générer des données de sous-titrage et/ou des pistes de sous-titre, selon tout format défini ou normalisé, par exemple conforme à la spécification TTML (de l’anglais « Timed Text Markup Language »), DXFP (de l’anglais « Distribution Format Exchange Profile »), SMPTE-TT (de l’anglais « Society of Motion Picture and Television Engineers Timed Text »), EBU-TT (de l’anglais « European Broadcasting Union Timed Text »), IMSC1 (de l’anglais « Internet Media Subtitles and Captions », IMSC1.1, ou IMSC1.2, actuelle ou à ses évolutions.In addition, the method proposed according to the first aspect can advantageously be implemented in any device configured to generate subtitling data and/or subtitle tracks, according to any defined or standardized format, for example conforming to the TTML (Timed Text Markup Language) specification, DXFP (Distribution Format Exchange Profile) specification, SMPTE-TT (Society of Motion Picture and Television Engineers Timed Text) specification, EBU-TT (from the English “European Broadcasting Union Timed Text”), IMSC1 (from the English “Internet Media Subtitles and Captions”, IMSC1.1, or IMSC1.2, current or in its evolutions.
Selon un deuxième aspect, il est proposé un procédé de traitement d’un flux vidéo comprenant une séquence d’images, comprenant, à un dispositif de traitement de flux vidéo dans un système de traitement de flux vidéo, le dispositif de traitement de flux vidéo comprenant un capteur vidéo, le procédé proposé comprenant : effectuer une capture vidéo de données de sous-titrage d’une image du flux vidéo affichées sur l’écran d’affichage d’un lecteur vidéo du système de traitement vidéo lors de la lecture par le lecteur vidéo du flux vidéo en affichant sur l’écran d’affichage l’image et les données de sous-titrage de l’image, les données de sous-titrage comprenant des données d’horodatage de l’image du flux vidéo ; déterminer des données d’horodatage d’affichage de l’image et les données d’horodatage de l’image à partir des données de sous-titrage capturées sur l’écran d’affichage ; et déterminer une mesure de latence sur la base des données d’horodatage de l’image et des données d’horodatage d’affichage de l’image.According to a second aspect, there is proposed a method for processing a video stream comprising a sequence of images, comprising, at a video stream processing device in a video stream processing system, the video stream processing device comprising a video sensor, the proposed method comprising: performing a video capture of subtitling data of an image of the video stream displayed on the display screen of a video player of the video processing system during playback by the video player of the video stream by displaying on the display screen the image and the subtitling data of the image, the subtitling data comprising timestamp data of the image of the video stream; determining display time stamp data of the image and the time stamp data of the image from the caption data captured on the display screen; and determining a latency metric based on the image timestamp data and the image display timestamp data.
Le procédé proposé permet avantageusement de déterminer une mesure de latence sans dégrader le flux vidéo utilisé pour sa mise en œuvre. En outre, le procédé proposé permet la mise en œuvre d’une mesure de latence automatisée. De plus, le procédé proposé selon le premier aspect peut être mis en œuvre dans un élément de chaine de diffusion traitant des flux compressés, de sorte qu’il permet des mesures de latence à différents niveaux de la chaine de diffusion.The proposed method advantageously makes it possible to determine a latency measurement without degrading the video stream used for its implementation. In addition, the proposed method allows the implementation of an automated latency measurement. In addition, the method proposed according to the first aspect can be implemented in a broadcast chain element processing compressed streams, so that it allows latency measurements at different levels of the broadcast chain.
Le procédé proposé convient particulièrement bien, bien que de façon non exclusive, pour la mesure de latence et/ou pour la détection et la mesure de dérive de latence dans une chaîne de diffusion audiovisuelle, entre une unité de gestion de flux vidéo de la chaîne et un lecteur vidéo en bout de chaîne.The proposed method is particularly suitable, although not exclusively, for measuring latency and/or for detecting and measuring latency drift in an audiovisual broadcasting chain, between a video stream management unit of the chain and a video player at the end of the channel.
Le procédé proposé n’est pas limité à des mises en œuvre au sein d’une unité de gestion de flux vidéo, et peut être mis en œuvre dans toute unité de traitement de flux vidéo configurée pour la mise en œuvre d’un procédé proposé selon le premier aspect (génération des données de sous-titrage) et/ou selon le deuxième aspect (capture et traitement des données de sous-titrage). L’unité de traitement de flux vidéo pourra être mise en œuvre sous forme logicielle, auquel cas elle prendra la forme d’un programme exécutable par un processeur, sous forme matérielle (ou « hardware »), comme un circuit intégré spécifique application (ASIC), un système sur puce (SOC), ou sous forme d'une combinaison d'éléments matériels et logiciels, auquel cas elle pourra comprendre une interface d’entrée, une mémoire couplées de manière opérationnelle avec au moins un processeur configuré pour la mise en œuvre du procédé proposé. En fonction du mode de réalisation choisi, l’unité de traitement de flux vidéo pourra être mise en œuvre, en tout ou partie, au sein d’un encodeur vidéo, d’un packager, d’un décodeur vidéo, d’un capteur vidéo et/ou de tout ordinateur configuré pour mettre en œuvre l’unité de traitement de flux vidéo.The proposed method is not limited to implementations within a video stream management unit, and can be implemented in any video stream processing unit configured for the implementation of a proposed method according to the first aspect (generation of subtitling data) and/or according to the second aspect (capture and processing of subtitling data). The video stream processing unit may be implemented in software form, in which case it will take the form of a program executable by a processor, in hardware form (or "hardware"), such as an application-specific integrated circuit (ASIC ), a system on chip (SOC), or in the form of a combination of hardware and software elements, in which case it may comprise an input interface, a memory operationally coupled with at least one processor configured for implementation of the proposed method. Depending on the embodiment chosen, the video stream processing unit may be implemented, in whole or in part, within a video encoder, a packager, a video decoder, a sensor video and/or any computer configured to implement the video stream processing unit.
Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre. Elles peuvent être mises en œuvre indépendamment les unes des autres ou en combinaison les unes avec les autres.The characteristics exposed in the following paragraphs can, optionally, be implemented. They can be implemented independently of each other or in combination with each other.
Dans un ou plusieurs modes de réalisation du procédé proposé selon le premier aspect, le procédé proposé peut en outre comprendre : générer une piste de sous-titres dédiée comprenant les données de sous-titrage, et multiplexer le flux vidéo élémentaire et la piste de sous-titres dédiée pour générer le flux vidéo enrichi. Dans un ou plusieurs modes de réalisation, la piste de sous-titres dédiée peut être associée à un code prédéfini utilisable sur un lecteur vidéo pour l’affichage des données de la piste sur l’écran du lecteur vidéo.In one or more embodiments of the proposed method according to the first aspect, the proposed method may further comprise: generating a dedicated subtitle track comprising the subtitling data, and multiplexing the elementary video stream and the subtitle track - Dedicated titles to generate enriched video stream. In one or more embodiments, the dedicated caption track may be associated with predefined code usable on a video player for displaying the track's data on the screen of the video player.
Dans un ou plusieurs modes de réalisation du procédé proposé selon le premier aspect, les données de sous-titrage peuvent être respectivement générées pour chaque image d’une pluralité d’images du flux vidéo élémentaire sur la base des métadonnées, et le procédé proposé comprendre en outre : insérer, pour chaque image de la pluralité d’images, des données d’horodatage de l’image de la pluralité d’images dans les données de sous-titrage générées pour l’image de la pluralité d’images.In one or more embodiments of the proposed method according to the first aspect, the caption data may be respectively generated for each image of a plurality of images of the elementary video stream based on the metadata, and the proposed method comprises further: inserting, for each image of the plurality of images, timestamp data of the image of the plurality of images into the caption data generated for the image of the plurality of images.
Dans un ou plusieurs modes de réalisation du procédé proposé selon le deuxième aspect, le procédé proposé peut comprendre en outre : sélectionner, parmi un ensemble de modes de fonctionnement du lecteur vidéo comprenant un mode test et un mode production, le mode test. Dans le fonctionnement en mode test, la piste de sous-titres comprenant les données de sous-titrage des images du flux vidéo sera sélectionnable par un utilisateur du lecteur vidéo pour l’affichage des données de sous-titrage, et dans le fonctionnement en mode production, la piste de sous-titres comprenant les données de sous-titrage des images du flux vidéo ne sera pas sélectionnable par un utilisateur du lecteur vidéo pour l’affichage des données de sous-titrage.In one or more embodiments of the proposed method according to the second aspect, the proposed method may further comprise: selecting, from a set of operating modes of the video player comprising a test mode and a production mode, the test mode. In test mode operation, the caption track comprising the caption data of the video stream images will be selectable by a user of the video player for displaying the caption data, and in production, the subtitle track comprising the subtitle data of the images of the video stream will not be selectable by a user of the video player for the display of the subtitle data.
Dans un ou plusieurs modes de réalisation du procédé proposé selon le deuxième aspect, la capture vidéo peut comprendre une capture vidéo, lors de la lecture du flux vidéo par le lecteur vidéo, de données de sous-titrage respectives d’une pluralité d’images du flux vidéo affichées sur l’écran d’affichage du lecteur vidéo lors de la lecture par le lecteur vidéo du flux vidéo en affichant sur l’écran d’affichage des images de la pluralité d’images et les données de sous-titrage respectives des images, les données de sous-titrage respectives comprenant des données d’horodatage respectives des images de la pluralité d’images, et le procédé proposé peut comprendre en outre : déterminer des données d’horodatage d’affichage respectives des images et les données d’horodatage respectives des images à partir des données de sous-titrage respectives capturées sur l’écran d’affichage ; déterminer une pluralité de mesures de latence respectives sur la base des données d’horodatage respectives capturées pour la pluralité d’images et des données d’horodatage d’affichage respectives des images, et déterminer une mesure de dérive de latence sur la base de la pluralité de mesures de latence.In one or more embodiments of the method proposed according to the second aspect, the video capture may comprise a video capture, during the reading of the video stream by the video player, of respective subtitling data of a plurality of images of the video stream displayed on the display screen of the video player upon playback by the video player of the video stream by displaying on the display screen images of the plurality of images and the respective caption data of the images, the respective captioning data including respective timestamp data of the images of the plurality of images, and the proposed method may further comprise: determining respective display timestamp data of the images and the data respective timestamps of the images from the respective captioning data captured on the display screen; determining a plurality of respective latency metrics based on the respective timestamp data captured for the plurality of images and the respective display timestamp data of the images, and determining a latency drift metric based on the plurality of latency measurements.
Dans un ou plusieurs modes de réalisation, les métadonnées peuvent comprendre des informations de rythme d’affichage de l’image.In one or more embodiments, the metadata may include image display timing information.
Dans un ou plusieurs modes de réalisation, les données d’horodatage peuvent comprendre des données au format texte.In one or more embodiments, the timestamp data may include data in text format.
Dans un ou plusieurs modes de réalisation, les données d’horodatage peuvent comprendre un code-barres, par exemple un code à réponse rapide.In one or more embodiments, the timestamp data may include a barcode, such as a quick response code.
Dans un ou plusieurs modes de réalisation, les données d’horodatage peuvent représenter une date du démultiplexage du flux vidéo.In one or more embodiments, the timestamp data may represent a date of the demultiplexing of the video stream.
Selon un autre aspect, un dispositif de traitement de flux vidéo est proposé, qui comprend : un processeur et une mémoire couplée de manière opérationnelle au processeur, dans lequel le processeur est configuré pour la mise en œuvre d’un mode de réalisation du procédé proposé selon le premier aspect.According to another aspect, a video stream processing device is proposed, which comprises: a processor and a memory operatively coupled to the processor, in which the processor is configured for the implementation of an embodiment of the proposed method according to the first aspect.
Selon un autre aspect, un dispositif de traitement de flux vidéo est proposé, qui comprend un dispositif de capture vidéo, comprenant un processeur et une mémoire couplée de manière opérationnelle au processeur, dans lequel le processeur est configuré pour la mise en œuvre d’un mode de réalisation du procédé proposé selon le deuxième aspect.According to another aspect, a video stream processing device is provided, which comprises a video capture device, comprising a processor and a memory operatively coupled to the processor, in which the processor is configured for the implementation of a embodiment of the method proposed according to the second aspect.
Selon un autre aspect, un programme d’ordinateur, chargeable dans une mémoire associée à un processeur, et comprenant des portions de code pour la mise en œuvre d’un ou de plusieurs modes de réalisation d’un procédé proposé lors de l’exécution dudit programme par le processeur, est proposé.According to another aspect, a computer program, loadable into a memory associated with a processor, and comprising portions of code for the implementation of one or more embodiments of a proposed method during the execution of said program by the processor, is proposed.
Un autre aspect concerne un ensemble de données représentant, par exemple par voie de compression ou d’encodage, un programme d’ordinateur tel que proposé.Another aspect relates to a set of data representing, for example by way of compression or encoding, a computer program as proposed.
Selon un autre aspect, un support de stockage non-transitoire d’un programme exécutable par ordinateur est proposé, qui comprend un ensemble de données représentant un ou plusieurs programmes, lesdits un ou plusieurs programmes comprenant des instructions pour, lors de l’exécution desdits un ou plusieurs programmes par un ordinateur comprenant une unité de traitement couplée de manière opérationnelle à des moyens mémoire et à un module d’interface entrées/sorties, conduire l’ordinateur à mettre en œuvre un ou plusieurs modes de réalisation d’un procédé proposé.According to another aspect, a non-transitory storage medium of a computer-executable program is provided, which comprises a set of data representing one or more programs, said one or more programs comprising instructions for, when executing said one or more programs by a computer comprising a processing unit operatively coupled to memory means and an input/output interface module, causing the computer to implement one or more embodiments of a proposed method .
Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre de tout ou partie d’un procédé tel que proposé dans les présentes lorsque ce programme est exécuté par un processeur.According to another aspect, there is provided a computer program comprising instructions for the implementation of all or part of a method as proposed herein when this program is executed by a processor.
Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.In another aspect, there is provided a non-transitory, computer-readable recording medium on which such a program is recorded.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description ci-après d'exemples de réalisation non limitatifs, en référence aux dessins annexés, dans lesquels :Other characteristics, details and advantages will appear on reading the following description of non-limiting embodiments, with reference to the appended drawings, in which:
Fig. 1Fig. 1
Fig. 2Fig. 2
Fig. 3Fig. 3
Fig. 4aFig. 4a
Fig. 4bFig. 4b
En fonction du mode de réalisation choisi, certains actes, actions, évènements ou fonctions de chacune des méthodes décrites dans le présent document peuvent être effectués ou se produire selon un ordre différent de celui dans lequel ils ont été décrits, ou peuvent être ajoutés, fusionnés ou bien ne pas être effectués ou ne pas se produire, selon le cas. En outre, dans certains modes de réalisation, certains actes, actions ou évènements sont effectués ou se produisent concurremment et non pas successivement.Depending on the chosen embodiment, certain acts, actions, events or functions of each of the methods described in this document may be performed or occur in a different order from that in which they were described, or may be added, merged or else not be effected or not occur, as the case may be. Further, in some embodiments, certain acts, actions or events are performed or occur concurrently and not sequentially.
Bien que décrits à travers un certain nombre d’exemples de réalisation détaillés, le procédé de pilotage proposé et le dispositif pour la mise en œuvre d’un mode de réalisation du procédé comprennent différentes variantes, modifications et perfectionnements qui apparaîtront de façon évidente à l’homme de l’art, étant entendu que ces différentes variantes, modifications et perfectionnements font partie de la portée de la présente divulgation. De plus, différents aspects et caractéristiques décrits ci-dessus peuvent être mis en œuvre ensemble, ou séparément, ou bien substitués les uns aux autres, et l’ensemble des différentes combinaisons et sous-combinaisons des aspects et caractéristiques font partie de la portée de la présente divulgation. En outre, il se peut que certains systèmes et équipements décrits ci-dessus n’incorporent pas la totalité des modules et fonctions décrits pour les modes de réalisation préférés.Although described through a certain number of detailed exemplary embodiments, the proposed piloting method and the device for the implementation of an embodiment of the method include various variants, modifications and improvements which will become evident in skilled in the art, it being understood that these various variations, modifications and improvements are within the scope of the present disclosure. Additionally, various aspects and features described above may be implemented together, or separately, or substituted for each other, and all of the various combinations and sub-combinations of the aspects and features are within the scope of this disclosure. Additionally, some systems and equipment described above may not incorporate all of the modules and functions described for the preferred embodiments.
Claims (15)
démultiplexer le flux vidéo pour générer un flux vidéo élémentaire et des métadonnées relatives au flux vidéo ;
générer des données de sous-titrage d’une image du flux vidéo élémentaire sur la base des métadonnées ;
insérer des données d’horodatage de l’image dans les données de sous-titrage ; et
multiplexer le flux vidéo élémentaire et les données de sous-titrage pour générer un flux vidéo enrichi.Method for processing a video stream comprising a sequence of images, implemented by a video stream management unit, and comprising:
demultiplexing the video stream to generate an elementary video stream and metadata relating to the video stream;
generating subtitle data of an image of the elementary video stream based on the metadata;
inserting timestamp data of the image into the subtitle data; And
multiplexing the elementary video stream and the captioning data to generate an enriched video stream.
effectuer une capture vidéo de données de sous-titrage d’une image du flux vidéo affichées sur l’écran d’affichage d’un lecteur vidéo du système de traitement vidéo lors de la lecture par le lecteur vidéo du flux vidéo en affichant sur l’écran d’affichage l’image et les données de sous-titrage de l’image, les données de sous-titrage comprenant des données d’horodatage de l’image du flux vidéo ;
déterminer des données d’horodatage d’affichage de l’image et les données d’horodatage de l’image à partir des données de sous-titrage capturées sur l’écran d’affichage ; et
déterminer une mesure de latence sur la base des données d’horodatage de l’image et des données d’horodatage d’affichage de l’image.A method of processing a video stream comprising a sequence of images, said method implemented by a video stream processing device in a video stream processing system, the video stream processing device comprising a video sensor, and including:
video capturing closed captioning data of an image of the video stream displayed on the display screen of a video player of the video processing system when the video player plays the video stream by displaying on the the screen for displaying the image and the subtitling data of the image, the subtitling data comprising timestamp data of the image of the video stream;
determining image display timestamp data and image timestamp data from the caption data captured on the display screen; And
determining a latency metric based on the image timestamp data and the image display timestamp data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2106792A FR3124674B1 (en) | 2021-06-24 | 2021-06-24 | METHOD FOR PROCESSING VIDEO STREAMS AND EQUIPMENT FOR IMPLEMENTING THE METHOD |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2106792 | 2021-06-24 | ||
| FR2106792A FR3124674B1 (en) | 2021-06-24 | 2021-06-24 | METHOD FOR PROCESSING VIDEO STREAMS AND EQUIPMENT FOR IMPLEMENTING THE METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3124674A1 true FR3124674A1 (en) | 2022-12-30 |
| FR3124674B1 FR3124674B1 (en) | 2024-04-26 |
Family
ID=78649342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2106792A Active FR3124674B1 (en) | 2021-06-24 | 2021-06-24 | METHOD FOR PROCESSING VIDEO STREAMS AND EQUIPMENT FOR IMPLEMENTING THE METHOD |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3124674B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160142768A1 (en) * | 1999-09-20 | 2016-05-19 | Tivo Inc. | Closed caption tagging system |
| US20200403893A1 (en) * | 2019-06-24 | 2020-12-24 | Topica Holding Pte. Ltd | Method to determine a propagation delay of a multimedia stream of a video conference communication system |
-
2021
- 2021-06-24 FR FR2106792A patent/FR3124674B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160142768A1 (en) * | 1999-09-20 | 2016-05-19 | Tivo Inc. | Closed caption tagging system |
| US20200403893A1 (en) * | 2019-06-24 | 2020-12-24 | Topica Holding Pte. Ltd | Method to determine a propagation delay of a multimedia stream of a video conference communication system |
Non-Patent Citations (1)
| Title |
|---|
| OMER BOYACI ET AL: "Demonstration of vDelay: A Tool to Measure Capture-to-Display Latency and Frame Rate", MULTIMEDIA, 2009. ISM '09. 11TH IEEE INTERNATIONAL SYMPOSIUM ON, IEEE, PISCATAWAY, NJ, USA, 14 December 2009 (2009-12-14), pages 444 - 445, XP031590481, ISBN: 978-1-4244-5231-6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3124674B1 (en) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10720188B2 (en) | Systems and methods of thumbnail generation | |
| US10841667B2 (en) | Producing video data | |
| KR101987503B1 (en) | Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system | |
| US20130247098A1 (en) | Video distribution system, video distribution apparatus, video distribution method and medium | |
| RU2009120317A (en) | METHOD FOR CODING MOVING IMAGES, DEVICE FOR CODING MOVING IMAGES, METHOD OF PLAYING MOVING IMAGES, DEVICE OF PLAYING HERBAL PERFORMANCE | |
| CN108702478B (en) | File generation device, file generation method, reproduction device, and reproduction method | |
| JP6239472B2 (en) | Encoding device, decoding device, streaming system, and streaming method | |
| US9883216B2 (en) | Method and apparatus for carrying transport stream | |
| CN108702534B (en) | File generation device, file generation method, reproduction device, and reproduction method | |
| CN112218128B (en) | Advertisement video playing method, playing client and readable storage medium | |
| US11729439B2 (en) | Methods and systems configured to manage video transcoder latencies | |
| JP2010226630A (en) | Image processing apparatus having comment processing function, and method of processing comments of the same | |
| EP3449634B1 (en) | Method for the contextual composition of an intermediate video representation | |
| US20040105030A1 (en) | Information processing system, information processing apparatus, information processing method, program storage medium, and program | |
| CN111193936A (en) | Video streaming transmission method and device, electronic equipment and computer readable storage medium | |
| CN110072123B (en) | Video recovery playing method, video playing terminal and server | |
| CN117201845A (en) | Live program head-cast and replay content consistency monitoring method based on frame comparison | |
| FR3124674A1 (en) | VIDEO FLOW PROCESSING METHOD AND EQUIPMENT FOR IMPLEMENTING THE METHOD | |
| KR101372639B1 (en) | Method and apparatus for commercial detecting | |
| Li et al. | Light weight content fingerprinting for video playback verification in mpeg dash | |
| TW591952B (en) | Intelligent video stream processing method and system thereof | |
| US11297365B2 (en) | Adaptive bitrate video testing from screen recording | |
| EP2870773B1 (en) | Data recording device and method relating to a time shifting function on a recording medium | |
| JP2011049895A (en) | Device, method and program for converting media quality | |
| TWI447718B (en) | Method and apparatus for generating thumbnails |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20221230 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |