WO2020012139A2 - Procede de visualisation d'elements graphiques issus d'un flux video composite encode - Google Patents

Procede de visualisation d'elements graphiques issus d'un flux video composite encode Download PDF

Info

Publication number
WO2020012139A2
WO2020012139A2 PCT/FR2019/051761 FR2019051761W WO2020012139A2 WO 2020012139 A2 WO2020012139 A2 WO 2020012139A2 FR 2019051761 W FR2019051761 W FR 2019051761W WO 2020012139 A2 WO2020012139 A2 WO 2020012139A2
Authority
WO
WIPO (PCT)
Prior art keywords
images
composite
channel
video stream
image
Prior art date
Application number
PCT/FR2019/051761
Other languages
English (en)
Other versions
WO2020012139A3 (fr
Inventor
Florent THIERY
Anthony VIOLO
Original Assignee
Ubicast
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubicast filed Critical Ubicast
Priority to EP19758432.9A priority Critical patent/EP3821611A2/fr
Publication of WO2020012139A2 publication Critical patent/WO2020012139A2/fr
Publication of WO2020012139A3 publication Critical patent/WO2020012139A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Definitions

  • the invention relates to the field of methods and device for viewing graphic elements from an encoded composite video stream.
  • the invention relates to a method for viewing graphic elements from an encoded composite video stream.
  • the purpose of the first decoded composite stream is to present a control interface to a user.
  • the purpose of the second decoded stream is to present the user with a video stream selected from the composite video streams.
  • the selected video stream is selected by the user from the control interface.
  • the disadvantage of this method is that it requires a step of duplicating the first encoded composite video stream and two distinct steps of decoding an encoded video stream to decode each of the encoded composite video streams.
  • the first part of the image includes a relative image from one of the video streams.
  • a second part of the image can be generated from another of the video streams.
  • the additional image part can be a thumbnail resulting from a processing carried out on a captured image, said captured image coming from another part of the current image, relative to the other of the video streams.
  • this method has the disadvantage of being greedy in memory and in computation time, because it requires carrying out a capture, that is to say an image generation, from each of the video streams necessary for the generation of different thumbnails, as well as scaling of the generated image.
  • the publication plans to repeat the generation of thumbnails at a relatively low frequency.
  • An object of the invention is in particular to remedy all or part of the aforementioned drawbacks.
  • An idea which is the basis of the invention is to entrust the generation of any part of the image, whether it is a thumbnail or more generally an image coming from an encoded composite video stream, to a graphics card (GPU, for English graphies processing unit), which has the effect of speeding up calculations.
  • GPU for English graphies processing unit
  • a method for viewing graphic elements originating from an encoded composite video stream constituted by a succession of composite images.
  • Each of the composite images IC t is formed from a juxtaposition of elementary image IEy.
  • juxtaposition the present description designates both two images arranged side by side as two possibly spaced images.
  • the encoded composite video stream for example complies with the H264 standard.
  • the composite video stream is associated with a data structure, which describes:
  • the drawing parameters can include details of position, size, depth, opacity.
  • the drawing parameters can be objects in JSON data format (for the JavaScript Object Notation).
  • the process includes:
  • a decoding step initiated by a web browser, of the composite video stream encoded for recording in a memory of a graphics card in the form of a textured object corresponding to said original composite images
  • a step of constructing a final rendering image by processing by said graphics card comprising a construction of an array of pixels as a function of said set of drawing parameters, of the pixels of said elementary images of said coordinates of each of said elementary images and of said personalization parameters, display the succession of final rendering images in a user interface of the interactive video player type.
  • a graphics card allows the generation of thumbnails to be repeated at a frequency equal to that of the main image displayed.
  • a graphics processor generally has a highly parallel structure which makes it efficient for a wide range of graphics tasks such as 3D rendering, Direct3D, OpenGL, video memory management, video signal processing, Mpeg decompression, etc.
  • the method may not include an additional step of capturing images within the meaning of patent application WO2013150250. Also, the processing time and the memory space used increases less rapidly with the number of elementary images.
  • texture object this description relates in particular to an object, within the meaning of the WebGL application programming interface, which contains an image.
  • the final rendering image is an object of type Framebuffer.
  • the personalization parameters can be modified during a selection made by a computer mouse on a part of the user interface, or even via a script, or by means of a pointer on the elementary image.
  • a device for viewing graphic elements originating from an encoded composite video stream consisting of a succession of composite images, each of said composite images being formed of a juxtaposition of elementary images, said composite video stream being associated with a data structure describing:
  • the device comprises:
  • a means configured to decode said composite video stream and save it, in a memory of a graphics card, in the form of a texture object corresponding to said original composite images,
  • a means of constructing a final rendering image by processing by said graphics card consisting in constructing an array of pixels as a function of said set of drawing parameters, the pixels of said elementary images of said coordinates of each of said elementary images and of said parameters customization,
  • a graphic display system comprising:
  • coded composite video stream containing a plurality of channels, comprising at least a first channel and a second channel;
  • a graphics processing unit and a memory coupled to the graphics processing unit, the memory storing instructions which, during execution, cause the graphics processing unit to:
  • o creates, for the plurality of times given, a sequence of composite images based on, for a first composite image of the sequence of composite images, an arrangement of the first channel and an arrangement of the second channel; and o displays the sequence of composite images, the sequence of composite images comprising a first part where the first channel is displayed and a second part where the second channel is displayed, and in which the first part and the second part are adjustable.
  • the graphics processing unit and memory can be included on a graphics card, and the graphics processing unit can be further configured to:
  • the composite image sequence can be created using first channel and second channel images stored in the memory of the graphics card.
  • the composite image sequence can be created according to a first set of drawing parameters corresponding to the first channel and a second set of drawing parameters corresponding to the second channel.
  • Storing the first channel and second channel images may include storing the first channel and second channel images as a single texture object, the texture object possibly being associated with the composite video stream.
  • the composite image sequence can be displayed on an output device configured to receive input to adjust the composite image sequence.
  • the instructions during execution, can control the graphics processing unit to create a second sequence of composite video stream, in which the composite video stream of second sequence is a set of thumbnails corresponding to the first channel or to the second channel.
  • a user interface of the output device may include user-adjustable personalization parameters, and in response to the adjustment of user-adjustable personalization parameters, the first part and the second part of the composite image sequence may be adjusted accordingly.
  • the first part and the second part can overlap.
  • a computer program product downloadable from a communication network and / or stored on a medium readable by computer and / or executable by a microprocessor, and loadable in an internal memory a calculation unit, comprising program code instructions which, when executed by the calculation unit, implement the steps of the method according to the first aspect of the invention, or one or more of his improvements.
  • FIG. 1 schematically shows an embodiment implementing a method according to the invention.
  • variants of the invention comprising only a selection of characteristics described, subsequently isolated from the other characteristics described, if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art.
  • This selection includes at least one characteristic, preferably functional, without structural details, or with only part of the structural details if this part only is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art. .
  • FIG. 1 An embodiment of a system 1 implementing a method according to an embodiment of the invention is illustrated in FIG. 1.
  • a device 100 according to the invention and more generally a graphic display system according to the invention are simultaneously described.
  • the system 1 comprises 4 separate video channels respectively referenced 10, 11, 12 and 13.
  • each of the channels produces an elementary image, respectively referenced IE t, i , IE t, 2 , IE l 3 , IE l 2 .
  • a composite image IC t is formed by a juxtaposition of elementary images.
  • a sequence of composite images forms a composite video stream Fv.
  • This composite video stream is encoded during an Eenc encoding step to generate an Fvc encoded composite video stream.
  • the composite video stream Fvc can be received by a device 100 in accordance with an embodiment of a device according to the invention, for viewing graphic elements originating from a composite video stream.
  • the composite video stream Fvc is associated with a data structure Dstruct, which describes: at least one coordinate of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 with respect to a constant reference in the composite image, at least one set of drawing parameters of each of said elementary images IE t, i , IE, 2, IE 3 , IE 14 with respect to a constant reference in a composition zone to be displayed on a screen.
  • a data structure Dstruct describes: at least one coordinate of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 with respect to a constant reference in the composite image, at least one set of drawing parameters of each of said elementary images IE t, i , IE, 2, IE 3 , IE 14 with respect to a constant reference in a composition zone to be displayed on a screen.
  • the drawing parameters include details of position, size, depth, opacity.
  • the drawing parameters are objects in JSON data format (for the JavaScript Object Notation).
  • the device 100 includes:
  • a means 102 configured to decode the composite video stream Eve and record it, in a memory 204 of a GPU graphics card, in the form of a texture object TCt corresponding to said original composite images ICt,
  • - construction means 106 to a final rendered image IRt configured to implement a processing by the GPU graphics card of constructing an array of pixels according to said set of design parameters, the pixels of said elementary images IE. i, IE. 2, IE. 3, IE. 4 of the coordinates of each of said elementary images IE t, i , IE l 2 , IE l 3 , IE l4 and personalization parameters,
  • the means 102 can be produced in the form of a microprocessor.
  • the texture object is a texture type object within the meaning of the WebGL application programming interface.
  • the means 104 may be a microprocessor configured to occasionally acquire personalization parameters, such as selections of image parts to be displayed.
  • the means 106 can be implemented in the form of a microprocessor configured to give instructions to the GPU graphics card.
  • the three means 102, 104 and 106 can be produced in the form of a single processor.
  • the display means 108 may be a video player displayed by a web browser.
  • the processing implemented by the GPU graphics card on the instruction of the means 106 can be, in the case of the implementation of the WebGL application programming interface, that performed by the glDrawElements instruction.
  • This instruction implements buffers which do not contain pixels, but vertices or colors.
  • each of the images comprising a main part and a strip part
  • the main part comprising an image relating to one of the streams of the composite video stream
  • the strip part comprising images from each of the other streams in the composite video stream
  • the image refresh rate of the main part and of each of the images of the strip part being the same, for example of 30 images per second.
  • the composite video stream to be displayed in the main part image can be selected, for example, by clicking on another image of the banner part.
  • the main part image can include several of the streams in the composite video stream.
  • an image of at least one stream displayed in the main image may be partially obscured by an image of another stream displayed in the main image.
  • the graphics display system can be implemented on the one hand by the video streams described above and on the other hand by the GPU graphics card and the memory 204.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Procédé pour la visualisation d'éléments graphiques issus d'un flux vidéo composite encodé (Fvc), chacune desdites images composites (ICt) étant formée d'une juxtaposition d'image élémentaires (IEt, i), comportant : une étape de décodage, initiée par un navigateur web, pour l'enregistrement dans une mémoire d'une carte graphique (GPU) sous la forme d'un objet de texture (TCt) correspondant auxdites images composites (ICt) originelles, une étape de construction d'une image de rendu finale (IRt) par un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction d'un ensemble de paramètres de dessin, des pixels desdites images élémentaires (IEt, i), de coordonnées de chacune desdites images élémentaires (IEt, i), une étape d'affichage de la succession d'images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.

Description

PROCEDE DE VISUALISATION D’ELEMENTS GRAPHIQUES ISSUS D’UN FLUX
VIDEO COMPOSITE ENCODE
Domaine technique
L’invention se situe dans le domaine des procédé et dispositif visualisation d’éléments graphiques issus d’un flux vidéo composite encodé.
L’invention concerne un procédé de visualisation d’éléments graphiques issus d’un flux vidéo composite encodé.
État de la technique antérieure
On connaît des procédé et dispositif de visualisation d’éléments graphiques issus d’un flux vidéo composite encodé.
Il est connu de la publication US2010/0235857 un tel procédé, comportant une étape de démultiplexage d’un flux vidéo composite multiplexé pour générer un premier flux vidéo composite encodé, une étape de duplication du premier flux vidéo composite encodé pour générer un deuxième flux vidéo composite encodé, et un décodage de chacun des deux flux vidéo composite encodé.
Le premier flux composite décodé a pour objet de présenter une interface de contrôle à un utilisateur.
Le deuxième flux décodé a pour objet de présenter à l’utilisateur un flux vidéo sélectionné parmi les flux vidéo composites. Le flux vidéo sélectionné est sélectionné par l’utilisateur à partir de l’interface de contrôle.
Ce procédé a pour inconvénient de nécessiter une étape de duplication du premier flux vidéo composite encodé et deux étapes distinctes de décodages de flux vidéo encodé pour décoder chacun des flux vidéo composite encodé.
Il est connu de la publication W02013150250 un autre procédé de visualisation d’éléments graphiques. Selon cette publication, il est proposé d’afficher à un instant donné, dans un seul lecteur vidéo, par exemple de type Flash, une image comportant au moins deux parties d’images.
Une première partie de l’image comporte une image relative issue de l’un des flux vidéo.
Une deuxième partie de l’image, appelée partie d’image supplémentaire dans la publication, peut être générée à partir d’un autre des flux vidéo.
Par exemple, la partie d’image supplémentaire peut être une vignette résultant d’un traitement effectué sur une image capturée, ladite image capturée provenant d’une autre partie de l’image courante, relative à l’autre des flux vidéo. Avec ce procédé, il est possible d’afficher une image d’un flux vidéo dans une zone principale du lecteur vidéo ainsi que plusieurs vignettes, chacune étant générée à partir du traitement exposé, dans une zone particulière du lecteur vidéo.
On comprend que ce procédé a pour inconvénient d’être gourmand en mémoire et en temps de calcul, car il nécessite d’effectuer une capture, c’est à dire une génération d’image, à partir de chacun des flux vidéo nécessaires à la génération des différentes vignettes, ainsi qu’une mise à l’échelle de l’image générée.
Pour réduire le temps de calcul nécessaire à l’étape de mise à l’échelle du procédé, la publication prévoir de réitérer la génération des miniatures à une fréquence relativement basse.
Ce fonctionnement n’est pas totalement satisfaisant, car il génère une augmentation de la mémoire proportionnelle au nombre de flux vidéo dont une représentation est utilisée dans une vignette.
Exposé de l’invention
Un but de l’invention est notamment de remédier à tout ou partie des inconvénients précités.
Une idée qui est à la base de l’invention est de confier la génération de toute partie d’image, qu’elle soit une vignette ou plus généralement une image provenant d’un flux vidéo composite encodé, à une carte graphique (GPU, pour l’anglais graphies processing unit), ce qui a pour effet d’accélérer les calculs.
Aussi, selon un premier aspect de l’invention, il est proposé un procédé pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé constitué par une succession d’images composites.
Chacune des images composites ICt est formée d’une juxtaposition d’image élémentaire IEy. Par juxtaposition, la présente description désigne aussi bien deux images disposées côte à côte que deux images éventuellement espacées.
Le flux vidéo composite encodé est par exemple conforme à la norme H264.
Le flux vidéo composite est associé à une structure de données, qui décrit :
au moins une coordonnée de chacune desdites images élémentaires, par rapport à une référence constante dans l’image composite,
au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires par rapport à une référence, de préférence constante, dans une zone de composition à afficher sur un écran.
Les paramètres de dessins peuvent comporter des précisions de position, taille, profondeur, opacité. Les paramètres de dessins peuvent être des objets au format de données JSON (pour l’anglais JavaScript Object Notation).
Le procédé comporte :
- une étape de décodage, initiée par un navigateur web, du flux vidéo composite encodé pour l’enregistrement dans une mémoire d’une carte graphique sous la forme d’un objet texture correspondant auxdites images composites originelles,
- une étape d’acquisition occasionnelle de paramètres de personnalisation,
- une étape de construction d’une image de rendu finale par un traitement par ladite carte graphique comportant une construction d’un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires desdites coordonnées de chacune desdites images élémentaires et desdits paramètres de personnalisation, afficher la succession d’images de rendu finale dans une interface utilisateur de type lecteur vidéo interactif.
Avec l’enregistrement dans une mémoire d’une carte graphique (GPU, pour l’anglais graphies processing unit), qui accélère les calculs, sous la forme d’un objet texture correspondant auxdites images composites originelles, les traitements mis en œuvre par le procédé sont beaucoup plus rapides que ceux selon l’art antérieur qui confiait les calculs à une unité centrale de traitement (CPU, pour l’anglais central processing unit).
En outre, l’utilisation d’une carte graphique permet de réitérer la génération des miniatures à une fréquence égale à celle de l’image principale affichée.
Un processeur graphique a généralement une structure hautement parallèle qui le rend efficace pour une large palette de tâches graphiques comme le rendu 3D, en Direct3D, en OpenGL, la gestion de la mémoire vidéo, le traitement du signal vidéo, la décompression Mpeg, etc.
Avantageusement, le procédé peut ne pas comporter d’étape supplémentaire de capture d’images au sens de la demande de brevet WO2013150250. Aussi, le temps de traitement et l’espace mémoire utilisé augmente moins rapidement avec le nombre d’images élémentaire.
Par objet texture, la présente description vise en particulier un objet, au sens de l’interface de programmation applicative WebGL, qui contient une image.
L’image de rendu finale est, au sens de l’interface de programmation applicative WebGL, un objet de type Framebuffer.
Les paramètres de personnalisation peuvent être modifiés lors d’une sélection effectuée par une souris informatique sur une partie de l’interface utilisateur, ou encore via un script, ou au moyen d’un pointeur sur l’image élémentaire. Selon un autre aspect de l’invention, il est proposé un dispositif pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé constitué par une succession d’images composites, chacune desdites images composites étant formée d’une juxtaposition d’images élémentaires, ledit flux vidéo composite étant associé à une structure de données décrivant :
au moins une coordonnée de chacune desdites images élémentaires par rapport à une référence constante dans l’image composite,
au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires par rapport à une référence constante dans une zone de composition à afficher sur un écran,
Selon l’invention, le dispositif comporte :
- un moyen configuré pour décoder ledit flux vidéo composite et l’enregistrer, dans une mémoire d’une carte graphique, sous la forme d’un objet de texture correspondant auxdites images composites originelles,
- un moyen d’acquisition occasionnelle de paramètres de personnalisation,
- un moyen de construction d’une image de rendu finale par un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires desdites coordonnées de chacune desdites images élémentaires et desdits paramètres de personnalisation,
- un moyen d’affichage de la succession d’images de rendu finale dans une interface utilisateur de type lecteur vidéo interactif.
Selon encore un autre aspect de l’invention, il est proposé un système d'affichage graphique comprenant:
- un flux vidéo composite codé contenant une pluralité de canaux, comprenant au moins un premier canal et un second canal;
- une unité de traitement graphique et une mémoire couplée à l'unité de traitement graphique, la mémoire stockant des instructions qui, lors de l'exécution, font que l'unité de traitement graphique:
o obtient l’image issue du flux vidéo composite décodé contenant le premier canal et le deuxième canal à plusieurs instants donnés ;
o crée, pour la pluralité d'instants donnés, une séquence d'images composites basée sur, pour une première image composite de la séquence d'images composites, un agencement du premier canal et un agencement du deuxième canal; et o affiche la séquence d'images composites, la séquence d'images composites comprenant une première partie où le premier canal est affiché et une deuxième partie où le deuxième canal est affiché, et dans laquelle la première partie et la deuxième partie sont réglables.
L'unité de traitement graphique et la mémoire peuvent être incluses sur une carte graphique, et l'unité de traitement graphique peut être en outre configurée pour:
stocker l’image issue du flux vidéo composite décodé contenant ![l]des images du premier canal et du second canal dans la mémoire;
- obtenir des paramètres de personnalisation, et
- créer la séquence d'images composites en fonction des paramètres de personnalisation.
La séquence d'images composites peut être créée en utilisant des images du premier canal et du second canal stockées dans la mémoire de la carte graphique. La séquence d'images composites peut être créée selon un premier ensemble de paramètres de dessin correspondant au premier canal et un second ensemble de paramètres de dessin correspondant au second canal. Le stockage des images du premier canal et du second canal peut comprendre le stockage des images du premier canal et du second canal en tant qu'objet de texture unique, l'objet de texture pouvant être associé au flux vidéo composite.
La séquence d'images composites peut être affichée sur un dispositif de sortie configuré pour recevoir une entrée afin d'ajuster la séquence d'images composites. Les instructions, lors de l'exécution, peuvent commander l'unité de traitement graphique pour créer une deuxième séquence de flux vidéo composite, dans lequel le flux vidéo composite de deuxième séquence est un ensemble de vignettes correspondant au premier canal ou au deuxième canal. Une interface utilisateur du dispositif de sortie peut comprendre des paramètres de personnalisation ajustables par l'utilisateur, et en réponse au réglage des paramètres de personnalisation ajustables par l'utilisateur, la première partie et la seconde partie de la séquence d'images composites peuvent être ajustées en conséquence.
La première partie et la deuxième partie peuvent se chevaucher.
Selon encore un autre aspect de l’invention, il est proposé un produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, comportant des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes du procédé selon le premier aspect de l’invention, ou l’un ou plusieurs de ses perfectionnements.
Description des figures D’ autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels :
- la figure 1 représente schématiquement un mode de réalisation mettant en œuvre un procédé selon l’invention.
Description de modes de réalisation
Les modes de réalisation décrits ci-après n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure.
Un mode de réalisation d’un système 1 mettant en œuvre un procédé selon un mode de réalisation de l’invention est illustré sur la figure 1. Un dispositif 100 selon l’invention et plus généralement un système d’affichage graphique selon l’invention sont simultanément décrits.
Le système 1 comporte 4 canaux vidéo distincts respectivement référencés 10, 11 ,12 et 13.
À un instant donné t, chacun des canaux produit une image élémentaire, respectivement référencée IEt, i , IEt, 2, IEl 3, IEl 2.
A un instant donné t, une image composite ICt est formée d’une juxtaposition d’images élémentaires.
Une séquence d’images composites forme un flux vidéo composite Fv.
Ce flux vidéo composite est encodé au cours d’une étape d’encodage Eenc pour générer un flux vidéo composite encodé Fvc.
Le flux vidéo composite Fvc peut être reçu par un dispositif 100 conforme à un mode de réalisation d’un dispositif selon l’invention, pour la visualisation d’éléments graphiques issus d’un flux vidéo composite.
Le flux vidéo composite Fvc est associé à une structure de données Dstruct, qui décrit : au moins une coordonnée de chacune desdites images élémentaires IEt, i , IEl 2, IEl 3, IEl4 par rapport à une référence constante dans l’image composite, au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires IEt, i, I E, 2 , IE 3, IEl4 par rapport à une référence constante dans une zone de composition à afficher sur un écran.
Les paramètres de dessins comportent des précisions de position, taille, profondeur, opacité.
Les paramètres de dessins sont être des objets au format de données JSON (pour l’anglais JavaScript Object Notation).
Le dispositif 100 comporte :
- un moyen 102 configuré pour décoder le flux vidéo composite Eve et l’enregistrer, dans une mémoire 204 d’une carte graphique GPU, sous la forme d’un objet de texture TCt correspondant auxdites images composites ICt originelles,
- un moyen 104 d’acquisition occasionnelle de paramètres de personnalisation,
- un moyen de construction 106 d’une image de rendu finale IRt configuré pour mettre en œuvre un traitement par la carte graphique GPU consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires IE,. i , IE,. 2, IE,. 3, IE,. 4 des coordonnées de chacune desdites images élémentaires IEt, i, IEl 2, IEl 3, IEl4 et des paramètres de personnalisation,
- un moyen d’affichage 108 de la succession d’images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.
Le moyen 102 peut être réalisé sous forme de microprocesseur. L’objet texture est un objet de type texture au sens de l’interface de programmation applicative WebGL.
Le moyen 104 peut être un microprocesseur configuré pour acquérir occasionnellement des paramètres de personnalisation, tels que des sélections de parties d’image à afficher.
Le moyen 106 peut être réalisé sous forme de microprocesseur configuré pour donner des instructions à la carte graphique GPU.
Bien entendu, les trois moyens 102, 104 et 106 peuvent être réalisés sous la forme d’un unique processeur.
Le moyen d’affichage 108 peut être un lecteur vidéo affiché par un navigateur web.
Le traitement mis en œuvre par la carte graphique GPU sur instruction du moyen 106 peut être, dans le cas de la mise en œuvre de l’interface de programmation applicative WebGL, celui réalisé par l’instruction glDrawElements. Cette instruction met en œuvre des buffers qui ne contiennent pas de pixels, mais des sommets ou des couleurs.
Aussi, il est possible d’afficher une succession d’images, chacune des images comportant une partie principale et une partie de bandeau, la partie principale comportant une image relative à un des flux du flux vidéo composite, la partie de bandeau comportant des images provenant chacune des autres flux du flux vidéo composite, le taux de rafraîchissement de l’image de la partie principale et de chacune des images de la partie de bandeau étant le même, par exemple de 30 images par secondes.
Le flux vidéo composite à afficher dans l’image de la partie principale peut être sélectionné au moyen, par exemple, d’un clic, sur une autre image de la partie de bandeau.
L’image de la partie principale peut comprendre plusieurs des flux du flux vidéo composite.
Lorsque l’image de la partie principale comporte plusieurs des flux du flux vidéo composite, une image d’au moins un flux affiché dans l’image principale peut être partiellement occultée par une image d’un autre flux affiché dans l’image principale.
Le système d’affichage graphique peut être implémenté d’une part par les flux vidéos précédemment décrits et d’autre part par la carte graphique GPU et la mémoire 204.
Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.

Claims

Revendications
1. Procédé pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé (Fvc) constitué par une succession d’images composites, chacune desdites images composites (ICt) étant formée d’une juxtaposition d’images élémentaires (IEt i), ledit flux vidéo composite étant associé à une structure de données décrivant :
au moins une coordonnée de chacune desdites images élémentaires (IEt, i) par rapport à une référence constante dans l’image composite,
au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires f I E, ;) par rapport à une référence constante dans une zone de composition à afficher sur un écran
ledit procédé comportant :
- une étape de décodage, initiée par un navigateur web, dudit flux vidéo composite encodé pour l’enregistrement dans une mémoire d’une carte graphique (GPU) sous la forme d’un objet de texture (TCt) correspondant auxdites images composites (ICt) originelles,
- une étape d’acquisition occasionnelle de paramètres de personnalisation,
- une étape de construction d’une image de rendu finale (IRt) par un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires (IEt i) desdites coordonnées de chacune desdites images élémentaires f I E, ;) et desdits paramètres de personnalisation,
- une étape d’affichage de la succession d’images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.
2. Procédé selon la revendication précédente, ne comportant pas d’étape supplémentaire de capture d’image élémentaire (IEt i).
3. Dispositif (100) pour la visualisation d’éléments graphiques issus d’un flux vidéo composite encodé (Fvc) constitué par une succession d’images composites, chacune desdites images composites (ICt) étant formée d’une juxtaposition d’images élémentaires (IEt, i) , ledit flux vidéo composite étant associé à une stmcture de données décrivant : au moins une coordonnée de chacune desdites images élémentaires (IEt,i) par rapport à une référence constante dans l’image composite, au moins un ensemble de paramètres de dessin de chacune desdites images élémentaires f I E, ;) par rapport à une référence constante dans une zone de composition à afficher sur un écran
ledit dispositif comportant :
- un moyen (102) configuré pour décoder ledit flux vidéo composite et l’enregistrer, dans une mémoire d’une carte graphique (GPU), sous la forme d’un objet de texture (TCt) correspondant auxdites images composites (ICt) originelles,
- un moyen (104) d’acquisition occasionnelle de paramètres de personnalisation,
- un moyen de construction (106) d’une image de rendu finale (IRt) configuré pour mettre en œuvre un traitement par ladite carte graphique consistant à construire un tableau de pixels en fonction dudit ensemble de paramètres de dessin, des pixels desdites images élémentaires (IEt i) desdites coordonnées de chacune desdites images élémentaires (IEu) et desdits paramètres de personnalisation,
- un moyen d’affichage (108) de la succession d’images de rendu finale (IRt) dans une interface utilisateur de type lecteur vidéo interactif.
4. Système (100) d'affichage graphique comprenant:
(a) un flux vidéo composite codé contenant une pluralité de canaux, comprenant au moins un premier canal et un second canal;
(b) une unité de traitement graphique (GPU) et une mémoire (204) couplée à l'unité de traitement graphique, la mémoire stockant des instructions qui, lors de l'exécution, font que l'unité de traitement graphique:
a. obtient l’image issue du flux vidéo composite décodé contenant le premier canal et le deuxième canal à plusieurs instants donnés ;
b. crée, pour la pluralité d'instants donnés, une séquence d'images composites basée sur, pour une première image composite de la séquence d'images composites, un agencement du premier canal et un agencement du deuxième canal; et c. affiche la séquence d'images composites, la séquence d'images composites comprenant une première partie où le premier canal est affiché et une deuxième partie où le deuxième canal est affiché, et dans laquelle la première partie et la deuxième partie sont réglables .
5. Système d’affichage graphique selon la revendication 4, dans lequel l'unité de traitement graphique et la mémoire sont incluses sur une carte graphique, l'unité de traitement graphique étant en outre configurée pour: a. stocker l’image issue du flux vidéo composite décodé contenant des images du premier canal et du second canal dans la mémoire;
b. obtenir des paramètres de personnalisation, et
c. créer la séquence d'images composites en fonction des paramètres de personnalisation .
6. Système d’affichage graphique selon la revendication 5, dans lequel la séquence d'images composites est créée en utilisant des images du premier canal et du second canal stockées dans la mémoire de la carte graphique.
7. Système d’affichage graphique selon la revendication 5, dans lequel la séquence d'images composites est créée selon un premier ensemble de paramètres de dessin correspondant au premier canal et un second ensemble de paramètres de dessin correspondant au second canal.
8. Système d’affichage graphique selon la revendication 5, dans lequel le stockage des images du premier canal et du second canal comprend le stockage des images du premier canal et du second canal en tant qu'objet de texture unique, l'objet de texture étant associé au flux vidéo composite.
9. Système d’affichage graphique selon la revendication 4, dans lequel la séquence d'images composites est affichée sur un dispositif de sortie configuré pour recevoir une entrée afin d'ajuster la séquence d'images composites.
10. Système d’affichage graphique selon la revendication précédente, dans lequel les instructions, lors de l'exécution, commandent l'unité de traitement graphique pour créer une deuxième séquence de flux vidéo composite, dans lequel le flux vidéo composite de deuxième séquence est un ensemble de vignettes correspondant au premier canal ou au deuxième canal.
11. Système d’affichage graphique selon la revendication 9, dans lequel une interface utilisateur du dispositif de sortie comprend des paramètres de personnalisation ajustables par l'utilisateur, et en réponse au réglage des paramètres de personnalisation ajustables par l'utilisateur, la première partie et la seconde partie de la séquence d'images composites sont ajustées en conséquence.
12. Système d’affichage graphique selon l’une quelconque des revendications 4 à 11 , dans lequel dans lequel la première partie et la deuxième partie se chevauchent.
13. Produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, caractérisé en ce qu’il comporte des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes d’un procédé selon l’une quelconque des revendications précédentes de procédé de visualisation.
PCT/FR2019/051761 2018-07-12 2019-07-12 Procede de visualisation d'elements graphiques issus d'un flux video composite encode WO2020012139A2 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19758432.9A EP3821611A2 (fr) 2018-07-12 2019-07-12 Procede de visualisation d'elements graphiques issus d'un flux video composite encode

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1856410A FR3083950B1 (fr) 2018-07-12 2018-07-12 Procede de visualisation d’elements graphiques issus d’un flux video composite encode
FR1856410 2018-07-12

Publications (2)

Publication Number Publication Date
WO2020012139A2 true WO2020012139A2 (fr) 2020-01-16
WO2020012139A3 WO2020012139A3 (fr) 2020-03-12

Family

ID=65031416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/051761 WO2020012139A2 (fr) 2018-07-12 2019-07-12 Procede de visualisation d'elements graphiques issus d'un flux video composite encode

Country Status (4)

Country Link
US (1) US20200020068A1 (fr)
EP (1) EP3821611A2 (fr)
FR (1) FR3083950B1 (fr)
WO (1) WO2020012139A2 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11689749B1 (en) * 2021-11-22 2023-06-27 Hopin Ltd Centralized streaming video composition
US11381628B1 (en) * 2021-12-22 2022-07-05 Hopin Ltd Browser-based video production

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235857A1 (en) 2007-06-12 2010-09-16 In Extenso Holdings Inc. Distributed synchronized video viewing and editing
WO2013150250A1 (fr) 2012-04-05 2013-10-10 Current Productions Navigation video multi-sources

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012809A (ko) * 2002-06-18 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩 방법과 대응 인코딩 및 디코딩 장치들
US9300705B2 (en) * 2011-05-11 2016-03-29 Blue Jeans Network Methods and systems for interfacing heterogeneous endpoints and web-based media sources in a video conference
US9154813B2 (en) * 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US20150262404A1 (en) * 2014-03-13 2015-09-17 Huawei Technologies Co., Ltd. Screen Content And Mixed Content Coding
KR102218908B1 (ko) * 2014-05-07 2021-02-23 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 서비스 처리 방법
US10412130B2 (en) * 2016-04-04 2019-09-10 Hanwha Techwin Co., Ltd. Method and apparatus for playing media stream on web browser

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235857A1 (en) 2007-06-12 2010-09-16 In Extenso Holdings Inc. Distributed synchronized video viewing and editing
WO2013150250A1 (fr) 2012-04-05 2013-10-10 Current Productions Navigation video multi-sources

Also Published As

Publication number Publication date
FR3083950B1 (fr) 2021-04-30
WO2020012139A3 (fr) 2020-03-12
EP3821611A2 (fr) 2021-05-19
FR3083950A1 (fr) 2020-01-17
US20200020068A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
Zhou et al. Image restoration for under-display camera
JP7289796B2 (ja) ３次元（「３ｄ」）シーンの２次元（「２ｄ」）キャプチャ画像に基づいて仮想現実コンテンツをレンダリングするための方法およびシステム
US20210029336A1 (en) Processing images captured by a camera behind a display
EP1527599B1 (fr) Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
EP3821611A2 (fr) Procede de visualisation d'elements graphiques issus d'un flux video composite encode
EP1292921B1 (fr) Raffinement d'un maillage triangulaire en trois dimensions
US10580143B2 (en) High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models
CN106796734A (zh) 针对数据可视化的性能优化
Zhou et al. Review of light field technologies
CN111340921B (zh) 染色方法、装置和计算机***及介质
FR2996034A1 (fr) Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
EP1963970A2 (fr) Procede pour fournir des donnees a un moyen de traitement numerique
US20130148179A1 (en) Holographic display
CN113012031A (zh) 图像处理方法和图像处理装置
FR2950182A1 (fr) Procede de traitement d'image
US10930017B1 (en) Image compression optimization
Söchting et al. Lexcube: Interactive visualization of large earth system data cubes
EP2987319A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
FR2887347A1 (fr) Procede et dispositif de construction d'une carte de profondeur d'une image numerique
WO2012000847A2 (fr) Procede d'estimation de diffusion de la lumiere
FR2948800A1 (fr) Procede d'estimation de diffusion de la lumiere
US11043035B2 (en) Methods and systems for simulating image capture in an extended reality system
KR20130016080A (ko) 이미지 처리 장치에서 이미지를 합성하는 장치 및 방법
Gutiérrez et al. Computational photography
FR3112633A1 (fr) Vieillissement du visage contrôlable à haute résolution avec des GAN conditionnels à sensibilité spatiale

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19758432

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE