EP2380350A1 - Video encoding system and method - Google Patents
Video encoding system and methodInfo
- Publication number
- EP2380350A1 EP2380350A1 EP09768199A EP09768199A EP2380350A1 EP 2380350 A1 EP2380350 A1 EP 2380350A1 EP 09768199 A EP09768199 A EP 09768199A EP 09768199 A EP09768199 A EP 09768199A EP 2380350 A1 EP2380350 A1 EP 2380350A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- module
- current image
- macroblocks
- coding
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Definitions
- the encoding performed by the server is an encoding of the spatiotemporal type such as H264.
- the H264 standard is a video coding standard de- jointly developed by VCEG (Video Coding Experts Group) and MPEG (Moving Pictures Experts Group). This standard makes it possible to encode video streams with a bit rate less than two times less than that obtained by the MPEG2 standard for the same quality.
- a spatio-temporal encoding fully encodes only part of the images to be transmitted in order to reconstitute a video.
- the H264 standard contains the types of images known and defined in the MPEG2 standard, namely:
- a motion compensation module receiving motion vectors and providing at least one predicted zone, said coding system being characterized in that said data receiving module further receives a real motion vector of at least one displaced zone said current image, said coding system comprising: means for allocating said real motion vector to the macroblocks belonging to said displaced zone;
- macroblock denotes a rectangular elementary region of the image having a size between 4x4 and 16x16 pixels (via 8x16, 8x8, ).
- Each macroblock itself consists of luminance blocks and chrominance blocks.
- Motion estimation in the context of a spatiotemporal coding is an operation which requires a very important computing power.
- the system according to the invention makes it possible to overcome a part of this estimate by advantageously using the provision of an already existing motion vector. Thanks to the invention, the provision of the motion vector relative to a zone (typically a rectangle within a frame or "frame" in English) having been displaced makes it possible not to calculate the motion vectors for the macroblocks that are in such a moved area.
- the real motion vector is directly injected on the input of the compensation module.
- the system comprises means for transmitting only the macroblocks not belonging to said displaced zone to said motion vector estimation module; a subtracter for effecting the difference between the pixels of the current image and the predicted zone and providing a residual error corresponding to this difference; a frequency transform module applying a frequency transform on each macroblock processed by said estimation module as well as on said residual error; a module for quantizing data from said frequency transform module;
- an entropic coder for coding data from said quantization module.
- said video coding is a spatio-temporal coding H264 - the screen of said server is displayed by said client terminal on a screen according to a RFB protocol "Remote Frame Buffer" such as the VNC protocol "Virtual Network Computing", said real movement vector of said displaced zone is determined in the following cases: horizontal or vertical scrolling of said displaced zone with a browser-type application; o moving a graphical window of the operating system of said server; o transition from one transparency to another transparency in the case of a slide show; o Flash type animation.
- said client terminal is a video decoder;
- said current image as well as said real motion vector are initially coded in an RGB format and then undergo a transformation in a YUV format.
- a motion estimation module 105 also hereinafter referred to as a motion vector estimation module
- the reception module 101 receives as input a predictive image F n .
- F n is the current image of the entire server screen.
- the invention relates only to the coding of the predictive images, the intra-predictive coding of the images I continuing to be done according to known techniques. Thus, to make the diagram clearer, the means necessary for intra-predictive coding have been deliberately omitted.
- the reception module 101 also receives as input information on the zones having undergone a displacement (also called zone displaced in the remainder of the description) in the image F n .
- the displaced zone is a rectangular zone generally represented by a quadruplet (x, y, I, h): x and y represent respectively the abscissa and the ordinate of the point at the top left of the zone, I represents the width of the rectangle and h is the height of said rectangle.
- this real vector can be obtained by the server via the programming interfaces of its graphical environment, also called API (Application Programming Interface) for graphical user interface (GUI "Graphical User Interface") of the software application running on the server and used by the client terminal or operating system (or “operating system” in English) of the server, Windows TM for example.
- API Application Programming Interface
- GUI graphical user interface
- This real motion vector is known to the software application since the latter is at the initiative of the displacement of the area following an event (typically an event generated by a click or mouse movement or typing) of the user final via the client terminal.
- an event typically an event generated by a click or mouse movement or typing
- the size of the rectangle can also be obtained by functions of the "Windows" type. innerHeight "and” Windows. innerWidth ".
- the server can obtain values characterizing the real movement vector of the zone moved by the user via the client terminal.
- the motion vector m (mx, my) ⁇ coded in RGB format is also transformed into YUV12 format.
- the input data processing module 102 comprises:
- each current image F n to be encoded is divided by means 103 into macroblocks corresponding to a rectangular elementary region of the image having a variable size between 4x4 and 16x16 pixels (via 8x16, 8x8, ).
- the means 104 knowing the displaced areas of the image F n as well as their real motion vectors make it possible to attribute to the macroblocks belonging to a displaced zone the same real motion vector. Therefore, the means 1 19 will guide only the macroblocks not affected by a zone moved to the motion estimation module 105, the actual motion vectors of the other macroblocks being transmitted directly to the motion compensation module 106 via the means 118.
- the function of the motion estimation module 105 is to retrieve a macroblock of the current image F n in at least one previous image F n- i of the server screen in its entirety (it could also be a posterior image in the case of an image B and even a plurality of images before and / or after).
- a motion vector which corresponds to the difference between the position of the selected region and that of the selected region. macroblock.
- the motion vectors that have been retained by the estimation module (in addition to the real motion vectors transmitted by the means 1 18) are transmitted to the motion compensation module 106. This gives a prediction error due to the fact that the region retained in the past image is not exactly equal to the macroblock analyzed.
- a predicted picture P is obtained.
- Subtractor 109 then calculates a residual error D n between the pixels of F n and the predicted picture P.
- a frequency transform (of discrete cosine transform type DCT "Discrete Cosine Transform” or Hadamard transform) is applied via the frequency transform module 1 12 on each macroblock that has undergone motion estimation, as well as on the residual error D n .
- This transform makes it possible to have a frequency representation of the modified zones.
- the data from the frequency transform module 1 12 are then quantized (ie coded on a limited number of bits) by the quantization module 1 13 to provide transformed and quantized parameters X.
- the function of the quantization module 1 13 is to define different quantification steps depending on whether certain components will be judged or not significant visually; these quantization steps are defined in a quantization step table.
- the module 1 14 of inverse quantizing retrieves the processed and quantized parameters X which then pass through the module 115 of inverse frequency transform that operates an inverse frequency transform to recover a quantized version D 'n of the residual error D n; this quantized version D ' n is then added to the macroblocks of the predicted zone P by the adder 1 10; the image at the output of the adder 1 10 is then processed by the deblocking filter to provide a reconstructed image F ' n corresponding to a set of reconstructed zones having the same position, the same width and the same height as the modified areas.
- F ' n is used internally by the decoder 100 to estimate the quality of the encoding.
- the quantized results X from the quantization module 1 13 are then reordered by the reordering module 108 to group together the non-zero coefficients so as to allow an efficient representation of the other coefficients having a zero value.
- the data then undergoes a final phase of entropy coding compression via the entropy coder 120.
- the function of the encodes encoder is to re-encode the data differently in order to reduce the number of bits necessary for their encoding by approaching as close as possible to the minimum of theoretical bits (which is fixed by entropy).
- the entropy encoder 120 constructs an output stream ⁇ in a Network Abstraction Layer (NAL) format defined to allow the use of the same video syntax in many network environments.
- NAL Network Abstraction Layer
- the invention is not limited to the embodiment just described.
- the invention has been more particularly described in the context of the H264 coding but it applies to any type of spatiotemporal coding: this is for example the case of MPEG2 coding or VC1 coding. (SMPTE video compression standard "Society of Motion Picture and Television Engineers").
- motion vector has been described as a two-dimensional vector but it is also possible to use a three-dimensional motion vector, for example in the case of a graphical interface such as Aero TM which is the graphical interface of Windows Vista TM for displaying 3D effects.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
The invention relates to a video encoding system and method, and can be used in the field of data video broadcasting from a server to a client terminal. The video encoding system (100) for encoding consecutive images of a video sequence comprises an input data reception module (101) for receiving the current image (Fn) to be encoded, means (103) for dividing the current image (Fn) into macroblocks, and a module (105) for estimating movement vectors and a movement compensation module (106). The data reception module (101) further receives a real movement vector of at least one moved area of the current image (Fn), the encoding system (100) including means (104) for allocating said real movement vector to macroblocks belonging to said moved area and means (118) for transmitting the real movement vector directly to said compensation module (106) without any estimation of the movement vectors by the estimation module (105) for the macroblocks that belong to the moved area.
Description
Système et procédé de codage vidéo Video coding system and method
Domaine technique de l'inventionTechnical field of the invention
La présente invention concerne un système de codage vidéo. Elle a également pour objet un procédé de codage vidéo. L'invention s'applique au domaine de la diffusion de données vidéo par un serveur vers un terminal client. Le serveur, généralement un ordinateur, est relié au terminal client, par exemple un décodeur vidéo, par un réseau, par exemple sous forme HDMI (« High Définition Multimedia Interface » en anglais), WIFI ou ether- net. L'écran de l'ordinateur peut alors être affiché par le terminal client sur un écran de télévision selon un protocole de type « Remote Frame Buffer », par exemple VNC (« Virtual Network Computing » en anglais). Arrière-plan technologique de l'inventionThe present invention relates to a video coding system. It also relates to a video coding method. The invention applies to the field of video data broadcasting by a server to a client terminal. The server, usually a computer, is connected to the client terminal, for example a video decoder, by a network, for example in the form of HDMI ("High Definition Multimedia Interface" in English), WIFI or Ethernet. The computer screen can then be displayed by the client terminal on a television screen according to a "Remote Frame Buffer" type protocol, for example VNC ("Virtual Network Computing"). Technological background of the invention
Dans une telle architecture, le serveur encode, c'est-à-dire compresse, ce qu'il diffuse avant de l'envoyer au terminal client. Si le serveur avait à afficher sur un écran qui lui est propre les images qu'il diffuse, il ne lui serait pas nécessaire de les compresser. Pour compresser, le serveur effectue une capture de son propre affichage, l'encode et l'envoie via le réseau au terminal client. Chaque image à afficher est stocké dans une mémoire tampon dite « framebuffer » du serveur et est généralement codée en format RGB (« Red Green Blue » en anglais) qui constitue la manière la plus directe de coder les images, les trois plans correspondant aux trois couleurs élémentaires rouge, vert et bleu. L'image est ensuite généralement transformée dans un format YUV (ou luminance - chrominance). Le premier plan, appelé plan de luminance (Y) représente l'intensité lumineuse des pixels. Les deux plans suivants correspondent à la chrominance (U, V) et portent l'information de couleur. Il existe essentiellement deux formats YUV :In such an architecture, the server encodes, that is to say compresses, what it broadcasts before sending it to the client terminal. If the server had to display on a screen of its own the images it broadcasts, it would not be necessary to compress them. To compress, the server captures its own display, encodes it and sends it over the network to the client terminal. Each image to be displayed is stored in a so-called "framebuffer" buffer of the server and is generally coded in RGB ("Red Green Blue") format which is the most direct way of coding the images, the three planes corresponding to the three elemental colors red, green and blue. The image is then generally transformed into a YUV (or luminance - chrominance) format. The first plane, called the luminance plane (Y) represents the luminous intensity of the pixels. The next two planes correspond to the chrominance (U, V) and carry the color information. There are essentially two YUV formats:
- le format 4 :2 :0 (dit également YUV12) pour lequel les deux plans de chrominance contiennent chacun un échantillon pour quatre pixels,the 4: 2: 0 format (also called YUV12) for which the two chrominance planes each contain a sample for four pixels,
- le format 4 :4 :4 pour lequel les trois plans ont la même taille (i.e. il y a un échantillon de chrominance par pixel). L'encodage effectué par le serveur est un encodage du type spatiotemporel tel que H264. La norme H264 est une norme de codage vidéo dé-
veloppée conjointement par le VCEG (« Vidéo Coding Experts Group ») et le MPEG (« Moving Pictures Experts Group »). Cette norme permet d'encoder des flux vidéo avec un débit inférieur à deux fois moins que celui obtenu par la norme MPEG2 pour la même qualité. Un encodage spatio-temporel n'encode intégralement qu'une partie des images à transmettre afin de reconstituer une vidéo. On retrouve dans la norme H264 les types d'image connus et définis dans la norme MPEG2, à savoir :- the 4: 4: 4 format for which the three planes are the same size (ie there is one chrominance sample per pixel). The encoding performed by the server is an encoding of the spatiotemporal type such as H264. The H264 standard is a video coding standard de- jointly developed by VCEG (Video Coding Experts Group) and MPEG (Moving Pictures Experts Group). This standard makes it possible to encode video streams with a bit rate less than two times less than that obtained by the MPEG2 standard for the same quality. A spatio-temporal encoding fully encodes only part of the images to be transmitted in order to reconstitute a video. The H264 standard contains the types of images known and defined in the MPEG2 standard, namely:
- les images I (Intra) dont le codage ne dépend d'aucune autre image,the images I (Intra) whose coding does not depend on any other image,
- les images P (Prédictives) dont le codage dépend d'images reçues précédemment,the P (Predictive) images whose coding depends on images received previously,
- les images B (Bi-prédictives) qui dépendent d'images reçues précédemment et/ou postérieurement.- B (Bi-predictive) images that depend on images received previously and / or later.
Toutefois, la mise en œuvre d'une telle solution d'encodage pose un certain nombre de difficultés lorsqu'il s'agit de déporter en temps réel l'affichage du serveur sur le terminal client.However, the implementation of such an encoding solution poses a number of difficulties when it comes to deport in real time the display of the server on the client terminal.
Ainsi, un tel mode de codage est très coûteux en temps et en moyens de calculs. Pour économiser de la bande passante, les données doivent être compressées le plus possible. Cette compression importante impose une grande complexité dans l'encodage. Ainsi, le serveur doit non seulement effectuer une compression d'image mais doit effectuer de nombreux calculs pour déterminer les adresses et les données à encoder. Cette surconsommation d'énergie rend délicate la mise en œuvre d'autres applications fonctionnant sur le même serveur.Thus, such a coding mode is very expensive in terms of time and calculation means. To save bandwidth, the data must be compressed as much as possible. This important compression imposes a great complexity in the encoding. Thus, the server must not only perform image compression but must perform many calculations to determine the addresses and data to be encoded. This overconsumption of energy makes it difficult to implement other applications running on the same server.
Description générale de l'invention Dans ce contexte, la présente invention vise à fournir un système de codage vidéo spatio-temporel permettant de réduire l'effort d'encodage en vue d'une utilisation suivant un protocole client serveur en temps réel tout en laissant suffisamment de ressources sur le serveur en charge de l'encodage pour faire tourner d'autres applications. A cette fin, l'invention propose un système de codage vidéo pour le codage d'images successives d'une séquence vidéo, le codage d'au moins une image courante étant opéré relativement à au moins une image précé-
dente et/ou postérieure de ladite séquence vidéo, ledit système de codage comportant :In this context, the present invention aims at providing a spatio-temporal video coding system that makes it possible to reduce the encoding effort with a view to using a server client protocol in real time while allowing enough resources on the server in charge of encoding to run other applications. To this end, the invention proposes a video coding system for encoding successive images of a video sequence, the coding of at least one current image being performed relative to at least one preceding image. dente and / or posterior of said video sequence, said coding system comprising:
- un module de réception de données d'entrées pour la réception de ladite image courante à coder, - des moyens pour diviser ladite image courante en macroblocs,an input data reception module for receiving said current image to be coded; means for dividing said current image into macroblocks;
- un module d'estimation de vecteurs de mouvement en fonction des macroblocs de ladite image courante et de ladite au moins une image précédente et/ou postérieure,a module for estimating motion vectors as a function of the macroblocks of said current image and of said at least one previous and / or subsequent image,
- un module de compensation de mouvement recevant des vecteurs de mouvement et fournissant au moins une zone prédite, ledit système de codage étant caractérisé en ce que ledit module de réception de données reçoit en outre un vecteur de mouvement réel d'au moins une zone déplacée de ladite image courante, ledit système de codage comportant : - des moyens pour attribuer ledit vecteur de mouvement réel aux macroblocs appartenant à ladite zone déplacée ;a motion compensation module receiving motion vectors and providing at least one predicted zone, said coding system being characterized in that said data receiving module further receives a real motion vector of at least one displaced zone said current image, said coding system comprising: means for allocating said real motion vector to the macroblocks belonging to said displaced zone;
- des moyens pour transmettre ledit vecteur de mouvement réel directement au dit module de compensation sans estimation des vecteurs de mouvements par ledit module d'estimation pour lesdits macroblocs appartenant à ladite zone déplacée.means for transmitting said real motion vector directly to said compensation module without estimation of motion vectors by said estimation module for said macroblocks belonging to said displaced zone.
On désigne par le terme macrobloc, une région élémentaire rectangulaire de l'image ayant une taille comprise entre 4x4 et 16x16 pixels (en passant par 8x16, 8x8,...). Chaque macrobloc est lui-même constitué de blocs de luminance et de blocs de chrominance. L'estimation de mouvement dans le cadre d'un codage spatiotemporel est une opération qui nécessite une puissance de calcul très importante. Le système selon l'invention permet de s'affranchir d'une partie de cette estimation en utilisant avantageusement la fourniture d'un vecteur de mouvement déjà existant. Grâce à l'invention, la fourniture du vecteur de mouvement relatif à une zone (typiquement un rectangle à l'intérieur d'une image ou « frame » en anglais) ayant subi un déplacement permet de ne pas calculer les vecteurs de mouvement pour les macroblocs qui se trouvent dans une telle
zone déplacée. Le vecteur de mouvement réel est directement injecté sur l'entrée du module de compensation.The term macroblock denotes a rectangular elementary region of the image having a size between 4x4 and 16x16 pixels (via 8x16, 8x8, ...). Each macroblock itself consists of luminance blocks and chrominance blocks. Motion estimation in the context of a spatiotemporal coding is an operation which requires a very important computing power. The system according to the invention makes it possible to overcome a part of this estimate by advantageously using the provision of an already existing motion vector. Thanks to the invention, the provision of the motion vector relative to a zone (typically a rectangle within a frame or "frame" in English) having been displaced makes it possible not to calculate the motion vectors for the macroblocks that are in such a moved area. The real motion vector is directly injected on the input of the compensation module.
Ainsi, l'effort d'encodage est notablement réduit par rapport à un encodage spatio-temporel classique. Le système de codage trouve une application particulièrement intéressante dans le cas où l'initiation du déplacement de la zone est réalisée au niveau d'un terminal client relié à un serveur via un protocole VNC, le rendu du déplacement étant affiché sur l'écran du terminal. Le codage par le système selon l'invention est effectué au niveau du serveur et le vecteur réel de la zone déplacée est fourni par une interface de programmation de l'environnement graphique du serveur.Thus, the encoding effort is significantly reduced compared to a conventional spatio-temporal encoding. The coding system finds a particularly interesting application in the case where the initiation of the movement of the zone is performed at a client terminal connected to a server via a VNC protocol, the rendering of the displacement being displayed on the screen of the terminal. The coding by the system according to the invention is performed at the server and the actual vector of the moved area is provided by a programming interface of the graphical environment of the server.
Outre l'effort d'encodage réduit, on notera que, grâce à l'invention, le rendu sera meilleur puisqu'on travaille, au moins en partie, avec des vecteurs de mouvement réels et non estimés. Typiquement, on peut obtenir un tel vecteur de mouvement réel pour une zone subissant un déplacement dans le cadre d'application telle que :In addition to the reduced encoding effort, it will be noted that, thanks to the invention, the rendering will be better since we are working, at least in part, with real motion vectors and not estimated. Typically, such a real motion vector can be obtained for an area undergoing a displacement in the application frame such that:
- un défilement (ou « scrolling » en anglais) horizontal ou vertical de la zone déplacée avec une application du type navigateur ;scrolling (or "scrolling" in English) horizontally or vertically in the zone moved with a browser-type application;
- déplacement d'une fenêtre graphique du système d'exploitation du serveur ;- moving a graphical window of the operating system of the server;
- transition d'un transparent à un autre transparent dans le cas d'un diaporama (« slideshow » en anglais);- transition from one transparency to another transparency in the case of a slide show ("slideshow" in English);
- animation du type flash ou silverlight.- flash or silverlight animation.
Le système selon l'invention peut également présenter une ou plu- sieurs des caractéristiques ci-dessous, considérées individuellement ou selon toutes les combinaisons techniquement possibles :The system according to the invention may also have one or more of the following characteristics, considered individually or in any technically possible combination:
- le système selon l'invention comporte des moyens pour transmettre uniquement les macroblocs n'appartenant pas à ladite zone déplacée vers ledit module d'estimation de vecteurs de mouvement; - un soustracteur pour effectuer la différence entre les pixels de l'image courante et la zone prédite et fournissant une erreur résiduelle correspondant à cette différence ;
- un module de transformée fréquentielle appliquant une transformée fréquentielle sur chaque macrobloc traité par ledit module d'estimation ainsi que sur ladite erreur résiduelle ; un module de quantification des données issues dudit module de transformée fréquentielle ;the system according to the invention comprises means for transmitting only the macroblocks not belonging to said displaced zone to said motion vector estimation module; a subtracter for effecting the difference between the pixels of the current image and the predicted zone and providing a residual error corresponding to this difference; a frequency transform module applying a frequency transform on each macroblock processed by said estimation module as well as on said residual error; a module for quantizing data from said frequency transform module;
- un codeur entropique pour le codage des données issues dudit module de quantification.an entropic coder for coding data from said quantization module.
La présente invention a également pour objet un procédé de codage vidéo pour le codage d'images successives d'une séquence vidéo, le co- dage d'au moins une image courante étant opéré relativement à au moins une image précédente et/ou postérieure de ladite séquence vidéo, ledit procédé comportant les étapes suivantes :The present invention also relates to a video coding method for the coding of successive images of a video sequence, the coding of at least one current image being performed relative to at least one previous image and / or posterior of said video sequence, said method comprising the following steps:
- réception de ladite image courante à coder et d'un vecteur de mouvement réel d'au moins une zone déplacée de ladite image courante, - division de ladite image courante en macroblocs,receiving said current image to be encoded and a real motion vector of at least one zone displaced from said current image, dividing said current image into macroblocks,
- attribution dudit vecteur de mouvement réel aux macroblocs appartenant à ladite zone déplacée,assigning said real motion vector to the macroblocks belonging to said displaced zone,
- estimation de vecteurs de mouvement en fonction des macroblocs de ladite image courante et de ladite au moins une image précédente et/ou postérieure, ladite estimation se faisant uniquement à partir des macroblocs n'appartenant pas à ladite zone déplacée, ladite image courante à coder étant transmise d'un serveur vers un terminal client, le codage étant effectué au niveau du serveur et ledit vecteur réel d'au moins une zone déplacée de ladite image courante étant fourni par une interface de programmation de l'environnement graphique dudit serveur.estimation of motion vectors as a function of the macroblocks of said current image and of said at least one previous and / or subsequent image, said estimation being made only from the macroblocks not belonging to said displaced zone, said current image to be encoded being transmitted from a server to a client terminal, the coding being performed at the server and said actual vector of at least one zone moved from said current image being provided by a programming interface of the graphical environment of said server.
Le procédé selon l'invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, considérées individuellement ou selon toutes les combinaisons techniquement possibles :The method according to the invention may also have one or more of the following characteristics, considered individually or in any technically possible combination:
- ledit codage vidéo est un codage spatio-temporel H264 - l'écran dudit serveur est affiché par ledit terminal client sur un écran selon un protocole RFB « Remote Frame Buffer » tel que le protocole VNC « Virtual Network Computing »,
- ledit vecteur de mouvement réel de ladite zone déplacée est déterminé dans les cas suivants : o défilement horizontal ou vertical de ladite zone déplacée avec une application du type navigateur ; o déplacement d'une fenêtre graphique du système d'exploitation dudit serveur ; o transition d'un transparent à un autre transparent dans le cas d'un diaporama ; o animation du type flash. - ledit terminal client est un décodeur vidéo ;said video coding is a spatio-temporal coding H264 - the screen of said server is displayed by said client terminal on a screen according to a RFB protocol "Remote Frame Buffer" such as the VNC protocol "Virtual Network Computing", said real movement vector of said displaced zone is determined in the following cases: horizontal or vertical scrolling of said displaced zone with a browser-type application; o moving a graphical window of the operating system of said server; o transition from one transparency to another transparency in the case of a slide show; o Flash type animation. said client terminal is a video decoder;
- ladite image courante ainsi que ledit vecteur de mouvement réel sont initialement codées dans un format RGB puis subissent une transformation dans un format YUV.said current image as well as said real motion vector are initially coded in an RGB format and then undergo a transformation in a YUV format.
- ledit vecteur de mouvement réel est un vecteur à deux ou trois di- mensions.said real motion vector is a vector with two or three dimensions.
Brève description des figuresBrief description of the figures
D'autres caractéristiques et avantages de l'invention ressortiront clairement de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence à la figure 1 annexée qui est une représenta- tion schématique simplifiée d'un système de codage selon l'invention pour la mise en œuvre du procédé de codage selon l'invention.Other characteristics and advantages of the invention will emerge clearly from the description which is given below, by way of indication and in no way limiting, with reference to the appended FIG. 1 which is a simplified schematic representation of a system of coding according to the invention for the implementation of the coding method according to the invention.
Description des formes de réalisation préférées de l'invention La figure 1 représente un système de codage 100 selon l'invention. Le système de codage 100 comporte : - un module 101 de réception de données d'entrées,DESCRIPTION OF THE PREFERRED EMBODIMENTS OF THE INVENTION FIG. 1 represents a coding system 100 according to the invention. The coding system 100 comprises: a module 101 for receiving input data,
- un module 102 de traitement des données d'entrées,a module 102 for processing the input data,
- un module 105 d'estimation de mouvement (également appelé par la suite module d'estimation de vecteurs de mouvement),a motion estimation module 105 (also hereinafter referred to as a motion vector estimation module),
- un module 106 de compensation de mouvement, - un soustracteur 109 et un additionneur 1 10,a motion compensation module 106, a subtractor 109 and an adder 1 10,
- un module de transformée fréquentielle 1 12 et un module de transformée fréquentielle inverse 1 15,
- un module de quantification 113 et un module de quantification inverse 1 14,a frequency transform module 1 12 and an inverse frequency transform module 1 15, a quantization module 113 and an inverse quantization module 1 14,
- un filtre 1 16,a filter 1 16,
- une mémoire tampon 1 1 1 , - un module de reordonnancement 108,a buffer 1 1 1, a reordering module 108,
- un codeur entropique 120.an entropic coder 120.
L'invention s'applique au domaine de la diffusion de données vidéo par un serveur vers un terminal client. Le serveur, généralement un ordinateur, est relié au terminal client, par exemple un décodeur vidéo, par un ré- seau, par exemple sous forme HDMI (« High Définition Multimedia Interface » en anglais), WIFI ou ethernet. L'écran de l'ordinateur peut alors être affiché par le terminal client sur un écran de télévision selon un protocole de type « Remote Frame Buffer », par exemple VNC (« Virtual Network Computing » en anglais). Le serveur encode ce qu'il diffuse avant de l'envoyer au terminal client. L'encodage effectué par le serveur est un encodage du type spatio-temporel tel que H264 : c'est donc le serveur qui intègre le système de codage 100 selon l'invention.The invention applies to the field of video data broadcasting by a server to a client terminal. The server, generally a computer, is connected to the client terminal, for example a video decoder, via a network, for example in the form of HDMI ("High Definition Multimedia Interface"), WIFI or ethernet. The computer screen can then be displayed by the client terminal on a television screen according to a "Remote Frame Buffer" type protocol, for example VNC ("Virtual Network Computing"). The server encodes what it broadcasts before sending it to the client terminal. The encoding performed by the server is an encoding of the spatio-temporal type such as H264: it is therefore the server that integrates the encoding system 100 according to the invention.
Le module de réception 101 reçoit en entrée une image prédictive Fn. Fn correspond à l'image courante de l'écran du serveur dans sa totalité. On notera que l'invention concerne uniquement le codage des images prédictives, le codage intra-prédictif des images I continuant à se faire selon des techniques connus. Ainsi, pour rendre le schéma plus clair, les moyens nécessaires au codage intra-prédictif ont été volontairement omis.The reception module 101 receives as input a predictive image F n . F n is the current image of the entire server screen. It should be noted that the invention relates only to the coding of the predictive images, the intra-predictive coding of the images I continuing to be done according to known techniques. Thus, to make the diagram clearer, the means necessary for intra-predictive coding have been deliberately omitted.
L'image Fn se présente généralement dans un format YUV12 après avoir subi une transformation RGB - YUV.The image F n is generally in a YUV12 format after undergoing a RGB - YUV transformation.
Le module de réception 101 reçoit également en entrée des informations sur les zones ayant subi un déplacement (dites aussi zone déplacées dans la suite de la description) dans l'image Fn. La zone déplacée est une zone rectangulaire généralement représentée par un quadruplet (x, y, I, h) : x et y représentent respectivement l'abscisse et l'ordonnée du point en haut à gauche de la zone, I représente la largeur du rectangle et h est la hauteur dudit rectangle. L'information reçue par le serveur concernant chaque zone déplacée est constituée par le vecteur de mouvement réel m = (mx, my)τ de
cette zone déplacée, mx et my étant les composantes horizontale et verticale du vecteur de mouvement réel et T désignant l'opérateur transposition. Typiquement, ce vecteur réel peut être obtenues par le serveur via les interfaces de programmation de son environnement graphique, dites aussi API (Application Programming Interface) pour interface utilisateur graphique (ou GUI « Graphical User Interface ») de l'application logicielle fonctionnant sur le serveur et utilisée par le terminal client ou du système d'exploitation (ou « operating System » en anglais) du serveur, Windows™ par exemple.The reception module 101 also receives as input information on the zones having undergone a displacement (also called zone displaced in the remainder of the description) in the image F n . The displaced zone is a rectangular zone generally represented by a quadruplet (x, y, I, h): x and y represent respectively the abscissa and the ordinate of the point at the top left of the zone, I represents the width of the rectangle and h is the height of said rectangle. The information received by the server concerning each zone moved is constituted by the real motion vector m = (mx, my) τ of this zone displaced, mx and my being the horizontal and vertical components of the real motion vector and T designating the transposition operator. Typically, this real vector can be obtained by the server via the programming interfaces of its graphical environment, also called API (Application Programming Interface) for graphical user interface (GUI "Graphical User Interface") of the software application running on the server and used by the client terminal or operating system (or "operating system" in English) of the server, Windows ™ for example.
Ce vecteur de mouvement réel est connu de l'application logicielle puisque cette dernière est a l'initiative du déplacement de la zone suite a un événement (typiquement un événement engendré par un clic ou un mouvement souris ou une frappe clavier) de l'utilisateur final via le terminal client.This real motion vector is known to the software application since the latter is at the initiative of the displacement of the area following an event (typically an event generated by a click or mouse movement or typing) of the user final via the client terminal.
Cependant afin d'avoir l'échelle de ce vecteur pour le calculer en nombre de pixels, il peut s'avérer nécessaire d'accéder aux API des couches logicielles plus basses. C'est donc préférablement dans la couche du système d'exploitation (Windows™) que le système 100 s'appuiera pour récupérer le vecteur réel afin d'implémenter cet accélérateur logiciel d'encodage, indépendamment des applications qui en bénéficieront. A titre d'exemple, on peut ainsi faire appel à une fonction JavaScript du type win- dows.scrollby(x-coord, y-coord) de DOM Windows qui sera appelée lors de l'enclenchement sur le terminal client d'une touche «flèche vers la bas » : la fonction peut fournir le module du vecteur de mouvement : m = «^(rnx2 + my2 , la direction du vecteur étant verticale vers le bas.However in order to have the scale of this vector to calculate it in number of pixels, it may be necessary to access the APIs of the lower software layers. It is therefore preferable in the operating system layer (Windows ™) that the system 100 will rely to recover the real vector in order to implement this encoding software accelerator, regardless of the applications that will benefit. As an example, we can use a JavaScript function of win- dows.scrollby (x-coord, y-coord) type of Windows DOM which will be called when a key is switched on at the client terminal. "Down arrow": the function can provide the modulus of the motion vector: m = "^ (rnx 2 + my 2 , the direction of the vector being vertical downwards.
La taille du rectangle peut également être obtenue par des fonctions du type « Windows. innerHeight » et « Windows. innerWidth ».The size of the rectangle can also be obtained by functions of the "Windows" type. innerHeight "and" Windows. innerWidth ".
En tout état de cause, le serveur peut obtenir des valeurs caractérisant le vecteur de mouvement réel de la zone déplacée par l'utilisateur via le terminal client.In any case, the server can obtain values characterizing the real movement vector of the zone moved by the user via the client terminal.
Typiquement, on peut par exemple obtenir un tel vecteur de mouve- ment réel pour une zone subissant un déplacement dans le cadre d'application telle que :
- un défilement (ou « scrolling » en anglais) horizontal ou vertical de la zone déplacée avec une application du type navigateur ou « browser » en anglais;Typically, it is possible, for example, to obtain such a real motion vector for a zone undergoing displacement in the application frame such that: scrolling (or "scrolling" in English) horizontally or vertically in the zone moved with an application of the browser or "browser" type in English;
- un déplacement d'une fenêtre graphique du système d'exploitation du serveur ;a displacement of a graphical window of the operating system of the server;
- une transition d'un transparent à un autre transparent dans le cas d'un diaporama (« slideshow » en anglais);a transition from one transparency to another transparency in the case of a slide show ("slideshow" in English);
- une animation du type flash ou silverlight.an animation of the flash or silverlight type.
Le vecteur de mouvement m = (mx, my)τ codé en format RGB est également transformé en format YUV12.The motion vector m = (mx, my) τ coded in RGB format is also transformed into YUV12 format.
Le module 102 de traitement des données d'entrée comporte :The input data processing module 102 comprises:
- des moyens 103 pour diviser l'image courante Fn en macroblocs,means 103 for dividing the current image F n into macroblocks,
- des moyens 104 pour attribuer le vecteur de mouvement réel V aux macroblocs appartenant à la zone déplacée, - des moyens 1 18 pour transmettre le vecteur de mouvement réel directement au module 106 de compensation sans estimation des vecteurs de mouvements par le module 105 d'estimation, pour les macroblocs appartenant à la zone déplacée,means for allocating the real motion vector V to the macroblocks belonging to the displaced zone; means 1 to transmit the real motion vector directly to the compensation module 106 without estimating the motion vectors by the module 105; estimate, for macroblocks belonging to the moved zone,
- des moyens 119 pour transmettre uniquement les macroblocs n'appartenant pas à la zone déplacée vers le module 105 d'estimation de mouvement.means 119 for transmitting only the macroblocks not belonging to the zone moved to the motion estimation module 105.
On économise de la sorte toute une partie de calcul des vecteurs de mouvement pour les macroblocs auxquels le module 104 a déjà attribué un vecteur de mouvement réel de par leur appartenance à une zone déplacée. Ainsi, chaque image courante Fn à encoder est divisée par les moyens 103 en macroblocs correspondant à une région élémentaire rectangulaire de l'image ayant une taille variable comprise entre 4x4 et 16x16 pixels (en passant par 8x16, 8x8,...).In this way, a part of the calculation of the motion vectors for the macroblocks to which the module 104 has already allocated a real motion vector is saved by virtue of their belonging to a displaced zone. Thus, each current image F n to be encoded is divided by means 103 into macroblocks corresponding to a rectangular elementary region of the image having a variable size between 4x4 and 16x16 pixels (via 8x16, 8x8, ...).
Les moyens 104 connaissant les zones déplacées de l'image Fn ainsi que leurs vecteurs de mouvement réels permettent d'attribuer aux macroblocs appartenant à une zone déplacée un même vecteur de mouvement réel. Dès lors, les moyens 1 19 vont orienter uniquement les macroblocs non touchés par une zone déplacée vers le module d'estimation de mouvement
105, les vecteurs de mouvement réels des autres macroblocs étant transmis directement au module de compensation de mouvement 106 via les moyens 118.The means 104 knowing the displaced areas of the image F n as well as their real motion vectors make it possible to attribute to the macroblocks belonging to a displaced zone the same real motion vector. Therefore, the means 1 19 will guide only the macroblocks not affected by a zone moved to the motion estimation module 105, the actual motion vectors of the other macroblocks being transmitted directly to the motion compensation module 106 via the means 118.
La fonction du module 105 d'estimation de mouvement est de retrou- ver un macrobloc de l'image courante Fn dans au moins une image Fn-i précédente de l'écran du serveur dans sa totalité (il pourrait également s'agir d'une image postérieure dans le cas d'une image B et même d'une pluralité d'images antérieures et/ou postérieures). Lorsque l'on trouve une partie d'une image précédente qui ressemble (selon des critères de moindres car- rés par exemple) au macrobloc, on en déduit un vecteur de mouvement qui correspond à la différence entre la position de la région sélectionnée et celle du macrobloc.The function of the motion estimation module 105 is to retrieve a macroblock of the current image F n in at least one previous image F n- i of the server screen in its entirety (it could also be a posterior image in the case of an image B and even a plurality of images before and / or after). When we find a part of a previous image which resembles (according to criteria of least squares for example) the macroblock, we deduce a motion vector which corresponds to the difference between the position of the selected region and that of the selected region. macroblock.
Les vecteurs de mouvement qui ont été retenus par le module d'estimation (en plus des vecteurs de mouvement réels transmis par les moyens 1 18) sont transmis vers le module 106 de compensation de mouvement. On obtient alors une erreur de prédiction due au fait qu la région retenue dans l'image passée n'est pas exactement égale au macrobloc analysé. On obtient en sortie du module de compensation de mouvement 106 une image prédite P. Le soustracteur 109 calcule ensuite une erreur résiduelle Dn entre les pixels de Fn et l'image prédite P.The motion vectors that have been retained by the estimation module (in addition to the real motion vectors transmitted by the means 1 18) are transmitted to the motion compensation module 106. This gives a prediction error due to the fact that the region retained in the past image is not exactly equal to the macroblock analyzed. At the output of the motion compensation module 106, a predicted picture P is obtained. Subtractor 109 then calculates a residual error D n between the pixels of F n and the predicted picture P.
On applique une transformée fréquentielle (du type transformée en cosinus discrète DCT « Discrète Cosine Transform » ou transformée d'Hadamard) via le module de transformée fréquentielle 1 12 sur chaque macrobloc ayant subi une estimation de mouvement ainsi que sur l'erreur résiduelle Dn. Cette transformée permet d'avoir une représentation fréquentielle des zones modifiées.A frequency transform (of discrete cosine transform type DCT "Discrete Cosine Transform" or Hadamard transform) is applied via the frequency transform module 1 12 on each macroblock that has undergone motion estimation, as well as on the residual error D n . This transform makes it possible to have a frequency representation of the modified zones.
Les données issues du module de transformée fréquentielle 1 12 sont ensuite quantifiées (i.e. codées sur un nombre limité de bits) par le module de quantification 1 13 pour fournir des paramètres transformés et quantifiés X. La fonction du module de quantification 1 13 est de définir des pas de quantification différents selon que certaines composantes seront jugées ou
non significatives visuellement ; ces pas de quantification sont définis dans une table de pas de quantification.The data from the frequency transform module 1 12 are then quantized (ie coded on a limited number of bits) by the quantization module 1 13 to provide transformed and quantized parameters X. The function of the quantization module 1 13 is to define different quantification steps depending on whether certain components will be judged or not significant visually; these quantization steps are defined in a quantization step table.
Le module 1 14 de quantification inverse récupère les paramètres transformés et quantifiés X qui traversent ensuite le module 115 de trans- formée fréquentielle inverse qui opère une transformée fréquentielle inverse pour récupérer une version quantifiée D'n de l'erreur résiduelle Dn ; cette version quantifiée D'n est alors ajoutée aux macroblocs de la zone prédite P par l'additionneur 1 10 ; l'image en sortie de l'additionneur 1 10 est alors traitée par le filtre de déblocage pour fournir une image reconstruite F'n corres- pondant à un ensemble de zones reconstruites ayant la même position, la même largeur et la même hauteur que les zones modifiées. F'n est utilisée en interne par le décodeur 100 pour estimer la qualité de l'encodage.The module 1 14 of inverse quantizing retrieves the processed and quantized parameters X which then pass through the module 115 of inverse frequency transform that operates an inverse frequency transform to recover a quantized version D 'n of the residual error D n; this quantized version D ' n is then added to the macroblocks of the predicted zone P by the adder 1 10; the image at the output of the adder 1 10 is then processed by the deblocking filter to provide a reconstructed image F ' n corresponding to a set of reconstructed zones having the same position, the same width and the same height as the modified areas. F ' n is used internally by the decoder 100 to estimate the quality of the encoding.
Les résultats quantifiés X issus du module de quantification 1 13 sont alors réordonnés par le module de reordonnancement 108 pour grouper en- semble les coefficients non nuls de façon à permettre une représentation efficace des autres coefficients ayant une valeur nulle.The quantized results X from the quantization module 1 13 are then reordered by the reordering module 108 to group together the non-zero coefficients so as to allow an efficient representation of the other coefficients having a zero value.
Les données subissent alors une dernière phase de compression de codage entropique via le codeur entropique 120. La fonction du codeur en- tropique est de réencoder différemment les données afin de diminuer le nombre de bits nécessaires à leur encodage en s'approchant le plus possible du minimum de bits théoriques (qui est fixé par l'entropie).The data then undergoes a final phase of entropy coding compression via the entropy coder 120. The function of the encodes encoder is to re-encode the data differently in order to reduce the number of bits necessary for their encoding by approaching as close as possible to the minimum of theoretical bits (which is fixed by entropy).
Le codeur entropique 120 construit un flux de sortie φ dans un format NAL (« Network Abstraction Layer » en anglais) définie pour permettre l'usage de la même syntaxe vidéo dans de nombreux environnements ré- seau.The entropy encoder 120 constructs an output stream φ in a Network Abstraction Layer (NAL) format defined to allow the use of the same video syntax in many network environments.
On notera que les moyens et modules décrits ci-dessus peuvent être soit logiciels soit réalisés avec des circuits électroniques spécifiques.Note that the means and modules described above can be either software or made with specific electronic circuits.
Bien entendu, l'invention n'est pas limitée au mode de réalisation qui vient d'être décrit. Notamment, l'invention a été plus particulièrement décrite dans le cadre du codage H264 mais elle s'applique à tout type de codage spatiotemporel : c'est par exemple le cas du codage MPEG2 ou du codage VC1
(norme de compression vidéo du SMPTE « Society of Motion Picture and Télévision Engineers »).Of course, the invention is not limited to the embodiment just described. In particular, the invention has been more particularly described in the context of the H264 coding but it applies to any type of spatiotemporal coding: this is for example the case of MPEG2 coding or VC1 coding. (SMPTE video compression standard "Society of Motion Picture and Television Engineers").
On notera en outre que le vecteur de mouvement a été décrit comme un vecteur à deux dimensions mais il est également possible d'utiliser un vecteur de mouvement à trois dimensions, par exemple dans le cas d'une interface graphique telle qu'Aero™ qui est l'interface graphique de Windows Vista™ permettant d'afficher des effets en 3D.Note further that the motion vector has been described as a two-dimensional vector but it is also possible to use a three-dimensional motion vector, for example in the case of a graphical interface such as Aero ™ which is the graphical interface of Windows Vista ™ for displaying 3D effects.
Enfin, on pourra remplacer tout moyen par un moyen équivalent
Finally, any means can be replaced by equivalent means
Claims
1. Système (100) de codage vidéo pour le codage d'images successives d'une séquence vidéo, le codage d'au moins une image courante (Fn) étant opéré relativement à au moins une image précédente et/ou postérieure (Fn-1) de ladite séquence vidéo, ledit système (100) de codage comportant :A video encoding system (100) for coding successive images of a video sequence, the encoding of at least one current image (F n ) being performed relative to at least one previous and / or subsequent image (F n-1 ) of said video sequence, said encoding system (100) comprising:
- un module (101 ) de réception de données d'entrées pour la réception de ladite image courante (Fn) à coder,a module (101) for receiving input data for receiving said current image (F n ) to be encoded,
- des moyens (103) pour diviser ladite image courante (Fn) en macro- blocs,means (103) for dividing said current image (F n ) into macroblocks,
- un module (105) d'estimation de vecteurs de mouvement en fonction des macroblocs de ladite image courante (Fn) et de ladite au moins une image précédente et/ou postérieure (Fn-1),a module (105) for estimating motion vectors as a function of the macroblocks of said current image (F n ) and said at least one preceding and / or subsequent image (F n-1 ),
- un module (106) de compensation de mouvement recevant des vec- teurs de mouvement et fournissant au moins une zone prédite (P), ledit système (100) de codage étant caractérisé en ce que ledit module (101 ) de réception de données reçoit en outre un vecteur de mouvement réel non estimé d'au moins une zone déplacée de ladite image courante (Fn), ledit système (100) de codage comportant : - des moyens (104) pour attribuer ledit vecteur de mouvement réel non estimé aux macroblocs appartenant à ladite zone déplacée ;a motion compensation module (106) receiving motion vectors and providing at least one predicted area (P), said encoding system (100) being characterized in that said data receiving module (101) receives furthermore, an unmeasured real motion vector of at least one displaced area of said current image (F n ), said encoding system (100) comprising: - means (104) for allocating said unmeasured real motion vector to macroblocks belonging to said moved area;
- des moyens (118) pour transmettre ledit vecteur de mouvement réel non estimé directement au dit module (106) de compensation sans estimation des vecteurs de mouvements par ledit module (105) d'estimation pour lesdits macroblocs appartenant à ladite zone déplacée.means (118) for transmitting said non-estimated real motion vector directly to said compensation module (106) without estimation of the motion vectors by said estimation module (105) for said macroblocks belonging to said displaced zone.
2. Système (100) de codage vidéo selon la revendication précédente caractérisé en ce qu'il comporte des moyens (1 19) pour transmettre uniquement les macroblocs n'appartenant pas à ladite zone déplacée vers ledit module (105) d'estimation de vecteurs de mouvement.2. System (100) for video coding according to the preceding claim characterized in that it comprises means (1 19) for transmitting only the macroblocks not belonging to said zone moved to said module (105) vector estimation of movement.
3. Système (100) de codage vidéo selon l'une des revendications précédentes caractérisé en ce qu'il comporte : - un soustracteur (109) pour effectuer la différence entre les pixels de l'image courante (Fn) et la zone prédite et fournissant une erreur résiduelle (Dn) correspondant à cette différence,3. Video coding system (100) according to one of the preceding claims, characterized in that it comprises: a subtracter (109) for effecting the difference between the pixels of the current image (F n ) and the predicted zone and providing a residual error (D n ) corresponding to this difference,
- un module (1 12) de transformée fréquentielle appliquant une trans- formée fréquentielle sur chaque macrobloc traité par ledit modulea frequency transform module (1 12) applying a frequency transform on each macroblock processed by said module
(105) d'estimation ainsi que sur ladite erreur résiduelle (Dn), un module (1 13) de quantification des données issues dudit module(105) estimation and on said residual error (D n ), a module (1 13) for quantizing data from said module
(1 12) de transformée fréquentielle,(1 12) of frequency transform,
- un codeur entropique (120) pour le codage des données issues dudit module (1 13) de quantification.an entropic coder (120) for coding data from said quantization module (1 13).
4. Procédé de codage vidéo pour le codage d'images successives d'une séquence vidéo, le codage d'au moins une image courante (Fn) étant opéré relativement à au moins une image précédente et/ou postérieure (Fn-1) de ladite séquence vidéo, ledit procédé comportant les étapes suivantes : - réception de ladite image courante (Fn) à coder et d'un vecteur de mouvement réel non estimé d'au moins une zone déplacée de ladite image courante (Fn),4. A video encoding method for coding successive images of a video sequence, the coding of at least one current image (F n ) being performed relative to at least one previous and / or subsequent image (F n-1 ) of said video sequence, said method comprising the steps of: - receiving said current image (F n ) to be encoded and an unmeasured real motion vector of at least one zone displaced from said current image (F n ) ,
- division de ladite image courante en macroblocs,dividing said current image into macroblocks,
- attribution dudit vecteur de mouvement réel non estimé aux macro- blocs appartenant à ladite zone déplacée,assigning said unmeasured real motion vector to the macroblocks belonging to said displaced zone,
- estimation de vecteurs de mouvement en fonction des macroblocs de ladite image courante et de ladite au moins une image précédente et/ou postérieure, ladite estimation se faisant uniquement à partir des macroblocs n'appartenant pas à ladite zone déplacée, ladite image courante à coder étant transmise d'un serveur vers un terminal client, le codage étant effectué au niveau du serveur et ledit vecteur réel non estimé d'au moins une zone déplacée de ladite image courante étant fourni par une interface de programmation de l'environnement graphique dudit serveur. estimation of motion vectors as a function of the macroblocks of said current image and of said at least one previous and / or subsequent image, said estimation being made only from the macroblocks not belonging to said displaced zone, said current image to be encoded being transmitted from a server to a client terminal, the coding being performed at the server and said undesired real vector of at least one zone moved from said current image being provided by a programming interface of the graphical environment of said server .
5. Procédé selon la revendication précédente caractérisé en ce que l'écran dudit serveur est affiché par ledit terminal client sur un écran selon un protocole RFB « Remote Frame Buffer » tel que le protocole VNC « Virtual Network Computing ». 5. Method according to the preceding claim characterized in that the screen of said server is displayed by said client terminal on a screen according to a RFB protocol "Remote Frame Buffer" such as the VNC protocol "Virtual Network Computing".
6. Procédé selon l'une des revendications 4 ou 5 caractérisé en ce que ledit codage vidéo est un codage spatio-temporel H2646. Method according to one of claims 4 or 5 characterized in that said video coding is a spatio-temporal coding H264
7. Procédé selon l'une des revendications 4 à 6 caractérisé en ce que ledit vecteur de mouvement réel de ladite zone déplacée est déterminé dans les cas suivants :7. Method according to one of claims 4 to 6 characterized in that said real movement vector of said displaced zone is determined in the following cases:
- défilement horizontal ou vertical de ladite zone déplacée avec une application du type navigateur ;scrolling horizontally or vertically said displaced area with a browser-type application;
- déplacement d'une fenêtre graphique du système d'exploitation dudit serveur ; - transition d'un transparent à un autre transparent dans le cas d'un diaporama ;moving a graphical window of the operating system of said server; - transition from one transparency to another transparency in the case of a slide show;
- animation du type flash.- animation of the flash type.
8. Procédé selon l'une des revendications 4 à 7 caractérisé en ce que ledit terminal client est un décodeur vidéo. 8. Method according to one of claims 4 to 7 characterized in that said client terminal is a video decoder.
9. Procédé selon l'une des revendications 4 à 8 caractérisé en ce que ladite image courante ainsi que ledit vecteur de mouvement réel sont initialement codées dans un format RGB puis subissent une transformation dans un format YUV.9. Method according to one of claims 4 to 8 characterized in that said current image as well as said real motion vector are initially encoded in an RGB format and then undergo a transformation in a YUV format.
10. Procédé selon l'une des revendications 4 à 9 caractérisé en ce que ledit vecteur de mouvement réel est un vecteur à deux ou trois dimensions. 10. Method according to one of claims 4 to 9 characterized in that said real motion vector is a vector with two or three dimensions.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0859113A FR2940736B1 (en) | 2008-12-30 | 2008-12-30 | SYSTEM AND METHOD FOR VIDEO CODING |
PCT/FR2009/052193 WO2010076439A1 (en) | 2008-12-30 | 2009-11-16 | Video encoding system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2380350A1 true EP2380350A1 (en) | 2011-10-26 |
Family
ID=40688557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP09768199A Withdrawn EP2380350A1 (en) | 2008-12-30 | 2009-11-16 | Video encoding system and method |
Country Status (6)
Country | Link |
---|---|
US (1) | US8731060B2 (en) |
EP (1) | EP2380350A1 (en) |
CN (1) | CN102318344B (en) |
BR (1) | BRPI0923824A2 (en) |
FR (1) | FR2940736B1 (en) |
WO (1) | WO2010076439A1 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9060010B1 (en) * | 2012-04-29 | 2015-06-16 | Rockwell Collins, Inc. | Incorporating virtual network computing into a cockpit display system for controlling a non-aircraft system |
US9602822B2 (en) * | 2013-04-17 | 2017-03-21 | Qualcomm Incorporated | Indication of cross-layer picture type alignment in multi-layer video coding |
CN104144349B (en) * | 2014-07-09 | 2017-08-29 | 中电科华云信息技术有限公司 | SPICE coding and decoding videos extended method and system based on H264 |
US11537777B2 (en) | 2014-09-25 | 2022-12-27 | Huawei Technologies Co., Ltd. | Server for providing a graphical user interface to a client and a client |
CN104469400B (en) * | 2014-12-17 | 2018-02-23 | 浪潮软件集团有限公司 | Image data compression method based on RFB protocol |
CN113628240A (en) | 2017-04-21 | 2021-11-09 | 泽尼马克斯媒体公司 | Player input motion compensation by anticipatory motion vectors |
CN110012293B (en) * | 2019-02-19 | 2021-06-04 | 西安万像电子科技有限公司 | Video data processing method and device |
CN113365083B (en) * | 2021-07-08 | 2022-10-11 | 广州市保伦电子有限公司 | H.265-based YUV444 image coding and decoding method |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5809201A (en) * | 1994-06-24 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Specially formatted optical disk and method of playback |
US5864681A (en) * | 1996-08-09 | 1999-01-26 | U.S. Robotics Access Corp. | Video encoder/decoder system |
JP3351705B2 (en) * | 1997-04-25 | 2002-12-03 | 日本ビクター株式会社 | Motion compensation coding apparatus, motion compensation coding method, and recording method on recording medium |
EP0936813A1 (en) * | 1998-02-16 | 1999-08-18 | CANAL+ Société Anonyme | Processing of digital picture data in a decoder |
US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
JP4447197B2 (en) * | 2002-01-07 | 2010-04-07 | 三菱電機株式会社 | Moving picture encoding apparatus and moving picture decoding apparatus |
US20030160814A1 (en) * | 2002-02-27 | 2003-08-28 | Brown David K. | Slide show presentation and method for viewing same |
US7321626B2 (en) * | 2002-03-08 | 2008-01-22 | Sharp Laboratories Of America, Inc. | System and method for predictive motion estimation using a global motion predictor |
US7738551B2 (en) * | 2002-03-18 | 2010-06-15 | International Business Machines Corporation | System and method for processing a high definition television (HDTV) image |
EP1377040A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Method of stabilizing an image sequence |
US6925123B2 (en) * | 2002-08-06 | 2005-08-02 | Motorola, Inc. | Method and apparatus for performing high quality fast predictive motion search |
AU2002363900A1 (en) * | 2002-12-17 | 2004-07-09 | Let It Wave | Processing or compressing n-dimensional signals with warped wavelet packets and bandelets |
JP4536325B2 (en) * | 2003-02-04 | 2010-09-01 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
ATE349860T1 (en) * | 2003-05-02 | 2007-01-15 | Koninkl Philips Electronics Nv | ADVANCED MOTION VECTOR INTERPOLATION TO REDUCE VIDEO ARTIFACTS |
NO318973B1 (en) * | 2003-07-01 | 2005-05-30 | Tandberg Telecom As | Noise Reduction Procedure |
JP2005039340A (en) * | 2003-07-15 | 2005-02-10 | Hitachi Ltd | Reproducing apparatus |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
JP4687994B2 (en) * | 2004-04-09 | 2011-05-25 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
US8503530B2 (en) * | 2004-05-27 | 2013-08-06 | Zhourong Miao | Temporal classified filtering for video compression |
US7881546B2 (en) * | 2004-09-08 | 2011-02-01 | Inlet Technologies, Inc. | Slab-based processing engine for motion video |
US7516255B1 (en) * | 2005-03-30 | 2009-04-07 | Teradici Corporation | Method and apparatus for providing a low-latency connection between a data processor and a remote graphical user interface over a network |
FR2886044B1 (en) * | 2005-05-23 | 2007-06-22 | Canon Kk | METHOD AND DEVICE FOR DISPLAYING IMAGES OF A VIDEO SEQUENCE |
CN101502099B (en) * | 2006-05-09 | 2012-02-22 | Nxp股份有限公司 | Processing device with jitter extraction and equipment comprising such a device |
US20070291839A1 (en) * | 2006-06-15 | 2007-12-20 | Faraday Technology Corp. | Method and device for multimedia processing |
KR100803611B1 (en) * | 2006-11-28 | 2008-02-15 | 삼성전자주식회사 | Method and apparatus for encoding video, method and apparatus for decoding video |
US20080204598A1 (en) * | 2006-12-11 | 2008-08-28 | Lance Maurer | Real-time film effects processing for digital video |
US8825739B2 (en) * | 2007-07-04 | 2014-09-02 | International Business Machines Corporation | Method and apparatus for controlling multiple systems in a low bandwidth environment |
EP2175607A1 (en) * | 2008-10-08 | 2010-04-14 | NEC Corporation | Method for establishing a thin client session |
US8219759B2 (en) * | 2009-03-16 | 2012-07-10 | Novell, Inc. | Adaptive display caching |
US20100332613A1 (en) * | 2009-06-30 | 2010-12-30 | Jorg Brakensiek | Method and apparatus for providing content and context analysis of remote device content |
-
2008
- 2008-12-30 FR FR0859113A patent/FR2940736B1/en not_active Expired - Fee Related
-
2009
- 2009-11-16 EP EP09768199A patent/EP2380350A1/en not_active Withdrawn
- 2009-11-16 BR BRPI0923824-7A patent/BRPI0923824A2/en not_active Application Discontinuation
- 2009-11-16 CN CN200980156608.0A patent/CN102318344B/en not_active Expired - Fee Related
- 2009-11-16 US US13/142,551 patent/US8731060B2/en not_active Expired - Fee Related
- 2009-11-16 WO PCT/FR2009/052193 patent/WO2010076439A1/en active Application Filing
Non-Patent Citations (2)
Title |
---|
None * |
See also references of WO2010076439A1 * |
Also Published As
Publication number | Publication date |
---|---|
FR2940736B1 (en) | 2011-04-08 |
WO2010076439A1 (en) | 2010-07-08 |
FR2940736A1 (en) | 2010-07-02 |
CN102318344B (en) | 2014-10-08 |
US20110268191A1 (en) | 2011-11-03 |
BRPI0923824A2 (en) | 2015-07-14 |
CN102318344A (en) | 2012-01-11 |
US8731060B2 (en) | 2014-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2380350A1 (en) | Video encoding system and method | |
JP7047119B2 (en) | Methods and equipment for residual code prediction in the conversion region | |
US10013746B2 (en) | High dynamic range video tone mapping | |
RU2316909C2 (en) | Method and device for video encoding and decoding scalable across color space | |
CN110446041B (en) | Video encoding and decoding method, device, system and storage medium | |
TW201711473A (en) | Processing high dynamic range and wide color gamut video data for video coding | |
TW201931853A (en) | Quantization parameter control for video coding with joined pixel/transform based quantization | |
JP7251882B2 (en) | Efficient method of signaling the CBF flag | |
TWI713354B (en) | Color remapping information sei message signaling for display adaptation | |
JP7508621B2 (en) | Method, apparatus, decoder, encoder and program for cross-component linear modeling for intra prediction | |
WO2014026097A1 (en) | Two-step quantization and coding method and apparatus | |
EP2380352A2 (en) | Method for the segmentation encoding of an image | |
JP7397878B2 (en) | Method and apparatus for intra-subpartition coding mode | |
US20120170663A1 (en) | Video processing | |
WO2021164014A1 (en) | Video encoding method and device | |
EP4300958A1 (en) | Video image encoding method, video image decoding method and related devices | |
EP4277274A1 (en) | Layered encoding and decoding methods and apparatuses | |
EP2015584A2 (en) | Video encoding system and method | |
RU2786086C1 (en) | Method and device for cross-component linear modeling for internal prediction | |
TWI821013B (en) | Mehtods and devices for video encoding and decoding | |
Azadegan et al. | Improving video quality by predicting inter-frame residuals based on an additive 3D-CNN model | |
RU2772313C2 (en) | Method and apparatus for filtering images with adaptive multiplier coefficients | |
竹内健 | Video Coding Methods for Bit-depth, Color-gamut and Perceptual Quality Scalabilities | |
Ginzburg et al. | DCT-Domain Coder for Digital Video Applications | |
Lee et al. | Video Coding Techniques and Standards. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20110722 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20161222 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SAGEMCOM BROADBAND SAS |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20190601 |