FR2759524A1 - Procede et dispositif de codage par estimation de luminance - Google Patents

Abstract

L'invention concerne un procédé de codage de données numériques d'une séquence d'images vidéo réalisant un codage de la différence de luminance (7) entre une partie d'image à coder et une partie correspondante d'une image prédite à partir d'une image dite de référence, caractérisé en ce que la prédiction est effectuée en fonction d'une compensation (12) en luminance de valeurs de luminance de l'image de référence.Le domaine est celui de la compression de données numériques vidéo.

Description

Procédé et dispositif de codage par estimation de luminance Le domaine

technique auquel se rapporte la présente invention est celui du codage de séquences d'images vidéo numériques. Le problème courant dans ce domaine est de comprimer les informations visuelles en disposant d'un ensemble de paramètres de régulation du coût et de la qualité de cette compression. Cela permet ainsi de respecter un certain nombre de contraintes qui dépendent essentiellement de l'application visée. Des critères de qualité peuvent imposer de compresser l'information sans altérer sa reconstruction finale. C'est par exemple le cas pour des applications de télédétection ou de production ou encore de stockage. A l'opposé la demande de qualité peut être moins exigeante, quoique supérieure à un minimum requis, s'effaçant devant le besoin de comprimer I'information selon les capacités d'un canal de transmission donné. C'est par exemple le cas pour des applications de visiophone (sur RNIS pour Réseau Numérique avec Intégration des Services ou RTC pour Réseau

Téléphonique Commuté), ou de communication sur champs de bataille.

Enfin, le cas le plus courant revient à équilibrer les dégradations de qualité avec les performances de compression. C'est le cas pour des applications de diffusion, ou encore de distribution vidéo (vidéo sur Compact Disc tel

que Digital Video Disc). S'ajoutent à cela des contraintes d'ordre pratique.

Les principales méthodes de codage peuvent être vues comme la combinaison de plusieurs techniques utilisées en fonction de leurs

propriétés.

Ainsi il peut être distingué - le codage par prédiction qui consiste d'une part à donner une estimée et d'autre part à la corriger en tenant compte de l'erreur d'estimation; - le codage par transformée qui permet de rendre l'information plus concise, en la décorrélant par un changement d'espace de représentation; - le codage par approximation qui remplace des informations par

d'autres prédéfinies ou du moins simplifiées.

Les derniers développements en ce domaine reposent sur une prédiction par le mouvement. D'une part la Transformation Cosinus Discrète (TCD) permet de réduire localement la redondance d'une image en intra. D'autre part la compensation de mouvement a pour objectif de réduire la redondance temporelle. Les informations de mouvement correspondent aux liens locaux de similitude entre une image dite "de référence" et celle couramment étudiée, et est interprétée par la notion de mouvement physique de la scène sous-jacente. Ainsi, soit une partition d'une image en blocs; pour chacun de ces blocs, il est recherché dans l'autre image étudiée le bloc le plus semblable. Le mouvement (horizontal, vertical) est alors la différence de localisation entre les blocs (en ligne, et en colonne) relativement à la localisation du premier, et se trouve codé une seule fois par bloc. Ces informations de mouvement se voient complétées par les données de résidu de cette prédiction (valeurs de l'erreur de prédiction par le mouvement). Celles-ci sont traitées d'une manière

similaire aux données des images intra.

Les schémas de codage de séquences d'images les plus récents i15 exploitent les données de mouvement par une prédiction. L'approche

MPEG2 en est un bon exemple.

Les améliorations obtenues de compression des données peuvent cependant être jugées insuffisantes et il peut être souhaité une meilleure qualité d'image pour un débit donné ou un débit, donc coût de

codage, plus faible pour une qualité finale donnée.

L'invention objet de la présente demande a pour but de remédier

aux inconvénients précités.

A cet effet, I'invention a pour objet un procédé de codage de données numériques d'une séquence d'images vidéo réalisant un codage de la différence de luminance entre une partie d'image à coder et une partie correspondante d'une image prédite à partir d'une image dite de référence, caractérisé en ce que la prédiction est effectuée en fonction d'une compensation en luminance de valeurs de luminance de l'image de référence. Elle a également pour objet un dispositif de codage de données numériques d'une séquence vidéo pour la mise en oeuvre du procédé comprenant un circuit d'estimation de mouvement pour le calcul de vecteurs mouvement entre deux images, un circuit de compensation de mouvement à partir d'une image de référence pour le calcul d'une image prédite, un soustracteur pour la soustraction de l'image prédite à l'image courante pour le calcul d'un résidu à coder, caractérisé en ce qu'il comprend un circuit d'estimation de luminance entre les deux mêmes images et un circuit de compensation de luminance recevant les informations provenant du circuit d'estimation de luminance et

d'estimation de mouvement pour le calcul de l'image prédite.

Elle a aussi pour objet un dispositif de décodage de données numériques codées selon le procédé précédent, pour le calcul d'une image reconstruite à partir d'un résidu et d'une image prédite, caractérisé en ce qu'il comprend un circuit de compensation en luminance en fonction de vecteurs de luminance qui sont des informations d'estimation de

luminance, pour le calcul de l'image prédite.

Le procédé consiste à enrichir la prédiction par compensation de

mouvement, d'une compensation dite de luminance.

Il permet également de remplacer une image intra par une image dite autocompensée suivant le même mécanisme que la compensation

inter à partir de données de mouvement, de luminance et de résidu.

L'invention proposée permet de réduire la quantité d'information contenue dans le résidu quelle que soit la méthode d'analyse de mouvement utilisée avant l'estimation de luminance. L'enrichissement du modèle de mouvement par une approche dite de luminance réduit significativement le résidu, et cette réduction d'information résiduelle étant plus importante que l'ajout d'information de luminance correspondant, le

nouveau codage d'images inter est plus performant.

D'autre part, I'invention propose un schéma de codage unifié o la différence entre l'approche pour des images intra et celle pour des images inter est faible. La mise en oeuvre de l'invention est simplifiée et donc d'un coût réduit du fait qu'elle exploite différemment des éléments de schémas existants, en y insérant une méthode de faible complexité

d'un point de vue hardware.

L'invention est indépendante du codage particulier de chaque type d'information (mouvement, luminance, résidu). La méthode utilisée peut être intégrée dans les schémas de codage MPEG2, pour peu que les données concernant la luminance soient codées en plus des données standards. Ces techniques de compensation de luminance sont particulièrement efficaces lors d'un changement d'éclairage de la scène qui habituellement, dans l'art antérieur, généraient un codage intra donc coûteux. D'autres particularités et avantages de l'invention apparaîtront

clairement dans la description suivante donnée à titre d'exemple non

limitatif et faite en regard des figures annexées qui représentent: - la figure 1 un schéma du circuit de codage selon l'invention - la figure 2 un schéma du circuit de décodage selon l'invention. Le procédé selon l'invention est décrit ci-après à l'aide du

schéma du dispositif représenté à la figure 1.

Le dispositif de codage comprend une première et une deuxième entrée. Sur la première entrée est présentée une image à l'instant t et sur la deuxième entrée une image à l'instant t + 1. La première entrée est reliée en parallèle à l'entrée d'un circuit de filtrage 1, à une première entrée d'un commutateur à deux entrées et une sortie 2 et à une première entrée d'un commutateur à deux entrées et une sortie 3. La sortie du circuit de filtrage 1 est reliée à l'entrée d'un circuit de sous-échantillonnage 4 et la

sortie de ce dernier est reliée à la deuxième entrée du commutateur 2.

La deuxième entrée du dispositif est reliée à la deuxième entrée

du commutateur 3.

Les commutateurs 2 et 3 sont des commutateurs à deux positions, la position 1 étant représentée en trait pointillés sur la figure et correspondant à une première entrée et la position 2 en traits pleins correspondant à une deuxième entrée. Ainsi, la position 1 du commutateur 2 correspond à sa première entrée et la position 1 du commutateur 3 correspond à sa deuxième entrée. Tous les commutateurs décrits par la suite ont deux positions 1 et 2, ces commutateurs étant simultanément dans la même position 1 ou 2 représentée respectivement sur le schéma

en traits pointillés et en traits pleins.

Les sorties des commutateurs 2 et 3 sont reliées à deux entrées d'un circuit d'estimation de mouvement et de luminance 5 ainsi que, respectivement, à une première entrée d'un commutateur à deux entrées et une sortie 6 correspondant à la position 1 et à une première entrée d'un circuit additionneur 7. Une première sortie du circuit d'estimation de luminance et de mouvement est reliée à l'entrée d'un circuit de codage du mouvement 8 et une deuxième sortie est reliée à l'entrée d'un circuit de codage de la luminance 9. Les sorties respectives S2 et S3 de chacun de ces circuits de codage correspondent aux sorties du dispositif de codage décrit. Elles sont également reliées respectivement à un circuit de décodage de mouvement 10 et à un circuit de décodage de luminance 1 1, la sortie de chacun de ces circuits étant respectivement reliée à une première et deuxième entrée d'un circuit de compensation de mouvement et de luminance 12. La sortie du commutateur 6 est reliée à une troisième entrée de ce circuit 12. La sortie du circuit de compensation en mouvement et luminance est reliée à l'entrée d'un commutateur à une entrée et deux sorties 13. Une première sortie de ce commutateur, correspondant à la position 2, est reliée à l'entrée d'un circuit de calcul d'itération 14, une première sortie de ce circuit étant quant à elle reliée à une première entrée d'un commutateur à deux entrées et une sortie 15 et correspondant à la position 2 et une deuxième sortie de ce circuit étant reliée à l'entrée d'un filtre 16. La sortie du filtre 16 est reliée à la deuxième

entrée du commutateur 6 par l'intermédiaire d'un circuit de sous-

échantillonnage 17. La deuxième sortie du commutateur 13 est reliée à la deuxième entrée du commutateur 15. La sortie du commutateur 15 est reliée à la deuxième entrée du circuit additionneur 7. La sortie de ce circuit est reliée à l'entrée d'un circuit de codage de résidu 18 dont la sortie S1

est la troisième sortie du dispositif de codage.

Sur l'entrée du dispositif sont présentées les images numériques 1(t) et l(t+ 1) correspondant aux instants t et t+ 1. Il s'agit par exemple de

deux images successives dans une séquence d'images.

Le premier mode de codage décrit est le mode de codage inter correspondant à la position 1 des commutateurs représentée en traits

pointillés sur la figure.

Dans ce premier mode, I'image 1(t) est transmise sur la première entrée de l'estimateur de mouvement et de luminance 5 via le commutateur 2 et l'image l(t+ 1) est transmise sur la deuxième entrée de ce circuit 5 par l'intermédiaire du commutateur 3. Le circuit 5 réalise donc une estimation de mouvement entre l'image 1(t) et l'image l(t + 1) et calcule un vecteur mouvement selon une méthode classique telle par exemple que l'appariement par blocs. Cette méthode plus connue sous l'appellation anglo-saxonne de "block matching", I'estimation de mouvement se faisant

par bloc d'image, exploite par exemple la méthode des moindres carrés.

Pour chacun des blocs d'image sont calculés des valeurs estimées de luminance à l'aide de paramètres d'estimation (ou de prédiction), cs et bo comme expliqué plus loin et en fonction de l'estimation

de mouvement calculée par ce circuit.

Cette compensation dite de luminance apparaît comme un complément de la compensation de mouvement. Elle est indépendante de celle-ci et de la nature des résultats de mouvement. En fait la compensation de luminance exploite pleinement, par la statistique, les liens trouvés par le mouvement entre deux blocs ou deux voisinages. En pratique, cette méthode de compensation estime a posteriori la relation linéaire existant entre les niveaux de gris d'un bloc ou d'un voisinage et ceux de l'autre bloc ou voisinage associé précédemment par l'analyse de mouvement. La formulation du problème de l'analyse du mouvement peut être la suivante: Soit un élément d'une image de référence I tel qu'un point i15 (x,y,z), voisinage, bloc, région... Il s'agit d'associer un autre élément de même nature dans l'image étudiée 1', point (x',y',z'), voisinage, bloc, région... répondant à des critères de correspondance exploitant des méthodes connues telles que méthode des moindres carrés, du gradient

etc. et interprétés par la notion de mouvement.

Les notations z et z' désignent les valeurs de niveaux de gris qui correspondent respectivement aux coordonnées (x,y) et (x',y') dans les images I et 1'. Lorsque la transformation associée au mouvement est choisie comme étant linéaire (modélisation de mouvement 2D linéaire), les paramètres à estimer peuvent être décrits comme suit x' a b 0 x-t y = c d 0. + y(1) z' 0 0 1 Z O Les paramètres (a,b,c,d) sont alors associés aux rotations, et les paramètres (tx,ty,0) aux translations. Dans cette formulation, les rotations peuvent très bien être ignorées, ce qui amène l'expression des premiers

modèles de mouvement.

La formulation du problème de l'analyse de luminance peut être la suivante: à partir des données précédentes (de correspondance entre éléments de 2 images, qui définit en quelque sorte des couples d'éléments d'image), il s'agit d'estimer des coefficients complémentaires à ceux du mouvement et qui seront associés aux niveaux de gris. En pratique, ils permettent de transformer les niveaux de gris d'un élément d'image pour prédire ceux de l'élément associé (d'o l'appellation de compensation de luminance). Une méthode pour estimer ces valeurs est celle des moindres carrés. D'autres solutions peuvent être utilisées et cet exemple n'est en rien limitatif. Lorsque la transformation de luminance est choisie comme étant linéaire, les coefficients associés peuvent être appelés échelle de contraste, cs pour contrast scaling en anglo-saxon et offset de luminosité, bo pour brightness offset en anglo-saxon. L'illustration suivante tient

compte de ce choix.

Ainsi les valeurs a,b,c,d sont considérées comme connus ainsi quetxettz x' a b e x tx yx = c d f. L +ty (2) z'g h cs Z.o Il reste donc à estimer e, f, g, h et cs et bo. Les premiers correspondent à la corrélation entre les niveaux de gris et le positionnement spatial. Ils sont généralement très proches de zéro, ils i15 peuvent donc être ignorés a priori et l'on prend e = f = g = h = 0.0 Il reste donc finalement cs et bo à estimer qui correspondent effectivement à une compensation de luminance. Ainsi I'éuation matricielle utile devient x' a b 0 x Xtx y = c d 0. Y + ty (3) Ixl aO 0 cIz1 /t:o, z' 0 0 Cs b' Les valeurs de cs et bo sont relatives à un bloc d'image, un pixel ou une région selon que la compensation de mouvement est effectuée sur un bloc d'image, un pixel ou une région. La compensation de luminance est donc effectuée sur la même zone d'image que la compensation de mouvement. Dans le cas idéal o le mouvement est parfaitement estimé et que les hypothèses d'effets d'éclairage négligeables sont vérifiées (ce sont de telles hypothèses, un modèle sans variation de luminance de la scène, qui sont faites lors de l'exploitation classique de la compensation de mouvement), ou dans le cas o la compensation de luminance est ignorée, cs et bo valent 1.0 et 0.0. Il s'avère qu'en pratique, soit le mouvement n'est pas parfaitement estimé, par exemple pour le mouvement des bords d'objets lorsque le mouvement est estimé par bloc, soit les hypothèses d'effets d'éclairages ne sont pas tout à fait valides. Aussi il est simple de vérifier quelle est la corrélation statistique par exemple qui existe entre 2 éléments (blocs ou autres) mis en correspondance. Les résultats indiquent clairement l'utilité d'avoir une compensation de luminance en estimant cs

et bo.

Néanmoins une remarque qualitative peut déjà être faite à ce propos. Un effet de flou, de lissage des niveaux de gris lors de la compensation de luminance peut être constaté, en particulier sur les zones à fort gradient ou lorsque le mouvement estimé comporte un léger décalage par rapport au mouvement réel. En effet, dans ce cas, la compensation en luminance est effectuée sur des pixels qui ne correspondent pas parfaitement au mouvement réel de la scène du fait de cette erreur. Ceci peut contraindre son utilisation selon l'application, même si l'erreur de résidu reste toujours plus faible avec la compensation de luminance (par exemple pour le ralenti d'images o des décalages dans le mouvement estimé sont assez fréquemment constatés, mais qui i15 permettent néanmoins une très bonne interpolation d'images). Dans ce cas, le critère de décision d'utilisation ou pas des données de luminance pour un bloc ou voisinage donné ou région, doit être associé à un aspect qualitatif du résidu. La transmission des informations de résidu permet bien sûr de supprimer cet effet de flou sur l'image prédite par compensation de luminance mais la quantité d'information à transmettre est directement liée à cet effet de flou. Le critère de décision, tel que par exemple le calcul d'énergie dans un bloc d'image, permet de résoudre ce problème en

déterminant le mode de codage le mieux adapté parmi ceux existants.

Un estimateur possible est celui des moindres carrés. Du fait de I'hypothèse de transformation linéaire, cela revient à effectuer une régression linéaire entre les 2 ensembles de valeurs constitués des niveaux de gris de chaque élément de la paire mise en correspondance. Soit ("Pu) l'ensemble des niveaux de gris de l'élément E1 de l'image 1, et soit (vu) l'ensemble des niveaux de gris de l'élément E2 de l'image 1'. Il s'avère que

E1 et E2 ont été mis en correspondance par l'estimateur de mouvement.

Dès lors, il s'agit de déterminer une estimation de cs et bo tel que l'on ait E{ (yuest - u)2} minimum (4) avec yuest = Cs. (Pu + bo (5) E, selon les termes utilisés en statistiques, correspond à la valeur moyenne et l'expression (4) signifie donc que la valeur moyenne du

carré des différences sur le bloc est minimisée.

D'une manière plus concrète, soit un bloc d'image E1 de l'image courante comprenant n pixels, le pixel à la ligne i et colonne j ayant la valeur de luminance pij. A ce bloc est associé un bloc prédit E2 mis en relation à partir du vecteur mouvement calculé. Soit qk, la valeur réelle de luminance du pixel k,l à la ligne k et la colonne I de ce bloc d'image E2, pixel mis en correspondance avec le pixel i,j par l'estimation de mouvement (rotation et translation ou translation exclusivement selon

MPEG2) et qk, la valeur prédite.

Ona: E(p u) = - 7Pi,j nij E(y u) =-1 qk,l n.k nk,l On cherche cs et bo tel que E (k,l - qk,l)2 minimum n avec qk, l = Cs.Pi,j + bo Le calcul de données statistiques sur les éléments E1 et E2 mis en correspondance permet donc d'estimer cs et bo. Il vient dans ce cas les résultats suivants: c5. (E{(pu2} - E{(pu}2) = (E{(pu. Vu} - E{qu}. E{Wu}) (6) et bo = E{yu} - cs. E{(pu} (7) En fonction de la valeur de luminance du bloc courant de l'image courante et des valeurs cs et bo calculées pour ce bloc courant par le circuit d'estimation de luminance et de mouvement 5, vont ensuite être calculés

les blocs prédits exploités pour le calcul des résidus.

Les informations de vecteurs mouvement calculées par le circuit d'estimation de mouvement 5 sont transmises au circuit de codage de ces vecteurs mouvement 8 et les informations de luminance telles que les

paramètres cs et bo sont transmises au circuit de codage de luminance 9.

Ces informations sont codées pour être ensuite transmises, par les sorties S2 et S3 du dispositif, vers un décodeur ou pour être multiplexées avec les informations de résidu également codées et disponibles sur la sortie S1 du dispositif, dans le cas ou l'on ne souhaite qu'une seule liaison avec chaque décodeur, par exemple dans le cadre de MPEG2. Dans ce dernier cas, le multiplexeur, non représenté sur la figure, récupère toutes les informations disponibles sur les sorties S1, S2, S3, du dispositif décrit, pour les intégrer et les transmettre de manière classique dans un flot de données ou "bitstream" en anglo- saxon vers l'ensemble des décodeurs correspondants. Le circuit de compensation en mouvement et luminance 12 récupère les informations décodées cs et bo ainsi que les vecteurs mouvement décodés en sortie des décodeurs mouvement et luminance pour calculer des images prédites. De cette manière, les informations de mouvement et de luminance exploitées par le circuit de compensation en mouvement tiennent compte du pas de quantification utilisé pour le codage et sont les mêmes que celles utilisées par un circuit de compensation exploité côté décodeur d'image, les circuits de décodage

mouvement et luminance étant choisis identiques côté décodeur d'image.

Le circuit de compensation reçoit, en mode inter, I'image 1(t) sur son entrée. A partir de cette image, des vecteurs mouvement et des paramètres cs et bo, une image prédite est calculée et transmise en sortie du circuit vers le soustracteur 7. L'image 1(t) est recçue sur la première entrée de ce soustracteur et l'image prédite provenant du circuit de compensation est soustraite pour fournir en sortie du soustracteur un résidu. Cette information de résidu est ensuite codée de manière classique en exploitant par exemple la transformée cosinus discrète pour être transmise sur la sortie S1 et, le cas échéant, multiplexée avec les

informations de mouvement et de luminance précédemment décrites.

Le mode de codage intra correspond au cas o une image I doit être décodée indépendamment des images la précédant. Ce deuxième mode de codage correspond à la position 2 des commutateurs représentée en traits pleins sur la figure. L'image 1(t) est ainsi transmise, dans ce mode, à un filtre 1 qui réalise un filtrage linéaire puis à un sous- échantillonneur 4 qui effectue un sous-échantillonnage, par exemple par deux, pour fournir une image l'(t). Le degré de sous-échantillonnage peut être aussi bien fixé a priori, que fixé à chaque fois que l'opération se produit. Dans ce dernier cas, la valeur doit impérativement être connue (stockée ou transmise) au décodeur. Cette image, pour le traitement à suivre, doit avoir la même taille que I et des valeurs nulles sont en fait ajoutées spatialement à l'image échantillonnée, toujours par l'intermédiaire de ce circuit 4, pour fournir I'(t). L'image obtenue est transmise sur l'entrée de l'estimateur de luminance et de mouvement. Ce circuit reçoit sur sa deuxième entrée l'image 1(t) et réalise une estimation de mouvement M entre l'image I et l'image associée 1' ou plus exactement une corrélation, interprétée comme un mouvement, entre l'image I et l'image associée 1'. Après cette estimation de mouvement qui idéalement est un mouvement de zoom, une estimation de luminance est faite à partir des 2 images, et des données de

mouvement obtenues.

Comme annoncé précédemment, un des aspects de l'invention est l'exploitation de la démarche inter vis-à-vis de l'image intra. Pour cela, sont donc utilisés des informations de mouvement, de luminance et de résidu. En fait la démarche s'inspire du théorème du point fixe de Banach (et donc s'approche des techniques fractales et d'IFS pour Iterated Function Systems en anglo-saxon, décrites par exemple dans l'article technique de M. H. Hayes intitulé Iterated Function Systems for image and i15 video coding du volume XLV de mai-juin 1994 du Journal on Communications). Pour donner un exemple, I'image courante est divisée en blocs d'images puis échantillonnée et filtrée et cette image filtrée est divisée en blocs d'image de même taille que les blocs de l'image courante. Une corrélation est ensuite effectuée entre un bloc courant de l'image courante et l'ensemble des blocs ou les blocs dans le voisinage du bloc courant (par

exemple appartenant à une fenêtre de recherche) de l'image filtrée.

La reconstruction de l'image intra se fait par compensation

cumulée par application du théorème de Banach comme expliqué ci-

dessous.

Selon la théorie fractale, la reconstruction peut s'interpréter comme simplement une compensation de mouvement et de luminance qui devrait théoriquement être réitérée une infinité de fois. Pour cela elle utilise les résultats de représentation d'images par IFS. En pratique, la convergence est assez rapidement atteinte, et le nombre d'itérations s'élève entre 3 et 10 maximum. Un même choix arbitraire ou empirique doit être fixé tant côté codeur que décodeur, afin de déterminer le résidu lors du codage, et d'avoir alors des résultats cohérents lors de la

reconstruction de l'image.

Comme dans le mode inter, les informations de mouvement (vecteurs mouvement) et de luminance (vecteurs luminance de composantes cs et bo) sont codées pour être multiplexées avec les informations de résidus codées, puis elles sont décodées pour être transmises au circuit de compensation en mouvement et luminance 12. En mode intra, le circuit reçoit sur sa troisième entrée, non plus l'image 1(t) mais une image calculée lors d'une itération précédente sauf pour la première itération. A partir des informations de mouvement et de luminance, une première image est calculée et transmise en sortie vers un circuit de calcul du nombre d'itérations et d'aiguillage 14 qui retransmet l'image calculée qu'il recoit vers l'entrée du circuit de compensation à travers un filtre 16 et un sous-échantillonneur 17. Après un nombre d'itérations donné, I'image ainsi reconstituée est l'image prédite qui est envoyée vers le soustracteur 7, par l'intermédiaire de ce circuit 14, pour

être soustraite à l'image 1(t).

La sortie du circuit de compensation en luminance et mouvement est donc reliée à l'entrée par l'intermédiaire d'une boucle, permettant ainsi plusieurs compensations successives désignées par c(), associées à un opérateur f() consistant en un filtrage linéaire de type passe-bas et à un sous-échantillonnage, par exemple une division spatiale par deux. La compensation c() repose tant sur une compensation de

mouvement que sur une compensation de luminance.

La compensation "réitérée" consiste à réaliser l'algorithme suivant (avec l0 quelconque et en fixant le nombre d'itérations à 8) - initialisation I = I0 - ième itération (i<9):li = c( f( li-1)) - 8 ème et dernière itération 18 = c( f( 17))

18 est l'image reconstruite.

Dès lors, il apparaît que la compensation "habituelle" consiste en une compensation "réitérée" pour laquelle - le nombre d'itérations vaut 1 f() est remplacé par l'identité - l0 est l'image de référence R. Cette compensation réitérée permet donc de calculer la prédiction de I en fonction des informations décodées de luminance et de

mouvement. Ainsi l'image intra peut être traitée comme une image inter.

Une conséquence importante se situe au niveau de la réalisation hardware o le schéma mis en pratique est le même pour les images intra que pourles images inter. Les points communs sont alors les suivants au niveau du codeur: - estimation du mouvement et codage associé - estimation de luminance selon les résultats de mouvement et codage associé; compensation de luminance et de mouvement à partir d'une image de référence ou de l'image issue d'un filtrage linéaire et souséchantillonnage et qui peut être réitérée sur elle-même (cas intra), afin de calculer l'image reconstruite;

- calcul du résidu par soustraction et codage associé.

La figure 2 représente un dispositif de décodage ou décodeur selon l'invention. Sur cette figure les mêmes références sont prises pour

les circuits communs au codeur et au décodeur.

Sur une première et deuxième entrée E2 et E3 du dispositif sont reçues les informations de mouvement et de luminance transmises par les sorties S2 et S3 du codeur précédemment décrit. Ces informations sont respectivement transmises aux entrées des circuits de décodage en mouvement 10 et en luminance 1 1 du type de ceux utilisés au codeur. Les sorties de ces circuits sont transmises sur une première et deuxième entrée d'un circuit de compensation en mouvement et en luminance 1 2 du type celui utilisé au codeur. La troisième entrée du décodeur, El, reçoit les informations de résidu transmises à un circuit de décodage de résidu 19 et la sortie de ce dernier est reliée à une première entrée d'un additionneur 20. La sortie de cet additionneur, qui est également la sortie S du décodeur, est transmise sur une première entrée d'un commutateur à deux positions 6 correspondant à la position 1, c'est à dire au mode inter. La sortie de ce commutateur est reliée à une troisième entrée du circuit de compensation en mouvement et en luminance 12. La sortie de ce circuit est reliée à l'entrée d'un deuxième commutateur à deux positions 13. La première sortie de ce commutateur qui correspond au mode inter est reliée à une première entrée d'un troisième commutateur à deux positions 15, correspondant également au mode inter. La sortie de ce troisième

commutateur est reliée à la deuxième entrée du circuit additionneur 20.

En mode intra, I'entrée du deuxième commutateur 1 3 est reliée à sa deuxième sortie, elle-même reliée à l'entrée d'un circuit de calcul d'itération et d'aiguillage 14. Une première sortie de ce circuit est reliée à la deuxième entrée du commutateur 15. La deuxième sortie est reliée à la deuxième entrée du commutateur 6 par l'intermédiaire d'un circuit de

filtrage 1 6 et d'un circuit de sous-échantillonnage 17 mis en série.

Les traitements sont ici fort similaires à ceux du codage. Les informations de mouvement, de luminance et du résidu transmise par le codeur et reçues respectivement sur les entrées E2, E3, et E1 sont décodées par l'intermédiaire des circuits de décodage 10, 11, 19 qui réalisent les opérations inverses de celles effectuées par les circuits de

codage correspondant 8, 9, 18 se trouvant dans le codeur.

Le décodage en mode inter exploite une image de référence R. Le circuit de compensation en luminance et en mouvement 12 identifie l'image de référence R à utiliser (cela peut être prédéfini) et mémorisée qu'il compense en mouvement et en luminance à partir des informations décodées de mouvement et de luminance, pour fournir sur sa sortie une image prédite. A cette image est ajouté le résidu décodé par le circuit 19, i15 par l'intermédiaire de l'additionneur 20 qui fournit ainsi sur sa sortie l'image reconstruite. Cette image est celle disponible en sortie S du dispositif décrit. C'est également cette image qui est renvoyée en entrée du circuit de compensation pour être éventuellement choisie comme image

de référence pour le décodage inter d'une image suivante.

Le décodage en mode intra n'exploite pas une image reconstruite comme image de référence. Il part d'une image de référence quelconque 1o créée par le circuit 12 ou se trouvant dans une mémoire du circuit 1 2 (qui peut bien sûr être différente de l'image de référence utilisée par le codeur). Une première itération est réalisée à partir de cette image en traversant le circuit de filtrage 16, le circuit d'échantillonnage 17 puis le circuit 1 2 qui réalise une compensation en mouvement et en luminance en fonction des données transmises par le codeur, pour fournir une nouvelle image Il et ainsi de suite. L'image 17, si on se limite à 7 itérations au niveau du codeur, est l'image reconstruite transmise à l'additionneur par

I'intermédiaire du circuit de calcul d'itérations et d'aiguillage 14.

Le dispositif de décodage est ici décrit avec trois entrées mais il est évident que, lorsque les données de luminance et de mouvement sont multiplexées avec les données codées de résidu, un démultiplexeur en entrée du décodeur, non représenté sur la figure, se charge de trier ces données pour les envoyer sur les entrées correspondantes El, E2 ou E3 du décodeur. Les points communs aux dispositifs de codage et décodage sont les suivants: - décodage associé au mouvement; - décodage associé à la luminance - compensation de luminance et de mouvement à partir d'une image de référence (qui peut être une mémoire image vide dans le cas intra de départ), et qui peut être réitérée sur elle-même (cas intra) en étant associée au point suivant; - filtrage linéaire et sous-échantillonnage selon le cas (intra/inter); - décodage associé du résidu, et ajout à la reconstruction par compensation. D'une manière générale, on remarquera qu'aucune hypothèse n'a 1 5 a été faite sur le champ de mouvement existant. Il peut donc être par bloc, par région, dense, plus ou moins précis, obtenu par la méthode des

moindres carrés ou par celle du gradient.

Cette invention permet donc d'améliorer les schémas de codage de séquences d'images numériques existants basés sur la compensation de mouvement. Elle utilise des traitements existants (estimation, compensation de mouvement; codage des données de représentation;

traitement du résidu), tout en se définissant indépendamment d'eux.

Elle est particulièrement bien adaptée au nouvelles méthodes de codage par région ou zone n'exploitant plus les informations de résidu mais la seule information de prédiction. On notera que le critère de décision d'utilisation ou pas des données de luminance pour un bloc ou voisinage donné ou région, peut être associé à un aspect qualitatif du résidu, c'est à dire au degré d'exploitation du résidu dans l'application envisagée. Il est en effet envisageable, par exemple selon les nouvelles techniques de codage par région ou zone, de ne transmettre les informations de résidu que pour certaines images, par échantillonnage pour une image toutes les n images ou même de ne pas les transmettre du tout, le décodeurs n'exploitant alors

que les seules informations de prédiction.

Claims (12)

REVENDICATIONS

1. Procédé de codage de données numériques d'une séquence d'images vidéo réalisant un codage de la différence de luminance (7) entre une partie d'image courante à coder et une partie correspondante d'une image prédite à partir d'une image dite de référence, caractérisé en ce que la prédiction est effectuée en fonction d'une compensation (12) en

luminance de valeurs de luminance de l'image de référence.

2. Procédé selon la revendication 1, caractérisé en ce que le codage de la partie de l'image à coder est un codage inter entre l'image courante l(t+1) et une image précédente 1(t) et en ce que cette image

précédente est l'image de référence.

3. Procédé selon la revendication 2, caractérisé en ce que la compensation en luminance (12) est effectuée à partir d'une estimation de luminance (5) fonction de valeurs de luminance de pixels appartenant à la partie de l'image courante à coder et de celles appartenant à la partie de I'image précédente mise en correspondance (5) par l'intermédiaire d'un

vecteur mouvement calculé à partir d'un estimateur de mouvement (5).

4. Procédé selon la revendication 1, caractérisé en ce que le codage de la partie de l'image à coder est un codage intra de l'image courante 1(t) et en ce que l'image prédite est calculée par itérations successives à partir d'une image de référence o10, chaque itération comportant un filtrage (16), un sous-échantillonnage (17), une

compensation en mouvement et en luminance (12).

5. Procédé selon la revendication 4, caractérisé en ce qu'un vecteur mouvement est calculé par corrélation entre la partie de l'image courante à coder 1(t) et une image filtrée l'(t) obtenue à partir d'un filtrage (1) et d'un sous-échantillonnage (4) de cette partie d'image courante 1(t) et en ce que la compensation en luminance (12) est effectuée à partir d'une estimation de luminance (5) fonction de valeurs de luminance de pixels appartenant à la partie de l'image courante à coder et de celles appartenant à la partie de l'image mise en correspondance par

l'intermédiaire du vecteur mouvement.

6. Procédé selon l'une des revendications 3 ou 5, caractérisé en

ce que l'estimation de la luminance (5) comprend le calcul d'une luminance prédite q pour les pixels de la partie de l'image courante à coder de luminance réelle q, luminance prédite choisie fonction linéaire de la luminance p pour les pixels de la partie de l'image mise en correspondance par l'intermédiaire du vecteur mouvement, de la forme q = cs p + bo, le calcul des coefficients cs et bo étant effectué en minimisant la somme, sur les pixels concernant la partie de l'image à coder, de la différence relative

aux valeurs de q et de q.

7. Procédé selon la revendication précédente 6, caractérisé en ce que la partie d'image est un bloc d'image et en ce que les vecteurs luminance de composantes cs et bo sont calculés au niveau du bloc d'image.

8. Procédé selon l'une des revendications 6 ou 7, caractérisé en

ce que le calcul des coefficients est effectué à partir de la méthode des

moindres carrés.

9. Dispositif de codage de données numériques d'une séquence vidéo pour la mise en oeuvre du procédé selon la revendication 1 comprenant un circuit d'estimation de mouvement (5) pour le calcul de vecteurs mouvement entre deux images, un circuit de compensation de mouvement (12) à partir d'une image de référence pour le calcul d'une image prédite, un soustracteur (7) pour la soustraction de l'image prédite à l'image courante pour le calcul d'un résidu à coder, caractérisé en ce qu'il comprend un circuit d'estimation de luminance (5) entre les deux mêmes images et un circuit de compensation de luminance (12) recevant les informations provenant du circuit d'estimation de luminance et

d'estimation de mouvement (5) pour le calcul de l'image prédite.

10. Dispositif de codage selon la revendication 9, caractérisé en ce que le circuit d'estimation de luminance (5) estime une luminance des pixels d'une partie de l'image courante à coder en fonction des luminances des pixels de la partie de l'image mise en correspondance par l'intermédiaire du vecteur mouvement et en fonction de la différence de

luminance entre les deux parties d'images prises globalement.

11. Dispositif de décodage de données numériques codées selon le procédé de la revendication 1, pour le calcul d'une image reconstruite à partir d'un résidu et d'une image prédite, caractérisé en ce qu'il comprend un circuit de compensation en luminance (12) en fonction de vecteurs de luminance qui sont des informations d'estimation de luminance, pour le

calcul de l'image prédite.

1 2. Dispositif de décodage selon la revendication 11, caractérisé en ce que, dans un mode inter, le circuit de compensation de luminance et de mouvement (12) calcule l'image prédite en fonction d'une image reconstruite précédente, de vecteurs mouvement et des vecteurs luminance. 1 3. Dispositif de décodage selon la revendication 11, caractérisé en ce que, dans un mode intra, la sortie du circuit de compensation en luminance et en mouvement (12) est rebouclée sur son entrée par l'intermédiaire d'un filtre (16) et d'un sous-échantillonneur (17) afin de calculer l'image prédite par itérations successives d'une image de

référence (10), une itération comprenant un filtrage, un sous-

échantillonnage et une compensation en fonction des vecteurs luminance

et de vecteurs mouvement.

14. Signaux de transmission de données comprimées obtenues par codage des informations de résidu calculées par différence entre les valeurs de luminance d'une image prédite et d'une image courante, le champ de vecteurs mouvement faisant partie des données transmises, caractérisés en ce qu'ils comprennent également un champ de vecteurs luminance calculés à partir des valeurs de luminance pour les parties d'images mises en correspondance par l'intermédiaire du champ de

vecteurs mouvement.