FR2693291A1 - Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé. - Google Patents

Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé. Download PDF

Info

Publication number
FR2693291A1
FR2693291A1 FR9208102A FR9208102A FR2693291A1 FR 2693291 A1 FR2693291 A1 FR 2693291A1 FR 9208102 A FR9208102 A FR 9208102A FR 9208102 A FR9208102 A FR 9208102A FR 2693291 A1 FR2693291 A1 FR 2693291A1
Authority
FR
France
Prior art keywords
circuit
image
decoding
coding
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR9208102A
Other languages
English (en)
Inventor
Philippe Riglet
Lionel Bouchard
Jacques-Ariel Sirat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laboratoires dElectronique Philips SAS
Original Assignee
Laboratoires dElectronique Philips SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Laboratoires dElectronique Philips SAS filed Critical Laboratoires dElectronique Philips SAS
Priority to FR9208102A priority Critical patent/FR2693291A1/fr
Priority to US08/041,632 priority patent/US5420638A/en
Priority to EP93201000A priority patent/EP0566185B1/fr
Priority to DE69313703T priority patent/DE69313703T2/de
Priority to JP5087548A priority patent/JPH0662385A/ja
Publication of FR2693291A1 publication Critical patent/FR2693291A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Sous-ensemble de décodage d'images ayant préalablement subi, en vue de leur transmission et/ou de leur stockage, un codage réalisé à l'aide d'une part de moyens de construction d'un modèle de base à facettes représentatif desdites images, par calibration initiale du modèle dans la zone utile des images puis réactualisation des informations représentatives du modèle ainsi calibré, et d'autre part de moyens de codage spécifique des informations essentielles résultant desdites calibration initiale et réactualisation, ledit sous-ensemble de décodage étant caractérisé en ce qu'il comprend: (1) un circuit (550) de détection du mode de fonctionnement en calibration initiale ou en réactualisation; (2) en sortie de celui-ci et en parallèle l'un sur l'autre, un étage (600) de décodage des informations de calibration initiale et un étage (700) de décodage des informations de réactualisation; (3) un étage (900) d'affichage vidéo, recevant les sorties desdits étages de décodage (600, 700). Application: visiophones

Description

"SOUS-ENSEMBLE DE DECODAGE D'IMAGES CODEES TRANSMISES DANS UN
CANAL A TRES BAS DEBIT ET/OU STOCKEES AVEC UN TAUX DE
COMPRESSION DE DONNEES ELEVE"
Description
La présente invention concerne un sous-ensemble de décodage d'images ayant préalablement subi, en vue de leur transmission dans un canal à très bas débit et/ou de leur stockage avec un taux de compression de données élevé, un codage réalisé à l'aide d'une part de moyens de construction d'un modèle de base à facettes représentatif desdites images, par calibration initiale du modèle dans la zone utile des images puis réactualisation des informations représentatives du modèle ains calibré, et d'autre part de moyens de codage spécifique des informations essentielles résultant desdites calibration initiale et réactualisation. Cette invention est utilisable notamment pour le décodage d'images visiophoniques codées.
Le document "Model-based image coding" de W.J.
Welsh, S.Searby et J.B. Waite, paru dans "British
Telecommunications Technology Journal", vol.8, n 3, juillet 1990, pp. 94-106, décrit la mise en oeuvre d'un procédé de synthèse d'images dans lequel il est prévu, pour une reconstitution d'images correspondant aux images d'origine préalablement codées, d'adapter auxdites images un modèle tridimensionnel de base du type fil de fer, et l'on réalise cette adaptation de façon particulièrement précise dans des zones considérées comme ayant un intérêt particulier, notamment les zones correspondant, dans un visage, aux expressions faciales les plus typiques. Dans des applications où l'attention du spectateur se porte essentiellement sur ces zones d'expressions faciales typiques, la qualité des images synthétisées risque cependant d'apparaître comme très insuffisante, le rendu des images manquant de réalisme.
Le but de l'invention est de proposer un sousensemble de décodage tel que défini dans le préambule de la description et qui est en outre caractérisé en ce qu'il comprend
(1) un circuit de détection du mode de fonctionnement en calibration initiale ou en réactualisation
(2) en sortie de celui-ci et en parallèle l'un sur l'autre
(a) un étage de décodage des informations de calibration initiale
(b) un étage de décodage des informations de réactualisation
(3) un étage d'affichage vidéo, prévu pour recevoir les sorties en parallèle desdits étages de décodage.
La structure ainsi proposée est avantageuse en ce sens que des décodages spécifiques sont opérés pour les différentes parties des images transmises, en fonction de codages eux-mêmes spécifiques réalisés préalablement, un décodage relativement rudimentaire suffisant pour la plus grande partie de ces images et un décodage plus précis étant réalisé dans la ou les zones dont une restitution de qualité est souhaitée.
Les particularités et avantages de I1 invention apparaîtront maintenant de façon plus détaillée dans la description qui suit, faite en référence aux dessins annexés dans lesquels
- la figure 1 montre un exemple de réalisation d'un sous-ensemble de codage d'images visiophoniques apte à fournir les signaux d'entrée du dispositif de décodage selon l'invention et la figure 2 montre un exemple de réalisation du dispositif de segmentation de ce sous-ensemble de codage
- la figure 3 est un organigramme résumant les diverses opérations entreprises pour un traitement des images par segmentation, préalablement audit codage
- la figure 4 montre les principales zones où vont être localisés des points de référence définissant les formes caractéristiques d'un visage, en vue des opérations de calibration de modèle et de suivi de déplacement décrites plus loin
- la figure 5A montre un exemple de modèle tridimensionnel de base, à facettes, à partir duquel est réalisée l'adaptation aux images originales présentes à l'entrée du dispositif de codage selon l'invention, et la figure 5B montre ce même modèle après réalisation de ladite adaptation pour un exemple de visage réel bien déterminé
- la figure 6 illustre le fait que chaque facette du modèle tridimensionnel peut être ombrée en fonction de l'éclairement qu'elle est supposé recevoir d'une source de lumière ponctuelle
- la figure 7 montre sur un visage les six degrés de liberté selon lesquels vont être décrits les mouvements de ce visage, la figure 8 illustre la méthode de suivi du déplacement de fenêtres placées en des zones caractéristiques du visage, et la figure 9 montre ledit visage dans le cas particulier où trois fenêtres séparées, une pour chaque oeil et une pour la bouche, sont choisies pour subir un codage spécifique tenant compte du fait que ces zones du visage sont particulièrement animées
- la figure 10 montre dans la séquence des images à coder un groupe de N = 10 images et met en évidence, à l'aide de flèches, la façon dont les images de rang 4, 7, 10 et de rang 2, 3, 5, 6, 8, 9 sont obtenues par prédiction les unes en fonction des autres et de l'image de rang 1
- les figures 11, 12, 13 montrent trois exemples de zones de transition entre lesdites fenêtres, telles que les montre par exemple la figure 9, et le reste de l'image soumise au codage
- la figure 14 est une représentation du modèle tridimensionnel vu de profil, et montre plus particulièrement deux zones de ce modèle qui ont été partiellement ou totalement exclues de la calibration initiale
- la figure 15 montre la structure générale d'un sous-ensemble de décodage d'images incluant un dispositif de décodage selon l'invention ;
- la figure 16 montre un exemple de réalisation de l'étage de décodage des informations de calibration initiale du modèle tridimensionnel
- la figure 17 illustre, à propos du calcul des coefficients de texture, une méthode de balayage des facettes successivement rencontrées sur chaque ligne
- la figure 18 montre un exemple de réalisation de l'étage de décodage des informations de réactualisation
- la figure 19 illustre le principe de détermination des coefficients de texture non transmis, par interpolation de ceux des coefficients qui, eux, ont été transmis en sortie du sous-ensemble de codage
- la figure 20 montre un exemple de réalisation de l'étage de décodage des informations de rafraîchissement
- la figure 21 montre une variante de réalisation d'un des circuits de l'étage de décodage des informations de réactualisation représenté sur la figure 18.
Un visiophone est un appareil permettant aux interlocuteurs d'une communication téléphonique d'obtenir en outre sur un écran l'image animée de leur(s) correspondant(s).
Deux types d'information doivent pouvoir être reconnaissables sur l'écran, à savoir le personnage et le fond. Dans l'exemple de réalisation ici décrit, on suppose que les images à transmettre sont constituées d'un personnage animé et d'un fond fixe (ou quasi-fixe, en appelant ainsi un fond qui par exemple a subi un recalage d'image). En outre, le format desdites images est ici du type défini par le CCITT (Consultative
Committee for International Telephony and Telegraph) comme format d'image standard pour une transmission sur des réseaux à très bas débit, à savoir le CIF (Common Intermediate Format), adopté pour les applications de téléphonie visuelle et de visioconférence afin de remédier à l'incompatibilité actuelle des standards de télévision dans le monde.
Avec le format CIF, le signal de luminance comprend 288 lignes de 360 pixels chacune, et le signal de chrominance 144 lignes de 180 pixels chacune. Une image vidéo CIF est donc composée de 155520 pixels. Avec un affichage qui serait par exemple de 15 images par seconde, il faudrait donc transmettre 2332800 pixels, codés chacun sur 8 bits. La vitesse de transmission pour le transfert d'une image CIF s'élève donc à plus de 18 Mb par seconde, ce qui ne constitue pas précisément un bas débit et implique de faire impérativement appel à une compression de données. Alternativement, un deuxième format d'image a été défini pour permettre la mise au point d'équipements meilleur marché.Désigné par le sigle QCIF (Quart de CIF), ce format divise par deux la définition des informations de luminance (comprenant maintenant 144 lignes de 180 pixels chacune) et des informations de chrominance (comprenant maintenant 72 lignes de 90 pixels chacune), avec une fréquence d'affichage de 7,5 images par seconde. Dans la suite de la description, on précisera certains résultats ou certaines valeurs soit dans le standard CIF, soit dans le standard QCIF soit encore dans un troisième format, par exemple 682 x 512 pixels (format 4/3). Cependant, les formats ainsi envisagés ne constituent pas des exemples limitatifs en ce qui concerne la présente invention (le format 4/3 de la télévision, de 720 x 576 pixels, pourrait bien entendu aussi être envisagé).Par ailleurs, il semble également qu'une fréquence de 10 images par seconde constitue encore un compromis satisfaisant entre le confort visuel des interlocuteurs et la réduction indispensable du débit.
La suite de la description concerne ici un ensemble de codage et de décodage d'images destinées à une telle transmission à très bas débit et/ou à un stockage avec un taux de compression élevé des données correspondant à ces images, ledit ensemble comprenant d'une part un sous-ensemble de codage d'images visiophoniques et d'autre part un sous-ensemble de décodage d'images ainsi codées. Le sous-ensemble de codage d'images visiophoniques ici décrit en référence à la figure 1 reçoit sur son entrée une séquence d'images vidéo telles que définies ci-dessus. Ces images ont par exemple été obtenues à l'aide d'une caméra CCD, avec un format de 512 x 512 éléments d'image (ou pixels) à l'origine.Cette caméra délivre ici un signal en teintes de gris sur 256 niveaux (pixels codés sur 8 bits), mais on pourrait aussi traiter des images en couleurs et avec un format différent.
La séquence d'images au format CIF ainsi présente à l'entrée du sous-ensemble est fournie à un dispositif de segmentation 100. Dans l'exemple ici décrit, il s'agit d'extraire automatiquement du fond immobile la zone correspondant au visage de l'interlocuteur (et au haut du buste). Cette extraction repose sur l'analyse d'une succession d'images, par exemple entre une dizaine et une vingtaine, dont on retient ici un nombre n, par exemple les images de rang 4, 8, 12 et 16, notées respectivement I1, 12, I3, I4 (dans cette succession, les images retenues doivent être suffisamment espacées pour capter au mieux les déplacements, mais pas trop pour éviter un surdimensionnement de la silhouette dans le cas de déplacements importants).Comme le montre la figure 2, le dispositif 100 comprend tout d'abord un circuit 101 de détermination de silhouette par un calcul de la différence (ici pixel par pixel) entre ces images, selon la formule suivante pour obtenir une différence moyenne permettant de tenir compte de fluctuations dans les mouvements de la tête et du buste
DIFF(i,j) = I I4(i,j) - I3(i,j)I
I4(i,j) - I2(i,j)I
+ - I(i,i)l expression dans laquelle i et j correspondent au rang du pixel courant dans les lignes et les colonnes,- I. I désigne l'opérateur "valeur absolue de", et DIFF est la différence moyenne ainsi calculée.Cette différence est alors comparée à un seuil THRE1 (de quelques unités, par exemple 4) pour séparer le signal utile du bruit de fond : si la différence est supérieure au seuil, on prend DIFF(i,j) = 255 (maximum de l'échelle des 256 niveaux de luminance variant de O à 255), le pixel correspondant étant considéré comme étant en mouvement dans la succession d'images considérée et donc comme appartenant au personnage, sinon le pixel courant est considéré comme statique et on lui associe alors une luminance nulle
DIFF(i,j) = O. Ce calcul de différence, par suppression du fond basée sur le mouvement, implique bien entendu que la luminance ambiante, correspondant au fond, reste constante pendant cette succession d'images, faute de quoi une variation de luminance pourrait être confondue avec un mouvement réel.
Le circuit 101 est suivi d'un circuit 102 de suppression de bruit. En effet, au cours de la détermination de silhouette, il peut subsister de petites variations de luminosité du fond, affectant quelques pixels isolés situés hors de la zone du visage. Le circuit 102 permet alors, en examinant pour chaque pixel P de l'image la luminance des pixels voisins contenus par exemple dans un bloc centré sur ce pixel P, d'effectuer une moyenne sur ce voisinage de P : si les pixels du bloc sont en majorité blancs, on donne à P le niveau de luminance 255, sinon sa luminance est considérée comme égale à 0. Cette opération est représentée par l'expression suivante - si DIFF(k,l) > THRE2
* S DIFF(k,l) = 255 - Si DIFF(k,l) < THRE2
* S DIFF(k,l) = O expression dans laquelle les lettres k, 1 correspondent respectivement au rang des lignes et des colonnes des pixels du voisinage de P(i,j) et THRE2 est la valeur de seuil qui permet de prendre la décision majoritaire après réalisation de la moyenne des luminances. Lorsque ladite opération est terminée, la zone correspondant au fond est remplie de pixels noirs, tandis que celle correspondant au personnage est majoritairement remplie de pixels blancs.
Un circuit 103 de suppression de discontinuités permet ensuite de rendre homogène la silhouette du personnage en éliminant les pixels noirs éventuels qui lui sont intérieurs. Cette suppression est par exemple réalisée en balayant ligne par ligne l'image et en déterminant pour chaque ligne le segment dont les deux extrémités coïncident avec les deux contours gauche et droit du personnage, puis en donnant la valeur de luminance 255 à tous les pixels de ce segment. La zone qui apparaîtra ainsi en blanc doit présenter un profil continu. On veille donc à éliminer, parmi les points d'extrémité de ces segments, ceux qui introduiraient une discontinuité dans ce profil.Plus précisément, si l'on appelle respectivement PL(i,j) et PR(i,j) les extrémités du segment pour la ligne courante, c' est-à-dire le premier pixel blanc et le dernier pixel blanc rencontrés sur la ligne courante balayée (c'est-à-dire encore, de façon équivalente, le premier pixel rencontré sur cette ligne à partir de la gauche et à partir de la droite de l'écran respectivement), cette suppression des points aberrants qui engendrent des discontinuités est effectuée en tenant compte de l'inclinaison plus ou moins grande du contour de la silhouette du personnage par rapport à ladite ligne courante, par un test des discontinuités entre la ligne précédente j-l et la ligne courante j.Cette opération peut être exprimée de la façon suivante : selon que la différence de luminance entre les pixels PL (ou respectivement PR) de rang j-l et j est supérieure ou inférieure à un seuil prédéterminé THRE3, le point PL (ou PR respectivement) est considéré comme non valide et éliminé (luminance forcée à la valeur O) ou au contraire comme valide, et l'on passe alors au test similaire pour les lignes j et j+l.
Le seuil THRE3 désigne la valeur de discontinuité tolérée entre deux lignes successives de la zone du personnage.
Cette valeur dépend de la région considérée le long du contour de la silhouette
- lorsque le profil est très arrondi (haut de la tête) et que ladite inclinaison correspond donc à un angle faible ou au contraire voisin de 1800, on peut accepter d'une ligne à l'autre des discontinuités assez élevées, et l'on prendra par exemple pour THRE3 une valeur de l'ordre de quelques dizaines de pixels
- au milieu de l'image, dans la région qui correspond aux tempes, aux joues et au cou, cette inclinaison est voisine de 90 , ou en tout cas éloignée des valeurs extrêmes O ou 1800, et les discontinuités d'une ligne à l'autre sont faibles, la valeur de THRE3 étant alors de l'ordre de quelques pixels
- pour le bas de l'image, dans la région des épaules et du buste, l'inclinaison peut retrouver les valeurs extrêmes signalées et de fortes discontinuités entre lignes successives, de l'ordre de plusieurs dizaines de pixels, existent à nouveau.
Aux circuits 102 et 103 est enfin associé, pour une opération de lissage, un circuit 104 de suppression des irrégularités du contour séparant la silhouette du fond. Là encore, divers modes de suppression pourraient être envisagés, et par exemple un filtrage morphologique. Comme pour le circuit 102, on a ici choisi d'effectuer une moyenne et une comparaison à un seuil de luminance THRE4, plus précisément en considérant chaque pixel blanc peu éloigné du contour, en testant la luminance de ses voisins, et en lui associant la luminance majoritaire dans ledit voisinage.
Après ces opérations successives de suppression d'irrégularités affectant éventuellement le fond, la silhouette, et le contour les séparant, la segmentation d'image est effective et l'on dispose désormais d'une image binaire, à chaque pixel P(i,j) de laquelle correspond une valeur de l'expression DIFF(i,j). Cette image binaire est alors utilisée par un circuit 105 de substitution d'image pour définir en teintes de gris (ou le cas échéant en couleurs) l'image de la zone du personnage. Cette définition est réalisée de la façon suivante : si DIFF(i,j) = 255, alors l'image originale est recopiée à la place de l'image binaire, sinon, pour tout pixel où DIFF(i,j) = O, le fond est mis à la valeur 0.
Sur cette image en nuances (teintes de gris, ou couleurs) et sans fond est enfin effectué un dernier traitement, à l'aide d'un circuit 106 de suppression des effets du mouvement. En effet, puisque l'on superpose l'image originale à une image différence résultant de la prise en compte de plusieurs images de la séquence des images d'entrée, il apparaît entre cette image originale et ladite image différence (nécessairement plus large) une sorte de halo, ou de surdimensionnement, dont l'épaisseur correspond aux mouvements effectués par le personnage pendant la prise de vues correspondant à la succession d'images utilisée pour les traitements précédents.Pour éliminer ce halo, le circuit 106 comprend un détecteur de contour qui va faire apparaître à la fois le bord extérieur du halo (c'est-à-dire le contour de l'image sans fond) et son bord intérieur (c'est-à-dire le véritable contour du personnage). Ce détecteur du circuit 106 détecte pour chaque ligne successivement balayée deux points de contour du côté gauche du personnage et deux autres points de contour de son côté droit, et l'on associe alors une luminance nulle aux pixels compris entre ces deux points de contour gauche ainsi qu aux pixels compris entre ces deux points de contour droit. On dispose ainsi, cette fois, après un éventuel dernier lissage, d'une image donnant le profil réel du personnage.La figure 3 montre un organigramme qui rassemble les opérations ici successivement réalisées pour l'extraction du personnage du fond, ces opérations intermédiaires étant, à partir de chaque image originale IO, les suivantes : création de la silhouette par différence entre plusieurs images (CS), suppression du bruit (SB), remplissage de la silhouette (RS), lissage de celle-ci (LS), segmentation de l'image sans fond (SI), détection de contour (DC), suppression du halo (SH), et lissage final (LF) fournissant l'image sans fond IF.
Dans le système décrit, il est également prévu, en parallèle, un dispositif 200 de construction d'un modèle tridimensionnel du contenu de la zone utile de l'image et un dispositif 300 de réactualisation des paramètres principaux de définition dudit modèle, puis un dispositif 400 de codage des informations délivrées par les dispositifs 200 et 300. Le dispositif 200 est destiné, dans le cadre de l'application ici décrite qui consiste à localiser et suivre un personnage dans une séquence animée d'images visiophoniques, à permettre une calibration initiale par adaptation d'un modèle tridimensionnel de base. Le dispositif 300 permet alors de réactualiser ce modèle pour prendre en compte les mouvements qui interviennent au cours de ladite séquence.Un commutateur 250, dont on verra plus loin le fonctionnement, est prévu en sortie du dispositif 100 pour commander le passage du fonctionnement du dispositif 200 au fonctionnement du dispositif 300.
Le dispositif 200, qui reçoit comme informations des signaux vidéo numériques correspondant à la partie animée d'une séquence d'images et sélectionnés par segmentation, par exemple selon le principe de segmentation décrit ci-dessus, comprend tout d'abord un circuit 201 d'extraction de points de référence dans ladite zone utile des images à transmettre. En effet, pour une reproduction fidèle ou en tout cas satisfaisante du visage du personnage occupant ladite zone utile à partir d'un modèle géométrique tridimensionnel, il est important de déterminer préalablement les principaux points caractéristiques du visage présent dans la séquence d'images (à savoir, comme le montre la figure 4, le sommet de la tête, les tempes, les yeux, le nez, la bouche, et le menton), qui vont permettre la calibration initiale du modèle tridimensionnel (puis un suivi de déplacement, comme on le verra plus loin). Le document "Model-based analysis synthesis image coding (MBASIC) system for a person's face", K. Aizawa et al, Signal
Processing : Image Communication, 1 (1989), pp.139-152, décrit un exemple de réalisation d'une telle opération visant à la synthèse ultérieure d'une image de sortie à partir d'un modèle tridimensionnel.
Pour cette extraction de points de référence, le circuit 201 considère donc l'image dans laquelle le fond a été supprimé et effectue ici un balayage, par exemple vertical, de cette image pour déterminer le premier point caractéristique, qui est le sommet de la tête et dont coordonnée correspond au maximum en ordonnée de l'image sans fond. Les points caractéristiques des yeux (coins des yeux, point haut, point bas) sont ensuite déterminés par segmentation dans une fenêtre centrée automatiquement sur la zone des yeux, et définie à cet effet à partir notamment de la position du sommet de la tête et en tenant compte de l'épaisseur des cheveux, très variable d'un personnage à l'autre, pour bien placer cette fenêtre au-dessous de la zone correspondant aux cheveux et la centrer effectivement au niveau des yeux.
La méthode de segmentation repose sur un seuillage à plusieurs niveaux, les seuils choisis étant égaux aux minima de 1' histogramme de luminance dans la fenêtre. Plus précisément, il faut d'abord réaliser une première opération, qui consiste à déterminer les extrémités de la région correspondant aux cheveux en segmentant par la méthode de l'histogramme une fenêtre dont le bord supérieur est donné par le sommet de la tête, le nombre de niveaux de l'histogramme étant ajusté de façon que la luminance des cheveux apparaisse comme constante et que cette zone des cheveux n'apparaisse donc que comme une seule région. La limite inférieure de la région des cheveux peut alors être choisie comme référence pour définir à son tour la fenêtre des yeux.S'il n'y a pas de détection de cheveux (cas d'un homme chauve), on peut définir une position probable de la fenêtre des yeux par la seule position du sommet de la tête, en choisissant alors une fenêtre de taille suffisante. La fenêtre des yeux étant ainsi définie, la seconde opération consiste à la segmenter en régions, toujours par la méthode de l'histogramme, afin de mettre en évidence la zone des yeux proprement dite, qui est plus contrastée que la peau (ceci suppose bien entendu que les conditions d'éclairage du personnage soient suffisamment correctes pour qu'il n'y ait pas d'ombres susceptibles de fausser la segmentation).Le nombre de niveaux de l'histogramme est alors ajusté automatiquement de façon à pouvoir localiser les quatre points caractéristiques de chaque oeil, dont les coordonnées sont fournies en recherchant les extrema en abscisse et en ordonnée de la forme obtenue après segmentation.
On peut aussi ajouter à cette localisation des yeux une localisation des tempes, ce qui désigne ici les deux points appartenant aux contours extérieurs gauche et droit du personnage, à une ordonnée choisie approximativement au niveau des sourcils (ce qui d'ailleurs peut aussi correspondre sensiblement à l'ordonnée des points caractéristiques supérieurs des yeux), l'abscisse correspondante étant déterminée par les points de contour extérieur de l'image sans fond, en balayant la ligne correspondant à cette ordonnée.
A partir de la localisation des yeux, une fenêtre de recherche de la bouche est définie, par translation de celle contenant les yeux. Si le contraste autour de la bouche est faible, on utilise de préférence à la méthode de segmentation, relativement peu précise dans ce cas, une méthode de détection de contours permettant d'obtenir la forme générale de la bouche et de localiser un point caractéristique situé au minimum du contour représentant la lèvre inférieure.De la localisation des yeux et de la bouche, on peut ensuite déduire une fenêtre de recherche du nez, dont les bords latéraux sont sensiblement à la verticale du point intérieur des yeux et dont les bords inférieur et supérieur jouxtent ceux des fenêtres relatives aux yeux et à la bouche, puis, en supposant que le visage du personnage est orienté vers la caméra avec un éclairage ne créant pas d'ombres perturbatrices, déduire par segmentation de cette fenêtre du nez la position des narines, en balayant horizontalement cette fenêtre.
On peut enfin définir une fenêtre de recherche du menton par translation de celle de la bouche. Là encore, le contraste autour du menton peut être faible et l'on préfère à la méthode de segmentation ou à celle de détection de contours, une méthode similaire à celle de détermination de la silhouette utilisée initialement, opérant par obtention d'une image de différence à partir de plusieurs images de la séquence, suppression du bruit, et balayage horizontal pour déterminer le minimum de l'arc obtenu qui correspond au bas du menton.
Le circuit 201 d'extraction de peints de référence est alors suivi de moyens 202 d'adaptation d'un modèle tridimensionnel de base. Ce modèle, comme indiqué dans le document "Signal Processing : Image Communication" déjà cité, est constitué d'un maillage de nombreuses facettes triangulaires. Chacune de ces facettes est décrite, pour les distinguer, par un numéro de facette FN et trois noeuds de numéros V1, V2, V3 situés aux trois sommets du triangle. Les coordonnées xv, Yvt Zv associées à ces noeuds sont définies dans un référentiel lié au modèle. Un exemple d'un tel modèle de base est représenté sur la figure 5A, la figure 5B montrant ce même modèle après réalisation de l'adaptation à un visage réel bien déterminé.
Ce modèle est affiché à l'écran dans un système de coordonnées d'écran x5 y5 z5 où l'axe des abscisses est horizontal, l'axe des ordonnées vertical, et l'axe des z perpendiculaire à 1' écran (ces coordonnées x52 yS2 z5 sont déduites des coordonnées xv, Yv Zv par une transformation matricielle de type classique), et doit être adapté à la séquence d'images, c'est-à-dire que lesdites coordonnées vont être modifiées à partir des points caractéristiques définis précédemment. Les moyens d'adaptation prévus comprennent d'abord un circuit 202 d'alignement sur l'image originale et de mise à échelle.Les repères pour ledit alignement sont ici, horizontalement, le centre du segment joignant les deux tempes et, verticalement, le sommet de la tête. Les déplacements pour aligner le modèle sur l'image originale sont donc (a) en abscisse dx= 1 [ (Xv (RT) -Xv (LT) ) - (XC (RT > -Xc(LT)) ]
2 (b) en ordonnée
dy = yv(HT) - yc(HT) expressions dans lesquelles - XV et yv ont déjà été définis - RT et LT se réfèrent à la tempe droite et la tempe gauche respectivement, et HT au sommet de la tête et et Yc désignent les coordonnées du point caractéristique considéré parmi ceux définis précédemment.
Après alignement, le modèle est dilaté pour être représenté à la même échelle que le personnage, en utilisant pour cela les points caractéristiques des tempes, des yeux et du menton, conformément aux expressions suivantes
DIL(X) = (xc(RT) - xc(LT))/(xv(RT) - xv(LT))
DIL(Y) = (yc(CH) - yc(EY))/(yv(CH) - Yv(EY)) expressions dans lesquelles DIL(X) et DIL(Y) désignent les facteurs multiplicatifs à appliquer aux coordonnées du modèle, et CH et EY se réfèrent respectivement au menton et aux yeux.
Eventuellement, yc(EY) peut être remplacé par une valeur ycD(EY) qui représente la valeur moyenne des coordonnées yc(EY) pour différents points caractéristiques choisis autour des yeux. En effet, en prenant une valeur moyenne au lieu de la coordonnée d'un seul point, on minimise l'erreur possible sur l'ordonnée d'un de ces points caractéristiques considéré isolément.
Le circuit 202 est alors suivi d'un circuit 203 d'ajustement des zones d'expression et des profils. En effet, l'alignement et la mise à échelle ont conduit à établir entre le modèle et l'image une correspondance qui reste assez approximative puisque seule la position de quelques points a été déterminée. Pour restituer également les zones expressives et les profils du visage, tous les noeuds du modèle tridimensionnel doivent être ajustés pour décrire au mieux l'image originale. Pour chaque noeud Vi, le modèle tridimensionnel comporte donc non seulement des coordonnées xvi,
Yvi, Zvi mais aussi un numéro ou label qui indique à quelle zone du visage ou du buste appartient ledit noeud (côté de la tête, joues, épaules, nez, yeux, bouche, etc...).Selon la zone, on peut en effet envisager pour chacun de ces noeuds un traitement spécifique :
(a) profil extérieur, côtés de la tête, joues et épaules : ces noeuds sont ajustés sur le contour extérieur de l'image sans fond déterminée précédemment. Ainsi, à chaque noeud du profil extérieur du modèle tridimensionnel doit correspondre un déplacement DEPL(x) le long de l'axe x, à partir duquel on déduit une nouvelle coordonnée XV pour le noeud
Vi. Pour les noeuds du côté de la tête, on effectue sur des rangées de pixels voisines du profil extérieur le même type d'alignement, avec en outre un léger décrochement SMSH(Vi) propre à chaque noeud et qui tient compte de la courbure de la tête ainsi que d'une forme approximative des oreilles.On en déduit alors la nouvelle coordonnée XV du noeud Vi concerné. Le déplacement DEPL(.) est donné par l'expression DEPL (x(Vi)) = XCTR (y,(V,)) - x,(Vi) + SMSH(Vi) OÙ XCTR (.) représente, pour coordonnée correspondant au noeud
Vi, l'abscisse du contour de l'image sans fond et x5(Vi) l'abscisse xs pour le noeud Vi. Une procédure similaire est utilisée pour les noeuds des joues et des épaules.
(b) nez, yeux et bouche : ces noeuds sont ajustés en effectuant leur alignement global par rapport aux points caractéristiques respectifs, selon les expressions suivantes
DEPL(y(NN)) = y,,(NN) - ys(NN)
DEPL(y(BM)) = y,,(BM) - y,(BM)
DEPL(y(YE)) = y,,(YE) - y,(YE) où DEPL(.) désigne le déplacement de noeud correspondant au nez (NN), à la bouche (BM), ou aux yeux (YE), YC1(-) désigne l'ordonnée du point caractéristique ainsi concerné, et y5(.) désigne, toujours pour le nez, la bouche ou les yeux respectivement, la coordonnée écran du point correspondant pour le modèle tridimensionnel.On effectue ensuite, pour le nez, la bouche ou les yeux, une translation globale définie par ledit déplacement respectivement, et l'on en déduit la nouvelle coordonnée Yv du noeud Vi concerné.
On peut encore perfectionner cet ajustement du modèle tridimensionnel en lui ajoutant un ombrage. On suppose par exemple pour cela qu'un éclairement est fourni par une source ponctuelle de lumière S (voir la figure 6) placée à une distance r de la facette F que l'on veut ombrer (de sommets V1,
V2, V3), et que cet éclairement va être variable selon l'orientation des facettes par rapport à la direction de la source.Si l'on appelle I(AMB) la valeur de l'éclairage ambiant de la scène et I(INC) la valeur de luminance en provenance directe de la source, la valeur de la luminance IoMB(F) en un point P quelconque de coordonnées (x,y) de la facette F concernée est alors donnée par la relation suivante
I0##(F,x,y) = I(AMB) + (I(INC)/r).cos e où, comme indiqué sur la figure 6, l'angle e désigne celui que fait le segment PS avec la normale N à la facette. Afin de garantir une continuité de la luminance entre les facettes, on peut d'ailleurs définir artificiellement cette normale N, de la façon suivante : on commence par définir, en chaque sommet V1,
V2, V3 de la facette F considérée, une normale qui est la moyenne des normales, en ces sommets, aux facettes adjacentes à
F, puis on calcule la normale à F en un point quelconque de F par interpolation des trois normales N1, N2, N3, ainsi définies en chaque sommet.
Le dispositif de codage 400 présent en sortie des dispositifs 200 et 300 comprend, comme on le verra, divers sous-ensembles de codage, mais tout d'abord un circuit 420 de codage des diverses informations disponibles en sortie du circuit d'ajustement 203, à savoir les nouvelles coordonnées des noeuds du modèle tridimensionnel et des grandeurs dites coefficients de texture et attachées à chaque facette F.Si l'image de synthèse que l'on veut obtenir tient compte de l'ombrage, elle est alors définie, pour chaque facette, à partir du produit du coefficient de texture correspondant par le coefficient d'ombrage IoMB(F) défini plus haut et lié à ladite facette, ce qui se traduit par l'expression suivante
I(SYNTH) F = IOMB (F) x CT(F) le coefficient de texture CT(F) pour la facette F étant luimême déterminé lors de la calibration initiale à partir de l'image originale I(SOURCE)p vue de face
CT(F) = I(SOURCE)F/IoMB(F)
Ceci dans le cas où la réalisation du sous-ensemble de codage est telle que ce dernier est prévu pour transmettre au sousensemble de décodage un tableau regroupant tous les coefficients de texture (calculés comme indiqué ci-dessus) pour toutes les facettes, ledit sous-ensemble de décodage reconstruisant alors, à partir de ce tableau conservé en mémoire, l'image de synthèse selon l'expression ci-dessus, en considérant successivement la luminance de chaque point.Ainsi, pour coder une séquence de plusieurs images, il suffit de transmettre une seule fois le tableau de coefficients de texture correspondant à la première image. Ensuite, au cours du mouvement du personnage, les déplacements du modèle entraînent des déformations des facettes qui constituent ce modèle, mais la texture de ces facettes est calculée par interpolation des valeurs initiales des coefficients de texture.
Une autre réalisation du sous-ensemble de codage est possible, dans laquelle on ne transmet pas ce tableau des coefficients de texture, mais simplement la partie d'image originale correspondante, codée par exemple selon un standard vidéo numérique de type JPEG -Joint Photographic Experts Groupqui est adapté à la compression et au codage de données appartenant à des images fixes.Ce standard, décrit dans de nombreux documents, et par exemple dans l'article "Video compression makes big gains", paru dans la revue IEEE Spectrum, octobre 1991, vol.28, ne10, pp.16-19, prévoit que chaque composante vidéo de l'image est divisée en blocs qui sont alors transformés, selon une transformation orthogonale de type DCT (transformation cosinus discrète, en anglais Discrete Cosinus
Transform) en coefficients représentatifs du contenu en fréquence de ces blocs, et eux-mêmes quantifiés puis codés.
Avec cet autre mode de réalisation, on transmet ainsi à la fois les informations nécessaires au calcul des coefficients de texture, qui ne seront extraits qu'au niveau du sous-ensemble de décodage et, bien entendu, toujours la partie correspondant au fond des images. Le coût de codage, dans ce cas, est de l'ordre de 0,5 bit/pixel. Là encore, comme dans le cas de la précédente réalisation, pour coder une séquence de plusieurs images, il suffit d'effectuer une seule fois le codage de type
JPEG au cours du mouvement du personnage. Cette méthode permet en outre de transmettre toute l'image lors de la phase d'initialisation, c'est-à-dire une image du fond en même temps que les informations de texture.
En ce qui concerne les nouvelles coordonnées des noeuds du modèle, on pourrait transmettre et/ou stocker, en vue du décodage, ces coordonnées elles-mêmes. Il est cependant bien plus économique, en matière de débit de transmission, de considérer que les coordonnées d'origine des noeuds du modèle tridimensionnel sont déjà connues et stockées côté décodage, et de n'envoyer alors, pour transmission et/ou stockage, que les valeurs des différences entre ces coordonnées d'origine et les nouvelles valeurs calculées. En codant ces différences avec un nombre suffisant de bits, par exemple 6, on peut ainsi envisager des déplacements de noeud importants (64 pixels pour 6 bits). La calibration est réalisée pendant une période de temps limitée correspondant par exemple à un nombre déterminé d'images de la séquence.Cette période peut être définie par le commutateur 250 représenté sur la figure 1 et qui bascule du dispositif 200 vers le dispositif 300 après écoulement de cette période. A chaque position du commutateur 250 est associé un signal de mode qui doit être transmis en même temps que les autres données codées pour que le système de décodage puisse ultérieurement reconnaître la nature des signaux qui lui parviennent. Lorsque cette calibration initiale et le codage des informations de calibration sont achevés, comme indiqué plus haut, c'est le dispositif 300 qui va permettre la réactualisation desdites informations relatives au modèle tridimensionnel.
Ce dispositif 300, qui reçoit lui aussi (ici par l'intermédiaire du commutateur 250) les signaux numériques correspondant à la partie animée de la séquence d'images et sélectionnés ici par segmentation, comprend tout d'abord un circuit 301 de détermination du mouvement des points caractéristiques du modèle tridimensionnel précédemment construit, qui doit, à partir de ces informations de modèle, déterminer les translations et rotations du visage, afin de pouvoir ultérieurement ne coder que les paramètres qui permettront, au décodage, de trouver la position correcte du modèle tridimensionnel.Cette description de mouvement en trois dimensions implique de déterminer les mouvements en translation et en rotation du modèle, selon les six degrés de liberté représentés sur la figure 7, où les mouvements en translation sont repérés sur les axes Tx, T Tz et les mouvements en rotation par les angles rp, ç Fpar rapport à ces axes respectivement.
Pour déterminer les déplacements dxi, dy, des différents points caractéristiques i par translation et rotation, on va suivre les déplacements de fenêtres définies en des zones caractéristiques du visage, comme indiqué sur la figure 8. En supposant que le personnage reste dans le même plan durant toute la séquence (pour éviter d'avoir à tenir compte de mouvements en profondeur), on recherche pour chaque fenêtre d'une image donnée, comme le montre ladite figure, celle des fenêtres qui lui ressemble le plus à l'intérieur d'une zone de recherche située dans l'image qui suit ladite image donnée, selon un critère de ressemblance qui est par exemple celui de la recherche du minimum de l'erreur absolue.
Pour chaque point caractéristique i, les déplacements dxi, d sont finalement donnés par les expressions dxi = r(yi).cos0.dO + r(zi).cos#.# +dTx
dy, = r(x1).coscp.d < p + r(zi).cos#.d# + + dTy où r(xi), r(yi), r(zi) désignent les rayons de rotation pour un point caractéristique i déterminé. En résolvant alors ce système d'égalités pour les différents points caractéristiques i, on obtient les paramètres d#(.),d#(.), d#(.), et dT(.), les angles absolus étant déjà connus à partir de l'image précédente. Cette extraction de paramètres permet de réactualiser le modèle tridimensionnel pour prendre en compte les modifications éventuelles de forme de la zone utile.
Cependant, et comme on l'a vu, il y a dans cette zone utile, dans le visage, des zones de forte expression faciale dont le rendu doit être le plus fidèle possible, à savoir par exemple celles de la bouche et de chaque oeil. Le codage ultérieur tiendra compte de ces zones dites d'intérêt particulier, qui peuvent être traitées indépendamment ou au contraire dans une seule fenêtre. On a choisi ici, comme indiqué sur la figure 9, de distinguer trois fenêtres séparées, pour chaque oeil et pour la bouche, en incluant éventuellement le nez et une partie des joues, mais le choix plus simple d'une seule fenêtre, ici limitée strictement aux yeux et à la bouche, est possible également. On décrira ci-après ces deux options, mises en oeuvre, dans l'un ou 11 autre cas, par un circuit 302 dit de sélection de zones d'intérêt particulier et de détermination de leur mouvement.
Dans le cas d'une seule fenêtre, on retient, selon l'un ou l'autre des trois formats cités plus haut (CIF, QCIF, ou format 4/3), les coordonnées du coin supérieur gauche, notées (x#, y#), et celles du coin inférieur droit (x#. y,) de la fenêtre, ce qui donne ici par exemple
(a) format 4/3
XG = XC (tempe gauche) + dist x
YG = YC (oeil gauche) - dist y1
Xn =xc (tempe droite) - dist x
YD = Yc (bouche) + dist y2 expressions dans lesquelles xc(.) et y#(.) désignent les coordonnées des points caractéristiques, et dist x, dist yt, dist y2 sont des valeurs qui permettent d'ajuster la taille de la fenêtre (pour ce format, on a choisi : dist x = de O à 40 pixels, dist y1 = 45, dist y2 = 40).
(b) formats CIF et QCIF : même détermination que dans le cas maintenant examiné de trois fenêtres distinctes.
Dans le cas de trois fenêtres, les coordonnées, pour l'un ou l'autre des trois formats, sont déterminées comme suit
(a) format 4/3
(a) pour la bouche (BO), la fenêtre est définie à partir des points caractéristiques de la bouche et des coins des yeux, toutes les valeurs ci-après, telles que 20, 40, etc... correspondant à des exemples qui ont été testés et vérifiés
xG(BO) = Xc (oeil gauche, coin gauche)
y,(BO) = y, (bas du nez) + 20
xD(BO) = xc (oeil droit, coin droit)
y,(BO) = y, (bouche, point inférieur) + 40
(a2) pour l'oeil gauche (OG), la fenêtre est définie à partir des points caractéristiques des tempes et des yeux
xG(OG) = xc (tempe gauche) + 40
y,(OG) = y, (oeil gauche, coin gauche) - 35
xD(OG) = (xc(tempe gauche)+xc(tempe droite))/2
y#(OG) = yc(oeil gauche, coin gauche)+35
(a3) pour l'oeil droit (OD), la fenêtre est définie également à partir des points caractéristiques des tempes et des yeux
xG(OD) = (xc(tempe gauche)+xc(tempe droite))/2
yG(OD) = oeil droit, coin droit)-35
xD(OD) = tempe droite)-40
yD(OD) = oeil droit, coin droit)+35
(b) en format CIF, les coordonnées de fenêtre sont données par les égalités suivantes (dans lesquelles l'expression fenêtre concernée" désigne respectivement la fenêtre bouche, oeil gauche, ou oeil droit), telles que définies ci-dessus pour le format 4/3 ::
xG(CIF) = (xG(fenêtre concernée)+19)/2
yG(CIF) = (yG(fenêtre concernée)+32)/2
xD(CIF) = (xn(fenêtre concernée) +19) /2
yD(CIF) = (yD(fenêtre concernée)+32)/2
(c) en format QCIF, les coordonnées de fenêtre sont de façon similaire données par les égalités suivantes
xG(QCIF) = (x#(fenêtre concernée)+19)/4
YG (QCIF) = (yG(fenêtre concernée)+32)/4
XD (QCIF) = (xD(fenêtre concernée)+l9)/4
YD (QCIF) = (yD(fenêtre concernée)+32)/4
La taille de la ou des fenêtres ainsi définies est ensuite adaptée à un multiple MUL de la taille des blocs qui vont être utilisés pour le codage, en l'arrondissant par exemple au nombre entier de blocs immédiatement supérieur.Les valeurs #x et #y ainsi ajoutées à la taille réelle de la ou des fenêtres, comprises entre O et, au maximum, la taille d'un bloc ou d'un macrobloc, sont réparties uniformément des deux côtés de la fenêtre concernée, ce qui donne de nouvelles coordonnées XG, YG, XD, Yn ::
XG(fen) = xG(fen) - Ax(fen)
YG(fen) = yG(fen) + Sy(fen)
XD(fen) = xD(fen) + Ax(fen)
Y1)(fen) = yD(fen) - Ay(fen)
Enfin, lorsque ces fenêtres sont en mouvement dans une séquence d'images, les coordonnées d'une fenêtre de la trame de rang N sont déduites des coordonnées de fenêtre définies dans la trame de rang (N-1) selon les expressions suivantes
XG(fenN) = XG(fenN-1) - DEPL(x)n-1
YG(fenN) = YG(fenN-1) - DEPL(y)n-1
XD(fenN) = XD(fenN~1) - DEPL(x)N-1
YD ( fenN) = YD(fenN-1) - DEPL(y)##1 dans lesquelles DEPL(x) N-1, DEPL (y)#1 représentent les composantes en x et en y du déplacement de la trame N par rapport à la trame (N-1).
La réactualisation des informations utiles est donc réalisée, après la calibration initiale, de la façon qui vient d'être décrite. Il reste, comme dans le cas de ladite calibration, à effectuer un codage, ici le codage des informations de réactualisation. Cette opération est réalisée dans le dispositif de codage 400 par un circuit 431 de codage des informations de sortie du circuit 301 de détermination du mouvement des points caractéristiques et par un circuit 432 de codage des informations de sortie du circuit 302 de sélection de zones d'intérêt particulier.
Le circuit 431 assure le codage, pour chaque point caractéristique, des paramètres qui ont été calculés précédemment, à savoir : de, dcp, dtp, dTx, dTy, DEPL(x),
DEPL(y). Ces paramètres sont par exemple codés sur 5 bits, suivant une séquence déterminée pour les retrouver toujours dans le même ordre. Si les points caractéristiques sont, comme on l'a vu, les tempes gauche et droite, l'oeil gauche et l'oeil droit, et le point inférieur du nez et de la bouche, l'ordre de grandeur du nombre de bits transmis est, dans l'exemple décrit, d'environ 95 bits par image.
Le circuit 432 assure, lui, le codage des informations présentes dans la ou les fenêtres englobant la ou les zones d'intérêt particulier (on décrira ci-après le circuit 432 en parlant plutôt d'une fenêtre, mais la généralisation au cas de plusieurs fenêtres - trois fenêtres séparées, dans l'exemple cité précédemment - est immédiate). La position et la taille de la (de chaque) fenêtre étant bien définies, on stocke en mémoire la portion d'image originale inscrite dans ces fenêtres, en appelant FEN(i,j) chaque portion d'image composée de i lignes et de j colonnes, et l'on appelle image source cette portion d'image originale incluse dans la fenêtre et qui va maintenant être celle soumise au codage.
Le codage de cette image source est ici réalisé selon un mode de codage hybride, du type des standards MPEG et
H261 (le standard MPEG - Moving Pictures Expert Group - et le standard H261, recommandé par le CCITT, sont mentionnés dans l'article déjà cité de la revue IEEE Spectrum), en ce sens qu'il combine un codage d'informations de même origine spatiale (ou codage intra) et un codage d'informations n'ayant pas la même origine spatiale (ici codage par prédiction).Dans le codage dit intra, les informations codées sont propres à une seule et même image, tandis que, dans le codage par prédiction, la prédiction est dite simple si le codage assure une compensation de mouvement unidirectionnelle à partir d'images antérieures à celle en cours de codage (c'est le cas des standards H261 et MPEG) ou bidirectionnelle si le codage assure une compensation de mouvement bidirectionnelle à partir d'images antérieure(s) et postérieure(s) à celle en cours de codage (c'est le cas du standard MPEG uniquement). Ce principe de codage de l'image source est bien adapté au codage des zones de forte expression faciale, qui sont les zones du visage les plus intéressantes mais subissant les déplacements les plus importants.
Pour ce codage d'images animées, il faut donc stocker en permanence, dans le cas d'un codage de type H261, les images originales de rang n et n-i, ou bien, dans le cas ici décrit d'un codage de type MPEG, les images originales de rang n(=image courante), n-l, n-2 et n-3, ce qui est réalisé dans le circuit 432. On considère en outre que le codage est effectué par groupes d'images, les groupes successifs constituant la séquence d'images résultant de la prise de vues d'origine. Chaque groupe d'images est lui-même constitué de plusieurs images, en nombre N compris par exemple entre 8 et 16, et débute toujours par une image codée en intra.La figure 10 montre pour N=10, un exemple d'un tel groupe, dans lequel les images P3, P2, P1 sont déduites respectivement des images
P2, P1 et I (image initiale codée en intra) par prédiction simple, et les images Bt à B6 sont déduites chacune d'une image antérieure et d'une image postérieure par prédiction bidirectionnelle (Bt et B2 sont déduites de I et P2 ; B3 et B4 de
P1 et P2 ; B5 et B6 de P2 et P3). Les flèches portées sur la figure 10 sont destinées à mettre en évidence ce mode de prédiction simple ou bidirectionnelle. Ces précisions étant données, on ne décrira pas davantage ce codage d'images animées, décrit, comme on vient de le rappeler, dans différents documents, notamment l'article "Video compression makes big gains" déjà cité (revue IEEE Spectrum, octobre 1991).
Ces codages spécifiques du modèle tridimensionnel en mouvement et des fenêtres d'intérêt particulier étant ainsi assurés par les circuits 431 et 432, il faut observer que les informations spécifiques codées sont d'origine différente celles codées par le circuit 431 sont, à un instant donné, des informations de même origine spatiale (mise à jour périodique des coordonnées des points caractéristiques du modèle), tandis que celles codées par le circuit 432 sont, on l'a vu, d'origine plus complexe (images codées en intra, images obtenues par prédiction simple, images interpolées obtenues par prédiction bidirectionnelle). En outre, on observe que les luminances à l'intérieur et à l'extérieur des fenêtres ne coïncident pas nécessairement, en raison du choix des valeurs de luminance
I(AMB) et I(INC) effectué pour la détermination de l'ombrage du modèle tridimensionnel.En effet, ce choix ne reflète pas nécessairement les caractéristiques d'éclairement présentes lors de la prise de vues, et la superposition telle quelle de la ou des fenêtres codées sur l'image de synthèse qui est obtenue à partir de l'adaptation des points caractéristiques du modèle tridimensionnel laisse apparaître, du fait de cette différence d'éclairement, la frontière entre les deux régions.
Pour éviter ce décalage de luminance entre l'image de synthèse et l'image dans les fenêtres, l'ensemble de codage et de décodage qui fait l'objet de la présente description prévoit de le corriger, et cette correction dans la ou les fenêtres concernées peut être effectuée soit dans le sousensemble de décodage d'images visiophoniques, soit dans le sous-ensemble de codage. Dans le premier cas, le dispositif de codage 400 n'a pas à prévoir ladite correction. Dans le second cas, le dispositif de codage 400 comprend un circuit 433 de correction de décalage de luminance qui opère comme suit.
Ce circuit 433 détermine d'abord la zone dite efficace qui est inscrite dans chaque fenêtre et qui contient réellement I1 image de synthèse, afin d'exclure les parties de fenêtres qui dépasseraient éventuellement du visage lui-même (un exemple d'un tel dépassement, de part et d'autre de la bouche, est représenté sur la figure 9). On évite ainsi de prendre en compte une zone n'appartenant pas au visage et dont la luminance, très différente de celle des pixels du visage, fausserait les calculs ultérieurs.Cette zone efficace est ici délimitée en x et en y de la façon suivante
(a) en x : du côté gauche, par une valeur d'abscisse notée x(MIN) et qui est égale soit à l'abscisse du côté gauche de la fenêtre considérée, soit, si la fenêtre déborde du visage, à l'abscisse du premier pixel non nul de l'image de synthèse en partant du bord gauche de cette fenêtre, et, du côté droit, par une valeur d'abscisse notée x(MAX) et qui, de façon similaire, est égale soit à l'abscisse du côté droit de la fenêtre considérée, soit, si la fenêtre déborde du visage, à l'abscisse du premier pixel non nul de l'image de synthèse en partant du bord droit de cette fenêtre
(b) en y : du côté supérieur, par une valeur d'ordonnée notée y(MAX) et qui est celle du bord supérieur de la fenêtre considérée et, du côté inférieur, par une valeur d'ordonnée notée y(MIN) et qui est celle du bord inférieur de la fenêtre.
Après la détermination de cette zone efficace, le circuit 433 calcule le décalage moyen de luminance entre l'image source dans la fenêtre considérée et l'image de synthèse. Ce calcul est effectué dans une petite zone, en général carrée, située pour chaque fenêtre dans une zone de -luminance relativement uniforme aussi bien pour l'image de synthèse que pour l'image dans la fenêtre, en évitant donc les zones riches en contours ou en contraste telles que le voisinage immédiat des yeux et de la bouche (dans de telles zones, les images source et de synthèse sont très différentes et l'estimation d'un décalage de luminance global pour toute la fenêtre concernée n aurait plus de signification).
La petite zone ici retenue est un carré de quelques pixels (2 pixels en format CIF ou QCIF, 5 pixels en format 4/3) situé en bas et au milieu de la fenêtre, position où la luminance est effectivement assez uniforme (voir les figures 11 à 13). La luminance moyenne, dans ce carré, de l'image source est notée I(SOURCE) et la luminance moyenne dans ce même carré mais considéré dans l'image de synthèse est notée I(SYNTH). La différence de ces luminances donne alors, pour la fenêtre considérée, le décalage moyen entre les deux images, noté
OFFSET(f), selon l'expression suivante
Figure img00280001

dans laquelle n désigne le nombre de pixels dans la petite zone, ici carrée, considérée, et f se réfère à la fenêtre concernée. Le décalage moyen ainsi calculé est adopté pour toute cette fenêtre.
La correction de décalage de luminance à effectuer (par le circuit 433) peut alors être réalisée, en se référant aux figures 11 à 13 et à la description correspondante qui suit. On définit d'abord une région de bord RB, de largeur ici égale à quelques pixels (ici 5, 3, ou 10 pixels, selon qu'il s'agit du format CIF, QCIF, ou 4/3), qui court tout le long du bord de chaque fenêtre et qui constitue une zone de transition dans laquelle on va faire varier la luminance, ici de façon linéaire, en créant une sorte de dégradé. Cette zone de transition, est, dans l'exemple ici décrit, un ruban dont les bords sont parallèles à la frontière de la fenêtre, et qui est de préférence situé tout entier à l'intérieur de la fenêtre concernée, comme le montre la figure 11.Ce ruban peut cependant, aussi, être situé tout entier à l'extérieur de la fenêtre, comme le montre la figure 12, ou bien peut chevaucher la frontière de la fenêtre, comme le montre la figure 13.
Dans le premier cas, la luminance dans la fenêtre, après correction, est donnée par l'expression suivante
I1(FEN/CORR) = I(SOURCE)j ,# + VALCOR expression dans laquelle
- I1(FEN/CORR) désigne la valeur corrigée de la luminance
- I(SOURCE)j.s désigne la valeur de la luminance de l'image source au point de coordonnées (i,j) considéré dans ladite zone de transition
- VALCOR désigne la valeur correctrice du décalage, qui doit être considérée avec son signe (l'image de synthèse en dehors de la fenêtre peut être plus lumineuse ou moins lumineuse que l'image source), et qui prend différentes valeurs notées VALCOR1, VALCOR2, VALCOR3 selon le point (i,j) considéré ::
(a) hors de la zone du visage (zone A sur la figure 11), cette valeur est donnée en tout point par
VALCOR, = I(SYNTH)#,j - I(SOURCE)i,j
(b) dans toute la zone de la fenêtre qui se trouve (zone B) à l'intérieur du bord intérieur de la zone de transition (excepté les points qui, éventuellement, sont déjà hors de la zone du visage et donc traités selon le cas (a) cidessus), cette valeur est constante et donnée par
VALCOR2 = OFFSET(f)
(c) entre ledit bord intérieur de la zone de transition et le bord de la fenêtre (zone C), la valeur VALCOR3 varie linéairement entre ces deux valeurs VALCOR2 et VALCOR.
En fait, les bords des fenêtres sont ici parallèles aux axes x, y définis, et ladite variation est dans ce cas une variation linéaire avec la seule coordonnée horizontale x lorsqu'on se trouve le long des frontières latérales gauche et droite de la fenêtre, ou une variation linéaire avec la seule coordonnée verticale y lorsquton se trouve le long des frontières latérales inférieure et supérieure de la fenêtre.
Dans le deuxième cas (figure 12) ou dans le troisième cas (figure 13), c'est un calcul rigoureusement similaire qui permet de déterminer la valeur de correction à apporter à la luminance (les zones A, B, C sont définies de façon similaire).
On précisera enfin que le décalage moyen OFFSET(f) ne varie en général que relativement peu d'une fenêtre à l'autre. Cette différence serait cependant perceptible et inesthétique sur l'image finalement reconstituée, et il est préférable de choisir une même valeur de décalage moyen pour chacune des fenêtres, en prenant leur moyenne par exemple, et en écartant éventuellement du calcul de cette moyenne l'une des valeurs de décalage moyen qui serait très différente des autres.
La correction de luminance étant ainsi effectuée, le circuit 432 du dispositif de codage 400 assure désormais, dans la ou les fenêtres, non plus le codage des valeurs de luminance de l'image source mais le codage de ces valeurs corrigées comme on vient de l'indiquer ci-dessus. Il reste alors à assurer, vers le canal CL de transmission et/ou de stockage représenté sur la figure 1, en sortie du dispositif de codage 400 une présentation séquentielle appropriée des informations codées, par exemple dans l'ordre suivant : signaux indiquant qu'on est en phase de calibration ou au contraire de réactualisation, paramètres de codage caractéristiques du modèle tridimensionnel, paramètres de codage spécifiques aux fenêtres, signal de fin d'image, etc...Une telle opération de présentation séquentielle, dite de formatage, est de type classique et ne sera pas davantage détaillée, des variations sensibles de présentation des données codées ne remettant en aucune manière en cause les principes de fonctionnement précédemment décrits.
Les moyens de codage décrits jusqu a présent sont suffisants pour permettre ultérieurement, au décodage, une reconstitution d'image de qualité satisfaisante lorsque les visages de la séquence d'images sont vus de face ou sous de faibles angles. En effet, la correction de décalage de luminance à la frontière entre les deux zones de la partie utile des images gomme les discordances éventuelles de restitution d'image qui pourraient résulter de cette association de deux procédés de codage distincts à l'intérieur d'une même image.
En revanche, une dégradation d'une autre partie de l'image peut être observée dans certaines circonstances : à la transition entre le fond fixe de l'image et le personnage animé de mouvement, le modèle tridimensionnel initialement calibré n'est plus assez précis pour s'adapter aux mouvements de ce personnage si celui-ci présente des rotations importantes de la tête, par exemple des rotations (autour d'un axe vertical) supérieures à 15 degrés à gauche ou à droite. Des facettes latérales, notamment, peuvent apparaître, celles qui incluent les oreilles, l'arrière de la tête, et la calibration initiale n'a pas pris en compte d'informations les concernant. Par ailleurs, certaines facettes situées sur les joues peuvent nécessiter l'envoi de nouvelles informations.La figure 14 montre plus particulièrement, sur le modèle tridimensionnel vu de profil, ces deux zones, la zone AR incluant les oreilles et les cheveux et la'zone JO incluant les joues.
Pour remédier à cette dégradation locale de qualité d'image, une opération de rafraîchissement peut être proposée, en précisant préalablement que ce rafraîchissement doit être effectué à une cadence qui établit un compromis entre la qualité d'image (supposant des rafraîchissements fréquents) et le volume de données à transmettre (qui doit être réduit au minimum en espaçant le plus possible ces rafraîchissements).On a vu précédemment que la calibration du modèle tridimensionnel avait consisté à réaliser, à partir des noeuds et facettes de ce modèle de base, un ajustement sur les images originales du début de séquence, complété par la mise en place d'un ombrage, et que l'image de synthèse pouvant ensuite être obtenue était alors définie, pour chaque facette du modèle, par le produit d'un coefficient de texture CT et de la valeur d'éclairement IOMB(F) propres à cette facette F, le coefficient de texture étant lui-même défini à partir de l'image originale vue de face. Cette définition de l'image de synthèse pour une facette
F est résumée par l'expression suivante
I(SYNTH)p = IoMB(F) x CT(F) et celle de CT(F) par l'expression suivante
CT(F) = I(SOURCE)F/IoMB(F)
Les coefficients de texture correspondant aux facettes cachées ou à certaines facettes latérales qui sont profondément modifiées lors de fortes rotations du visage ne sont donc pas connus. Pour les déterminer, une reprise périodique de la calibration initiale pourrait être effectuée, mais on observe dans ce cas qu'il apparaît progressivement des discontinuités de luminance entre facettes voisines.
Le sous-ensemble de codage comprend alors, pour remédier à ce problème, un dispositif 500 de correction de calibration, représenté sur la figure 1 et comprenant lui-même d'une part des moyens 510 de détection d'écart de luminance (ou de chrominance respectivement) entre l'image de synthèse et l'image originale, d'autre part des moyens 520 de rafraîchissement de données selon les résultats de ladite détection, et enfin, dans le dispositif de codage 400, des moyens 530 de codage des nouvelles informations ainsi obtenues.
Ces moyens 510 à 530 forment un bloc autonome qui n' est pas nécessairement prévu dans toutes les circonstances mais seulement dans le cas de l'application particulière signalée plus haut, pour remédier à la dégradation de qualité d'image observable dans le cadre de cette application.
Dans un premier mode de réalisation, les moyens de détection 510 comprennent un circuit de calcul de l'erreur moyenne entre l'image de synthèse et l'image originale. Cette erreur moyenne ERRM(.) est évaluée pour chaque image selon l'expression suivante
Figure img00330001

dans laquelle ZC indique la zone concernée (dans le cas présent, la zone AR ou la zone JO), NF le nombre de facettes dans cette zone, Np le nombre de pixels de la facette concernée
F(i). Si aucun rafraîchissement n'était prévu, l'erreur moyenne augmenterait au fur et à mesure de l'apparition des facettes latérales et serait maximale lorsque ces facettes présenteraient la plus grande surface.La décision d'effectuer, ou non, un tel rafraîchissement est prise ici en comparant cette erreur moyenne à un seuil THRE5 : si l'erreur moyenne
ERRM(ZC) lui est supérieure, le rafraîchissement a lieu pour cette zone, par un nouvel envoi de paramètres de texture.
Lorsque cet envoi est terminé, l'erreur moyenne diminue, et un envoi ultérieur de nouveaux paramètres de texture ne redeviendra nécessaire que pour des rotations très supérieures.
Le seuil THRE5 est ajusté en fonction du compromis souhaité entre la qualité d'image voulue et le volume des données à transmettre.
Dans un deuxième mode de réalisation, les moyens de détection 510 comprennent un circuit de détection angulaire selon l'orientation des facettes du modèle par suite de la rotation (d'un angle 0) autour de l'axe vertical, on procède ou non au rafraîchissement. Pour les facettes du côté de la tête et des oreilles (zone AR), on constate en général qu'il faut au moins deux rafraîchissements, l'un pour un angle modéré, de l'ordre de 200 par exemple, l'autre pour un angle de 350 environ si l'on veut, dans le cas d'un visage, bien décrire la forme des oreilles.Les informations dans la zone JO sont moins riches en contours et en textures et un seul rafraichissement peut suffire, de l'ordre de 350
Dans un troisième mode de réalisation, les moyens de détection 510 comprennent un circuit de calcul du rapport, pour une facette donnée, entre le nombre de coefficients de texture déterminés par interpolation des valeurs initiales de ces coefficients de texture et le nombre de ces coefficients de texture initiaux, ou bien du rapport moyen ainsi établi pour la totalité des facettes dans une zone considérée (zone AR, ou zone JO).
La décision de correction de calibration, dite encore décision de rafraîchissement, étant ainsi prise, il faut assurer le codage de ces éventuelles informations de rafraîchissement. Ce codage est maintenant décrit, par exemple dans le cas où les coefficients de texture ne sont pas codés dans le sous-ensemble de codage mais redéfinis dans le sousensemble de décodage à partir du codage d'une partie de l'image originale (ou image source). Là encore, on peut distinguer par exemple le cas de la zone AR (oreilles + cheveux de l'arrière de la tête) et celui de la zone JO (joues).
Pour la zone AR, on délimite la zone à rafraichir par une fenêtre sensiblement rectangulaire, à l'intérieur de laquelle va être effectué un codage de type DCT. Les coordonnées de la fenêtre choisie sont définies par exemple, comme indiqué sur la figure 14, par les points extrêmes de la zone à rafraîchir, c'est-à-dire, dans le cas représenté, pour les points suivants
- point extrême gauche PEG
XEG =x(88)
- point extrême supérieur PES
YES = y(120)
- point extrême droit PED
XED = x(231)
- point extrême inférieur P El
YEI = y(231) expressions dans lesquelles x(.), y(.) représentent l'abscisse ou l'ordonnée (respectivement) du point ayant sur la figure 14 le numéro indiqué entre parenthèse, parmi la totalité des noeuds du modèle qui sont tous ainsi numérotés (mais ces numéros des autres noeuds ne sont pas représentés, pour ne pas surcharger la figure).
La taille de la fenêtre ainsi définie est ensuite adaptée à un multiple de la taille des blocs (ici blocs de 8 x 8 pixels) utilisés pour le codage DCT, en l'arrondissant à un nombre entier de blocs, ici à l'entier supérieur comme précédemment. Le codage est alors effectué (codage de type
JPEG, avec transformation DCT), un ordre de grandeur du coût de codage étant, pour les différents formats considérés dans la présente description, donné par le tableau suivant
@ = 150 300
Avant codage : CIF (octets) 4500 7400
Avant codage : QCIF (octets) 1150 1800
Après codage : CIF (bits) 1916 4400
Après codage : QCIF (bits) 1500 2340
Temps de transmission : CIF(secondes) 0,3 0,6
Temps de transmission :QCIF(secondes) 0,2 0,3
Les valeurs données ci-dessus sont bien entendu uniquement indicatives des essais effectués, le taux de codage sur les fenêtres CIF étant estimé à environ 0,6 bit/pixel et celui sur les fenêtres QCIF à environ 1,3 bit/pixel. Les valeurs de temps de transmission sont déterminées en admettant une cadence de transmission de 7 kilobits/seconde pour une image. Pour assurer rapidement cette transmission, on donne momentanément la priorité aux données de rafraîchissement en arrêtant de transmettre les bits de codage tant que dure ledit rafraîchissement et en rétablissant cette transmission après lui. Cette interruption de transmission touche un nombre d'images déterminé mais limité, par exemple six images, ce qui correspond à une interruption de l'ordre de 0,6 seconde.Bien entendu, on doit indiquer dans quelle phase on se trouve, et un paramètre indicateur de mode placé en tête des données fournit cette information, en prenant par exemple la valeur 1 si un rafraîchissement est en cours, ou la valeur O en l'absence de rafraîchissement ou lorsque celui-ci est terminé.
Pour la zone JO, on procède de manière similaire en délimitant également une fenêtre sensiblement rectangulaire déterminée, comme indiqué sur la figure 14, par les coordonnées de ses points extrêmes définies comme précédemment, à savoir par exemple ici
- point extrême gauche PEG
XEG = x(125)
- point extrême supérieur P ES
YES = y(72)
- point extrême droit PED
XED = x(30)
- point extrême inférieur PEI:
YEI = y(l3).
L'adaptation de taille de la fenêtre et son codage sont alors réalisés comme ci-dessus, une estimation indicative du coût de ce codage étant la suivante
@ = 150 300
Avant codage :CIF (octets) 3200 3800
Avant codage : QCIF (octets) 800 950
Après codage : CIF (bits) 1920 2270
Après codage : QCIF (bits) 1040 1230
Temps de transmission : CIF(secondes) 0,27 0,3
Temps de transmission : QCIF(secondes) 0,15 0,17
Bien que plus réduits que dans le cas de la zone
AR, les temps de transmission peuvent ici paraître encore assez importants alors que la luminance (ou la chrominance) sur les joues est relativement continue. On peut alors envisager de décrire l'intensité sur chaque facette par une interpolation linéaire entre les intensités aux trois sommets de la facette considérée.La luminance I(PIXEL) en un point quelconque de l'intérieur d'une facette est alors exprimée en fonction de sa position par rapport aux arêtes gauche et droite de la facette, selon une expression du type
I(PIXEL) = a L + b R dans laquelle a et b sont des coefficients, et L et R les intensités interpolées sur l'arête gauche et sur l'arête droite respectivement, ces intensités étant elles-mêmes liées aux trois intensités sur les extrémités des arêtes. Cette possibilité d'interpolation permet de ne coder et transmettre que les intensités desdites extrémités d'arêtes et conduit donc à une diminution très importante du coût de codage (si par exemple on interpole les intensités sur 15 facettes à partir des intensités sur 13 extrémités d'arête, le coût de codage est de 13 x 8 = 104 bits, pour 2000 bits en l'absence d'interpolation, soit un rapport de 20).
On vient ainsi de décrire, en référence aux figures 1 à 14, un exemple de réalisation d'un sous-ensemble de codage d'images visiophoniques, avec indication le cas échéant de variantes possibles pour certains éléments de ce système.
Réciproquement, lorsque des images ont été traitées par un sous-ensemble de codage de ce type en vue d'une transmission à très bas débit et/ou d'un stockage avec un taux de compression de données élevé, les images codées sont reçues par un sousensemble de décodage d'images dont un schéma simplifié de réalisation est représenté sur la figure 15. Ce sous-ensemble de décodage comprend d'une part un circuit 550 de détection de mode de fonctionnement et d'autre part, en sortie de ce circuit, des étages 600 et 700 de décodage des informations de calibration initiale et des informations de réactualisation respectivement, ces étages étant en parallèle l'un avec l'autre.
Le circuit 550 de détection de mode est ici un commutateur destiné à recevoir sur son entrée un signal situé en tête des données transmises et dont la sortie est reliée, selon le mode de fonctionnement du sous-ensemble de codage indiqué par ce signal d'entrée, soit à l'entrée de l'étage 600 de décodage des informations de calibration initiale, soit à l'entrée de l'étage 700 de décodage des informations de réactualisation. On verra plus loin que, s'il y a eu rafraîchissement dans le sous-ensemble de codage, le signal d'entrée du commutateur l'indique également, et la sortie de ce commutateur est alors reliée (connexion en trait interrompu, sur la figure 15) à ltentrée d'un étage 800 de décodage des informations de rafraîchissement, prévu également en parallèle.
On décrira donc successivement les étages 600 et 700, puis l'étage 800.
L'étage 600 de décodage des informations de calibration initiale, représenté sur la figure 16, comprend tout d'abord, en sortie du circuit 550, un circuit 601 de mémorisation des paramètres initiaux, pour la mise à l'échelle du modèle tridimensionnel de base. Les opérations effectuées dans ce circuit 601 sont expliquées ci-après. Tout d'abord, on teste si l'on est ou non en début de transmission : si la réponse est OUI, le dispositif 600 reçoit les positions initiales notées Oj, < Pj' i, Txi, Ty, de chaque noeud du modèle puis les paramètres dxi, dyi, dzi de modification des coordonnées de ces noeuds (typiquement 500 noeuds dans le cas de l'exemple ici décrit), ce qui permet la mise à l'échelle effective du modèle.Si l'on n'est plus en début de transmission (réponse NON après le test), le circuit 601 doit vérifier en permanence la présence éventuelle d'un code "nouvelle image" et, dans ce cas, interrompre la réception des informations codées "image initiale pour recevoir des modifications de, dX, td, dTx, dTy de e, rp, #, Tx, Ty et calculer les nouveaux paramètres compte tenu de ces modifications. Ces variations de position et d'orientation serviront à connaître la position courante du modèle au début du décodage des informations de réactualisation.
Le circuit 601, qui devient transparent lorsqu'il a reçu et traité lesdits paramètres initiaux, est suivi d'un circuit 602 de calcul et de mémorisation des informations d'adaptation du modèle. Ce circuit 602 permet l'adaptation du modèle tridimensionnel initial, caractérisé par les coordonnées des noeuds, à partir des variations transmises des coordonnées de ces noeuds. Les nouvelles valeurs sont conservées en mémoire dans ce circuit 602 pour être utilisées lors de la génération de toutes les images de synthèse. Le circuit 602 est lui-même suivi d'un circuit 603 de calcul des coordonnées initiales, qui correspondent à ltorientation initiale (c'est-à-dire à l'orientation de 11 image initiale transmise, en vue d'appliquer au modèle tridimensionnel les rotations initiales éventuelles).
Ces rotations initiales (éventuelles) sont ainsi appliquées au modèle tridimensionnel, et les nouvelles valeurs x', y', z' obtenues sont stockées en tant que nouveau modèle tridimensionnel. On en déduit, par simple translation, des coordonnées xO, yo, z, liées à l'observateur, puis des coordonnées d'écran xe, ye, ze par simple homothétie des coordonnées xO, yO, zO. C'est dans ce système de coordonnées d'écran que l'image de synthèse sera calculée, puis affichée à l'aide d'un étage d'affichage vidéo 900 prévu en sortie des étages 600, 700, et éventuellement 800.
L'étage 600 comprend d'autre part, également en sortie du circuit 550, un circuit 604 de réception et de décodage de la ou des fenêtres initiales de la séquence d'images transmise. La réception des mots de code correspondants dépend bien entendu de la manière dont le codage a été effectué. Dans le cas où ce codage a fait appel à une transformation orthogonale (du type transformation cosinus discrète) suivie d'un codage à longueur variable, et par exemple suivant une norme telle que le standard JPEG déjà mentionné, le décodage intervient bien évidemment de façon réciproque, c'est-à-dire, ici, suivant cette même norme JPEG.
Le circuit 604 est suivi d'un circuit 605 de calcul des coefficients de texture CT. On a vu que ce calcul est effectué à partir de l'image initiale I(SOURCE) (ici l'image initiale décodée) et de la luminance IoMB(F) du modèle d'ombrage calculée en chaque point de chaque facette F. Pour balayer chaque facette, on balaie successivement (méthode dite du "scan-line", illustrée à l'aide de la figure 17) chaque ligne d'écran à partir du haut, les facettes successivement rencontrées sur la ligne courante (notée ici LC(r)) étant traitées successivement.A l'intérieur de chaque facette, le calcul est effectué depuis l'arête gauche AG jusqu'à l'arête droite AD, en calculant d'abord pour le point X concerné la luminance 1OMB (F), comme indiqué précédemment en référence à la figure 6, puis en calculant les coefficients CT(F) attachés à chaque facette. Ces coefficients CT(F) sont alors stockés en mémoire, en vue de leur utilisation dans la détermination des images de synthèse.
L'étage 600 comprend enfin, en sortie des circuits 603 et 605, un circuit 606 de calcul d'image de synthèse. Les sorties des circuits 603 et 605 sont reçues en parallèle par le circuit 606, dont la sortie est elle-même fournie à un étage d'affichage 900 de type classique. Pour le calcul des images de synthèse, le remplissage de chaque facette est effectué ligne après ligne par la même méthode du "scan-line", la luminance de l'image de synthèse calculée pour chaque facette étant, on l'a vu, donnée par l'expression
I (SYNTH) F = IoMB(F) x CT(F)
Les facettes cachées sont éliminées de l'affichage des images de synthèse à l'aide d'une méthode faisant appel au calcul de la profondeur z du point courant.Seuls les points les plus proches (en z) de l'observateur sont pris en compte pour l'affichage, et les images de synthèse sont donc données par les valeurs de I(SYNTH)F pour z minimum.
L'étage 700 de décodage des informations de réactualisation, prévu en parallèle sur l'étage 600 et représenté plus en détail sur la figure 18, comprend tout d'abord un circuit 701 de réception des paramètres codés indiquant les variations de position du modèle tridimensionnel et les déplacements des différents points de contrôle. Ces paramètres, notés précédemment de, dç, dtp, dTx, dTy pour les variations de position et DEPL(c), DEPL(y) pour les déplacements de points de contrôle, avaient été, on le rappelle, codés par le circuit 431, ici sur 5 bits, et suivant une séquence déterminée permettant de les retrouver au décodage dans le même ordre.
En sortie du circuit 701 est prévu un circuit 702 de calcul des coordonnées d'écran, dans lequel la position courante du modèle tridimensionnel, définie initialement par les paramètres o < p' , Tx, Ty, est redéfinie à l'aide des paramètres de variations ci-dessus, e devenant e + de, ç devenant ç + dç, etc... Pour calculer les coordonnées d'écran, le modèle tridimensionnel subit, par rapport à la position courante, comme dans le cas du circuit 603, les rotations de, dç, dtp, et les translations dTx, dTy.Le circuit 702 est suivi d'un circuit 703 de calcul d'image de synthèse, opérant comme dans le cas du circuit 606. La luminance I(SYNTH)F est en effet donnée par la même expression que ci-dessus. Comme la facette F concernée, dans le cas général, n'est pas orientée dans les images ultérieures de la même façon que dans l'image initiale pour laquelle a eu lieu l'apprentissage des coefficients de texture, le nombre (i,j) de pixels de cette facette dans le plan de l'écran n'est, lui non plus, pas le même que pour cette image initiale, et le coefficient CT(F) est interpolé à partir des coefficients de texture transmis par le sous-ensemble de codage au sous-ensemble de décodage sous la forme d'un tableau conservé en mémoire.
Le procédé utilisé pour cette interpolation est décrit en référence à la figure 19. Sur cette figure, un point (i,j) d'une trame (de rang n par exemple, la trame étant alors notée Tn) est repéré dans le plan image par quatre coefficients a, ss, a, b. Dans ce repérage par rapport aux arêtes de la facette F concernée, a et ss désignent respectivement les longueurs d'arête au-dessus et au-dessous du point d'intersection de la ligne i avec les arêtes correspondantes de la facette (a et ss n'ont été représentés, sur la figure 19, que sur une seule arête), et a et b assurent le repérage de la position du pixel (i,j) par rapport à ces deux intersections.
On recherche alors le point ayant, dans la facette initiale (dans la trame initiale notée Tinit), les mêmes coordonnées relatives, ce point correspondant à un élément dudit tableau de mémorisation des coefficients de texture. La valeur interpolée correspondant à ce point est alors choisie comme coefficient de texture.
En sortie du circuit 701 est également prévu un circuit 704 de détermination des informations relatives aux fenêtres. Ce circuit 704 assure d'une part le calcul des positions et des dimensions des fenêtres associées, dans la zone utile des images, aux zones dites d'intérêt particulier (parce que correspondant à des régions de forte expression faciale), et d'autre part la réception et le décodage des informations relatives à ces fenêtres. Ces positions et dimensions sont calculées à partir des données initiales concernant les points caractéristiques de définition de ces fenêtres côté codage, ainsi qu'à partir des composantes de déplacement DEPL(x), DEPL(y). La réception des valeurs codées correspondant au contenu de ces fenêtres est terminée lorsqu'arrive un signal "fin de fenêtre".Le décodage proprement dit dépend bien sûr du type de codage choisi dans le sous-ensemble de codage, ce sera par exemple un décodage de type MPEG ou H261.
En sortie des circuits 703 et 704 est enfin prévu, dans l'étage 700, un dispositif 705 d'adaptation des fenêtres aux images de synthèse. Ce dispositif 705, qui est, dans ce mode de réalisation, sous la forme d'un circuit unique 705au permet en quelque sorte le recollage de la ou des fenêtres sur l'image de synthèse. L'image de synthèse définitive est donc soit I(SYNTH)(i,j) pour tout point (i,j) n'appartenant pas à une fenêtre soit I(FEN/CORR)(i,j) pour tout point (i,j) situé à l'intérieur d'une fenêtre. L'image de synthèse définitive ainsi disponible est reçue et affichée par l'étage d'affichage vidéo 900.
Lorsque le sous-ensemble de codage décrit plus haut comprend un dispositif de correction de calibration destiné à mettre en oeuvre une opération de rafraîchissement, l'étage 800 de décodage des informations de rafraîchissement, dont les connexions d'entrée et de sortie sont représentées en trait interrompu sur la figure 15, est effectivement prévu, et la figure 20 en montre un exemple de réalisation.
Il faut noter que l'opération de décodage des informations de rafraîchissement opérée par cet étage 800 est assez semblable à l'opération de décodage des informations de calibration initiale. En outre, la réception des informations codées de rafraîchissement peut, comme dans le cas du rafraîchissement au codage, durer plusieurs cycles d'image.
L'étage 800, prévu en sortie du circuit 550 (commutateur de mode de fonctionnement), comprend tout d'abord un circuit 801 de réception d'un code "nouvelle image" et des mots de code correspondant aux paramètres tridimensionnels, c' est-à-dire aux paramètres de, d < p, dtp, dTx, dTy de variation de position et aux composantes de déplacement DEPL(x), DEPL(y) exprimant les déplacements des points caractéristiques des fenêtre de codage.
Comme le circuit 601, ce circuit 801 devient transparent lorsqu'il a reçu et traité lesdits mots de code, et laisse donc passer les informations codées correspondant aux fenêtres.
Le circuit 801 est suivi d'un circuit 802 de calcul des coordonnées d'écran et des coordonnées de la ou des fenêtres de rafraîchissement (ici, deux fenêtres correspondant respectivement à la zone AR et à la zone JO). Les coordonnées d'écran sont calculées comme précédemment dans le cas du circuit 603 (application des rotations éventuelles puis translation et homothétie). Le circuit 802 assure également le prélèvement et la mémorisation des informations correspondant à la position de l'image au moment du rafraîchissement (ctest-à- dire, plus précisément, au début et à la fin de la séquence de rafraîchissement), informations qui sont nécessaires pour le calcul de l'image de synthèse.Le circuit 802 assure enfin le calcul des coordonnées des fenêtres de rafraîchissement, selon la méthode déjà décrite à propos de la figure 9 et de la détermination des coordonnées des trois fenêtres correspondant aux zones d'intérêt particulier.
Le circuit 801 est également suivi, en parallèle du circuit 802, d'un circuit 803 de décodage des informations de rafraîchissement. Ce circuit 803 reçoit du circuit 801 les mots de code pour la ou les fenêtres (ici, deux) de rafraîchissement, lesdits mots de code dépendant bien entendu du procédé de codage adopté initialement (par exemple un codage suivant une norme de type JPEG), et reçoit également du circuit 802 les coordonnées des fenêtres, puis assure le décodage luimême, selon la même norme. On obtient ainsi l'image des fenêtres de rafraîchissement. Le circuit 803 est suivi d'un circuit 804 de calcul des coefficients de texture identique au circuit 605.Pour ce calcul, qui a été décrit précédemment et ne le sera donc pas ici à nouveau, on utilise les coordonnées et l'orientation du modèle tridimensionnel qui correspondent à l'image transmise (c'est-à-dire à la première image du cycle de rafraîchissement).
Enfin, un circuit 805 de calcul d'image de synthèse, opérant de façon similaire aux circuits 606 et 703, est prévu en sortie des circuits 802 et 804. L'étage 900 d'affichage vidéo reçoit alors les sorties respectives des circuits 606 et 805 de calcul d'image de synthèse et du circuit 705 d'adaptation des fenêtres aux images de synthèse. Cet étage 900 est de type classique et n'est pas décrit ici.
Bien entendu, la présente invention n'est pas limitée aux exemples de réalisation ci-dessus décrits et représentés, à partir desquels des variantes peuvent être proposées sans pour cela sortir du cadre de l'invention.
En particulier, on a vu que, pour éviter un décalage de luminance entre l'image de synthèse et l'image dans les fenêtres, le dispositif de codage 400 du sous-ensemble de codage pouvait comprendre un circuit 433 spécialement affecté à la correction de ce décalage, mais que cette correction pouvait également n'être effectuée qu'ultérieurement, dans le sousensemble de décodage. Dans ce dernier cas, le circuit 433 et les connexions qui lui correspondent sont supprimés dans le sous-ensemble de codage, et un dispositif 705 différent de celui qui est représenté sur la figure 18 est prévu dans le sous-ensemble de décodage.
Ce dispositif modifié d'adaptation des fenêtres aux images de synthèse, représenté sur la figure 21, n'est plus réalisé comme précédemment sous la forme d'un circuit unique, mais comprend maintenant, en série, un circuit 705b de correction de décalage de luminance, recevant les sorties des circuits 703 et 704, et un circuit 705c d'adaptation des fenêtres aux images de synthèse, recevant la sortie du circuit 705b et dont le signal de sortie est, comme dans le cas du circuit 705a similaire de la figure 18, envoyé vers l'étage 900.Le signal de sortie du circuit 704 de détermination des informations relatives aux fenêtres est maintenant le signal transmis et décodé qui correspond au signal I(SOURCE)ij, et non plus à I(FEN/CORR)(i,j) comme dans le cas de la figure 18 où le circuit 704 reçoit comme informations des signaux qui ont, au codage, avant transmission et/ou stockage, subi la correction de luminance apportée par le circuit 433. Lorsque cette correction n'est effectuée qu'au décodage, le circuit de codage 432 code des valeurs de luminance non corrigées, et non pas les valeurs corrigées par ce circuit 433.
Comme précédemment pour le circuit 433, le circuit 705b détermine d'abord la zone efficace inscrite dans chaque fenêtre et qui contient réellement l'image de synthèse (la figure 9 avait montré, pour la fenêtre correspondant à la bouche, l'intérêt de cette détermination, à savoir éviter de prendre en compte une zone n'appartenant pas au visage). Le circuit 705b calcule ensuite, dans une petite zone telle que les petits carrés représentés sur les figures 11 à 13, le décalage moyen de luminance entre l'image source dans la fenêtre considérée et l'image de synthèse. Le circuit 705b permet enfin d'obtenir, après une correction en tous points identique à celle qui a été décrite pour le circuit 433 dans trois variantes de réalisation distinctes (ces trois variantes sont applicables ici à nouveau), la luminance corrigée dans ladite fenêtre considérée. C'est maintenant cette valeur corrigée qui est fournie au circuit 705c réalisant, comme dans le cas du circuit unique 705a du mode de réalisation de la figure 18, le recollage de la ou des fenêtres sur l'image de synthèse.

Claims (5)

REVENDICATIONS
1. Sous-ensemble de décodage d'images ayant préalablement subi, en vue de leur transmission dans un canal à très bas débit et/ou de leur stockage avec un taux de compression de données élevé, un codage réalisé à l'aide d'une part de moyens de construction d'un modèle de base à facettes représentatif desdites images, par calibration initiale du modèle dans la zone utile des images puis réactualisation des informations représentatives du modèle ains calibré, et d'autre part de moyens de codage spécifique des informations essentielles résultant desdites calibration initiale et réactualisation, ledit sous-ensemble de décodage étant caractérisé en ce qu'il comprend
(1) un circuit de détection du mode de fonctionnement en calibration initiale ou en réactualisation
(2) en sortie de celui-ci et en parallèle l'un sur l'autre
(a) un étage de décodage des informations de calibration initiale
(b) un étage de décodage des informations de réactualisation
(3) un étage d'affichage vidéo, prévu pour recevoir les sorties en parallèle desdits étages de décodage.
2. Sous-ensemble de décodage selon la revendication 1, caractérisé en ce que
(A) ledit étage de décodage des informations de calibration comprend
(a) une première voie comprenant elle-même, en série, un circuit de mémorisation des paramètres initiaux, pour la mise à l'échelle du modèle de base, un circuit de calcul et de mémorisation d'informations d'adaptation dudit modèle à partir des variations des coordonnées des noeuds de ce modèle, et un circuit de calcul des coordonnées initiales correspondant à l'orientation de limage initiale transmise;;
(b) en parallèle sur ladite première voie, une deuxième voie comprenant elle-même, en série, un circuit de réception et de décodage de la ou des fenêtres initiales de la séquence d'images, un circuit de calcul des coefficients de texture attachés respectivement aux facettes du modèle, et un circuit de calcul d'image de synthèse, ce dernier étant prévu pour recevoir également le signal de sortie dudit circuit de calcul de coordonnées initiales et pour fournir son signal de sortie audit étage d'affichage vidéo
(B) ledit étage de décodage des informations de réactualisation comprend
(a) un circuit de réception des paramètres codés indiquant les déplacements des points caractéristiques du modèle
(b) en sortie de celui-ci et en parallèle l'une sur 1' autre, une première branche comprenant elle-même en série un circuit de calcul des coordonnées d'écran, pour la définition de la position courante du modèle à l'aide desdits paramètres codés, et un circuit de calcul d'image de synthèse, et une deuxième branche comprenant elle-même un circuit de détermination d'informations relatives à des fenêtres associées à des zones dtintérêt particulier des images, pour le calcul des positions et dimensions de ces fenêtres ainsi que la réception et le décodage des informations codées relatives à ces fenêtres, et, en sortie de ces deux branches, un dispositif d'adaptation des fenêtres aux images de synthèse.
3. Sous-ensemble de décodage selon la revendication 2, caractérisé en ce que, lorsque les moyens de codage incluent notamment des moyens de correction préalable des décalages de luminance pouvant être observés de part et d'autre des frontières qui, dans ladite zone utile, séparent l'une de l'autre les zones de codage spécifique, ledit dispositif d'adaptation est un circuit unique de recollage de la ou des fenêtres sur chaque image de synthèse.
4. Sous-ensemble de décodage selon la revendication 2, caractérisé en ce que ledit dispositif d'adaptation comprend, en série, un circuit de correction de décalage de luminance, recevant les sorties desdits circuits de calcul d'image de synthèse et de détermination d'informations relatives aux fenêtres, et un circuit d'adaptation des fenêtres aux images de synthèse.
5. Sous-ensemble de décodage selon l'une des revendications 3 et 4, caractérisé en ce que ledit circuit de détection de mode comprend aussi une détection d'un mode de rafraîchissement des informations de calibration et en ce que le sous-ensemble de décodage comprend, en sortie dudit circuit de détection et en parallèle sur les étages de décodage des informations de calibration et de réactualisation, un étage de décodage des informations de rafraîchissement dont la sortie est également reçue par ledit étage d'affichage vidéo, cet étage de décodage comprenant lui-même
(a) un circuit de réception des paramètres codés indiquant les déplacements des points caractéristiques du modèle
(b) en sortie de celui-ci et en parallèle l'une sur l'autre, une première branche, comprenant elle-même un circuit de calcul des coordonnées d'écran et des coordonnées de la ou des fenêtres de rafraîchissement, et une deuxième branche, comprenant elle-même en série un circuit de décodage des informations de rafraîchissement, recevant également lesdites coordonnées de la ou des fenêtres de rafraîchissement, et un circuit de calcul des coefficients de texture attachés aux facettes du modèle concernées par ledit rafraîchissement, et, en sortie de ces deux branches, un circuit de calcul d'image de synthèse.
FR9208102A 1992-04-14 1992-07-01 Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé. Withdrawn FR2693291A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
FR9208102A FR2693291A1 (fr) 1992-07-01 1992-07-01 Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé.
US08/041,632 US5420638A (en) 1992-04-14 1993-04-01 Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind
EP93201000A EP0566185B1 (fr) 1992-04-14 1993-04-06 Sous-ensemble de codage d'images avec correction de rafraîchissement des données à coder, et sous-ensemble de décodage de signaux représentatifs de ces images
DE69313703T DE69313703T2 (de) 1992-04-14 1993-04-06 Unter-Ensemble zur Bildkodierung mit Korrektur der Aktualisierung der kodierenden Daten und Unter-Ensemble zur Dekodierung der diese Bilder darstellenden Signale
JP5087548A JPH0662385A (ja) 1992-04-14 1993-04-14 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9208102A FR2693291A1 (fr) 1992-07-01 1992-07-01 Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé.

Publications (1)

Publication Number Publication Date
FR2693291A1 true FR2693291A1 (fr) 1994-01-07

Family

ID=9431407

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9208102A Withdrawn FR2693291A1 (fr) 1992-04-14 1992-07-01 Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé.

Country Status (1)

Country Link
FR (1) FR2693291A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988009101A1 (fr) * 1987-05-06 1988-11-17 British Telecommunications Public Limited Company Traitement d'images video
US4996594A (en) * 1988-07-08 1991-02-26 Ricoh Company, Ltd. Dynamic image transmission system
US5117287A (en) * 1990-03-02 1992-05-26 Kokusai Denshin Denwa Co., Ltd. Hybrid coding system for moving image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988009101A1 (fr) * 1987-05-06 1988-11-17 British Telecommunications Public Limited Company Traitement d'images video
US4996594A (en) * 1988-07-08 1991-02-26 Ricoh Company, Ltd. Dynamic image transmission system
US5117287A (en) * 1990-03-02 1992-05-26 Kokusai Denshin Denwa Co., Ltd. Hybrid coding system for moving image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BR TELECOM TECHNOL J vol. 8, no. 3, 31 Juillet 1990, pages 94 - 106 WELSH ET AL 'model-based image coding' *
IEEE TRANSACTIONS ON ACOUSTICS,SPEECH AND SIGNAL PROCESSING vol. 37, no. 12, 31 Décembre 1989, NEW YORK US pages 2008 - 2023 FORCHHEIMER ET AL. 'image coding - from waveforms to animation' *
IMAGE COMMUNICATIONS vol. 1, no. 2, 31 Octobre 1989, pages 139 - 152 AIZAWA ET AL 'model-based analysis synthesis image coding (mbasic) system for a person face' *

Similar Documents

Publication Publication Date Title
EP0566188B1 (fr) Dispositif de segmentation d&#39;images
EP0566185B1 (fr) Sous-ensemble de codage d&#39;images avec correction de rafraîchissement des données à coder, et sous-ensemble de décodage de signaux représentatifs de ces images
US7085401B2 (en) Automatic object extraction
US20030235338A1 (en) Transmission of independently compressed video objects over internet protocol
US20080232716A1 (en) Video Processing Method and Device for Depth Extraction
BRPI0720531A2 (pt) Método e sistema para codificar um sinal de imagem, sinal de imagem, método para decodificar um sinal de imagem, e, decodificador para decodificar um sinal de imagem
TW202131695A (zh) 用於視訊資料之編碼方案
FR2775813A1 (fr) Procede et dispositif de remplacement de panneaux cibles dans une sequence video
WO2018225518A1 (fr) Dispositif de traitement d&#39;image, procédé de traitement d&#39;image, programme, et système de télécommunication
CN112365407A (zh) 视角可配置的摄像机全景拼接方法
WO2021245273A1 (fr) Procédé et dispositif de reconstruction tridimensionnelle d&#39;un visage avec partie dentée à partir d&#39;une seule image
WO2006030103A1 (fr) Procede d&#39;estimation de mouvement a l&#39;aide de maillages deformables
EP0545475B1 (fr) Méthodes et dispositifs de synthèse de signaux de texture
FR2813485A1 (fr) Procede de construction d&#39;au moins une image interpolee entre deux images d&#39;une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
FR2693291A1 (fr) Sous-ensemble de décodage d&#39;images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé.
FR2689993A1 (fr) Dispositif de codage d&#39;images avec correction des données à coder.
FR2689994A1 (fr) Dispositif de codage d&#39;images avec rafraîchissement des données à coder.
EP1654882A2 (fr) Procede de representation d&#39;une sequence d&#39;images par modeles 3d, signal et dispositifs correspondants
US11182634B2 (en) Systems and methods for modifying labeled content
JP2002230572A (ja) 映像効果方法と装置および画像補間方法と装置
JP7410289B2 (ja) 任意ビューの生成
EP0771115A1 (fr) Procédé et dispositif d&#39;estimation de mouvement de régions entre images et système de codage d&#39;images segmentées pour leur mise en oeuvre
Lenka et al. Improvement of Exemplar Based Inpainting by Enhancement of Patch Prior
EP4085613A1 (fr) Synthese iterative de vues a partir de donnees d&#39;une video multi-vues
EP3991401A1 (fr) Procédé et dispositif de traitement de données de video multi-vues

Legal Events

Date Code Title Description
ST Notification of lapse