WO1996017327A1 - Animation par interpolation - Google Patents

Animation par interpolation Download PDF

Info

Publication number
WO1996017327A1
WO1996017327A1 PCT/FR1995/001553 FR9501553W WO9617327A1 WO 1996017327 A1 WO1996017327 A1 WO 1996017327A1 FR 9501553 W FR9501553 W FR 9501553W WO 9617327 A1 WO9617327 A1 WO 9617327A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
point
pixels
mosaic
Prior art date
Application number
PCT/FR1995/001553
Other languages
English (en)
Inventor
Serge Beucher
Fernand Meyer
Jean Serra
Original Assignee
Association Pour La Recherche Et Le Developpement Des Methodes Et Processus Industriels (Armines)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Association Pour La Recherche Et Le Developpement Des Methodes Et Processus Industriels (Armines) filed Critical Association Pour La Recherche Et Le Developpement Des Methodes Et Processus Industriels (Armines)
Publication of WO1996017327A1 publication Critical patent/WO1996017327A1/fr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation

Definitions

  • the present invention relates to a process for generating intermediate images by interpolation between two successive available images of the same scene.
  • image must be considered in a broad sense and as designating in particular representations of a real or virtual scene, but also any representation in at least two dimensions in the form of elementary points and which can each be assigned an address and a class assignment parameter among M classes.
  • the invention is applicable in many fields, and in particular in that of compression of moving images, coding of images and restitution of images missing in a sequence.
  • mosaic images formed by partitioning the plane into cells each of which consists of homogeneous pixels, belonging to a class among several classes each assigned one or more parameters identification.
  • the compression is then carried out by retaining for transmission only one image out of several. During reception, you must reconstruct a sequence having the same number of images as at the origin.
  • the invention aims in this particular case - which is by no means exclusive - to reconstruct the intermediate images omitted taking into account the modifications which have occurred between the two successive images transmitted.
  • Another application is the restoration of cinema films, some of which have deteriorated.
  • Yet another application is the production of cartoons, drawing only some of the planes and interpolating between these planes to obtain intermediate images. These applications are by no means limiting.
  • the invention aims to provide a method for generating Nl intermediate mosaic images (U i " I. N - I between two successive images U 0 and U N of the same scene, divided into cells each belonging to a homogeneous class among M classes, N being a power of 2, ensuring a high progressiveness of transformation to pass from the image U 0 to the image U N and this by implementing only relatively simple operations.
  • the invention notably proposes a method according to which:
  • a particular solution consists in performing, during steps (c), successive dichotomies.
  • the first step (c) makes it possible to determine, for each pixel of the variable parts, that of the M sets to which it has the shortest geodesic distance and to assign the pixel to this set.
  • the following steps use the image thus created to start the operation again.
  • the method requires, except for admit an irregular partition in time, a value of N equal to a power of 2.
  • FIG. 3 and 4 show, in black, the parts common to the initial image and to the final image, which are also common to all the images in the sequence and, hatched, the variable parts with the label that they have in image A (figure 3) or in image B (figure 4);
  • FIG. 6 is a diagram intended to show the first geodesic distances, designated by d B ir ⁇ , of two points x and y belonging to the variable part, equal, for x at the shortest path consisting of points all having the same label as x in image B and connecting x to a point any of the common parts of the same label as x;
  • FIG. 7 similar to Figure 6, shows second distances d * in of two points x and y in the set A;
  • - Figure 8 similar to Figures 6 and 7, shows third geodesic distances from A out of points x and y, that is to say for x the length of the shortest path connecting x to a point of different label in A and consisting only of points having the same label as x in 1 image A;
  • FIG. 9 shows level lines corresponding to the boundaries of a facet in three interpolated
  • FIGS. 10, 11 and 12 show three complete interpolates between A and B, corresponding to respective distances of 2/10, 4/10 and 6/10 of image A, the corresponding facets being indicated by hatching of the same meaning ;
  • Figures 13 and 14 are diagrams showing the profiles of two gray level functions between which must be interpolated intermediate functions, the subgraph and the overgraph being represented with different hatching, corresponding to different labels annuities; and Figure 15 shows, in black, the variable part of the sub-graphs and over-graphs of Figures 13 and 14, as well as the SKIZ of the common parts, which constitutes the graph of the median interpolated function between the gray level functions .
  • each image point or pixel is assigned a label indicating the class, among M classes, to which the point belongs, at instead of a parameter directly representing a physical quantity.
  • segmentation methods allowing to produce, from an image, such a mosaic image.
  • Each class of the mosaic represents a part of the image presenting certain characters of homogeneity, as regards for example the gray level, the color or the texture.
  • Certain image compression techniques use this representation to code the images: the contours of the mosaic are coded and transmitted separately, then a texture model is transmitted for each class of the mosaic. In this way the decoder can first generate the mosaic image and then "dress" each of the facets or cells.
  • a particularly simple case of mosaic images is the binary image, which has only two sets, one of which can be viewed as the background and the other as the shape.
  • the implementation of the invention requires the calculation of geodesic distances, the definition of which will be recalled.
  • the geodesic distance between x, and x 2 in X is the length of the shortest path between Xj and x 2 that is contained in X. If x. and x 2 belong to connected components distinct from X, there is no path included in X connecting x. and x 2 , we agree that the geodesic distance between x, and x 2 is + •. If X covers all the space, the geodesic distance is reduced to the simple or Euclidean distance.
  • the geodesic distance in X between x and Y is equal to the shortest geodesic distance in X between x and a point belonging to Y. It merges with the Euclidean distance if a straight line is the shortest path meeting this condition.
  • a simple embodiment of the invention when certain constraints are accepted, involves the generation of a derived mosaic image which will be designated by the term skeleton by area of influence or SKIZ. If we consider a family of sets
  • W (X j ) l ⁇ l> M , each set having a different label and being able to be constituted by facets or cells grouping the points assigned to the same class, the SKIZ of the family of sets W is a new mosaic image formed by another family of sets:
  • Each set Z is the set of points on the plane which are closer to the set Xj than to any other set X kf where k is different from i.
  • the set Z s contains the set X t and has the same label.
  • the interpolation is done in two phases:
  • each point is assigned variable parts as a function of the value of the geodesic distance functions between this point and predefined regions of the image, such as common parts or parts having a predetermined label; it is at this stage that SKIZ comes into play, in a simplified embodiment.
  • step (a) we compare images A and B.
  • Figures 1 and 2 show images A and B in which the pixels are divided into four classes.
  • the facets for which there is a one-to-one correspondence between the facets or cells A ⁇ of image A and B A of image B ( ⁇ designating the same label in the two images).
  • the facets that appear or disappear are treated by conventional processes.
  • dashed lines indicate the segmentation of that of the images which is not shown; they reveal the common parts, having the same label in the two mosaic images. They will keep the same label in all interpolated images.
  • the mosaic image consisting of:
  • This middle mosaic M (A, B) constitutes the median interpolated.
  • the algorithm for building the SKIZ of a family of sets can be that described by Luc Vincent in "Morphological algorithms based on queues and laces. Extension to graphs", Thesis of the autoimmune des Mines de Paris, May 14, 1990.
  • intermediate interpolates can be done directly from images A and B or in sequence using each time an intermediate interpolated already available.
  • CU 3N / 4 Average (U N / 2 , U N )
  • FIGS. 4 and 5 show the first two of seven interpolated between the images of FIGS. 1 and 2, the limits of the facets of FIG. 1 being shown in dashes.
  • the set "difference" between A and B is the set of points of different label in A and B (in black in Figure 5). This difference will be designated by (A / B) and we will denote (A / B) ⁇ the points having the label ⁇ in the mosaic A without having it in the mosaic B. Each point of the variable parts therefore has a different label in mosaics A and B.
  • a first geodesic distance for each point, belonging to a set of label ⁇ is the distance to the nearest point which does not have the same label in the same mosaic. Given that it is a distance, in the same mosaic A or B, to a part which does not have the same label, we will call this distance: d A 0 - t for a point in the mosaic A, d B out for a point in mosaic B.
  • d * out for example is the geodesic distance from the point of label to A ⁇ in Figure 8 shows the distance d A out for two points x and y belonging to two different sets in mosaic A.
  • a second geodesic distance, for each point belonging to a set of label ⁇ , is defined for each point not belonging to the common parts At_3. It will be designated by: d A in in mosaic A d B in in mosaic B
  • the distance d A ⁇ n for a point which has the label ⁇ in A is the geodesic distance to the nearest point having the same label ⁇ in B, i.e. the geodesic distance from this point to (AfB) ⁇ . It would be zero for the common areas.
  • Figure 8 shows, by way of example, the distances d A in for two points x and y.
  • the distance d B in for a point that has the label ⁇ in B is the geodesic distance to (AnB) i .
  • Figures 6 and 7 show the distances d B in and d A in for the same points x and y as above.
  • One or more of the assignment criteria are then used, each based on a comparison between two of the values d above.
  • the pairs of values dj and d 2 that we compare can be among the following, for the same point x:
  • the first term of each pair constitutes an indication of the distance to tile A, the second on the distance to tile B.
  • f (d ,, d 2 ) d 2 / (d, + d 2 ) to a threshold ⁇ between 0 and 1, whose value increases with the ratio between the ratio of the temporal distances of the interpolated to the initial and final mosaics. If the value of f (d-, d 2 ) is less than ⁇ , we assign to x the label it has in mosaic A and vice versa.
  • FIG. 9 shows, by way of example, level lines (corresponding to a comparison with three different thresholds) for three interpolated by only one of the facets of the image; these level lines will delimit the facet in the interpolated.
  • Figures 10 to 12 show three successive interpolated images.
  • the method according to the invention can also be used in the case of an image with two - or more generally n dimensions - also having gray levels, where each pixel, of coordinates x, y in the case of two dimensions, is assigned of a grayscale function g (x, y).
  • a function can be considered, in a two-dimensional geometric image, as a particular mosaic image in a three-dimensional space x, y, z, where z is the gray level.
  • any point of the three-dimensional space (x, y, z) a label equal to 1 if g (x, y) ⁇ z and 0 otherwise.
  • Figures 13 and 14 show two functions, representing two mosaic images, between which we want to interpolate. For the purpose of simplification, only a variation in x, representing the spatial variation, is shown. The points where g (x) fc z constitute the overgraph (above the solid line curve, which corresponds to image A) and the points where g (x) ⁇ z constitute the subgraph , shown differently in the figures.
  • the interpolates in the variable parts can be determined in the same way as in the simply two-dimensional case.
  • the expansion algorithm uses a structuring element whose shape will depend on the pixel distribution frame. If this frame is hexagonal, it is advantageous to use a hexagonal prism of unit height or a pyramid with a hexagonal base centered on the point from which the expansion takes place.
  • DILATE z 0
  • ERODER w 0
  • the initial images A and final B represent the same scene at two successive instants.
  • image motion estimation methods are also known, used in particular to determine the average motion vector during the coding of a digital television image, making it possible to reduce the bit rate of information to be transmitted.
  • a pixel x can have several antecedents of different labels. In this case, we choose the label allowing the greatest intersection with the translation from the other terminal mosaic image.
  • Two mosaic images are thus obtained, one from A and the other from B.
  • Each of these embodiments may have holes, due to the presence of points which have not been covered following translations . These holes can be filled by applying the SKIZ function.
  • the facet shapes are then slightly modified.
  • the facets can have particular textures, identifiable by information for each set in the initial images A and final B.
  • the texture interpolation must also be calculated for the interpolated images.
  • a strategy for dressing a facet of an interpolated by a texture is the following.
  • the translation is validated if the destination pixel has, in the mosaic image at distance ⁇ , the same label as in the start image.
  • Peripheral areas of certain facets of the mosaic may then not be affected by a texture by this operation. They are then assigned the gray levels of the closest points of the same label.
  • a second interpolated image can be obtained from image B, this time by translation equal to ( ⁇ -1) T.
  • the final coded image can then be obtained by taking the barycenter between the two realizations thus obtained.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Le procédé permet de générer N-1 images mosaïques intermédiaires entre deux images successives d'une même scène. Pour cela, on mémorise l'image initiale et l'image finale sous forme de pixels adressables affectés chacun à une des M classes; on compare deux à deux les pixels correspondants des deux images et on identifie ceux des pixels correspondants des deux images qui appartiennent à la même classe, constituant une partie commune, de façon à constituer au plus M ensembles X, Y, ..., chacun constitué de pixels d'une même classe; et on affecte, dans chaque image intermédiaire générée, les pixels de la partie variable chacun à une des M classes, suivant la valeur d'une des distances entre le pixel respectif et des régions prédéterminées de l'image, constituées par la partie commune ou des parties appartenant à une classe prédéterminée dans une ou des images pré-existantes.

Description

ANIMATION PAR INTERPOLATION
La présente invention a pour objet un procédé de génération d'images intermédiaires par interpolation entre deux images disponibles successives d'une même scène. Le terme "image" doit être considéré dans un sens large et comme désignant notamment des représentations d'une scène réelle ou virtuelle, mais aussi toute représentation à au moins deux dimensions sous forme de points élémentaires et pouvant être affectés chacun d'une adresse et d'un paramètre d'affectation à une classe parmi M classes. L'invention est applicable dans de nombreux domaines, et en particulier dans celui de la compression d'images animées, de codage d'images et de restitution d'images manquant dans une séquence.
En matière de compression d'images, on a déjà proposé de constituer des "images mosaïques" constituées par partition du plan en des cellules dont chacune est constituée de pixels homogènes, appartenant à une classe parmi plusieurs classes affectées chacune d'un ou plusieurs paramètres d'identification. La compression s'effectue alors en ne retenant pour transmission qu'une image sur plusieurs. Lors de la réception, il faut reconstituer une séquence ayant le même nombre d'images qu'à l'origine. L'invention vise dans ce cas particulier - qui n'est nullement exclusif - à reconstituer les images intermédiaires omises en tenant compte des modifications intervenues entre les deux images successives transmises. Une autre application est la restauration de films de cinéma, dont certains plans sont détériorés. Une autre application encore est la réalisation de dessins animés, en ne dessinant que certains des plans et en interpolant entre ces plans pour obtenir des images intermédiaires. Ces applications ne sont nullement limitati- ves. De façon générale, l'invention vise à fournir un procédé de génération de N-l images mosaïques intermédiaires (U i « I.N-I entre deux images successives U0 et UN d'une même scène, fractionnées en cellules appartenant chacune à une classe homogène parmi M classes, N étant une puissance de 2, en assurant une progressivité élevée de transformation pour passer de 1 ' image U0 à 1 ' image UN et cela en ne mettant en oeuvre que des opérations relativement simples.
Dans ce but, l'invention propose notamment un procédé suivant lequel :
(a) on mémorise l'image initiale et l'image finale sous forme de pixels adressables affectés chacun à une des M classes,
(b) on compare deux à deux les pixels correspondants des deux images et on identifie ceux des pixels correspondants des deux images qui appartiennent à la même classe, consti¬ tuant une partie commune, de façon à constituer au plus M ensembles X, Y, ..., chacun constitué de pixels d'une même classe ; et (c) on affecte, dans chaque image intermédiaire générée, les pixels de la partie variable chacun à une des M classes, suivant la valeur d'une fonction de la distance entre le pixel respectif et des régions prédéterminées de l'image, constituées par la partie commune ou des parties appartenant à une classe prédéterminée dans une ou des images pré¬ existantes.
Une solution particulière consiste à effectuer, au cours des étapes (c) , des dichotomies successives. La première étape (c) permet de déterminer, pour chaque pixel des parties variables, celui des M ensembles auquel il a la distance géodésique la plus courte et d'affecter le pixel à cet ensemble. Les étapes suivantes utilisent l'image ainsi créée pour recommencer l'opération.
Du fait que cela conduit à un doublement du nombre de points interpolés à chaque étape, le procédé impose, sauf à admettre une partition irrégulière dans le temps, une valeur de N égale à une puissance de 2.
Dans la plupart des cas, il y a non seulement évolution de la scène, mais déplacement global de la portion de la scène représentée, notamment dans le cas d'une scène réelle observée par une caméra effectuant un mouvement panoramique. Dans ce cas, il est avantageux d'évaluer le vecteur mouve¬ ment de la scène dans l'image, par un processus qui peut être l'un de ceux bien connus dans le domaine de la télévi- sion haute définition à diffusion avec compression tempo¬ relle, et d'effectuer la comparaison de l'étape (b) après avoir imposé des déplacements de sens inverse tenant compte de ce vecteur mouvement et permettant d'augmenter les parties communes. D'autres caractéristiques de l'invention apparaîtront à la lecture de la description qui suit de modes particuliers de réalisation, donnés à titre d'exemples non limitatifs. La description se réfère aux figures qui l'accompagnent, dans lesquelles : - les figures 1 et 2 sont des schémas montrant respec¬ tivement une image mosaïque initiale A et une image mosaïque finale B, entre lesquelles doivent être interpolées des images intermédiaires ;
- les figures 3 et 4 montrent, en noir, les parties communes à l'image initiale et à l'image finale, qui sont également communes à toutes les images de la séquence et, hachurées, les parties variables avec l'étiquette qu'elles ont dans l'image A (figure 3) ou dans l'image B (figure 4) ;
- la figure 4 montre les parties communes affectées de l'étiquette qu'elles ont dans toutes les images ;
- la figure 6 est un schéma destiné à montrer des premières distances géodésiques, désignées par dB irι, de deux points x et y appartenant à la partie variable, égales, pour x au plus court chemin constitué de points ayant tous la même étiquette que x dans l'image B et reliant x à un point quelconque des parties communes de même étiquette que x ;
- la figure 7, similaire à la figure 6, montre des secondes distances d*in de deux points x et y dans l'ensemble A ; - la figure 8, similaire aux figures 6 et 7, montre des troisièmes distances géodésiques dA out des points x et y, c'est-à-dire pour x la longueur du plus court chemin reliant x à un point d'étiquette différente dans A et constitué uniquement de points ayant la même étiquette que x dans 1 ' image A ;
- la figure 9 montre des lignes de niveau correspondant aux frontières d'une facette dans trois interpolés ;
- les figures 10, 11 et 12 montrent trois interpolés complets entre A et B, correspondant à des distances respectives de 2/10, 4/10 et 6/10 de l'image A, les facettes correspondantes étant indiquées par des hachures de même sens ;
- les figures 13 et 14 sont des schémas montrant les profils de deux fonctions à niveaux de gris entre lesquelles doivent être interpolées des fonctions intermédiaires, le sous-graphe et le sur-graphe étant représentés avec des hachures différentes, correspondant à des étiquettes diffé¬ rentes ; et la figure 15 montre, en noir, la partie variable des sous-graphes et sur-graphes des figures 13 et 14, ainsi que le SKIZ des parties communes, qui constitue le graphe de la fonction interpolée médiane entre les fonctions à niveaux de gris.
On décrira tout d'abord l'invention dans son application à des images dites "mosaïques", dans lesquelles chaque point d'image ou pixel est affecté d'une étiquette indiquant la classe, parmi M classes, à laquelle appartient le point, au lieu d'un paramètre représentant directement une grandeur physique. II existe déjà de nombreuses méthodes de segmentation pemettant de produire, à partir d'une image, une telle image mosaïque. Chaque classe de la mosaïque représente une partie de l'image présentant certains caractères d'homogénéité, en ce qui concerne par exemple le niveau de gris, la couleur ou la texture. Certaines techniques de compression d'images utilisent cette représentation pour coder les images : les contours de la mosaïque sont codés et transmis séparément, puis un modèle de texture est transmis pour chaque classe de la mosaïque. De cette manière le décodeur peut générer d'abord l'image mosaïque puis "habiller" chacune des facettes ou cellules.
Un cas particulièrement simple des images mosaïque est l'image binaire, qui ne comporte que deux ensembles, dont l'un peut être regardé comme le fond et l'autre comme la forme.
La mise en oeuvre de l'invention nécessite le calcul de distances géodésiques dont on rappellera la définition.
Dans un ensemble X de points x. et x2, la distance géodésique entre x, et x2 dans X est la longueur du plus court chemin entre Xj et x2 qui soit contenu dans X. Si x. et x2 appartiennent à des composantes connexes distinctes de X, il n'existe aucun chemin inclus dans X reliant x. et x2, on convient que la distance géodésique entre x, et x2 vaut +•. Si X couvre tout l'espace, la distance géodésique se réduit à la distance simple ou euclidienne.
Dans un ensemble X incluant un point x et un ensemble Y, la distance géodésique dans X entre x et Y est égal à la plus courte distance géodésique dans X entre x et un point appartenant à Y. Elle se confond avec la distance eucli- dienne si une droite constitue le plus court chemin répon¬ dant à cette condition.
Un mode simple de mise en oeuvre de l'invention, lorsqu'on accepte certaines contraintes, fait intervenir la génération d'une image mosaïque dérivée qu'on désignera par le terme de squelette par zone d'influence ou SKIZ. Si on considère une famille d'ensembles
W = (Xj) lβl>M, chaque ensemble ayant une étiquette différente et pouvant être constitué par des facettes ou cellules regroupant les points affectés à la même classe, le SKIZ de la famille d'ensembles W est une nouvelle image mosaïque formée par une autre famille d'ensembles :
Figure imgf000008_0001
Chaque ensemble Z, est l'ensemble des points du plan qui sont plus proches de l'ensemble Xj que de tout autre ensemble Xkf où k est différent de i. L'ensemble Zs contient l'ensemble Xt et porte la même étiquette. On écrira :
Z- = - ZW(Xi| De façon générale, l'interpolation entre deux images U0=A et UN=B revient à chercher une famille d'interpolés :
Figure imgf000008_0002
L'interpolation se fait en deux phases :
(a) on recherche les parties supposées communes à tous les interpolés en partant de l'hypothèse que ce sont les parties communes à A et B. Tout point qui n'appartient pas à une partie commune sera affecté à une classe au cours de la phase (b) ;
(b) on affecte chaque point des parties variables en fonction de la valeur des fonctions distance géodésique entre ce point et des régions prédéfinies de l'image, telles que parties communes ou parties possédant une étiquette prédéterminée ; c'est à ce stade qu'intervient le SKIZ, dans un mode simplifié de réalisation.
CAS OENERAT. DE DEUX TMAOES MOSAÏQUES (Y COMP TS RTUATRI,S.
Au cours de l'étape (a) on compare les images A et B.
Par exemple les figures 1 et 2 montrent des images A et B dans lesquelles les pixels sont répartis entre quatre classes. Dans l'interpolation, on traite les facettes pour lesquelles il y a une correspondance bi-univoque entre les facettes ou cellules Aλ de l'image A et BA de l'image B (λ désignant une même étiquette dans les deux images) . Les facettes qui apparaissent ou disparaissent sont traitées par des processus classiques. Sur les figures 1 et 2, des lignes en tirets indiquent la segmentation de celle des images qui n'est pas représen¬ tée ; elles font apparaître les parties communes, ayant la même étiquette dans les deux images mosaïques. Elles conserveront la même étiquette dans toutes les images interpolées. On notera par :
- AŒ, l'image mosaïque constituée par :
- les parties communes, représentées en noir sur les figures 3 et 3 et sur la figure 5 par le même rem¬ plissage que sur les figures 1 et 2 ; elles seront désignées par (AfïB.j pour les points d'étiquette λ ; les parties variables, représentées sur les figures 3 et 4 de la même façon que sur les figures 1 et 2. Les parties communes sont conservées dans toutes les images intermédiaires 1,..., N-l.
MÉTHODE SIMPLIFI E = utilisation du SKIZ
La construction de l'interpolé médian i = N/2 à l'aide du SKIZ est simple et rapide. On effectue le SKIZ de la famille des parties fixes munies chacune de son étiquette.
Cette mosaïque milieu M(A,B) constitue l'interpolé médian.
L'algorithme pour la construction du SKIZ d'une famille d'ensembles peut être celui décrit par Luc Vincent dans "Algorithmes morphologiques à base de files d'attente et de lacets. Extension aux graphes", Thèse de l'Ecole des Mines de Paris, 14 mai 1990.
La construction des interpolés intermédiaires peut s'effectuer directement à partir des images A et B ou en séquence en utilisant chaque fois un interpolé intermédiaire déjà disponible.
Dans le second cas, la séquence de N-l images résultant des N étapes de déformation pour passer de U0 = A à UN ≈ B implique des itérations successives, d'abord : UN/2 = Moyenne (U0,UN) puis ι' UN/ = Moyenne (U0,UN/2)
C U3N/4 = Moyenne (UN/2,UN)
et pour chaque itération d'ordre i :
UN/2 l = Moyenne (U0.UM/2 ,_1) Si N est une puissance de 2, on obtient une séquence régulière d'images interpolées.
A titre d'exemple, les figures 4 et 5 montrent les deux premiers de sept interpolés entre les images des figures 1 et 2, les limites des facettes de la figure 1 étant montrées en tirets.
UTILISATION DE PARAMETRES DTSTANOES (.EODESTOTTES PT.TT.q COMPLETS :
La phase (b) peut également être effectuée en utilisant les distances géodésiques et des images "différence" entre les mosaïques U0=A et UN=B, par un procédé n'introduisant aucune contrainte sur le nombre des interpolés et s'appuyant sur des distances géodésiques supplémentaires.
L'ensemble "différence" entre A et B est l'ensemble des points d'étiquette différente dans A et B (en noir sur la figure 5) . Cette différence sera désignée par (A/B) et on notera (A/B)λ les points ayant l'étiquette λ dans la mosaïque A sans l'avoir dans la mosaïque B. Chaque point des parties variables possède donc une étiquette différente dans les mosaïques A et B.
On définit de plus, en chaque point x, deux distances géodésiques pour chaque mosaïque A et B. Une première distance géodésique pour chaque point, appartenant à un ensemble d'étiquette λ, est la distance au point le plus proche qui n'a pas la même étiquette dans la même mosaïque. Etant donné qu'il s'agit d'une distance, dans la même mosaïque A ou B, à une partie qui ne possède pas la même étiquette, on appellera cette distance : dA 0-t pour un point dans la mosaïque A, dB out pour un point dans la mosaïque B. On peut considérer que d*out par exemple est la distance géodésique du point d'étiquette à Aλ dans
Figure imgf000011_0001
La figure 8 montre la distance dA out pour deux points x et y appartenant à deux ensembles différents dans la mosaïque A.
Une seconde distance géodésique, pour chaque point appartenant à un ensemble d'étiquette λ, est définie pour chaque point n'appartenant pas aux parties communes At_3. Elle sera désignée par : dA in dans la mosaïque A dB in dans la mosaïque B
La distance dA ιn pour un point qui a l'étiquette λ dans A est la distance géodésique au point le plus proche ayant la même étiquette λ dans B, c'est-à-dire la distance géodésique de ce point à (AfB)λ. Elle serait nulle pour les parties communes. La figure 8 montre, à titre d'exemple, les distances dA in pour deux points x et y. De même, la distance dB in pour un point qui a l'étiquette λ dans B est la distance géodésique à (AnB)i.
Les figures 6 et 7 montrent les distances dB in et dA in pour les mêmes points x et y que ci-dessus.
On obtient ainsi, pour chacune des mosaïques A et B, deux fonctions distances : dA in et dA out pour A, dB ln et dB out pour B, calculées pour chaque point.
On utilise alors un ou plusieurs de critères d'affecta¬ tion fondés chacun sur une comparaison entre deux des valeurs d ci-dessus. Les couples de valeurs dj et d2 que l'on compare peuvent être parmi les suivants, pour un même point x :
à. (1;
dA in dB in dBo_. d\u- dA in dA ou- dB i n dB out
Le premier terme de chaque couple constitue une indica¬ tion sur la distance à la mosaïque A, le second sur la distance à la mosaïque B.
Application d'un -.---I -r-r,-.-.--
Si une des distances ci-dessus est particulièrement représentative à elle seule, on peut utiliser une règle simple.
Dans l'interpolé médian on affecte, à un point x : - l'étiquette qu'il a dans A si d2(x) > d. (x)
- l'étiquette qu'il a dans B si d2(x) ≤ d, (x)
Plus généralement, dans un interpolé autre que l'inter¬ polé médian, on est amené à effectuer une pondération. Elle peut se faire en comparant la valeur prise par la fonction : f(d,,d2) = d2 / (d, + d2) à un seuil α compris entre 0 et 1, dont la valeur croît avec le rapport entre le rapport des distances temporelles de l'interpolé aux mosaïques initiale et finale. Si la valeur de f(d-,d2) est inférieure à α, on affecte à x l'étiquette qu'il a dans la mosaïque A et inversement.
La figure 9 montre, à titre d'exemple, des lignes de niveau (correspondant à une comparaison avec trois seuils différents) pour trois interpolés de l'une seulement des facettes de l'image ; ces lignes de niveau délimiteront la facette dans les interpolés. Les figures 10 à 12 montrent trois images interpolées successives.
Annlica ion d'une pondérât-ion de plusieurs critères Chacun des couples (d.,d2) ci-dessus permet de construire une séquence d'interpolés différente et toute some pondérée des résultats permet de construire des interpolés encore différents.
Dans de nombreux cas, de bons résultats en matière de progressivité sont obtenus en faisant simplement la moyenne de deux fonctionnelles, par exemple : l /2 [dA in , dA out ) , (dB in , dB out ) ]
c'est-à-dire d'une comparaison , sur une somme pondérée faisant intervenir deux fois din et dout.
EXTENS ION ATTX FONCTIONS N.TMÉR TOTIES
Jusqu'ici il n'a été fait référence qu'à des images mosaïques dont les facettes ont implicitement la même étiquette : elles peuvent être regardées comme à deux dimen¬ sions. Des images à plus de deux dimensions spatiales peuvent cependant être traitées de la même façon.
Le procédé suivant l'invention est également utilisable dans le cas d'une image à deux - ou plus généralement n dimensions - ayant également des niveaux de gris, où chaque pixel, de coordonnées x, y dans le cas de deux dimensions, est affecté d'une fonction à niveaux de gris g (x,y) . Une telle fonction peut être considérée, dans une image à deux dimensions géométriques, comme une image mosaïque particu- lière dans un espace à trois dimensions x,y,z, où z est le niveau de gris.
Dans ce cas, on affectera à tout point de l'espace tridimensionnel (x,y,z) une étiquette égale à 1 si g (x,y) ≤ z et 0 dans le cas contraire. A titre d'exemple les figures 13 et 14 montrent deux fonctions, représentant deux images mosaïques, entre lesquelles on veut interpoler. Dans un but de simplifica¬ tion, seule une variation en x, représentant la variation spatiale, est figurée. Les points où g(x)fc z constituent le sur-graphe (au-dessus de la courbe en traits pleins, qui correspond à l'image A) et les points où g(x) ≤ z consti¬ tuent le sous-graphe, montré différemment sur les figures. Les interpolés dans les parties variables peuvent être déterminés de la même façon que dans le cas simplement bidimensionnel.
Une solution simple lorsque l'on souhaite déterminer des interpolés dont le nombre est une puissance de deux, plus un, consiste à adopter la méthode du SKIZ déjà décrite. Le SKIZ conduit d'abord à l'interpolé médian, indiqué sur la figure 15 ; les interpolés intermédiaires peuvent être ensuite déterminés successivement à partir de ceux déjà disponibles.
Dans Le cas où on accepte de n'utiliser que le SKIZ appliqué à des distances euclidiennes, la recherche d'un interpolé médian entre deux fonctions gl et g2 de variables x et y peut s'effectuer de la même façon suivante.
On recherche tout d'abord les frontières haute zo = inf (gl,g2) de la partie basse commune et w0 = sup (gl,g2) de la partie haute commune. Elles délimitent la zone montrée en noirsur la figure 15. Puis on applique un algorithme de dilatation des parties communes qui réduit progressivement l'intervalle entre les frontières jusqu'à ce qu'elle coïncident .
L'algorithme de dilatation utilise un élément structu- rant dont la forme dépendra de la trame de répartition des pixels. Si cette trame est hexagonale, on utilise avanta¬ geusement une prisme hexagonal de hauteur unité ou une pyramide à base hexagonale centrée sur le point à partir duquel s'effectue la dilatation. Classiquement, on applique les fonctions de morphologie: DILATER (z0) pour faire monter la frontière z0 ERODER (w0) pour faire descendre w0 Il faut limiter la croissance de la fonction dilatée et la décroissance de la fonction érodée. Pour cela on peut utiliser deux contraintes.
L'une est que la fonction basse dilatée ne doit pas dépasser la valeur de la fonction haute pour les mêmes valeurs x,y. Elle est donc finalement z'Q : z'o = inf [dilate (z0) , w0] L'autre est que la fonction haute érodée ne doit pas être inférieure à la fonction basse initiale au même point : w'o = sup [(erode (wσ) , z0] La même contrainte est répétée, à chaque étape. Par exemple, à l'itération d'ordre i : z'i = inf [dilate (z9^.), sup [erode(W j..) , z'j-,]] w'i = sup [erode(W i,.) , inf [dilate(z' j_.) , Wj.,]]
COMPENSATION DE MOTTVEMENT
En règle générale, les images initiale A et finale B représentent la même scène à deux instants successifs.
On connaît par ailleurs des procédés d'estimation de mouvement d'images suivantes, utilisés notamment pour déterminer le vecteur mouvement moyen lors du codage d'une image de télévision numérique, permettant de réduire le débit d'informations à transmettre. Dans le cas de la présente invention, il est possible, une fois une image de départ ou d'arrivée segmentée, d'estimer le vecteur mouve¬ ment de chaque facette.
Pour interpoler l'image mosaïque qui se trouve à une distance temporelle α de l'image mosaïque initiale A et
1 - α de l'image temporelle B, on applique à chaque facette pour laquelle le vecteur mouvement est T de A à B, une translation αT dans l'image A et une translation (α-1) (T) a la facette dans la mosaïque B. Plus fréquemment, on déterminera un seul vecteur mouvement T pour toutes les facettes constituant un même ensemble d'étiquettes λ.
Au cours de l'une et l'autre des translations, un pixel x peut avoir plusieurs antécédents d'étiquettes différentes. Dans ce cas on choisit l'étiquette permettant la plus grande intersection avec la translation depuis l'autre image mosaïque terminale.
On obtient ainsi deux images mosaïques, l'une à partir de A et l'autre à partir de B. Chacune de ces réalisations peut avoir des trous, dus à la présence de points qui n'ont pas été couverts à la suite des translations. Ces trous peuvent être remplis en appliquant la fonction SKIZ. Les formes des facettes sont alors légèrement modifiées. De plus, il peut y avoir une modification due à ce que le mouvement réel pour passer de A à B n'est pas une simple translation.
On applique ensuite, aux réalisations OA (α-1) B une interpolation du genre décrit ci-dessus, mais appliquée à A et B. HABILLAGE DES FACETTES PAR DES TEXTURES
Les facettes peuvent présenter des textures particuliè¬ res, identifiables par une information pour chaque ensemble dans les images initiale A et finale B.
Il faut également calculer dans ce cas 1 ' interpolation des textures pour les images interpolés.
Dans le cas d'une interpolation avec translation, une stratégie d'habillage d'une facette d'un interpolé par une texture (par exemple lignes parallèles, quadrillage, etc..) est la suivante. On déplace la texture d'une facette de l'ouvrage A sur la mosaïque par la translation OT pour constituer la mosaïque à distance α de A. La translation est validée si le pixel de destination possède, dans l'image mosaïque à distance α, la même étiquette que dans l'image de dépar . Des zones périphériques de certaines facettes de la mosaïque peuvent alors ne pas se voir affecter une texture par cette opération. On leur attribue alors les niveaux de gris des points les plus proches de même étiquette.
On obtient ainsi une première réalisation d'une image codée à distance α de A et (1- α) de B.
Une seconde image interpolée peut être obtenue à partir de l'image B, cette fois par translation égale à (α-1) T.
L'image codée finale peut alors être obtenue en prenant le barycentre entre les deux réalisations ainsi obtenues.

Claims

REVENDICATIONS
1. Procédé de génération de N-l images mosaïques intermédiaires ( j), ,,^., entre deux images successives U0 = A et UN = B d'une même scène, fractionnées en cellules appartenant chacune à une classe homogène parmi M classes, suivant lequel :
(a) on mémorise l'image initiale et l'image finale sous forme de pixels adressables affectés chacun à une des M classes,
(b) on compare deux à deux les pixels correspondants des deux images et on identifie ceux des pixels correspondants des deux images qui appartiennent à la même classe, consti¬ tuant une partie commune, de façon à constituer au plus M ensembles X, Y, ..., chacun constitué de pixels d'une même classe ; et
(c) on affecte, dans chaque image intermédiaire générée, les pixels .de la partie variable chacun à une des M classes, suivant la valeur d'une des distances entre le pixel respectif et des région prédéterminées de l'image, consti¬ tuées par la partie commune ou des parties appartenant à une classe prédéterminée dans une ou des images pré-existantes.
2. Procédé selon la revendication 1, caractérisé en ce que, au cours des étapes (c) , on effectue des dichotomies successives, la première étape (c) permettant de déterminer, pour chaque pixel des parties variables, celui des M ensembles ou classes auquel il a la distance géodésique la plus courte et d'affecter le pixel à cet ensemble et les étapes suivantes utilisent l'image ainsi créée pour recom- mercer l'opération.
3. Procédé selon la revendication 1, caractérisé en ce qu'on affecte successivement les pixels de la partie vo dans l'image médiane U(N/2), dans les images intermédiaires U(N/4) et U (3 I et ainsi de suite jusqu'à U2, ... , U^, par affectation de chaque pixel de la partie variable des deux images adjacentes déjà disponibles à celui des M ensembles consti¬ tuant la partie commune de ces deux images avec lequel il a la distance géodésique la plus courte.
4. Procédé selon la revendication 1, caractérisé en ce que, au cours de la phase (c) :
(Cl) on détermine, pour chaque point, dans l'image initiale A et dans l'image finale B, la distance géodésicrue respective dA out ou dB out de ce point au point le plus proche appartenant à une classe différente, et/ou (C2) on détermine, pour chaque point, dans l'image initiale A et dans l'image finale B, la distance géodésique dA ιn ou dB ιn au point le plus proche ayant la même étiquette dans l'autre image, puis
(C3) pour affecter chaque point à un ensemble dans une image interpolée on compare les deux termes, pour ce point, d'au moins un des deux couples suivants : dA in et dB in dB out et dA out dA in et dA out dB l n et dB out
5. Procédé selon la revendication 4, caractérisé en ce que, pour les interpolés autres que l'interpolé médian, on effectue une pondération des deux termes avant comparaison.
6. Procédé selon la revendication 4 ou 5, caractérisé en ce que, au cours de l'étape (Cl), on effectue une pondéra¬ tion entre plusieurs comparaisons.
7. Procédé selon la revendication 6, caractérisé en ce que la pondération consiste à faire les moyennes des comparaisons entre : dA in et dA out dB ln et dB out
8. Procédé selon l'une quelconque des revendications 1 à 7, suivant lequel on estime le vecteur mouvement T de la scène de l'image U0 à l'image UN et, avant détermination d'une image intermédiaire située à une fraction α de l'intervalle de temps entre U0 et UN, on applique une translation αT à l'image mosaïque U0 et (l-α)T à l'image UN.
9. Procédé selon l'une quelconque des revendications 1 à 7 , caractérisé en ce que l'étiquette est prévue pour différencier des facettes suivant au moins un paramètre radiométrique de l'image, tel que luminance, chrominance et texture.
10. Procédé selon les revendications 2 et 9, caractérisé en ce que les opérations de dichotomie successives sont effectuées en utilisant également la différentiation fournie par l'étiquette.
PCT/FR1995/001553 1994-11-25 1995-11-23 Animation par interpolation WO1996017327A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9414162A FR2727543B1 (fr) 1994-11-25 1994-11-25 Procede de generation d'images intermediaires par interpolation
FR94/14162 1994-11-25

Publications (1)

Publication Number Publication Date
WO1996017327A1 true WO1996017327A1 (fr) 1996-06-06

Family

ID=9469161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR1995/001553 WO1996017327A1 (fr) 1994-11-25 1995-11-23 Animation par interpolation

Country Status (2)

Country Link
FR (1) FR2727543B1 (fr)
WO (1) WO1996017327A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19816795A1 (de) 1998-04-16 1999-10-21 Bosch Gmbh Robert Verfahren zur Darstellung von bewegten Objekten mit Bitmapformat auf einer matrixförmigen Anzeigevorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2245807A (en) * 1990-06-28 1992-01-08 Rank Cintel Ltd Editing of object-based animated computer graphics
FR2695230A1 (fr) * 1992-08-26 1994-03-04 Cuadros Isabelle Procédé de création d'images animées.
GB2277847A (en) * 1993-05-03 1994-11-09 Grass Valley Group Creating concurrent video effects using keyframes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2245807A (en) * 1990-06-28 1992-01-08 Rank Cintel Ltd Editing of object-based animated computer graphics
FR2695230A1 (fr) * 1992-08-26 1994-03-04 Cuadros Isabelle Procédé de création d'images animées.
GB2277847A (en) * 1993-05-03 1994-11-09 Grass Valley Group Creating concurrent video effects using keyframes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Pixel interpolator with edge sharpening for image modification - uses nearest neighbour polynomial interpolation equation weighting values according to distance between nearby pixels and new pixel", RESEARCH DISCLOSURE, vol. 309, no. 019, 10 January 1990 (1990-01-10), EMSWORTH, GB *
MOSHA J ET AL: "Geodetic interpolation in a system of contour lines", AUTOMATIZACE, JUNE 1991, CZECHOSLOVAKIA, vol. 34, no. 6, ISSN 0005-125X, pages 136 - 140 *

Also Published As

Publication number Publication date
FR2727543B1 (fr) 1997-01-31
FR2727543A1 (fr) 1996-05-31

Similar Documents

Publication Publication Date Title
US7305148B2 (en) Color interpolation using data dependent triangulation
EP1292921B1 (fr) Raffinement d'un maillage triangulaire en trois dimensions
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
EP1131789B1 (fr) Procede de construction d'un modele de scene 3d par analyse de sequence d'images
CN111489372A (zh) 基于级联卷积神经网络的视频前背景分离方法
EP0533888A1 (fr) Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification.
Tasar et al. SemI2I: Semantically consistent image-to-image translation for domain adaptation of remote sensing data
CN114638836B (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
TWI786906B (zh) 幀處理設備、方法及幀處理器
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及***
EP4162448A1 (fr) Procédé et dispositif de reconstruction tridimensionnelle d'un visage avec partie dentée à partir d'une seule image
CN115272437A (zh) 一种基于全局与局部特征的图像深度估计方法及装置
CN116051936A (zh) 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN112489103B (zh) 一种高分辨率深度图获取方法及***
CN113393435A (zh) 一种基于动态上下文感知滤波网络的视频显著性检测方法
EP1387232A1 (fr) Procédé de détermination de la valeur à donner à différents paramètres d'un système
WO1996017327A1 (fr) Animation par interpolation
Schmidt et al. ARIN: adaptive resampling and instance normalization for robust blind inpainting of Dunhuang cave paintings
CN111476868A (zh) 基于深度学习的动画生成模型训练、动画生成方法及装置
Choi et al. Video segmentation based on spatial and temporal information
Wang et al. A novel framework for object removal from digital photograph
CN113870126B (zh) 一种基于注意模块的Bayer图像恢复方法
Hu A Review of Super-Resolution Reconstruction Based on Supervised Learning
CN115100312B (zh) 一种图像动漫化的方法和装置
Lenka et al. Improvement of Exemplar Based Inpainting by Enhancement of Patch Prior

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase