FR2766946A1 - Procede et dispositif de pretraitement pour estimation de mouvement - Google Patents

Procede et dispositif de pretraitement pour estimation de mouvement Download PDF

Info

Publication number
FR2766946A1
FR2766946A1 FR9709941A FR9709941A FR2766946A1 FR 2766946 A1 FR2766946 A1 FR 2766946A1 FR 9709941 A FR9709941 A FR 9709941A FR 9709941 A FR9709941 A FR 9709941A FR 2766946 A1 FR2766946 A1 FR 2766946A1
Authority
FR
France
Prior art keywords
frames
carried out
filtering
filtered
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9709941A
Other languages
English (en)
Other versions
FR2766946B1 (fr
Inventor
Yannick Olivier
Philippe Robert
Jean Yves Babonneau
Gerard Briand
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Priority to FR9709941A priority Critical patent/FR2766946B1/fr
Priority to EP98401843A priority patent/EP0896299B1/fr
Priority to DE69818174T priority patent/DE69818174D1/de
Priority to ZA986530A priority patent/ZA986530B/xx
Priority to IDP981054A priority patent/ID20657A/id
Priority to HU9801730A priority patent/HU9801730D0/hu
Priority to KR1019980031254A priority patent/KR100575116B1/ko
Priority to US09/128,511 priority patent/US6396876B1/en
Priority to HU9801780A priority patent/HU223981B1/hu
Priority to JP21911098A priority patent/JP4308942B2/ja
Priority to MYPI98003538A priority patent/MY129499A/en
Priority to CNB981168507A priority patent/CN1143550C/zh
Publication of FR2766946A1 publication Critical patent/FR2766946A1/fr
Application granted granted Critical
Publication of FR2766946B1 publication Critical patent/FR2766946B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un procédé de prétraitement d'une séquence d'images vidéo constituée d'une succession de trames entrelacées pour une estimation de mouvement entre une première et une deuxième trame, caractérisé en ce qu'un filtrage temporel (16, 17) est effectué à partir d'au moins deux trames d'entrée pour fournir chacune des deux trames exploitées par l'estimateur de mouvement.Les applications concernent les estimateurs de mouvement, dans le domaine de la compression d'images vidéo ou de la conversion de standards de télévision.

Description

L'invention concerne un procédé de prétraitement pour un estimateur de
mouvement exploité dans le traitement de séquences d'images de télévision. L'estimation de mouvement prend de plus en plus d'importance dans les systèmes tels que les convertisseurs de normes, les convertisseurs
en fréquences hautes plus connus sous l'appellation anglo-saxonne de "up-
converters", les désentrelaceurs ou codeurs, alors que les algorithmes
1o deviennent plus performants et que leur intégration devient plus aisée.
Il existe différents types d'estimateur de mouvement, par exemple le type à appariement de blocs ou "block matching" en anglais, le type point à point ou "pel-récursif". Afin d'améliorer le fonctionnement de ces estimateurs de mouvement et d'accroître leur performance, les images qui leurs sont
transmises sont en général prétraitées. C'est par exemple un sous-
échantillonnage puis un filtrage pour réduire la taille de l'image afin de
simplifier les circuits et augmenter la vitesse de traitement, un filtrage passe-
bas pour enlever une partie des hautes fréquences afin de faciliter le fonctionnement de I'estimateur de mouvement, une interpolation de lignes pour chaque trame afin d'avoir de nouvelles trames dont les lignes se correspondent (il s'agit en fait d'un désentrelacement)... Par exemple, I'estimateur du type pel-récursif décrit dans le brevet français n 8812468 nécessite un prétraitement des images pour fonctionner de façcon satisfaisante. De même, les estimateurs de type "block-matching" sont
souvent précédés d'un prétraitement des images.
Les estimateurs de mouvement fonctionnent d'une manière imparfaite sur les images entrelacées contenant des contours horizontaux: il y a repliement du spectre dans ces zones, et les trames successives, présentant des lignes différentes, n'y sont pas corrélées. Les estimateurs de
3 0 mouvement, tels que du type pel récursif, divergent alors dans ces zones.
Les prétraitements précédemment décrits, par exemple le filtrage spatial, améliorent globalement les performances des estimateurs mais ne
2 2766946
résolvent pas de façon satisfaisante les défauts d'estimation de mouvement qui peuvent être particulièrement visibles sur l'image compensée en mouvement ou estimée et se traduire par une dégradation de la qualité de l'image.
L'invention a pour but de pallier les inconvénients précités.
Elle a pour objet un procédé de prétraitement d'une séquence d'images vidéo constituée d'une succession de trames entrelacées pour une estimation de mouvement entre une première et une deuxième trame, caractérisé en ce qu'un filtrage temporel est effectué à partir d'au moins deux trames d'entrée pour fournir chacune des deux trames exploitées par
l'estimateur de mouvement.
Elle a également pour objet un dispositif pour la mise en oeuvre du procédé, caractérisé en ce qu'il comporte: - une mémoire pour la mémorisation de quatre trames entrelacées successives, - des filtres verticaux (9, 10, 11, 12) pour la transformation de ces quatre trames entrelacées mémorisées en quatre trames progressives, - un filtre temporel (16, 17) pour fournir deux trames filtrées, la première à partir des trames progressives correspondant aux trois premières trames mémorisées et la deuxième à partir des trames progressives correspondant aux trois dernières trames mémorisées, l'estimation de mouvement étant réalisée à partir de ces deux
trames filtrées.
Les caractéristiques et avantages de la présente invention
ressortiront mieux de la description suivante, donnée à titre d'exemple et en
référence aux figures annexées, o: - la figure 1 représente un dispositif de prétraitement selon I'invention pour estimateur de mouvement; -la figure 2 représente un circuit de détection de contour;
3 2766946
-la figure 3 représente les trames des images dans la chaîne de prétraitement. Le procédé réalise un filtrage spatio-temporel 3 trames, un filtrage spatial des trames entrelacées pour obtenir des trames progressives puis un filtrage temporel de trois trames progressives successives. Grâce à ce prétraitement des images, les performances de l'estimateur de mouvement sont améliorées, en particulier dans les zones possédant des contours
horizontaux, zones généralement critiques.
La figure 1 représente un dispositif de traitement selon l'invention.
Les informations vidéonumériques de luminance d'une séquence d'images provenant d'une source vidéo, sous la forme de trames successives entrelacées, sont au préalable mémorisées dans une mémoire d'image. Il s'agit d'une mémoire quatre trames, non représentée sur la figure car généralement non spécifique au dispositif. Cette mémoire transmet sur les quatre entrées du dispositif de prétraitement tel que représenté à la figure 1, avec la trame d'indice n+1 appelée Yin,.+, les trames précédentes Yin-2,
Yinn_1, Yinn.
Les quatre trames successives entrelacées sont transmises simultanément, ligne par ligne, sur les quatre entrées. Chacune de ces entrées Yin,2, Yin,-, Yin, et Yin,+, est respectivement reliée à un filtre numérique 1, 2, 3, 4, filtres numériques horizontaux à réponse impulsionnelle finie demi-bandes (FIR pour "Finite-Impulse Response" en anglo-saxon). Les sorties de ces filtres sont reliées respectivement aux entrées de circuits échantillonneurs par 2 des fréquences horizontales 5, 6, 7, 8. Les sorties de ces échantillonneurs sont respectivement reliées aux entrées de filtres FIR verticaux demi-bandes 9, 10, 11, 12. La sortie du sous-échantillonneur 6 est également reliée à une entrée d'un détecteur de contours 14 et la sortie du sous- échantillonneur 7 à une entrée d'un détecteur de contours 15. Les sorties des filtres 9, 10, 11, 12 sont transmises aux entrées de filtres temporels 16 et 17 par l'intermédiaire, par exemple, d'un bus de distribution 13. Sont ainsi reçues, sur trois entrées du filtre temporel 16, les signaux de trame filtrés provenant des filtres 9, 10, 11 et sur trois entrées du filtre temporel 17, les signaux de trame filtrés provenant des filtres 10, 11, 12. Une deuxième sortie du filtre 10 et du filtre 12 est respectivement reliée à une deuxième entrée du détecteur de contour 14 et 15. La sortie du filtre 16 est reliée à l'entrée d'un filtre FIR horizontal quart de bande 18 puis à l'entrée d'un filtre FIR vertical quart de bande 19. La sortie du filtre 17 est reliée à l'entrée d'un filtre FIR horizontal quart de bande 20 puis à l'entrée d'un filtre FIR vertical quart de bande 21. Les sorties des filtres 19 et 21 sont les sorties
du dispositif de prétraitement.
Les signaux numériques vidéo de luminance arrivant sur chacune des quatre entrées du dispositif sont ainsi filtrés en horizontal à la moitié de leur largeur de bande à l'aide de filtres RIF monodimensionnels horizontaux à 8 coefficients. Il s'agit de filtres anti-repliement de spectre placés donc en amont du sous-échantillonneur en horizontal et dont les coefficients, dans notre exemple, sont:
-22/1024; 43 /1024; 135/1024; 442/1024; 442/1024; 135/1024;
-43/1024; -22/1024;
Le signal en sortie de chaque filtre est ensuite sous-échantillonné par un échantillonneur, une décimation horizontale d'un facteur deux étant effectuée sur ce signal. Le but d'un tel échantillonnage est d'adapter la résolution de l'image à la capacité de traitement actuelle des circuits
d'estimation de mouvement.
Pour la suite du raisonnement, on fera l'hypothèse que les trames progressives calculées pour le filtrage temporel et pour la transmission vers I'estimateur de mouvement sont alignées sur les trames impaires en entrée du dispositif. Le fonctionnement est décrit à deux instants différents, l'instant tl correspondant à la présence, sur les quatre entrées du dispositif, des trames Yin._2 à Yinr+1, tel que représenté sur le schéma, I'instant postérieur t2 correspondant à la présence des trames Yin.. à Yinn+2. Faisons l'hypothèse
que la trame d'indice n est impaire.
2766946
- Instant tl Les signaux échantillonnés obtenus en sortie du filtre 1 et du filtre 3 et correspondant aux trames impaires n-2 et n sont filtrés en vertical à la moitié de la largeur de bande à l'aide d'un filtre RIF monodimensionnel vertical 9, 11, demi-bande à 3 coefficients. Les coefficients choisis pour ces filtres sont
0,25; 0,50; 0,25;
Ainsi, les trames obtenues en sortie de ces filtres verticaux demi-
bande, que l'on appellera Yv,.2 et Yv. ont leur lignes positionnées sur les lignes des trames d'entrée, les valeurs de luminance étant obtenues par moyennage pondéré des luminances de la ligne courante, la ligne précédente et la ligne antérieure (supérieure) à la ligne précédente. Le résultat correspond à la ligne précédente. Ce sont des trames alignées sur les trames impaires Les signaux échantillonnés obtenus en sortie du filtre 2 et du filtre 4 et correspondant aux trames paires n-1 et n+1 sont filtrés en vertical à la moitié de la largeur de bande à l'aide d'un filtre RIF monodimensionnel
vertical 10, 12, demi-bande à 2 coefficients qui sont choisis égaux à 0, 50.
Ici, les trames obtenues que l'on appellera Yv,. et Yv.+1 ont leur lignes positionnées entre les lignes des trames d'entrée n-1 et n+1 et ces lignes sont donc en correspondance avec les trames progressives obtenues à partir des trames n-2 et n. En effet, la valeur de luminance des pixels de la ligne générée est obtenue par moyennage des valeurs de luminance des pixels de la ligne inférieure (ligne courante) et de la ligne supérieure (antérieure). Ce sont donc également des trames alignées sur les trames impaires. - Instant t2 Les signaux arrivant sur le filtre 9 et 11 proviennent des trames paires n-1 et n+l. Le filtrage utilisé est maintenant un filtrage monodimensionnel vertical demi-bande à 2 coefficients qui sont choisis égaux
6 2766946
à 0,50. Les trames obtenues Yv,.1 et Yv,.+1 ont donc leur lignes alignées sur
les trames impaires.
Les signaux arrivant sur le filtre 10 et 12 proviennent des trames impaires n et n+2. Le filtrage utilisé par ces filtres est maintenant un filtrage monodimensionnel vertical demi-bande à 3 coefficients qui sont choisis égaux à 0,25, 0,50, 0,25. Les trames obtenues Yv, et Yvn+2 ont donc leur lignes
alignées sur les trames impaires.
Ainsi sont fournies, en sortie des filtres demi-bande verticaux 9, 10, 11, 12, qui effectuent alternativement et selon la parité des trames reçues, un filtrage à deux coefficients et un filtrage à trois coefficients, des trames Yvn.-2,
Yv.,1, Yv., Yvn+1 à l'instant tl et des trames Yvn.1, Yv., Yv+11, Yvn+2 à l'instant t2.
Ces trames sont toutes alignées sur les trames impaires (on aurait tout aussi bien pu réaliser un alignement sur des trames de parité paire). Ce sont ces
trames progressives qui sont exploitées par les filtres temporels.
Les filtres temporels reçoivent également des informations des
circuits de détection de contours 14 et 15.
A l'instant tl, le circuit 14 reçoit simultanément une ligne de la trame paire n-1 provenant de l'échantillonneur 6 et la ligne précédente de cette trame n-1 mémorisée dans le filtre 10 et provenant de ce filtre. Le circuit 15 reçoit une ligne de la trame impaire n et la ligne précédente de cette trame mémorisée par le filtre 11. A l'instant t2, les parités des trames et donc des lignes sont inversées. L'obtention des informations binaires de contour
transmises par les circuits 14 et 15 au filtre temporel sera explicitée plus loin.
La suite de la description se réfère uniquement à l'instant tl, le
fonctionnement étant identique pour l'instant t2, les images traitées par les
circuits en aval étant progressives.
Un premier filtrage temporel agissant sur les trois trames Yvr._, Yv., Yvn+1 est effectué par le filtre temporel 17. Le calcul d'un pixel courant d'une ligne courante prend en compte les luminances de chacun des pixels des trames Yvn-1, Yvn, Yvn+1 correspondant à la position du pixel courant (même ligne, même colonne), en pondérant respectivement ces valeurs par l'intermédiaire des coefficients de filtre qui sont choisis égaux à:
7 2766946
13/64; 38164; 13/64.
Ces valeurs sont paramétrables et données à titre d'exemple. Elles
pourraient être choisies égales à 1/3, 1/3, 1/3.
La sortie est donc temporellement centrée sur l'élément central du triplet. Ce filtre temporel 17 est validé uniquement sur les hautes
fréquences verticales dans l'image. Pour ce faire, la trame centrale Yin, sous-
échantillonnée en horizontal est transmise, deux lignes par deux lignes, la ligne courante et la ligne précédente, à un détecteur de contour horizontal 15 décrit plus loin qui a pour rôle de déterminer les zones correspondant à ces
hautes fréquences verticales.
Le signal ytn en sortie du filtre temporel 17 qui correspond au signal filtré pour les zones détectées, ou bien à la trame Yvn pour les zones non concernées, est ensuite transmis successivement à deux filtres quart de bande 20, 21, un premier filtre horizontal quart de bande à 5 coefficients puis un deuxième filtre vertical quart de bande à 5 coefficients. Le rôle de ces filtres est de rendre l'image légèrement floue afin de faciliter l'estimation de mouvement. Les gradients sur les contours d'objets sont corrigés pour permettre la convergence de l'estimateur de mouvement exploitant un algorithme de gradients. Le signal délivré en sortie de ces circuits de filtrage est le signal de sortie Yen du dispositif de prétraitement, signal transmis sur une première entrée d'un estimateur de mouvement non représenté sur la figure. Un deuxième filtrage temporel agissant sur les trois trames Yvn- 2, Yv.1, Yv, est effectué simultanément. Comme indiqué précédemment, il prend en compte les luminances du triplet de pixels correspondant au pixel courant et aux trames Yv-2, Yv..1, Yvn en pondérant respectivement ces valeurs par l'intermédiaire des coefficients de filtre qui sont choisis égaux à:
13/64; 38164; 13/64.
Ce filtre temporel 16 est validé uniquement sur les hautes
fréquences verticales dans l'image. Pour ce faire, la trame Yin., sous-
échantillonnée en horizontal est transmise, deux lignes par deux lignes, la
8 2766946
ligne courante et la ligne précédente, à un détecteur de contour horizontal 14 décrit plus loin qui a pour rôle de déterminer les zones correspondant à ces
hautes fréquences verticales.
Le signal en sortie du filtre temporel 16 qui correspond au signal filtré pour les zones détectées, ou bien à la trame Yv,1 pour les zones non concernées est ensuite transmis successivement à deux filtres quart de bande 18, 19, un premier filtre horizontal quart de bande à 5 coefficients puis un deuxième filtre vertical quart de bande à 5 coefficients. Le rôle de ces filtres est de rendre l'image légèrement floue afin de faciliter l'estimation de mouvement. Le signal délivré en sortie de ces circuits de filtrage est le signal de sortie Ye..1 du dispositif de prétraitement, signal transmis sur une
deuxième entrée d'un estimateur de mouvement non représenté sur la figure.
La fonction des circuits de détection de contours 14 et 15 est de détecter des contours horizontaux dans l'image. Le schéma d'un tel circuit est
représenté à la figure 2.
Les deux entrées du circuit de détection de bord précédemment mentionnées sont les deux entrées d'un circuit de détection de gradient vertical 22. Ce circuit 22 est relié à un circuit d'érosion 23 puis à un circuit de
dilatation 24 dont la sortie est transmise au filtre temporel.
Le circuit de détection de gradient vertical effectue, pour chaque pixel de l'image, une mesure de gradient sur une fenêtre glissante de dimension cinq pixels horizontaux sur deux pixels verticaux. Pour ce faire, chaque entrée fournit une ligne de la trame i+1, celle en sortie de l'échantillonneur 6 ou 7, sur la première entrée et une ligne précédente i, celle mémorisée dans le filtre 10 ou 11, sur la deuxième entrée, ces deux lignes étant de trame paire ou impaire selon le détecteur de contour étudié à un instant donné ou bien selon l'instant considéré pour un détecteur de contour donné. Pour chaque pixel de la ligne i et colonne j est calculée la somme des différences de luminance entre le pixel de la ligne i et celui, au dessous, de la ligne i+1 (ou i+2 si l'on veut conserver la numérotation de ligne des trames entrelacées), sommation effectuée pour le pixel courant et les quatre pixels
9 2766946
avoisinant sur la même ligne. Cette accumulation est comparée à un seuil Thr. Si le critère suivant est respecté: j=+2 E |Y( (,) - Y( + 1, j) 2 Thr ô= -2 o Y(i, j) représente la valeur de luminance du pixel à la ligne i et la colonne j de la trame courante et Thr la valeur du seuil, par exemple choisie égale à 192, la valeur binaire, un, est affectée au pixel courant correspondant
à cette accumulation. Dans le cas contraire, la valeur zéro est attribuée.
L'image binaire d'information de contours horizontaux ainsi
obtenue est ensuite traitée par morphologie mathématique.
L'image binaire transmise au circuit d'érosion 23 est généralement
relativement bruitée et nécessite d'être filtrée.
Une érosion dans le sens horizontal est effectuée à partir d'une
fenêtre glissante de dimension neufs pixels horizontaux sur un pixel vertical.
Le seuil est par exemple fixé à la valeur 3. Pour chaque pixel courant (situé au milieu de la fenêtre) ayant la valeur unité, un comptage des pixels dans la fenêtre ayant la valeur unité est effectué et si le nombre obtenu est inférieur ou égal au seuil, le pixel courant est forcé à la valeur zéro. Ce traitement est non récursif et c'est la valeur des pixels de l'image initiale et non la nouvelle valeur calculée pour le pixel courant qui est prise en compte pour le calcul du
pixel courant suivant.
Une dilatation est ensuite effectuée en deux étapes: Une dilatation dans le sens horizontal est réalisée à partir d'une fenêtre de dimensions neuf pixels horizontaux sur un pixel vertical. Le seuil
est choisi égal à 3.
Une dilatation dans le sens vertical est ensuite effectuée à partir d'une fenêtre glissante de dimension un pixel horizontal sur deux pixels
verticaux. Le seuil est par exemple fixé à la valeur 1.
2766946
Pour chacune de ces dilatations, lorsque le pixel courant a la valeur zéro, le nombre de pixels ayant la valeur unité est compté dans la fenêtre et si ce nombre est supérieur ou égal au seuil, alors le pixel courant
est forcé à la valeur unité.
La fenêtre utilisée pour la dilatation verticale est causale, c'est à dire qu'elle inclut le pixel courant et le pixel au dessus. En conséquence le
procédé n'entraîne pas de délai de traitement supplémentaire.
En sortie des circuits de détection de contour est disponible, pour chaque ligne courante, une information sous forme binaire correspondant aux
pixels marqués ou pas, c'est à dire concernés ou pas par le filtrage temporel.
C'est cette information qui est transmise aux filtres temporels.
La trame exploitée pour une telle détection de contour est la trame
Yin, pour le détecteur 15 et la trame Yin,, pour le détecteur 14.
La figure 3 représente les pixels des lignes des différentes trames
n-2 à n+1 à différentes étapes du procédé de prétraitement.
Le temps est représenté en abscisses, l'axe étant orienté vers la gauche et gradué en trames n-2 à n+1, les lignes d'une trame sont repérées
sur l'axe des ordonnées.
La figure 3a concerne l'obtention des trames (aussi appelées
images) progressives Yv à partir des trames d'entrée Yin.
I est une ligne impaire et, pour la trame n-2 et n, les pixels des lignes 1-2, I et 1+2 sont utilisés pour la construction du pixel de la ligne I de la
trame yvn-2 et yvn. Pour les trames impaires n-1 et n+I, les pixels des lignes 1-
1 et 1+1 permettent d'obtenir le pixel de la ligne I des trames Yvn-j et Yv.+1.
La figure 3b concerne le filtrage temporel. Les pixels de la ligne I pour la trame Yv,-2, Yv, l et Yv. sont traités pour fournir le pixel de la ligne I de la trame filtrée Yt._1. Les pixels de la ligne I pour la trame Yv,1, Yv, et Yv,+,
sont traités pour fournir le pixel de la ligne I de la trame filtrée Yt,.
La figure 3c représente l'obtention des trames (pixels) de sortie Ye
à partir des trames Yt en sortie des filtres temporels (filtres 18 et 20).
1 1 2766946
Les pixels des lignes 1, 1+2, 1+4, 1+6 et 1+8 de la trame Yt,1 sont filtrés pour fournir un pixel sur la ligne 1+4 pour la trame Ye,j. en sortie du dispositif. Les pixels des lignes 1, 1+2, 1+4, 1+6 et 1+8 de la trame Yt, sont filtrés pour fournir un pixel sur la ligne 1+4 pour la trame Yen en sortie du dispositif. L'estimateur de mouvement reçoit les trames progressives Ye,. et Yen, correspondant, dans notre exemple, à des trames alignées sur les lignes
impaires qu'il va comparer pour calculer les vecteurs mouvement.
Revenons à la figure 1 pour expliciter le traitement qui est effectué au niveau des lignes de trames. Prenons par exemple les lignes 100 et 101 reçues au même instant à l'entrée du dispositif, la ligne 100 correspondant
aux trames paires Y,.1 et Yn,.1 et la ligne 101 aux trames impaires Y-2 et Y,.
Ces lignes sont transmises, après filtrage horizontal et échantillonnage, aux
filtres verticaux demi-bande.
Les filtres 9 et 11 fournissent, après réception de la ligne 101 filtrée et échantillonnée, une ligne filtrée 99 exploitant, pour ce filtrage, les lignes 97, 99 et 101 comme explicité précédemment. En même temps, les filtres 10 et 12 après réception de la ligne 100 filtrée et échantillonnée, fournissent en sortie
une ligne 99 qui est calculée à partir des lignes 98 et 100.
On obtient ainsi les lignes impaires de quatre trames progressives en sortie des filtres. La ligne 99 de trois d'entre elles (n-2, n-1, n) est transmise à un premier filtre temporel qui réalise ce filtrage pour fournir cette même ligne 99 filtrée. Le deuxième filtre temporel utilise simultanément la ligne 99 des trois trames progressives suivantes (n-1, n, n+1) disponible au
même instant, pour fournir cette même ligne 99 filtrée.
Les filtres verticaux quart de bande exploitent les lignes précédentes filtrées 91, 93, 95, 97 et la ligne filtrée 99 pour fournir en sortie la ligne médiane 95 qui est également, après filtrage horizontal quart de bande,
celle fournie en sortie du dispositif de prétraitement.
12 2766946
Les contours dits "horizontaux" d'une image sont rarement parfaitement horizontaux et ces lignes se traduisent, pour les trames, par des marches d'escalier. Le but de ces traitements est de reconstituer au mieux, dans une trame progressive, I'information contenue dans les trames entrelacées, en particulier lorsque la trame progressive calculée est décalée, au niveau lignes, par rapport aux trames d'entrée correspondantes (dans notre exemple lorsque la trame progressive est calculée à partir de trames paires). L'estimation de mouvement sera de meilleure qualité, la corrélation étant ainsi plus forte entre les deux trames progressives qui entrent dans I'estimateur de mouvement. Les opérateurs morphologiques ont donc
également une fonction de reconstruction de l'image.
Le filtrage temporel va également créer des échos sur lesquels est naturellement effectuée l'estimation de mouvement améliorant par là même cette estimation, car toutes les images transmises à l'estimateur subissent le même traitement et les gradients des échos sont à la même vitesse que les
gradients de l'image originale.
Lorsqu'il y a des croisements d'objets complexes, I'algorithme de filtrage temporel est moins performant et c'est la raison pour laquelle le filtrage temporel est réservé aux zones à contours horizontaux. Les risques d'une détérioration de l'information contenue dans l'image, due à ce filtrage, par exemple dans le cas de zones apparaissantes ou disparaissantes ou de
croisement d'objets, sont ainsi limités.
Le filtrage temporel pourrait bien sûr être effectué sur l'image complète et la sélection des zones filtrées être effectuée par la suite. Cette
sélection est facultative.
La séparation en deux filtres temporels et deux détecteurs de contours est bien sûr arbitraire et il pourrait tout aussi bien être utilisé un circuit commun de filtrage et/ou un circuit commun de détection de contour, ces circuits communs étant adaptés pour le traitement des informations
reçues sur chacun des circuits décrits à la figure 1.
D'autre part, la mémoire d'image pour mémoriser les trames successives de la séquence d'images et les distribuer simultanément, ligne
13 2766946
par ligne, aux filtres, peut aussi être considérée comme partie intégrante du
dispositif de prétraitement.
14 2766946

Claims (10)

REVENDICATIONS
1. Procédé de prétraitement d'une séquence d'images vidéo constituée d'une succession de trames entrelacées pour une estimation de mouvement entre une première et une deuxième trame, caractérisé en ce qu'un filtrage temporel (16, 17) est effectué à partir d'au moins deux trames d'entrée pour fournir chacune des deux trames exploitées par l'estimateur de mouvement. 2. Procédé selon la revendication 1, caractérisé en ce que le filtrage temporel (16, 17) est effectué sur des trames progressives obtenues
par filtrage vertical (9, 10, 11, 12).
3. Procédé selon la revendication 2, caractérisé en ce qu'un premier filtrage vertical (10, 12) est effectué sur les trames d'entrée paires et un deuxième filtrage vertical (9, 11) est effectué sur les trames d'entrée impaires de manière à obtenir des trames progressives, toutes alignées sur
une trame d'entrée de parité prédéfinie.
4. Procédé selon la revendication 3, caractérisé en ce que, préalablement au filtrage vertical, un filtrage horizontal demi-bande (1, 2, 3, 4) est réalisé sur les trames d'entrée, puis une décimation horizontale (5, 6, 7, 8)
sur les images ainsi filtrées.
5. Procédé selon la revendication 1, caractérisé en ce qu'il mémorise quatre trames successives et en ce qu'un premier filtrage temporel (16) est effectué à partir des trois premières trames mémorisées pour fournir la première trame à l'estimateur de mouvement et en ce qu'un deuxième filtrage temporel (17) est effectué à partir des trois dernières trames
mémorisées pour fournir la deuxième trame à l'estimateur de mouvement.
6. Procédé selon la revendication 5, caractérisé en ce que le
filtrage temporel (16, 17) sur les trames est effectué ligne par ligne.
2766946
7. Procédé selon l'une des revendications précédentes, caractérisé
en ce que les trames filtrées temporellement sont ensuite filtrées
horizontalement par un filtre quart de bande (18, 20).
8. Procédé selon l'une des revendications précédentes, caractérisé
en ce que les trames filtrées temporellement sont ensuite filtrées
verticalement par un filtre quart de bande (19, 21).
9. Procédé selon l'une des revendications précédentes, caractérisé
en ce qu'une détection des contours horizontaux (14, 15) est effectuée sur les trames d'entrée et en ce que le filtrage temporel est effectué sur les seules
régions comportant de tels contours.
10. Procédé selon la revendication 9, caractérisé en ce que la détection de contours est effectuée à partir d'opérateurs de gradient, suivis
d'opérations morphologiques de type érosion et dilatation.
1l. Dispositif de prétraitement pour un estimateur de mouvement pour la mise en oeuvre du procédé selon la revendication 1, caractérisé en ce qu'il comporte: - une mémoire pour la mémorisation de quatre trames entrelacées successives, - des filtres verticaux (9, 10, 11, 12) pour la transformation de ces quatre trames entrelacées mémorisées en quatre trames progressives, - un filtre temporel (16, 17) pour fournir deux trames filtrées, la première à partir des trames progressives correspondant aux trois premières trames mémorisées et la deuxième à partir des trames progressives correspondant aux trois dernières trames mémorisées, I'estimation de mouvement étant réalisée à partir de ces deux
trames filtrées.
16 2766946
12. Dispositif selon la revendication 11, caractérisé en ce qu'il comprend en série un filtre vertical (18, 20) et un filtre horizontal (19,21) quarts de bande pour le filtrage des trames en sortie des filtres temporels (16, 17).
FR9709941A 1997-08-04 1997-08-04 Procede et dispositif de pretraitement pour estimation de mouvement Expired - Fee Related FR2766946B1 (fr)

Priority Applications (12)

Application Number Priority Date Filing Date Title
FR9709941A FR2766946B1 (fr) 1997-08-04 1997-08-04 Procede et dispositif de pretraitement pour estimation de mouvement
EP98401843A EP0896299B1 (fr) 1997-08-04 1998-07-21 Estimation de mouvement pour des images entrelacées
DE69818174T DE69818174D1 (de) 1997-08-04 1998-07-21 Bewegungsabschätzung für Zeilensprungbilder
ZA986530A ZA986530B (en) 1997-08-04 1998-07-22 Preprocessing process and device for motion estimation
IDP981054A ID20657A (id) 1997-08-04 1998-07-28 Proses pemrosesan pendahuluan dan peralatan untuk etimasi gerakan
HU9801730A HU9801730D0 (en) 1997-08-04 1998-07-30 Preprocessing process and device for motion estimation
KR1019980031254A KR100575116B1 (ko) 1997-08-04 1998-07-31 움직임추정을위한전처리방법및장치
US09/128,511 US6396876B1 (en) 1997-08-04 1998-08-03 Preprocessing process and device for motion estimation
HU9801780A HU223981B1 (hu) 1997-08-04 1998-08-03 Kép-előfeldolgozási eljárás és eszköz a mozgás értékelésére
JP21911098A JP4308942B2 (ja) 1997-08-04 1998-08-03 動き推定のための前処理の方法及び装置
MYPI98003538A MY129499A (en) 1997-08-04 1998-08-03 Preprocessing method and device for motion estimation.
CNB981168507A CN1143550C (zh) 1997-08-04 1998-08-04 运动估计的预处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9709941A FR2766946B1 (fr) 1997-08-04 1997-08-04 Procede et dispositif de pretraitement pour estimation de mouvement

Publications (2)

Publication Number Publication Date
FR2766946A1 true FR2766946A1 (fr) 1999-02-05
FR2766946B1 FR2766946B1 (fr) 2000-08-11

Family

ID=9509988

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9709941A Expired - Fee Related FR2766946B1 (fr) 1997-08-04 1997-08-04 Procede et dispositif de pretraitement pour estimation de mouvement

Country Status (11)

Country Link
US (1) US6396876B1 (fr)
EP (1) EP0896299B1 (fr)
JP (1) JP4308942B2 (fr)
KR (1) KR100575116B1 (fr)
CN (1) CN1143550C (fr)
DE (1) DE69818174D1 (fr)
FR (1) FR2766946B1 (fr)
HU (2) HU9801730D0 (fr)
ID (1) ID20657A (fr)
MY (1) MY129499A (fr)
ZA (1) ZA986530B (fr)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714258B2 (en) * 2000-03-15 2004-03-30 Koninklijke Philips Electronics N.V. Video-apparatus with noise reduction
US7412002B2 (en) * 2000-04-28 2008-08-12 Texas Instruments Incorporated Image preprocessing with selective lowpass filtering from motion compensation
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7095445B2 (en) * 2000-12-20 2006-08-22 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus
KR100750108B1 (ko) * 2001-03-02 2007-08-17 삼성전자주식회사 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
DE10306555A1 (de) * 2002-03-06 2003-09-18 Siemens Ag Verfahren zur Bearbeitung einer mit einem dynamischen Bildwandler, insbesondere einem Festkörperbilddetektor aufgenommenen Strahlungsbildsequenz bestehend aus mehreren nacheinander aufgenommenen Strahlungsbildern eines Untersuchungsobjekts
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
EP1631068A3 (fr) * 2004-08-26 2008-09-03 Samsung Electronics Co., Ltd. Dispositif et procédé de conversion d' image entrelacée en image progressive
US20060182184A1 (en) * 2005-02-11 2006-08-17 Florent Maheo Device and method for pre-processing before encoding of a video sequence
US7751484B2 (en) * 2005-04-27 2010-07-06 Lsi Corporation Method for composite video artifacts reduction
US7920628B2 (en) * 2005-07-29 2011-04-05 Broadcom Corporation Noise filter for video compression
CN101443789B (zh) * 2006-04-17 2011-12-28 实物视频影像公司 使用统计像素建模的视频分割
US8009932B2 (en) * 2006-09-13 2011-08-30 Providence Engineering and Environmental Group LLC Automatic alignment of video frames for image processing
US9326004B2 (en) 2008-06-03 2016-04-26 Broadcom Corporation Reduced memory mode video decode
KR20130082304A (ko) * 2012-01-11 2013-07-19 한국전자통신연구원 고해상도용 상세단위 움직임 추정 장치
US10305620B2 (en) * 2013-05-03 2019-05-28 Zte (Usa) Inc. Method and apparatuses for algorithm on QAM coherent optical detection
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
EP3379830B1 (fr) * 2017-03-24 2020-05-13 Axis AB Procédé, codeur vidéo et caméra vidéo pour le codage d'un flux vidéo

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5049993A (en) * 1990-10-03 1991-09-17 Bell Communications Research, Inc. Format conversion preprocessing method and circuit
EP0781041A1 (fr) * 1995-12-22 1997-06-25 THOMSON multimedia Procédé d'interpolation de trames progressives

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (fr) 1993-07-13 1995-01-14 Barin Geoffry Haskell Codage et decodage variables pour systeme video haute definition progressif
KR960012937B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 적응적 전처리 기능을 갖는 영상 부호화 장치
KR0120729B1 (ko) * 1993-11-30 1997-10-22 양승택 공간영역 계층 부호화 장치에서의 움직임 정도 구분 방법
US5828786A (en) 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
KR100282141B1 (ko) * 1993-12-08 2001-02-15 구자홍 영상 부호화기의 시공간 전치 필터
KR960028548A (ko) * 1994-12-29 1996-07-22 배순훈 3차원 대역분할에 의한 영상부호화장치
US5572565A (en) 1994-12-30 1996-11-05 Philips Electronics North America Corporation Automatic segmentation, skinline and nipple detection in digital mammograms
GB2307127B (en) 1995-11-09 2000-01-26 Sony Uk Ltd Controlling signal processing
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US5847772A (en) 1996-09-11 1998-12-08 Wells; Aaron Adaptive filter for video processing applications
US5978823A (en) 1997-01-27 1999-11-02 Hitachi America, Ltd. Methods and apparatus for implementing and controlling a digital modulator
KR100203294B1 (ko) * 1997-02-06 1999-06-15 윤종용 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5049993A (en) * 1990-10-03 1991-09-17 Bell Communications Research, Inc. Format conversion preprocessing method and circuit
EP0781041A1 (fr) * 1995-12-22 1997-06-25 THOMSON multimedia Procédé d'interpolation de trames progressives

Also Published As

Publication number Publication date
HU9801730D0 (en) 1998-09-28
JP4308942B2 (ja) 2009-08-05
KR19990023282A (ko) 1999-03-25
FR2766946B1 (fr) 2000-08-11
ID20657A (id) 1999-02-04
DE69818174D1 (de) 2003-10-23
EP0896299B1 (fr) 2003-09-17
HUP9801780A3 (en) 2002-09-30
KR100575116B1 (ko) 2006-10-19
JPH11112943A (ja) 1999-04-23
HU9801780D0 (en) 1998-09-28
EP0896299A1 (fr) 1999-02-10
US6396876B1 (en) 2002-05-28
HU223981B1 (hu) 2005-04-28
CN1208312A (zh) 1999-02-17
MY129499A (en) 2007-04-30
HUP9801780A2 (hu) 1999-04-28
ZA986530B (en) 1999-02-05
CN1143550C (zh) 2004-03-24

Similar Documents

Publication Publication Date Title
FR2766946A1 (fr) Procede et dispositif de pretraitement pour estimation de mouvement
EP0390660B1 (fr) Procédé et dispositif d'interpolation temporelle d'images, à compensation de mouvement corrigée
EP0936575B1 (fr) Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images
EP0330279A1 (fr) Dispositif de sous-échantillonnage spatio-temporel de signaux vidéo numériques représentatifs d'une suite d'images entrelacées ou séquentielles, système de transmission d'images de télévision à haute définition incluant un tel dispositif, et étages d'émission et de réception pour un tel système
EP0418952B1 (fr) Dispositif de codage d'informations bidimensionnelles et dispositif de décodage correspondant
Vijaykumar et al. Decision based adaptive median filter to remove blotches, scratches, streaks, stripes and impulse noise in images
EP0780794B1 (fr) Procédé de correction d'estimation de mouvement dans des images à structures périodiques
EP0342756A1 (fr) Système d'émission et réception de télévision à haute définition à débit de données réduit
EP0337565B1 (fr) Dispositif de codage de signaux représentatifs d'une suite d'images et système de transmission d'images de télévision à haute définition incluant un tel dispositif
EP0347325A1 (fr) Procédé et installation de diffusion de programmes de télévision haute définition compatible
FR2805429A1 (fr) Procede de controle de la qualite numeriques distribuees par detection de faux contours
FR2768891A1 (fr) Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement
EP1223554A1 (fr) Méthode de réduction de bruit
EP0350122A1 (fr) Procédés et dispositifs de codage et de décodage d'images de télévision à haute définition et systèmes de transmission d'images de télévision incluant de tels dispositifs
FR2742902A1 (fr) Procede d'estimation de mouvement
EP1290879B1 (fr) Procede de detection de saturation d'un champ de vecteurs mouvement
EP0676114B1 (fr) Dispositif d'estimation hierarchique du mouvement de sequence d'images
FR2743247A1 (fr) Dispositif d'estimation de mouvement par appariement de blocs
EP0415494B1 (fr) Procédé et dispositif de traitement d'images à estimation de mouvement améliorée
FR2624680A1 (fr) Procede et dispositif de reduction de la visibilite du bruit sur les images de television
FR2872664A1 (fr) Dispositif et procede de pre-traitemebnt avant codage d'une sequence d'images video
FR2625059A1 (fr) Procede de sous-echantillonnage dans l'axe du mouvement d'une sequence d'images electroniques
MXPA98006263A (en) Process of pre-processing and device for estimation of movimie
FR2665042A1 (fr) Dispositif de traitement de signaux video.
FR2633472A1 (fr) Dispositif de sous-echantillonnage temporel et d'interpolation temporelle compensee en mouvement dans une sequence d'images entrelacees, utilisation d'un tel dispositif dans les dispositifs de codage et de decodage d'un systeme de transmission d'images de television a haute definition, et dispositifs de codage et de decodage pour un tel systeme

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20110502