FR2889778A1 - Procede de codage et de decodage d'images video avec echelonnabilite spatiale - Google Patents

Procede de codage et de decodage d'images video avec echelonnabilite spatiale Download PDF

Info

Publication number
FR2889778A1
FR2889778A1 FR0552510A FR0552510A FR2889778A1 FR 2889778 A1 FR2889778 A1 FR 2889778A1 FR 0552510 A FR0552510 A FR 0552510A FR 0552510 A FR0552510 A FR 0552510A FR 2889778 A1 FR2889778 A1 FR 2889778A1
Authority
FR
France
Prior art keywords
image
resolution image
filters
coefficients
oversampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0552510A
Other languages
English (en)
Inventor
Edouard Francois
Jerome Vieron
Nicolas Burdin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to FR0552510A priority Critical patent/FR2889778A1/fr
Priority to US11/990,038 priority patent/US20100150229A1/en
Priority to PCT/EP2006/065221 priority patent/WO2007020230A2/fr
Priority to EP06778218A priority patent/EP1913781A2/fr
Publication of FR2889778A1 publication Critical patent/FR2889778A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Le procédé réalisant - une étape de codage (5) d'une image basse résolution effectuant un calcul d'une image décodée locale ou reconstruite, pour fournir une image basse résolution codée,- une étape de sur-échantillonnage (6) de l'image reconstruite pour fournir une image de prédiction,- une étape de codage (7) d'une image de plus haute résolution comportant un calcul de différence avec l'image de prédiction pour fournir des résidus,est caractérisé en ce qu'il comporte également une étape de sélection ou de calcul de coefficients de filtres à utiliser pour le sur-échantillonnage puis une étape de codage des coefficients pour être transmis au décodeur avec les autres données codées.Les applications concernent le codage hiérarchique avec échelonnabilité spatiale.

Description

L'invention concerne un dispositif et une méthode de codage et de décodage
d'images vidéo avec échelonnabilité spatiale, plus particulièrement d'une première image basse résolution et d'au moins une deuxième image de
plus haute résolution à partir de l'image basse résolution, les premières et deuxièmes images ayant une partie vidéo commune. Le domaine est celui du codage hiérarchique avec échelonnabilité spatiale ( spatial scalability en anglais) et échelonnabilité spatiale étendue (ESS, acronyme de l'anglais extended spatial scalability).
L'échelonnabilité spatiale représente la capacité d'échelonner l'information pour la rendre décodable à plusieurs niveaux de résolution et/ou de qualité. Plus précisément, un flux de données généré par le dispositif de codage est divisé en plusieurs couches, notamment une couche de base et une ou plusieurs couches d'amélioration. Ces dispositifs permettent notamment d'adapter un unique flux de données à des conditions de transport et de visualisation variables. Par exemple, dans le cas particulier de l'échelonnabilité spatiale, la partie du flux de données correspondant aux images basse résolution de la séquence peut être décodée indépendamment de la partie du flux de données correspondant aux images haute résolution.
Le codage hiérarchique avec échelonnabilité spatiale permet de coder une première partie de données appelée couche de base, relative au format basse résolution, et à partir de cette couche de base une deuxième partie de données appelée couche d'amélioration, relative au format haute résolution. Les données complémentaires relatives à la couche d'amélioration sont généralement générées selon une méthode comprenant les étapes suivantes: - codage de l'image basse résolution et éventuellement décodage local de cette image codée pour obtenir une image reconstruite, -mise à l'échelle ou sur-échantillonnage de l'image basse résolution reconstruite, par exemple par interpolation et filtrage, pour obtenir une image de prédiction au format haute résolution, et - différence, pixel à pixel, des valeurs de luminance de l'image source et de l'image de prédiction pour obtenir des résidus relatifs à la couche d'amélioration, lorsque le mode de codage inter-couches est sélectionné.
Ainsi, le codage de l'image haute résolution exploite l'image basse résolution mise à l'échelle comme image de prédiction. La méthode est aussi appliquée aux images de chrominance si elles existent.
Côté décodeur, le procédé de décodage réalise les opérations inverses: décodage de l'image basse résolution pour obtenir une image reconstruite, - mise à l'échelle ou sur-échantillonnage de l'image basse résolution reconstruite, par exemple par interpolation et filtrage, pour obtenir une image de prédiction au format haute résolution, et - addition, pixel à pixel, des résidus relatifs à la couche d'amélioration aux valeurs de luminance de l'image de prédiction.
Les différentes opérations de décodage sont normatives, en particulier le décodeur effectue les opérations de sur-échantillonnage des images de la couche de base avec des filtres prédéfinis dans la spécification du standard.
Les opérations de codage ne sont pas normatives. Cependant, les opérations de décodage local effectuées par le codeur pour le calcul de l'image reconstruite doivent être de préférence similaires à celles effectuées par le décodeur, pour obtenir une même image reconstruite à partir de laquelle sont calculés les résidus, évitant ainsi tout problème de dérive au niveau du décodage.
Egalement il est préférable que les opérations de sous-échantillonnage de l'image de résolution haute, dans le cas où celle-ci est exploitée pour obtenir l'image basse résolution à coder, correspondent aux opérations de sur-échantillonnage de l'image reconstruite basse résolution afin que l'image de prédiction haute résolution ainsi obtenue et à partir de laquelle sont calculés les résidus pour la couche d'amélioration, puisse être aussi fidèle que possible à l'image source haute résolution. Les coefficients des filtres d'analyse doivent être adaptés à ceux des filtres de synthèse.
En conséquence, une optimisation des filtres exploités au codeur n'est pas réalisable. En effet, une telle optimisation entraînerait une dégradation de la qualité des images du fait de l'exploitation de filtres de sur-échantillonnage différents au codeur et au décodeur ou du fait de l'exploitation de filtres de sur-échantillonnage et de souséchantillonnage non corrélés.
Un des buts de l'invention est de pallier les inconvénients précités.
A cet effet, l'invention a pour objet un procédé de codage d'images vidéo avec échelonnabilité spatiale réalisant le codage d'une première image basse résolution et d'au moins une deuxième image de plus haute résolution à partir 10 de l'image basse résolution, la première image ayant une partie vidéo commune avec la deuxième image, comportant - une étape de codage de l'image basse résolution effectuant un calcul d'une image décodée locale ou reconstruite, pour fournir une image basse résolution codée, - une étape de sur-échantillonnage de l'image reconstruite pour fournir une image de prédiction, - une étape de codage de l'image de plus haute résolution comportant un calcul de différence avec l'image de prédiction pour fournir des résidus, caractérisé en ce qu'il comporte également une étape de sélection ou de calcul de coefficients de filtres à utiliser pour le sur-échantillonnage puis une étape de codage des coefficients pour être transmis au décodeur avec les autres données codées.
Selon une mise en ceuvre particulière, les coefficients des filtres sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
Selon une mise en ceuvre particulière, les coefficients des filtres de sur-échantillonnage sont fonction du débit ou qualité souhaitée de l'image haute résolution.
Selon une mise en ceuvre particulière, le procédé comportant une étape de sous-échantillonnage d'une image source de plus haute résolution pour fournir l'image basse résolution à coder, est caractérisé en ce que les coefficients des filtres de sous-échantillonnage sont fonction des coefficients des filtres de sur-échantillonnage.
Selon une mise en ceuvre particulière de ce procédé, les coefficients des filtres de sur-échantillonnage sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
Selon une mise en ceuvre particulière, les coefficients des filtres de sur-échantillonnage sont fonction des niveaux et profils exploités pour le codage.
L'invention concerne également un procédé de décodage d'images vidéo à partir d'un flux de données comportant une couche de base pour le codage d'une image de basse résolution et au moins une couche d'amélioration pour le codage d'une image de plus haute résolution à partir de résidus, comportant - une étape de décodage de l'image basse résolution pour fournir une image basse résolution reconstruite, - une étape de suréchantillonnage de l'image basse résolution reconstruite pour fournir une image de prédiction, - une étape de décodage de l'image haute résolution comportant une adjonction de résidus à l'image de prédiction, caractérisé en ce qu'il comporte également une étape de décodage de coefficients de filtres transmis dans le flux de donnée pour le calcul des filtres utilisés pour le sur-échantillonnage.
Selon une mise en ceuvre particulière, le flux de données comportant au moins deux couches d'amélioration, le procédé comporte une étape de décodage d'au moins un premier et un second jeu de filtres pour réaliser respectivement un premier filtrage pour le sur-échantillonnage de l'image basse résolution en une image de plus haute résolution et un deuxième filtrage pour le sur-échantillonnage de l'image de plus haute résolution en une image de résolution supérieure.
L'invention concerne également un flux de données comportant une couche de base relative à une image basse résolution et une couche supérieure relative à une image de plus haute résolution, caractérisé en ce qu'il comporte un champ de données comprenant des valeurs de coefficients de filtres numériques destinés à être exploités pour le sur-échantillonnage de l'image de basse résolution, pour fournir une image de prédiction exploitée, avec les données de la couche supérieure, pour le décodage de l'image haute résolution.
L'idée est donc de permettre l'utilisation de filtres dits propriétaires, en ajoutant dans la syntaxe du flux de données des éléments ou champs décrivant les filtres à exploiter pour le sur-échantillonnage au niveau décodeur.
Moyennant la transmission, dans le flux, de quelques données supplémentaires relatives aux filtres et/ou coefficients des filtres, le codeur peut adapter les filtres de sur-échantillonnage, le décodeur pouvant reproduire les mêmes opérations de sur-échantillonnage que le codeur, évitant ainsi des phénomènes de dérive temporelle.
Par exemple, les filtres utilisés peuvent être sélectionnés en fonction du contenu vidéo de la séquence d'images, d'un plan de la séquence ou de l'image. Ils peuvent aussi être choisis en fonction de la résolution spatiale 35 visée, filtres précis pour des résolutions élevées, plus approximatifs pour des résolutions faibles. Un autre critère peut être la complexité des dispositifs de visualisation au décodeur, des filtres plus simples étant alors mis en ceuvre lorsqu'on s'adresse à des décodeurs de faible puissance de calcul.
Il est également possible d'arbitrer entre des filtres de suréchantillonnage complexes et donc une meilleure qualité de l'image de prédiction pour le calcul des résidus de la couche d'amélioration donnant un meilleur taux de compression et des filtres de sur-échantillonnage plus simples réduisant le temps de traitement.
La figure 1 représente, de manière schématique, un circuit de décodage échelonnable, selon l'invention.
Le train binaire reçu par le décodeur échelonnable est transmis à un circuit de démultiplexage 1 qui sépare les données relatives à la couche de base ou couche basse et celles relatives à la couche d'amélioration ou couche haute. Les données relatives à la couche de base sont transmises à un décodeur basse résolution 2 qui effectue d'une manière classique le décodage des informations de la couche de base pour fournir en sortie une image basse résolution. Les images reconstruites du décodeur basse résolution sont transmises à un circuit de sur-échantillonnage 3 Ce circuit reçoit, par exemple du circuit de démultiplexage 1 ou de l'unité de traitement centrale non représentée sur la figure, les données relatives aux filtres numériques à configurer pour effectuer les opérations de sur-échantillonnage et de filtrage. L'image ainsi suréchantillonnée et filtrée ou image de prédiction est ensuite transmise au décodeur haute résolution 4 sur une deuxième entrée, la première entrée recevant les données relatives à la couche d'amélioration provenant du démultiplexeur 1. Les résidus sont ajoutés à l'image de prédiction pour donner en sortie une image haute résolution.
La figure 2 représente une partie du schéma de codage échelonnable selon l'invention.
Une image basse résolution est transmise sur l'entrée d'un codeur basse résolution 5 qui réalise un codage de cette image pour fournir, sur une première sortie, des données comprimées constituant la couche de base ou couche basse, données transmises à un multiplexeur 8. Sur une deuxième sortie, une image reconstruite provenant du décodeur local, décodeur permettant, de manière connue, de reconstruire les images codées pour calculer des images prédites afin de profiter de la corrélation temporelle, est transmise à un circuit de sur-échantillonnage 6. Ce circuit effectue un filtrage et sur-échantillonnage de l'image reconstruite à partir de filtres numériques pour fournir une image de prédiction. Ce circuit est relié à un premier circuit de traitement, non représenté sur la figure, qui calcule les coefficients des filtres numériques à mettre en oeuvre, pour les transmettre au circuit de suréchantillonnage.
L'image de prédiction calculée par le circuit 6 est transmise, sur une première entrée, à un codeur haute résolution 7. Ce codeur reçoit, sur une deuxième entrée, les données relatives à l'image source haute résolution. Le codeur calcule, entre autre, de manière connue, le résidu qui est la différence entre l'image haute résolution et l'image de prédiction pour fournir en sortie des données correspondant à la couche d'amélioration ou couche haute résolution. Ces données sont transmises au circuit de multiplexage 8 qui réalise le multiplexage avec les données de la couche de base pour fournir le flux de données ou train binaire en sortie du codeur.
Le circuit de multiplexage comporte également un deuxième circuit de traitement, également non représenté sur la figure, qui a pour fonction de configurer le flux de données transmis par les codeurs selon une syntaxe particulière. Selon l'invention, la syntaxe comporte des champs, par exemple au niveau séquence ou au niveau tranche (slice en anglais selon la norme MPEG), attribués à ces filtres. Ainsi, les coefficients calculés par le premier circuit de traitement sont transmis au deuxième circuit de traitement pour être insérés dans les champs convenables afin d'être transmis au décodeur par l'intermédiaire du flux de données.
Bien évidemment, les circuits de traitements peuvent être une même unité centrale ou être disposés différemment, par exemple dans un codeur, le calcul des filtres et l'intégration des données des filtres dans le flux se faisant au niveau d'une couche.
La partie décrite du dispositif de codage reçoit en entrée au moins deux séquences d'images, une au format basse résolution et une au format haute résolution. Ces deux séquences peuvent par exemple être fournies par un créateur de contenu. Le dispositif de codage peut également inclure un module de sous-échantillonnage qui permet de générer directement la séquence d'images basse résolution à partir de la séquence d'images haute résolution source. Ce dispositif reçoit alors en entrée une seule séquence d'images au format haute résolution.
Selon ce dispositif, un perfectionnement de l'invention consiste à calculer, à partir des coefficients des filtres numériques exploités par le circuit de sur-échantillonnage 6, les coefficients de filtres numériques exploités par le circuit de sous-échantillonnage de l'image source haute résolution permettant d'obtenir l'image basse résolution ou inversement. On peut par exemple, à partir des filtres d'analyse déterminés pour le sous-échantillonage, calculer les filtres de synthèse complémentaires pour le sur-échantillonage selon l'approche décrite dans le document R. Ansari, C. W. Kim, and M. Dedovic. Structure and design of two-channel filter banks derived from a triplet of half band filters.
IEEE Transactions on Circuits and Systems II, 46(12):1487-1496, Dec. 1999. . L'approche inverse, consistant à partir d'un filtre de synthèse et à en dériver le filtre d'analyse, comme dans le document ci-dessus, peut aussi être adoptée.
Les circuits de codage basse résolution et/ou haute résolution sont par exemple du type H264AVC, ou son extension SVC, acronyme de l'anglais Scalable Video Coding, qui permet d'adresser le codage échelonnable. Les filtres utilisés pour le sur-échantillonnage et/ou sous-échantillonnage sont par exemple des filtres linéaires polyphase, pour lesquels les coefficients sont fonction de la position des pixels à interpoler.
D'une manière générale, il est ainsi possible d'exploiter des filtres de sur-échantillonnage et/ou de sous-échantillonnage en fonction du contenu de l'image, un filtre complexe étant par exemple mis en place pour une image très texturée, un filtre simple pour une image homogène. Le type de filtre utilisé peut être fonction de la texture de l'image, en évitant par exemple l'exploitation de filtres de Lanczos pour les images très texturées, filtres générant un repliement de spectre (aliasing selon l'appellation anglaise) très désagréable et pénalisant pour la compression. Les filtres peuvent varier entre deux plans de séquence si le contenu vidéo change, filtre simple pour un premier plan correspondant à une scène à fort mouvement car dans ce cas la texture est généralement peu précise et ses détails ne sont pas perçus par l'ceil, filtre complexe pour le plan suivant comportant une scène peu mouvementée, car la texture est alors beaucoup mieux visible et doit donc être correctement suréchantillonnée. Une analyse ou préanalyse de l'image ou de la séquence d'images peut être exploitée pour le calcul des filtres.
Selon un exemple de mise en oeuvre, la complexité des filtres utilisés pour le sur-échantillonnage de l'image reconstruite basse résolution est fonction des ressources disponibles du récepteur exploité au décodeur. Par exemple, une couche basse résolution et une couche de plus haute résolution correspondent à des données à afficher respectivement sur un écran de téléphone mobile et sur un écran d'organiseur aussi appelé assistant numérique personnel. Il est alors possible d'alléger les calculs de sur- échantillonnage en simplifiant le filtrage, ce qui permet d'épargner les ressources de l'organiseur. Ceci au détriment d'une légère baisse de qualité de l'image à afficher. Par exemple, à une combinaison de profil et niveau donnée (de l'anglais profile/level, tels qu'ils sont définis dans les standards de type MPEG-2 ou MPEG-4 AVC), on associe un type de filtre ou des coefficients de filtre.
Selon un autre exemple de mise en oeuvre, les filtres de suréchantillonnage sont différents selon les couches exploitées. En ajoutant, à l'exemple précédent, une couche de haute résolution pour l'affichage sur un écran de télévision, des filtres simplifiés sont exploités pour le suréchantillonnage de l'image basse résolution permettant d'obtenir une image de plus haute résolution pour l'affichage sur un organiseur, des filtres plus complexes sont exploités pour le sur-échantillonnage de l'image de plus haute résolution permettant d'obtenir une image de haute résolution pour l'affichage sur un téléviseur.
Selon un autre exemple de mise en oeuvre, le filtre de suréchantillonnage au codeur, et donc aussi au décodeur, est sélectionné à partir d'un compromis qualité d'image ou taux de compression / temps ou capacité de traitement. L'image reconstruite étant plus fidèle à l'image source haute résolution lors de l'exploitation de filtres complexes nécessitant un temps de traitement plus long, la qualité de l'image haute résolution est améliorée et le coût de codage est diminué.
A titre d'exemple, on considère que les filtres employés sont des filtres linéaires, possiblement polyphase, séparables, le filtrage en deux dimensions pouvant se faire en filtrant séparément dans une dimension puis dans l'autre. Ainsi les filtres sont mono-dimensionnels.
Le procédé suivant, se basant sur la résolution des images, peut être mis en oeuvre: - si le sur-échantillonnage convertit du format QCIF (acronyme de l'anglais Quarter Common Intermediate Filter) (176 colonnes par 144 lignes) au format CIF (acronyme de l'anglais Common Intermediate Filter) (352 colonnes par 288 lignes), le filtre de sur-échantillonnage employé est le suivant: filtre monophase {1/2;1/2} - si le sur-échantillonage convertit du format CIF au format 4CIF (704 colonnes par 576 lignes), le filtre de sur-échantillonnage employé est le 5 suivant: filtre monophase { 1/32; -5/32; 20/32; 20/32; -5/32; 1/32} Ce filtre est celui qui est utilisé par défaut dans la version actuelle du standard SVC en cours de définition - si le sur-échantillonnage convertit du format QCIF ou CIF à tout format supérieur ayant un rapport de taille horizontal et vertical autre que 2: filtre polyphase à 4 coefficients basé sur le filtre de Lanczos décrit dans la table suivante (les coefficients doivent être divisés par 128) : phase coefficients du filtre 0 0 128 0 0 1 4 127 5 0 2 8 124 13 1 3 -10 118 21 -1 4 11 111 30 2 -11 103 40 -4 6 10 93 50 5 7 9 82 61 6 8 -8 72 72 -8 9 6 61 82 -9 5 50 93 10 11 -4 40 103 -11 12 2 30 111 11 13 1 21 118 10 14 -1 13 124 -8 0 5 127 4 - si le sur- échantillonnage convertit du format 4CIF à tout format supérieur (par exemple au format 720p - 1280 colonnes par 720 lignes), le filtre de sur- échantillonnage employé est le suivant: filtre polyphase à 6 coefficients basé sur le filtre de Lanczos décrit dans la table suivante (les coefficients doivent être divisés par 32) : phase coefficients du filtre 0 0 0 32 0 0 0 1 0 -2 32 2 0 0 2 1 -3 31 4 -1 0 3 1 -4 30 7 -2 0 4 1 -4 28 9 -2 0 1 -5 27 11 -3 1 6 1 -5 25 14 -3 0 7 1 -5 22 17 -4 1 8 1 -5 20 20 -5 1 9 1 -4 17 22 -5 1 0 -3 14 25 -5 1 11 1 -3 11 27 -5 1 12 0 -2 9 28 -4 1 13 0 -2 7 30 -4 1 14 0 -1 4 31 -3 1 0 0 2 32 -2 0 Cette solution permet de traiter 4 niveaux d'échelonnabilité spatiale, QCIF, CIF, 4CIF, supérieur à 4CIF, avec des filtres ad hoc selon le niveau de résolution spatiale et le rapport de taille inter-couche considérés.
Selon une mise en ceuvre particulière de l'invention, la syntaxe relative au standard SVC, qui fait appel à des filtres prédéfinis, est modifiée. Cette syntaxe SVC est décrite par exemple dans le document Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG 16 Q.6), 15th meeting, Busan, KR, 16-22 April, 2005.
Les paramètres et champs suivants sont ajoutés dans la syntaxe du train binaire de la manière suivante: - au niveau séquence: une variable, nommée load coef. Cette variable peut prendre les valeurs suivantes: Joad coeI-0, dans ce cas, la technique de sur-échantillonnage par défaut s'applique Joad coeI-1, des coefficients ad hoc sont codés dans le train binaire au niveau séquence et s'appliquent donc ensuite à toutes les images de la séquence Joad coeI-2, des coefficients ad hoc sont codés dans le train binaire au niveau image et s'appliquent donc ensuite à l'image à laquelle ils sont associés Si Joad coeI-1, les coefficients des filtres sont codés dans la syntaxe au niveau séquence. La syntaxe décrite dans le tableau 1 ci-dessous (sequence level syntax) illustre la façon dont ces coefficients peuvent être codés.
- au niveau image: Si Joad coeI-2, les coefficients des filtres sont codés dans la syntaxe au niveau image. La syntaxe décrite dans le tableau 2 ci-dessous (slice level syntax) illustre la façon dont ces coefficients peuvent être codés.
On peut réutiliser les coefficients de la tranche précédente, sans les recoder, en le signalant dans le train binaire (same_coef as_previous_slice = 1). La syntaxe est en fait décrite au niveau d'une tranche ou slice en anglais qui, selon la norme, est une série continue de macroblocs. On limite ici la description à une slice constituée de l'ensemble des macroblocs de l'image et donc assimilée à une image, solution habituellement adoptée. Mais il est bien sur possible, selon cette syntaxe, d'exploiter différents filtres pour des zones particulières d'une l'image correspondant à des tranches.
Les tableaux suivants sont un exemple de syntaxe pour le flux de données. La méthode de description de la syntaxe du flux binaire utilise la convention du code C . Elle correspond à la méthode utilisée dans la description des normes MPEG ou H264, on la retrouve ainsi, pour donner des exemples, dans des documents tels que ISO/CEI 13818-2 ou bien JVT- 0202 intitulé Joint Scalable Video Model JSVM 2, 15th meeting, Busan, KR.
Le tableau 1 correspond à la syntaxe à ajouter à celle relative au niveau séquence, les filtres pouvant alors être renouvelés à chaque séquence.
Le tableau 2 correspond à la syntaxe à ajouter à celle relative au niveau tranche (slice), les filtres pouvant alors être renouvelés à chaque tranche de l'image.
Sequence level syntax load_coef If (load_coef = = 1) { number_of_filters_seq nu mber of coefs_seq for (nf=0; nf< number_of_filters_seq; of++) { for (nc=0; nc< number of coefs_seq; nc++ ) { coef_seq[nf][nc]
Tableau 1
Slice level syntax If (load_coef = = 2) { same_coef as_previous_slice if (same_coef as_previous_slice = = 0) { number of filters_pic nu mber of coefs_pic for (nf=0; nf< number of filters_pic; of++) { for (nc=0; nc< number of coefs_pic; nc++) { coef_pic[nf][nc]
Tableau 2
Les tableaux 3 et 4 décrivent cette syntaxe de manière plus explicite: Syntaxe au niveau Sequence commentaires codage du paramètre load_coef' Si (load_coef est égal à 1) codage du parametre 'number_of_filters_seq' codage du parametre number of coefs_seq' De of=0 à number of filters_seq boucle sur les filtres De ne=0 à number of coefs_seq boucle sur les coefficients codage du paramètre coefficient numéro nc du coef seq[nf][nc] ' filtre numéro nf
Tableau 3
Syntaxe au niveau Slice commentaires Si (load_coef est égal à 2) codage du flag 'same_coef as_previous_slice' Si (same_coef as_previous_slice est egal a 0) codage du parameter number of filters_pic' codage du paramètre number of coefs_pic' De of=0 à number of filters_pic boucle sur les filtres De ne=0 à number of coefs_pic boucle sur les coefficients codage du paramètre coefficient numéro nc du coef pic[nf][nc]' filtre numéro nf
Tableau 4
Par défaut, on considère qu'une technique de sur-échantillonage, et si besoin, les coefficients correspondants, est disponible. En cas de non transmission, dans le train binaire, de coefficients propriétaires, c'est cette technique qui s'applique.
Au niveau du processus de codage/décodage, les modifications sont directement liées aux modifications de syntaxe. Seule la partie relative à la texture est considérée: - Si Joad coef-0, la technique par défaut de suréchantillonage de texture s'applique.
- Sinon si Joad coef-1, le sur-échantillonage de texture des images de basse résolution s'effectue avec les coefficients de filtre codés/decodés au niveau séquence coef seq.
- Sinon si Joad coef=2, le sur-échantillonage de texture s'effectue sur chaque image de basse résolution avec les 20 coefficients de filtre codés/decodés au niveau image coef pic, s'appliquant à cette image. 10 15
Les coefficients des filtres de sur-échantillonnage peuvent être calculés par le codeur. Ils peuvent également être sélectionnés par le codeur parmi un ensemble de filtres préétabli et mémorisé dans une mémoire du codeur. C'est grâce à la transmission des paramètres des filtres au décodeur qu'il est possible d'adapter le filtrage au codage. Les filtres utilisés au décodage pour le sur-échantillonnage sont ainsi déterminés lors du codage.
Une extension de l'approche proposée consiste à standardiser au décodeur un ensemble de filtres prédéfinis. En outre des filtres ad hoc peuvent aussi être signalés dans la syntaxe, tel que cela est décrit dans l'invention, et mémorisés par le décodeur. Ainsi le décodeur à tout moment dispose d'un ensemble de filtres potentiels, stockés en mémoire et indexés par un numéro. Les index des filtres à utiliser peuvent alors être envoyés au décodeur, indiquant quels filtres il doit utiliser, sans avoir besoin d'envoyer explicitement les coefficients de ces filtres. Si à un moment donné de nouveaux filtres doivent être utilisés, ils sont codés dans la syntaxe avec leur index associé.

Claims (9)

REVENDICATIONS
1 Procédé de codage d'images vidéo avec échelonnabilité spatiale réalisant le codage d'une première image basse résolution et d'au moins une deuxième image de plus haute résolution à partir de l'image basse résolution, la première image ayant une partie vidéo commune avec la deuxième image, comportant - une étape de codage (5) de l'image basse résolution effectuant un calcul d'une image décodée locale ou reconstruite, pour fournir une image 10 basse résolution codée, - une étape de sur-échantillonnage (6) de l'image reconstruite pour fournir une image de prédiction, - une étape de codage (7) de l'image de plus haute résolution comportant un calcul de différence avec l'image de prédiction pour fournir des 15 résidus, caractérisé en ce qu'il comporte également une étape de sélection ou de calcul de coefficients de filtres à utiliser pour le sur-échantillonnage puis une étape de codage des coefficients pour être transmis au décodeur avec les autres données codées.
2 Procédé de codage selon la revendication 1, caractérisé en ce que les coefficients des filtres sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
3 Procédé selon la revendication 1, caractérisé en ce que les coefficients des filtres de sur-échantillonnage sont fonction du débit ou qualité souhaitée de l'image haute résolution.
4 Procédé selon la revendication 1 comportant une étape de souséchantillonnage d'une image source de plus haute résolution pour fournir l'image basse résolution à coder, caractérisé en ce que les coefficients des filtres de sous-échantillonnage sont fonction des coefficients des filtres de sur-échantillonnage.
5 Procédé selon la revendication 4, caractérisé en ce que les coefficients des filtres de sur-échantillonnage sont fonction du contenu vidéo d'une image, d'un plan d'une séquence d'images ou d'une séquence d'images.
6 Procédé selon la revendication 1, caractérisé en ce que les coefficients des filtres de sur-échantillonnage sont fonction des niveaux et profils exploités pour le codage.
7 Procédé de décodage d'images vidéo à partir d'un flux de données comportant une couche de base pour le codage d'une image de basse résolution et au moins une couche d'amélioration pour le codage d'une image de plus haute résolution à partir de résidus, comportant - une étape de décodage (2) de l'image basse résolution pour fournir une image basse résolution reconstruite, - une étape de sur-échantillonnage (3) de l'image basse résolution reconstruite pour fournir une image de prédiction, - une étape de décodage (4) de l'image haute résolution 15 comportant une adjonction de résidus à l'image de prédiction, caractérisé en ce qu'il comporte également une étape de décodage de coefficients de filtres transmis dans le flux de donnée pour le calcul des filtres utilisés pour le sur-échantillonnage.
8 Procédé selon la revendication 7, le flux de données comportant au moins deux couches d'amélioration, caractérisé en ce qu'il comporte une étape de décodage d'au moins un premier et un second jeu de filtres pour réaliser respectivement un premier filtrage pour le sur-échantillonnage de l'image basse résolution en une image de plus haute résolution et un deuxième filtrage pour le sur-échantillonnage de l'image de plus haute résolution en une image de résolution supérieure.
9 Flux de données comportant une couche de base relative à une image basse résolution et une couche supérieure relative à une image de plus haute résolution, caractérisé en ce qu'il comporte un champ de données comprenant des valeurs de coefficients de filtres numériques destinés à être exploités pour le sur-échantillonnage de l'image de basse résolution, pour fournir une image de prédiction exploitée, avec les données de la couche supérieure, pour le décodage de l'image haute résolution selon le procédé de la revendication 7.
FR0552510A 2005-08-12 2005-08-12 Procede de codage et de decodage d'images video avec echelonnabilite spatiale Pending FR2889778A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR0552510A FR2889778A1 (fr) 2005-08-12 2005-08-12 Procede de codage et de decodage d'images video avec echelonnabilite spatiale
US11/990,038 US20100150229A1 (en) 2005-08-12 2006-08-10 Method of Encoding and Decoding Video Images With Spatial Scalability
PCT/EP2006/065221 WO2007020230A2 (fr) 2005-08-12 2006-08-10 Procede de codage et de decodage d'images video avec echelonnabilite spatiale
EP06778218A EP1913781A2 (fr) 2005-08-12 2006-08-10 Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0552510A FR2889778A1 (fr) 2005-08-12 2005-08-12 Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Publications (1)

Publication Number Publication Date
FR2889778A1 true FR2889778A1 (fr) 2007-02-16

Family

ID=36228743

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0552510A Pending FR2889778A1 (fr) 2005-08-12 2005-08-12 Procede de codage et de decodage d'images video avec echelonnabilite spatiale

Country Status (4)

Country Link
US (1) US20100150229A1 (fr)
EP (1) EP1913781A2 (fr)
FR (1) FR2889778A1 (fr)
WO (1) WO2007020230A2 (fr)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376574A (zh) * 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
EP2410746A1 (fr) * 2010-07-20 2012-01-25 Siemens Aktiengesellschaft Codage vidéo utilisant des trames de référence à haute résolution
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US9462220B2 (en) * 2010-12-17 2016-10-04 Microsoft Technology Licensing, Llc Auto-regressive edge-directed interpolation with backward projection constraint
US20120230393A1 (en) * 2011-03-08 2012-09-13 Sue Mon Thet Naing Methods and apparatuses for encoding and decoding video using adaptive interpolation filter length
WO2013109126A1 (fr) * 2012-01-20 2013-07-25 한국전자통신연구원 Procédé de transmission d'informations vidéo, procédé de décodage de vidéo, codeur de vidéo et décodeur de vidéo
EP2870757A1 (fr) 2012-07-09 2015-05-13 VID SCALE, Inc. Architecture de codec pour codage vidéo à couches multiples
JP6141988B2 (ja) * 2012-09-28 2017-06-07 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングの適応型アップサンプリング
KR20150068402A (ko) 2012-10-07 2015-06-19 뉴메리 엘티디. 동영상 압축 방법
WO2016132153A1 (fr) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Apprentissage hors ligne d'algorithmes hiérarchiques
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
EP3278559B1 (fr) 2015-03-31 2021-05-05 Magic Pony Technology Limited Apprentissage de processus vidéo bout-à-bout
EP3298579B1 (fr) 2016-04-12 2021-07-21 Magic Pony Technology Limited Traitement de données visuelles à l'aide des réseaux d'énergie
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
FR3087309B1 (fr) 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631444A1 (fr) * 1992-03-03 1994-12-28 Kabushiki Kaisha Toshiba Codeur d'image a variation temporelle
US5438635A (en) * 1988-12-23 1995-08-01 U.S. Philips Corporation Method and apparatus for encoding and storing pixel values and for decoding and reproducing a digitised image
US6249610B1 (en) * 1996-06-19 2001-06-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for coding a picture and apparatus and method for decoding a picture
WO2004008747A2 (fr) * 2002-07-16 2004-01-22 Thomson Licensing S.A. Entrelacement de couche de base et de couche amelioree destinees au hd-dvd au moyen d'une identification en continu alternative pour la couche amelioree

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779424A (ja) * 1993-09-06 1995-03-20 Hitachi Ltd 多地点映像通信装置
KR100188692B1 (ko) * 1996-01-20 1999-06-01 윤종용 디지탈필터
US5793435A (en) * 1996-06-25 1998-08-11 Tektronix, Inc. Deinterlacing of video using a variable coefficient spatio-temporal filter
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
WO2003058945A2 (fr) * 2002-01-14 2003-07-17 Nokia Corporation Codage de filtres dynamiques
WO2005107264A1 (fr) * 2004-04-30 2005-11-10 British Broadcasting Corporation Fourniture d'un contenu multimedia et de donnees d'amelioration
JP4775756B2 (ja) * 2005-03-18 2011-09-21 富士ゼロックス株式会社 復号化装置及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438635A (en) * 1988-12-23 1995-08-01 U.S. Philips Corporation Method and apparatus for encoding and storing pixel values and for decoding and reproducing a digitised image
EP0631444A1 (fr) * 1992-03-03 1994-12-28 Kabushiki Kaisha Toshiba Codeur d'image a variation temporelle
US6249610B1 (en) * 1996-06-19 2001-06-19 Matsushita Electric Industrial Co., Ltd. Apparatus and method for coding a picture and apparatus and method for decoding a picture
WO2004008747A2 (fr) * 2002-07-16 2004-01-22 Thomson Licensing S.A. Entrelacement de couche de base et de couche amelioree destinees au hd-dvd au moyen d'une identification en continu alternative pour la couche amelioree

Also Published As

Publication number Publication date
WO2007020230A3 (fr) 2007-05-03
WO2007020230A2 (fr) 2007-02-22
EP1913781A2 (fr) 2008-04-23
US20100150229A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
FR2889778A1 (fr) Procede de codage et de decodage d&#39;images video avec echelonnabilite spatiale
US7864841B2 (en) Method for scalably encoding and decoding video signal
JP5364820B2 (ja) フィルタを選択する装置及び方法
US9288486B2 (en) Method and apparatus for scalably encoding and decoding video signal
US10602187B2 (en) Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
KR102062764B1 (ko) 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치
US20170155905A1 (en) Efficient intra video/image coding using wavelets and variable size transform coding
US20170155906A1 (en) EFFICIENT AND SCALABLE INTRA VIDEO/IMAGE CODING USING WAVELETS AND AVC, MODIFIED AVC, VPx, MODIFIED VPx, OR MODIFIED HEVC CODING
US8755434B2 (en) Method and apparatus for scalably encoding and decoding video signal
US8660180B2 (en) Method and apparatus for scalably encoding and decoding video signal
WO2009054596A1 (fr) Procédé, support et appareil de codage et/ou décodage vidéo
KR101158437B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
EP1878247A1 (fr) Procede de codage et de decodage echelonnable de signal video