FR2912237A1 - Procede de traitement d'image - Google Patents
Procede de traitement d'image Download PDFInfo
- Publication number
- FR2912237A1 FR2912237A1 FR0753106A FR0753106A FR2912237A1 FR 2912237 A1 FR2912237 A1 FR 2912237A1 FR 0753106 A FR0753106 A FR 0753106A FR 0753106 A FR0753106 A FR 0753106A FR 2912237 A1 FR2912237 A1 FR 2912237A1
- Authority
- FR
- France
- Prior art keywords
- ratio
- image
- image portion
- height
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 230000002123 temporal effect Effects 0.000 claims description 15
- 230000006978 adaptation Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims 2
- 230000004048 modification Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
L'invention concerne, un procédé de traitement d'image pour générer à partir d'une image source une image de taille réduite dont le rapport entre la largeur et la hauteur est égal à une valeur prédéterminée, dit ratio réduit (RR).Il comprend les étapes suivantes :- sélectionner (100) une partie d'image rectangulaire dans l'image source; et- extraire (140) la partie d'image rectangulaire pour générer l'image réduite.Selon une caractéristique essentielle du procédé, si le rapport entre la largeur (PL) et la hauteur (PH) de la partie d'image rectangulaire, dit premier ratio (RF), n'est pas égal au ratio réduit (RR), la largeur (PL) ou la hauteur (PH) de la partie d'image rectangulaire est modifiée (130) préalablement à l'étape d'extraction (140) en fonction de valeurs d'intérêt perceptuel associées à chaque pixel de l'image source de telle sorte que le rapport entre la largeur et la hauteur de la partie d'image rectangulaire modifiée, dit second ratio, soit égal au ratio réduit (RR).
Description
PROCEDE DE TRAITEMENT D'IMAGE
1. Domaine de l'invention L'invention concerne un procédé de traitement d'image pour générer une image de taille réduite à partir d'une image source.
2. Etat de l'art Pour des applications de navigation dans un ensemble d'images fixes ou de vidéos, il est utile de pouvoir visualiser toutes les images ou vidéos d'un seul coup d'oeil. A cet effet, il est intéressant de générer une version de taille réduite de chaque image fixe ou de chaque image des vidéos afin que lesdites images ou vidéos soient affichées simultanément sur un même écran et puissent donc être comparées aisément. De même, pour une application de diffusion d'un contenu vidéo sur un appareil mobile ayant un écran de petite taille, p.ex. sur un téléphone portable, il est nécessaire de générer une version de taille réduite de chaque image de la vidéo afin de les afficher sur l'écran de petite taille. Un procédé connu de l'homme de l'art pour générer ces images ou vidéos réduites à partir d'une image ou vidéo source consiste à sous-échantillonner ladite image ou vidéo source. Dans le cas d'une réduction de taille importante certaines parties d'image sont inexploitables par l'utilisateur car trop petites.
3. Résumé de l'invention L'invention a pour but de pallier au moins un des inconvénients de l'art antérieur L'invention concerne un procédé de traitement d'image pour générer à partir d'une image source une image de taille réduite dont le rapport entre la largeur et la hauteur est égal à une valeur prédéterminée, dit ratio réduit. Il comprend les étapes suivantes : - sélectionner une partie d'image rectangulaire dans l'image source; et - extraire la partie d'image rectangulaire pour générer l'image réduite. Selon une caractéristique essentielle de l'invention, si le rapport entre la largeur et la hauteur de la partie d'image rectangulaire, dit premier ratio, n'est pas égal au ratio réduit, la largeur ou la hauteur de la partie d'image rectangulaire est modifiée préalablement à l'étape d'extraction en fonction de valeurs d'intérêt perceptuel associées à chaque pixel de l'image source de telle sorte que le rapport entre la largeur et la hauteur de la partie d'image rectangulaire modifiée, dit second ratio, soit égal au ratio réduit. Selon une caractéristique particulière, si le premier ratio est inférieur au ratio réduit, la largeur de la partie d'image rectangulaire est augmentée d'une première valeur vers la droite et d'une seconde valeur vers la gauche, les première et seconde valeurs étant déterminées selon les étapes suivantes : -calculer un premier accroissement de telle sorte que le rapport entre la largeur augmentée du premier accroissement et la hauteur soit égal au ratio réduit; - calculer une première valeur de saillance moyenne à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la largeur de la partie d'image rectangulaire du premier accroissement vers la droite ; - calculer une seconde valeur de saillance moyenne à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la largeur de la partie d'image rectangulaire du premier accroissement vers la gauche; - calculer la première valeur comme étant le produit du premier accroissement et du rapport entre la première valeur de saillance moyenne et la somme des première et seconde valeurs de saillance moyennes, dite valeur de saillance moyenne totale; et - calculer la seconde valeur comme étant le produit du premier accroissement et du rapport entre la seconde valeur de saillance moyenne et la valeur de saillance moyenne totale. Selon une autre caractéristique particulière, si le premier ratio est supérieur au ratio réduit, la hauteur de la partie d'image rectangulaire est augmentée d'une première valeur vers le haut et d'une seconde valeur vers le bas, les première et seconde valeurs étant déterminées selon les étapes suivantes : - calculer un second accroissement de la hauteur de telle sorte que le rapport entre la largeur et la hauteur augmentée du second accroissement soit égal au ratio réduit; - calculer une première valeur de saillance moyenne à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la hauteur de la partie d'image du second accroissement vers le haut ; - calculer une seconde valeur de saillance moyenne à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la hauteur de la partie d'image du second accroissement vers le bas ; -calculer la première valeur comme étant le produit du second accroissement et du rapport entre la première valeur de saillance moyenne et la somme des première et seconde valeurs de saillance moyennes, dite valeur de saillance moyenne totale ; et - calculer la seconde valeur comme étant le produit du second accroissement et du rapport entre la seconde valeur de saillance moyenne et la valeur de saillance moyenne totale. Selon un mode de réalisation particulier, dans lequel l'image source appartient à une séquence de plusieurs images, le procédé est appliqué à chaque image de la séquence et comprend à la suite de l'étape de modification de la largeur ou de la hauteur de la partie d'image rectangulaire d'une image courante, une étape d'adaptation temporelle de la partie d'image rectangulaire consistant à déplacer au moins un des côtés de la partie d'image rectangulaire si le côté est séparé du coté correspondant de la partie d'image rectangulaire de l'image qui précède l'image courante d'une distance supérieure à un seuil prédéterminé de telle sorte à diminuer la distance. Selon un autre mode de réalisation particulier, dans lequel l'image source appartient à une séquence de plusieurs images, le procédé est appliqué à chaque image de la séquence et comprend à la suite de l'étape de modification de la largeur ou de la hauteur de la partie d'image rectangulaire d'une image courante, une étape d'adaptation temporelle de la partie d'image rectangulaire consistant à déplacer tous les côtés de la partie d'image rectangulaire si chacun des côtés est séparé du coté correspondant de la partie d'image rectangulaire de l'image qui précède l'image courante d'une distance supérieure à un seuil prédéterminé de telle sorte à diminuer les distances. Selon un autre mode de réalisation particulier, dans lequel l'image source appartient à une séquence de plusieurs images, le procédé est appliqué à chaque image de la séquence et comprend à la suite de l'étape de l'étape de modification de la largeur ou de la hauteur de la partie d'image rectangulaire d'une image courante, une étape d'adaptation temporelle de la partie d'image rectangulaire consistant à modifier au moins un paramètre de la partie d'image rectangulaire parmi les paramètres suivants : la hauteur, la largeur et les coordonnées du centre de telle sorte que le paramètre modifié soit égal à la valeur médiane de l'ensemble de valeurs comprenant les paramètres correspondants des parties d'image rectangulaire des N images précédant l'image courante et des N' images suivant l'image courante, avec N et N' entiers positifs. Selon une caractéristique particulière, N=N'. Selon une autre caractéristique particulière, la séquence étant divisée en groupes d'images appelés plans, les N images précédant l'image courante et les N' images suivant l'image courante appartiennent au même plan que l'image courante. Avantageusement, si le rapport entre la largeur et la hauteur de la partie d'image rectangulaire adaptée temporellement n'est pas égal au ratio réduit, l'étape d'adaptation temporelle est suivie d'une étape de modification de la largeur ou de la hauteur de la partie d'image rectangulaire adaptée temporellement en fonction de valeurs d'intérêt perceptuel associées à chaque pixel de l'image source courante de telle sorte que le rapport entre la largeur et la hauteur de la partie d'image rectangulaire adaptée temporellement et modifiée soit égal au ratio réduit. 4. Listes des figures L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles : la figure 1 illustre les étapes du procédé selon un mode particulier de l'invention; la figure 2 représente une image (a), une carte de saillance associée (b) et une carte binaire obtenue par seuillage de la carte de saillance (c); la figure 3 représente un rectangle englobant entourant la zone saillante d'une image; la figure 4 illustre des étapes du procédé selon l'invention; la figure 5 illustre des étapes du procédé selon l'invention appliquées pour augmenter la largeur du rectangle englobant ; la figure 6 illustre des étapes du procédé selon l'invention appliquées pour augmenter la hauteur du rectangle englobant ; la figure 7 représente un rectangle englobant RE et un rectangle additionnel RAG localisé à gauche du rectangle RE; la figure 8 représente un rectangle englobant RE et un rectangle additionnel RAD localisé à droite du rectangle RE; la figure 9 représente un rectangle additionnel modifié REM selon le procédé de l'invention; la figure 10 représente un rectangle englobant RE et un rectangle additionnel RAH localisé au dessus du rectangle RE; la figure 11 représente un rectangle englobant RE et un rectangle additionnel RAB localisé en dessous du rectangle RE; la figure 12 représente un rectangle additionnel modifié REM selon le procédé de l'invention; la figure 13 représente le rectangle AREMt_1 adapté temporellement associé à l'image d'indice t-1 et le rectangle englobant REM associé à l'image d'indice t avant l'adaptation temporelle; la figure 14 représente le rectangle AREMt_1 adapté temporellement associé à l'image d'indice t-1 et les rectangles englobant associés à l'image d'indice t avant et après l'adaptation temporelle ; la figure 15 illustre les étapes du procédé selon un autre mode particulier de l'invention.
5. Description détaillée de l'invention L'invention concerne un procédé pour générer à partir d'une image source une image de taille réduite dont le rapport entre largeur et hauteur est égal à un ratio prédéterminé, dit ratio réduit et noté RR. L'invention décrite pour une image peut être appliquée à une séquence d'images telle une vidéo.
En référence à la figure 1, l'invention comprend une première étape 100 de sélection d'une partie rectangulaire de l'image source. Une telle sélection est avantageusement effectuée à partir de données caractérisant l'intérêt perceptuel des pixels de l'image source. A cet effet, en référence à la figure 2, une carte de saillance (figure 2(b)) associée à l'image source (figure 2(a)) est binarisée avec un seuil prédéterminé de manière à identifier dans l'image source les parties saillantes, i.e. dont l'intérêt perceptuel est important. La carte binaire générée (figure 2(c)) associe à chaque pixel de l'image source une première valeur (p.ex. zéro) si la valeur de saillance associée audit pixel est inférieure au seuil prédéterminé ou une seconde valeur (p.ex. 255) sinon. En référence à la figure 3, un rectangle englobant RE (Rectangle Englobant) est positionné dans l'image source de telle sorte qu'il entoure la zone de l'image source constituée des pixels auxquels est associée la seconde valeur. Ce rectangle englobant délimite la partie d'image sélectionnée. Une carte de saillance est obtenue par exemple en appliquant le procédé décrit dans la demande de brevet EP03293216.2 (publication 1544792). Une telle carte associe une valeur de saillance notée sp à chaque pixel P de l'image source. La sélection de la partie d'image peut être effectuée selon tout autre méthode. Selon une variante elle est effectuée manuellement par un opérateur humain. Une telle zone est également connue dans l'état de l'art sous le nom de zone ou région d'intérêt. L'étape 110 consiste à calculer le rapport RF entre la largeur PL et la hauteur PH de la partie d'image sélectionnée à l'étape 100. L'étape 120 consiste à comparer RF avec RR : -si RF est égal à RR, alors l'image réduite est générée lors d'une étape 140 en procédant à l'extraction de la partie d'image sélectionnée à l'étape 100, - sinon la hauteur PH ou la largeur PL de la partie d'image sélectionnée est modifiée lors d'une étape 130 de telle sorte que le rapport entre la largeur et la hauteur de la partie d'image modifiée soit égal à RR.
Plus précisément en référence à la figure 4, l'étape 130 consiste à augmenter
131 la largeur du rectangle englobant si RF est inférieur à RR et à augmenter
132 la hauteur du rectangle englobant si RF est supérieur à RR. Selon une caractéristique essentielle de l'invention, la largeur ou la hauteur du rectangle englobant est augmentée en tenant compte de l'intérêt perceptuel des pixels de l'image source. En référence à la figure 5, dans le cas où RF<RR, l'accroissement en largeur AL du rectangle englobant est calculé lors d'une étape 1310 de la manière suivante : AL = PL*RR/RF-PL. Lors d'une étape 1311 et en référence à la figure 7, une valeur de saillance moyenne est calculée dans un rectangle additionnel RAG, de largeur AL et de hauteur PH, obtenu en augmentant vers la gauche la largueur du rectangle englobant RE. La saillance moyenne SMG du rectangle additionnel RAG est calculée comme suit:
SMG = 1 * sP nag PEx.9c où nag est le nombre de pixels dans le rectangle additionnel RAG.
De la même manière lors d'une étape 1312 et en référence à la figure 8, une valeur de saillance moyenne est calculée dans un rectangle additionnel RAD, de largeur AL et de hauteur PH, obtenu en augmentant vers la droite la largueur du rectangle englobant RE. La saillance moyenne SMD du rectangle additionnel RAD est calculée comme suit:
SMD = 1 * P nad PERAD
où nad est le nombre de pixels dans le rectangle additionnel RAD. En l'occurrence nad=nag.
Lors d'une étape 1313, une valeur de saillance moyenne globale SMT est 25 calculée comme suit : SMT=SMG+SMD.
Lors d'une étape 1314, l'accroissement ALG en largeur à gauche est calculé comme suit :
ALG=SMG*AL/SMT
De même, lors d'une étape 1315 l'accroissement ALD en largeur à droite est 30 calculé comme suit :
ALD=SMD*AL/SMT Le rectangle englobant modifié REM est représenté sur la figure 9. Il a une hauteur égale à PH et une largeur égale à ALG+ALD+PL, i.e. égale à AL+PL. Dès lors, le rapport entre la largeur et la hauteur du rectangle englobant modifié REM est égal à (AL+PL)/PH, i.e. égal à PL*RR/(RF*PH)=RR.
En référence à la figure 6, dans le cas où RF>RR, l'accroissement en hauteur AH du rectangle englobant est calculé lors d'une étape 1320 de la manière suivante : AH = PH*RF/RR-PH. Lors d'une étape 1321 et en référence à la figure 10, une valeur de saillance moyenne est calculée dans un rectangle additionnel RAH, de largeur PL et de hauteur AH, obtenu en augmentant vers le haut la hauteur du rectangle englobant RE. La saillance moyenne SMH du rectangle additionnel RAH est calculée comme suit:
SMH = 1 * P nah PEx.9x
où nah est le nombre de pixels dans le rectangle additionnel RAH.
De la même manière lors d'une étape 1322 et en référence à la figure 11, une valeur de saillance moyenne est calculée dans un rectangle additionnel RAB, de largeur PL et de hauteur AH, obtenu en augmentant vers le bas la hauteur du rectangle englobant RE. La saillance moyenne SMB du rectangle additionnel RAB est calculée comme suit:
SMB = 1 * P nab PExas où nab est le nombre de pixels dans le rectangle additionnel RAB. En l'occurrence nab=nah.
Lors d'une étape 1323, une valeur de saillance moyenne globale SMT est calculée comme suit : SMT=SMB+SMH.
Lors d'une étape 1324, l'accroissement AHH en hauteur vers le haut est calculé comme suit :
AHH=SMH*AH/SMT
De même, lors d'une étape 1325 l'accroissement AHB en hauteur vers le bas est calculé comme suit :
AHB=SMB*AH/SMT Le rectangle englobant modifié REM est représenté sur la figure 12. Il a une hauteur égale à AHH+AHB+PH, i.e. égale à AH+PH et une largeur égale à PL. Dès lors, le rapport entre la largeur et la hauteur du rectangle englobant modifié REM est égal à PL/(AH+PH), i.e. égale à PL /(PH*RF/RR)=RR. L'étape 140 consiste à générer l'image réduite en extrayant de l'image source la partie d'image délimitée par le rectangle englobant modifié REM.
Avantageusement selon l'invention, le rectangle englobant est modifié pour obtenir un rectangle dont le rapport entre largeur et hauteur soit égal au rapport RR de telle sorte que le rectangle englobant modifié REM comprennent des pixels dont l'intérêt perceptuel est important. Dans le cas où le rectangle englobant RE déterminé à l'étape 100 se situe près d'un des bords de l'image source, il se peut que les rectangles additionnels sortent de l'image source. Dans ce cas, lors de l'étape de détermination du rectangle englobant modifié REM, les pixels situés hors de l'image source sont placés du côté opposé.
Selon un mode de réalisation particulier de l'invention illustré par la figure 15, le procédé est appliqué sur chaque image d'une vidéo pour générer une vidéo de taille réduite. Avantageusement, il comprend en outre une étape d'adaptation temporelle 135 appliquée avant l'étape 140. Elle consiste à adapter temporellement le rectangle englobant modifié REMI dans une image d'indice t à partir du rectangle englobant modifié lui- même adapté temporellement, noté AREM1_1, dans l'image d'indice t-1 précédant temporellement l'image d'indice t. Cette étape permet avantageusement d'éviter des effets de saccade apparaissant entre images consécutives, ces effets étant dus aux fortes variations d'une image source à l'autre de la localisation de la fenêtre englobante modifiée REM. Elle permet notamment de donner à l'observateur une impression de fluidité pendant la lecture de la vidéo réduite. En référence à la figure 13, notons dg (respectivement dd) la distance qui sépare le côté gauche (respectivement le côté droit) du rectangle englobant modifié REMI de l'image courante d'indice t et le côté gauche (respectivement le côté droit) du rectangle englobant modifié adapté temporellement AREMt_1 de l'image précédente d'indice t-1. Notons également dh (respectivement db) la distance qui sépare le côté haut (respectivement le côté bas) du rectangle englobant modifié REMI de l'image courante d'indice t et le côté haut (respectivement le côté bas) du rectangle englobant modifié adapté temporellement AREMt_1 de l'image précédente d'indice t-1. Les distances dd, dg, dh et db sont modifiées de la manière suivante : si dd > THD, alors ddm = dd-dd/acv, sinon ddm=dd, si dg > THD, alors dgm = dg-dg/acv, sinon dgm=dg, si dh > THD, alors dhm = dh-dh/acv, sinon dhm=dh, et si db > THD, alors dbm = db-db/acv, sinon dbm=db. Selon une variante, les distances dd, dg, dh et db sont modifiées de la manière suivante : Si (dd ET dg ET dh ET db) > THD, alors : ddm = dd-dd/ac,,, dgm = dg-dg/ac,,, dhm = dh-dh/acä et dbm = db-db/acä où ET est l'opérateur ET logique . THD est un seuil prédéfini. Pour une séquence d'images au format CIF, TDH=20. ddm, dgm, dhm et dbm sont les valeurs modifiées de dd, dg, dh et db respectivement. acä est la vitesse de convergence temporelle. Si acä est grand alors la position de la fenêtre AREMI change peu par rapport à la position de la fenêtre AREM1_1. Les côtés du rectangle englobant modifié REMI sont alors déplacés de telle sorte que la distance qui sépare le côté gauche (respectivement le côté droit) du rectangle englobant modifié adapté temporellement AREMI de l'image courante et le côté gauche (respectivement le côté droit) du rectangle englobant modifié adapté temporellement AREMt_1 de l'image précédente soit égale à dgm (respectivement ddm) et de telle sorte que la distance qui sépare le côté haut (respectivement le côté bas) du rectangle englobant modifié REMI de l'image courante et le côté haut (respectivement le côté bas) du rectangle englobant modifié adapté temporellement AREMt_1 soit égale à dhm (respectivement dbm). L'étape d'adaptation temporelle 135 peut modifier la taille du rectangle englobant. Dès lors, il peut être nécessaire après cette étape de réappliquer les étapes 110 à 130 afin que le rapport largeur sur hauteur du rectangle englobant AREMI soit égal à RR.
Selon un autre mode de réalisation de l'invention, l'étape d'adaptation temporelle 135 du rectangle englobant est effectuée par plan. Un plan est un groupe d'images consécutives séparées par deux changements de plan des autres images de la séquence. A cet effet, des paramètres sont extraits des rectangles englobants modifiés selon les étapes 110 à 130 dans chaque image d'un plan de la séquence. Ces paramètres sont les coordonnées (Cx, Cy) du centre du rectangle englobant modifié REM, sa hauteur H et sa largeur L. Un filtre médian temporel de longueur N est appliqué sur plusieurs images. Il consiste à trier les valeurs de chacun des paramètres selon un ordre croissant et à sélectionner la valeur médiane. Dans le cas où le nombre de valeurs est pair, alors la moyenne des deux valeurs du milieu est retenue. Un exemple de calcul est donné pour un filtre de longueur N=9. Le médian est calculé pour chaque paramètre associé au REM de l'image d'indice t à partir des valeurs de paramètres associés aux 3 images précédant l'image d'indice t et aux 3 images suivant l'image d'indice t et répertoriées dans le tableau ci-dessous: paramètre t-4 t-3 t-2 t-1 t t+1 t+2 t+3 t+4 Cx 227 231 235 231 233 230 227 230 236 Cy 172 157 179 179 185 179 166 168 161 L 228 241 159 158 152 163 180 152 152 H 197 198 131 130 125 134 148 125 125 Les valeurs du paramètre Cx classées dans l'ordre croissant sont les suivantes : 227, 227, 230, 230, 231, 231, 233, 235 et 236. La valeur médiane est la valeur 231 qui est alors la nouvelle valeur de Cx pour le rectangle englobant adapté temporellement de l'image d'indice t 20 (AREMI). Les valeurs médianes pour les autres paramètres sont les suivantes : Cy=172, L=159, et H=131. Dans l'image d'indice t, le rectangle englobant après filtrage est donc le rectangle centré sur le pixel de coordonnées (231, 172) de largeur 159 pixels 25 et de hauteur 131 pixels. Les paramètres ainsi modifiés pour chaque rectangle englobant sont davantage corrélés entre eux, procurant une augmentation de la cohérence temporelle (ou réduisant les saccades inter-images).
Bien entendu, pour les N/2 premières et N/2 dernières images du plan, il n'est pas possible d'appliquer le filtrage médian tel quel. Dans ce cas, le médian des N premières images du plan (respectivement des N dernières images du plan) est appliqué. Par exemple, si N=9, les paramètres (Cx, Cy, L, H) des rectangles englobants des 4 premières images du plan sont les mêmes. La valeur de chaque paramètre est égale à la valeur médiane obtenue par filtrage médian des 9 premières valeurs du paramètre correspondant du plan.
Bien entendu, l'invention n'est pas limitée aux exemples de réalisation mentionnés ci-dessus. En particulier, l'homme du métier peut apporter toute variante dans les modes de réalisation exposés et les combiner pour bénéficier de leurs différents avantages. Le procédé décrit peut être utilisé pour de nombreuses applications tel que le résumé de séquence d'images, navigation, indexation de séquence d'images. L'invention peut également être utilisée pour améliorer la visualiser d'images ou de séquences d'images sur de petits écrans tel que les écrans de PDA, de téléphone mobile ou de camera numérique.20
Claims (9)
1. Procédé de traitement d'image pour générer à partir d'une image source une image de taille réduite dont le rapport entre la largeur et la hauteur est égal à une valeur prédéterminée, dit ratio réduit (RR), comprenant les étapes suivantes : - sélectionner (100) une partie d'image rectangulaire dans ladite image source; - extraire (140) ladite partie d'image rectangulaire pour générer ladite image réduite ; ledit procédé étant caractérisé en ce que si le rapport entre la largeur (PL) et la hauteur (PH) de ladite partie d'image rectangulaire, dit premier ratio (RF), n'est pas égal audit ratio réduit (RR), la largeur (PL) ou la hauteur (PH) de ladite partie d'image rectangulaire est modifiée (130) préalablement à l'étape d'extraction (140) en fonction de valeurs d'intérêt perceptuel associées à chaque pixel de ladite image source de telle sorte que le rapport entre la largeur et la hauteur de ladite partie d'image rectangulaire modifiée, dit second ratio, soit égal audit ratio réduit (RR).
2. Procédé selon la revendication 1, dans lequel si ledit premier ratio (RF) est inférieur audit ratio réduit (RR), la largeur de ladite partie d'image rectangulaire (PL) est augmentée d'une première valeur (ALD) vers la droite et d'une seconde valeur (ALG) vers la gauche, lesdites première et seconde valeurs étant déterminées selon les étapes suivantes : -calculer (1310) un premier accroissement (AL) de telle sorte que le rapport entre ladite largeur augmentée dudit premier accroissement (AL) et ladite hauteur (PH) soit égal audit ratio réduit (RR); - calculer (1312) une première valeur de saillance moyenne (SMD) à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la largeur (PL) de ladite partie d'image rectangulaire dudit premier accroissement (AL) vers la droite ; -calculer (1311) une seconde valeur de saillance moyenne (SMG) à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la largeur (PL) de ladite partie d'image rectangulaire dudit premier accroissement (AL) vers la gauche; -calculer (1315) ladite première valeur (ALD) comme étant le produit dudit premier accroissement (AL) et du rapport entre ladite première valeur de saillance moyenne (SMD) et la somme desdites première et seconde valeurs de saillance moyennes, dite valeur de saillance moyenne totale (SMT) ; et - calculer (1316) ladite seconde valeur (ALG) comme étant le produit dudit premier accroissement (AL) et du rapport entre ladite seconde valeur de saillance moyenne (SMG) et ladite valeur de saillance moyenne totale (SMT).
3. Procédé selon la revendication 1 ou 2, dans lequel si ledit premier ratio (RF) est supérieur audit ratio réduit (RR), la hauteur (PH) de ladite partie d'image rectangulaire est augmentée d'une première valeur vers le haut (AHH) et d'une seconde valeur vers le bas (AHB), lesdites première et seconde valeurs étant déterminées selon les étapes suivantes : - calculer (1320) un second accroissement (AH) de ladite hauteur (PH) de telle sorte que le rapport entre ladite largeur (PL) et ladite hauteur (PH) augmentée dudit second accroissement (AH) soit égal audit ratio réduit (RR); - calculer (1321) une première valeur de saillance moyenne (SMH) à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la hauteur (PH) de ladite partie d'image dudit second accroissement (AH) vers le haut ; -calculer (1322) une seconde valeur de saillance moyenne (SMB) à partir des valeurs d'intérêt perceptuel associées aux pixels de la partie d'image supplémentaire obtenue en augmentant la hauteur (PH) de ladite partie d'image dudit second accroissement (AH) vers le bas ; - calculer (1324) ladite première valeur (AHH) comme étant le produit dudit second accroissement (AH) et du rapport entre ladite première valeur de saillance moyenne (SMH) et la somme desdites première et seconde valeurs de saillance moyennes, dite valeur de saillance moyenne totale (SMT) ; et -calculer (1325) ladite seconde valeur (AHB) comme étant le produit dudit second accroissement (AH) et du rapport entre ladite seconde valeur de saillance moyenne (SMB) et ladite valeur de saillance moyenne totale (SMT).
4. Procédé selon l'une des revendications 1 à 3, dans lequel ladite image source appartenant à une séquence de plusieurs images, ledit procédé est appliqué à chaque image de la séquence et comprend à la suite de l'étape (130) de modification de la largeur (PL) ou de la hauteur (PH) de la partie d'image rectangulaire d'une image courante, une étape d'adaptation temporelle (135) de ladite partie d'image rectangulaire consistant à déplacer au moins un des côtés de ladite partie d'image rectangulaire si ledit côté est séparé du coté correspondant de la partie d'image rectangulaire de l'image qui précède ladite image courante d'une distance supérieure à un seuil prédéterminé (THD) de telle sorte à diminuer ladite distance (dd, db, dh, dg).
5. Procédé selon l'une des revendications 1 à 3, dans lequel ladite image source appartenant à une séquence de plusieurs images, ledit procédé est appliqué à chaque image de la séquence et comprend à la suite de l'étape (130) de modification de la largeur (PL) ou de la hauteur (PH) de la partie d'image rectangulaire d'une image courante, une étape d'adaptation temporelle (135) de ladite partie d'image rectangulaire consistant à déplacer tous les côtés de ladite partie d'image rectangulaire si chacun desdits côtés est séparé du coté correspondant de la partie d'image rectangulaire de l'image qui précède ladite image courante d'une distance supérieure à un seuil prédéterminé (THD) de telle sorte à diminuer lesdites distances (dd, db, dh, dg).
6. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel ladite image source appartenant à une séquence de plusieurs images, ledit procédé est appliqué à chaque image de la séquence et comprend à la suite de l'étape de l'étape (130) de modification de la largeur (PL) ou de la hauteur (PH) de la partie d'image rectangulaire d'une image courante, une étape d'adaptation temporelle (135) de ladite partie d'image rectangulaire consistant à modifier au moins un paramètre de ladite partie d'image rectangulaire parmi les paramètres suivants : la hauteur (PH), la largeur (PL) et les coordonnées du centre (Cx,Cy) de telle sorte que ledit paramètre modifié soit égal à la valeur médiane de l'ensemble de valeurs comprenant les paramètres correspondants des parties d'image rectangulaire des N images précédant ladite image courante et des N' images suivant ladite image courante, avec N et N' entiers positifs.
7. Procédé selon la revendication 7, dans lequel N=N'.
8. Procédé selon les revendications 6 ou 7, dans lequel ladite séquence étant divisée en groupes d'images appelés plans, lesdites N images précédant ladite image courante et lesdites N' images suivant ladite image courante appartiennent au même plan que ladite image courante. 10
9. Procédé selon l'une des revendications 4 à 8, dans lequel si le rapport entre la largeur et la hauteur de ladite partie d'image rectangulaire adaptée temporellement n'est pas égal audit ratio réduit (RR), l'étape d'adaptation temporelle (135) est suivie d'une étape de modification de la largeur ou de la 15 hauteur de ladite partie d'image rectangulaire adaptée temporellement en fonction de valeurs d'intérêt perceptuel associées à chaque pixel de ladite image source courante de telle sorte que le rapport entre la largeur et la hauteur de ladite partie d'image rectangulaire adaptée temporellement et modifiée soit égal audit ratio réduit (RR).5
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0753106A FR2912237A1 (fr) | 2007-02-07 | 2007-02-07 | Procede de traitement d'image |
TW097101100A TWI451356B (zh) | 2007-02-07 | 2008-01-11 | 影像處理方法 |
EP08101073.8A EP1956550B1 (fr) | 2007-02-07 | 2008-01-29 | Procédé pour la mise à échelle d'image en fonction de valeurs d'intérêt perceptuel |
KR1020080010804A KR101429625B1 (ko) | 2007-02-07 | 2008-02-01 | 이미지 처리 방법 |
CN2008100089791A CN101241591B (zh) | 2007-02-07 | 2008-02-02 | 图像处理方法 |
US12/012,668 US8200045B2 (en) | 2007-02-07 | 2008-02-05 | Image processing method |
JP2008026719A JP5080302B2 (ja) | 2007-02-07 | 2008-02-06 | 画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0753106A FR2912237A1 (fr) | 2007-02-07 | 2007-02-07 | Procede de traitement d'image |
Publications (1)
Publication Number | Publication Date |
---|---|
FR2912237A1 true FR2912237A1 (fr) | 2008-08-08 |
Family
ID=38521220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0753106A Pending FR2912237A1 (fr) | 2007-02-07 | 2007-02-07 | Procede de traitement d'image |
Country Status (7)
Country | Link |
---|---|
US (1) | US8200045B2 (fr) |
EP (1) | EP1956550B1 (fr) |
JP (1) | JP5080302B2 (fr) |
KR (1) | KR101429625B1 (fr) |
CN (1) | CN101241591B (fr) |
FR (1) | FR2912237A1 (fr) |
TW (1) | TWI451356B (fr) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2173092A1 (fr) | 2008-10-02 | 2010-04-07 | Thomson Licensing, Inc. | Procédé pour la conversion du format d'image avec l'insertion d'une banderole d'informations |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2530642A1 (fr) | 2011-05-31 | 2012-12-05 | Thomson Licensing | Procédé de rognage d'un contenu 3D |
EP2549754A1 (fr) * | 2011-07-19 | 2013-01-23 | Thomson Licensing | Procédé et appareil pour recadrer et coder un signal vidéo original |
JP5000781B1 (ja) * | 2011-11-09 | 2012-08-15 | 楽天株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 |
JP5458083B2 (ja) * | 2011-11-22 | 2014-04-02 | 富士フイルム株式会社 | インク使用量評価装置及び方法、プログラム並びにインクジェット装置 |
EP2680219A1 (fr) | 2012-06-29 | 2014-01-01 | Thomson Licensing | Procédé de recadrage d'images d'une séquence vidéo et appareil de recadrage d'images d'une séquence vidéo |
US20160219209A1 (en) * | 2013-08-26 | 2016-07-28 | Aashish Kumar | Temporal median filtering to remove shadow |
WO2015128308A1 (fr) * | 2014-02-27 | 2015-09-03 | Thomson Licensing | Procédé et appareil pour générer une image pivotée de taille modifiée à partir d'une image d'origine |
WO2017075804A1 (fr) * | 2015-11-06 | 2017-05-11 | Microsoft Technology Licensing, Llc | Gestion d'image de référence souple destinée à un codage et un décodage vidéo |
US11430084B2 (en) | 2018-09-05 | 2022-08-30 | Toyota Research Institute, Inc. | Systems and methods for saliency-based sampling layer for neural networks |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191861A1 (en) * | 2000-12-22 | 2002-12-19 | Cheatle Stephen Philip | Automated cropping of electronic images |
US20050025387A1 (en) * | 2003-07-31 | 2005-02-03 | Eastman Kodak Company | Method and computer program product for producing an image of a desired aspect ratio |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4977602A (en) * | 1989-11-20 | 1990-12-11 | Eastman Kodak Company | Character normalization using an elliptical sampling window for optical character recognition |
US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
US7365757B1 (en) * | 1998-12-17 | 2008-04-29 | Ati International Srl | Method and apparatus for independent video and graphics scaling in a video graphics system |
US7016540B1 (en) * | 1999-11-24 | 2006-03-21 | Nec Corporation | Method and system for segmentation, classification, and summarization of video images |
KR100343223B1 (ko) * | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
JP3550681B2 (ja) * | 1999-12-10 | 2004-08-04 | 日本電気株式会社 | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 |
US6654506B1 (en) * | 2000-01-25 | 2003-11-25 | Eastman Kodak Company | Method for automatically creating cropped and zoomed versions of photographic images |
US6928186B2 (en) * | 2002-06-21 | 2005-08-09 | Seiko Epson Corporation | Semantic downscaling and cropping (SEDOC) of digital images |
FR2845179B1 (fr) * | 2002-09-27 | 2004-11-05 | Thomson Licensing Sa | Procede de regroupement d'images d'une sequence video |
US7116716B2 (en) * | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
US7272258B2 (en) * | 2003-01-29 | 2007-09-18 | Ricoh Co., Ltd. | Reformatting documents using document analysis information |
EP1544792A1 (fr) | 2003-12-18 | 2005-06-22 | Thomson Licensing S.A. | Dispositif et procédé pour la création d'une cartographie des caractéristiques saillantes d'une image |
JP2006013722A (ja) * | 2004-06-23 | 2006-01-12 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
EP1800495A4 (fr) * | 2004-10-06 | 2011-10-05 | Thomson Licensing | Procede et appareil permettant d'offrir une fonction de recadrage d'images |
US7561751B2 (en) * | 2004-11-02 | 2009-07-14 | Panasonic Corporation | Image processing method |
JP2008527525A (ja) * | 2005-01-07 | 2008-07-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | グラフィカルなオブジェクトを検出するための方法及び電子装置 |
US7532256B2 (en) * | 2005-01-25 | 2009-05-12 | Teresis Media Management | Methods and apparatus for detecting scenes in a video medium |
US20060195860A1 (en) * | 2005-02-25 | 2006-08-31 | Eldering Charles A | Acting on known video entities detected utilizing fingerprinting |
TW200719281A (en) * | 2005-07-28 | 2007-05-16 | Thomson Licensing | Method and device for generating a sequence of images of reduced size |
CN1904940A (zh) * | 2005-07-28 | 2007-01-31 | 汤姆森许可贸易公司 | 用于产生缩减尺寸的图像序列的方法与设备 |
KR100667810B1 (ko) * | 2005-08-31 | 2007-01-11 | 삼성전자주식회사 | 3d 영상의 깊이감 조정 장치 및 방법 |
JP2007241356A (ja) * | 2006-03-06 | 2007-09-20 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
JP2007316892A (ja) * | 2006-05-25 | 2007-12-06 | Fujifilm Corp | 自動トリミング方法および装置ならびにプログラム |
US7747107B2 (en) * | 2007-03-06 | 2010-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for retargeting images |
-
2007
- 2007-02-07 FR FR0753106A patent/FR2912237A1/fr active Pending
-
2008
- 2008-01-11 TW TW097101100A patent/TWI451356B/zh active
- 2008-01-29 EP EP08101073.8A patent/EP1956550B1/fr active Active
- 2008-02-01 KR KR1020080010804A patent/KR101429625B1/ko active IP Right Grant
- 2008-02-02 CN CN2008100089791A patent/CN101241591B/zh active Active
- 2008-02-05 US US12/012,668 patent/US8200045B2/en active Active
- 2008-02-06 JP JP2008026719A patent/JP5080302B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191861A1 (en) * | 2000-12-22 | 2002-12-19 | Cheatle Stephen Philip | Automated cropping of electronic images |
US20050025387A1 (en) * | 2003-07-31 | 2005-02-03 | Eastman Kodak Company | Method and computer program product for producing an image of a desired aspect ratio |
Non-Patent Citations (2)
Title |
---|
CHEN L-Q ET AL: "A VISUAL ATTENTION MODEL FOR ADAPTING IMAGES ON SMALL DISPLAYS", MULTIMEDIA SYSTEMS, ACM, NEW YORK, NY, US, vol. 9, no. 4, October 2003 (2003-10-01), pages 353 - 364, XP001196335, ISSN: 0942-4962 * |
XIN FAN ET AL: "Looking into Video Frames on Small Displays", INTERNET CITATION, 2 November 2003 (2003-11-02), XP007903055, Retrieved from the Internet <URL:http://portal.acm.org/citation.cfm?doid=957013.957063> [retrieved on 20070927] * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2173092A1 (fr) | 2008-10-02 | 2010-04-07 | Thomson Licensing, Inc. | Procédé pour la conversion du format d'image avec l'insertion d'une banderole d'informations |
Also Published As
Publication number | Publication date |
---|---|
EP1956550A1 (fr) | 2008-08-13 |
JP2008192156A (ja) | 2008-08-21 |
US8200045B2 (en) | 2012-06-12 |
EP1956550B1 (fr) | 2018-04-25 |
TW200834466A (en) | 2008-08-16 |
CN101241591B (zh) | 2012-08-22 |
KR20080074031A (ko) | 2008-08-12 |
JP5080302B2 (ja) | 2012-11-21 |
CN101241591A (zh) | 2008-08-13 |
KR101429625B1 (ko) | 2014-08-12 |
US20080212897A1 (en) | 2008-09-04 |
TWI451356B (zh) | 2014-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FR2912237A1 (fr) | Procede de traitement d'image | |
US9639956B2 (en) | Image adjustment using texture mask | |
JP6803378B2 (ja) | 逆トーンマッピングの方法及び装置 | |
US8130278B2 (en) | Method for forming an improved image using images with different resolutions | |
US7986834B2 (en) | Method and apparatus for color image correction | |
US20110019094A1 (en) | System and method for random noise estimation in a sequence of images | |
US20060232666A1 (en) | Multi-view image generation | |
WO2014170886A1 (fr) | Système et procédé de traitement en ligne d'images vidéo en temps réel | |
US20170127039A1 (en) | Ultrasonic proximity detection system | |
GB2458934A (en) | Detection of linear boundary between image border and picture regions based on pixel spatial gradients | |
JP2004310475A (ja) | 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム | |
WO2020108060A1 (fr) | Procédé et appareil de traitement vidéo, dispositif électronique et support de stockage | |
FR3019924A1 (fr) | Procede de detection de points d'interet dans une image numerique | |
EP3637765A1 (fr) | Optimisation d'un sous-échantillonnage intervenant avant le codage d'images en compression | |
EP1246469A2 (fr) | Procédé de réduction de format et de décodage similtanés de signaux vidéo codés | |
CN109889738A (zh) | 一种交互式视频处理方法及装置 | |
JP5130171B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
JP2023511226A (ja) | コンテンツに基づく画像処理 | |
CN113674158A (zh) | 图像处理方法、装置、设备及存储介质 | |
US10140689B2 (en) | Efficient path-based method for video denoising | |
FR2934453A1 (fr) | Procede et dispositif de masquage d'erreurs | |
FR2937209A1 (fr) | Correction de deviation de blanc dans une image captee | |
FR2936924A1 (fr) | Procede de conversion de format d'image avec insertion de bandeau d'information. | |
FR3035729A1 (fr) | Procede d'analyse d'une sequence video et equipement pour la mise en oeuvre du procede | |
FR3103302A1 (fr) | Segmentation d'images par flot optique |