FR2660459A1 - Method for segmenting images by analysis of textures - Google Patents
Method for segmenting images by analysis of textures Download PDFInfo
- Publication number
- FR2660459A1 FR2660459A1 FR9003877A FR9003877A FR2660459A1 FR 2660459 A1 FR2660459 A1 FR 2660459A1 FR 9003877 A FR9003877 A FR 9003877A FR 9003877 A FR9003877 A FR 9003877A FR 2660459 A1 FR2660459 A1 FR 2660459A1
- Authority
- FR
- France
- Prior art keywords
- analysis
- texture
- point
- image
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
Procédé de segmentation d'images par
analyse de textures
L'invention se rapporte au domaine du traitement d'images, et plus particulièrement à un procédé de segmentation d'images par analyse de textures.Method for segmenting images by
texture analysis
The invention relates to the field of image processing, and more particularly to a method of segmenting images by analyzing textures.
Le problème général à résoudre est de mettre au point un procédé d'analyse des textures en vue de la segmentation en régions homogènes d'images, visibles ou infrarouges, par exemple des images aériennes. The general problem to be solved is to develop a method for analyzing textures with a view to segmenting homogeneous regions of images, visible or infrared, for example aerial images.
La segmentation d'images en régions homogènes est généralement effectuée grâce à une caractérisation de l'information texture. Cette information est d'autant plus importante, dans les domaines de l'analyse et de la segmentation des images, que celles-ci sont faiblement contrastées et ne présentent pas de structures franches, de type contours par exemple. The segmentation of images into homogeneous regions is generally carried out thanks to a characterization of the texture information. This information is all the more important, in the fields of image analysis and segmentation, since these are slightly contrasted and do not present frank structures, of the contour type for example.
De nombreuses méthodes ont été proposées pour l'analyse des textures, méthodes qu'il est possible de regrouper en trois grandes familles distinctes
- méthodes utilisant des caractéristiques spatiales,
- méthodes utilisant des caractéristiques fréquentielles,
- méthodes structuralistes.Many methods have been proposed for the analysis of textures, methods which it is possible to group into three large distinct families.
- methods using spatial characteristics,
- methods using frequency characteristics,
- structuralist methods.
Parmi ces ensembles de méthodes de caractérisation de textures, on peut citer celles qui semblent donner les résultats les plus satisfaisants selon le type d'images analyse
- histogrammes locaux de luminance,
- intégration curviligne du signal de luminance,
- recherche des extrema locaux.Among these sets of texture characterization methods, we can cite those which seem to give the most satisfactory results according to the type of images analyzed.
- local luminance histograms,
- curvilinear integration of the luminance signal,
- search for local extrema.
Il existe donc un nombre relativement important de techniques de caractérisation de textures. Ces méthodes ont souvent été développées en fonction de la nature même de la texture analysée et pour un type d'approche donné. There are therefore a relatively large number of texture characterization techniques. These methods have often been developed according to the very nature of the texture analyzed and for a given type of approach.
Deux types de problèmes apparaissent alors
Le premier est relatif à l'adéquation de l'algorithme de traitement à la texture étudiée et le second au choix de la résolution d'analyse.Two types of problems then appear
The first relates to the adequacy of the processing algorithm for the texture studied and the second to the choice of analysis resolution.
En ce qui concerne l'adéquation de l'algorithme à la texture étudiée et donc le choix des paramètres de caractérisation, la segmentation de différentes images, à partir de chacune des méthodes précitées, fait apparaître que, selon le type d'images analysé, le meilleur résultat est obtenu par des méthodes différentes. Ceci signifie qu'il y a dépendance entre le type de texture rencontré et l'algorithme le plus performant. Ce problême est un handicap sérieux dans la mise au point d'un système automatique de segmentation d'images par analyse de texture. Regarding the adequacy of the algorithm to the texture studied and therefore the choice of characterization parameters, the segmentation of different images, from each of the above methods, shows that, depending on the type of images analyzed, the best result is achieved by different methods. This means that there is a dependence between the type of texture encountered and the most efficient algorithm. This problem is a serious handicap in the development of an automatic image segmentation system by texture analysis.
En ce qui concerne la résolution de l'analyse, dans la plupart des algorithmes de caractérisation de texture, il est nécessaire de régler un certain nombre de paramètres de fonctionnement (seuils, dimension de voisinage, ...). En particulier, la taille de la fenêtre d'analyse est prépondérante quant à la qualité de la segmentation obtenue. On observe qu'il existe une dépendance entre la nature des textures rencontrées et la taille de la fenêtre d'analyse mesurant l'activité texturelle des images. Regarding the resolution of the analysis, in most of the texture characterization algorithms, it is necessary to adjust a certain number of operating parameters (thresholds, neighborhood dimension, etc.). In particular, the size of the analysis window is decisive as regards the quality of the segmentation obtained. We observe that there is a dependence between the nature of the textures encountered and the size of the analysis window measuring the textural activity of the images.
L'invention a pour objet un procédé de segmentation d'images par analyse de textures dans lequel la segmentation de l'image s'effectue à l'aide d'un processus de caractérisation et de classification de la texture, indépendant de la nature de l'image et qui ne nécessite pas de mises au point itératives. The subject of the invention is a method of image segmentation by texture analysis in which the image segmentation is carried out using a characterization and classification process of the texture, independent of the nature of the image and which does not require iterative adjustments.
Selon l'invention, un procédé de segmentation d'images par analyse de textures est caractérisé en ce qu'il comporte
- une étape de caractérisation de texture dans laquelle, pour chaque point d'image, un ensemble de paramètres caractérisant la texture et formant un vecteur d'attributs est calculé, ce calcul étant répété pour plusieurs fenêtres d'analyse de différentes taies associées à des valeurs de résolution d'analyse différentes,
- une étape de sélection d'un vecteur discriminant résultant du vecteur d'attributs, mais de dimension inférieure, pour chaque résolution d'analyse et pour chaque point,
- une étape de classification de limage en zones associées aux différentes textures attendues, pour chaque résolution d'analyse,
- et une étape de fusion des résultats de classification obtenus dans l'étape précédente à l'issue de laquelle l'image est définitivement segmentée entre les différentes textures attendues, cette fusion étant réalisée à partir d'un critère de confiance affecté à chaque point pour chacune des classifications retenues selon les différentes résolutions d'analyse.According to the invention, a method of segmenting images by analyzing textures is characterized in that it comprises
a texture characterization step in which, for each image point, a set of parameters characterizing the texture and forming a vector of attributes is calculated, this calculation being repeated for several analysis windows of different pillowcases associated with different analysis resolution values,
a step of selecting a discriminating vector resulting from the attribute vector, but of smaller dimension, for each analysis resolution and for each point,
- a step of classification of the image into zones associated with the different expected textures, for each analysis resolution,
- And a step of merging the classification results obtained in the previous step at the end of which the image is definitively segmented between the different expected textures, this fusion being carried out on the basis of a confidence criterion assigned to each point for each of the classifications selected according to the different analysis resolutions.
L'invention sera mieux comprise et d'autres caractéristiques apparaîtront à l'aide de la description qui suit en référence aux figures annexées. The invention will be better understood and other characteristics will appear from the following description with reference to the appended figures.
- La figure 1 est un organigramme général du procédé de segmentation suivant l'invention
- La figure 2 illustre des histogrammes remarquables illustrant les paramètres utilisés dans la méthode des histogrammes locaux
- Les figures 3a, 3b et 3c frustrent les paramètres utilisés dans la méthode d'intégration curviligne
- La figure 4 illustre la méthode d'intégration spiralique
- Les figures 5a et 5b lustrent deux exemples de répartition des nuages de points classés dans cinq classes de textures, par rapport à deux axes discriminants
- La figure 6 représente les distributions gaussiennes associées à trois classes différentes de textures
- La figure 7 illustre l'étape de fusion multi-résolution.- Figure 1 is a general flowchart of the segmentation method according to the invention
- Figure 2 illustrates remarkable histograms illustrating the parameters used in the local histogram method
- Figures 3a, 3b and 3c frustrate the parameters used in the curvilinear integration method
- Figure 4 illustrates the spiral integration method
- Figures 5a and 5b illustrate two examples of the distribution of point clouds classified into five texture classes, with respect to two discriminating axes
- Figure 6 represents the Gaussian distributions associated with three different classes of textures
- Figure 7 illustrates the multi-resolution merging step.
D'une manière générale, le procédé de segmentation selon l'invention, comporte quatre étapes de traitement, à partir d'une image source, comme lustré par la figure 1
1. Caractérisation de la texture par calcul de vecteurs attributs à I composantes associés à plusieurs valeurs de résolu tion d'analyse, c'est-à-dire sur la base de fenêtres d'analyse de dimensions différentes;
2. Sélection d'un vecteur d'attributs discriminant à J composantes par mesure de la décorrélation des attributs de texture, en utilisant la modélisation des zones échantillons de
K textures effectuée parallèlement à la caractérisation dans une phase de traitement 1'
3.Classification, c'est-à-dire partition de I'image en K classes de textures, pour chaque résolution d'analyse, à partir de la modélisation des zones échantillons et en calculant un critère de confiance associé aux classifications effectuées
4. Fusion multi-résolution des partitions obtenues à chaque niveau de résolution à partir d'une analyse contextuelle utilisant le critère de confiance. A l'issue de cette étape l'image source est segmentée en K régions.In general, the segmentation method according to the invention comprises four processing steps, from a source image, as illustrated in FIG. 1
1. Characterization of the texture by calculating attribute vectors with I components associated with several analysis resolution values, that is to say on the basis of analysis windows of different dimensions;
2. Selection of a vector of attributes discriminating with J components by measuring the decorrelation of the texture attributes, using the modeling of the sample areas of
K textures performed in parallel with the characterization in a processing phase 1 '
3.Classification, i.e. partitioning the image into K texture classes, for each analysis resolution, based on the modeling of the sample areas and by calculating a confidence criterion associated with the classifications performed
4. Multi-resolution fusion of the partitions obtained at each resolution level from a contextual analysis using the confidence criterion. At the end of this step, the source image is segmented into K regions.
Le signal d'une image est défini au point M de coordonnées spatiales M(x, y) par la relation : z = f(x, y). Cette fonction z est en général la valeur de luminance au point courant M. La texture en ce point a des propriétés liées aux variations de z dans son voisinage V (M). La caractérisation de la texture en un point donné doit donc intégrer la distribution spatiale des niveaux de gris entourant ce point, dans une fenêtre définissant le voisinage V(M). The signal of an image is defined at point M of spatial coordinates M (x, y) by the relation: z = f (x, y). This function z is generally the luminance value at the current point M. The texture at this point has properties related to the variations of z in its neighborhood V (M). The characterization of the texture at a given point must therefore integrate the spatial distribution of the gray levels surrounding this point, in a window defining the neighborhood V (M).
L'image à analyser est numérisée, c'est-à-dire que la luminance des points qui la composent est numérisée par quantification sur une échelle à n niveaux de gris. The image to be analyzed is digitized, that is to say that the luminance of the points which compose it is digitized by quantification on a scale with n gray levels.
Les trois premières étapes du procédé selon l'invention sont effectuées pour trois résolutions d'analyse différentes associées à des fenêtres de différentes dimensions. The first three steps of the method according to the invention are carried out for three different analysis resolutions associated with windows of different dimensions.
Dans la phase de calcul des attributs de texture, deux caractérisations nouvelles, supplémentaires par rapport aux caractérisations par des attributs plus classiques également utilisées par le procédé, ont été introduites
- La première résulte d'une intégration dite "spiralique"
- La seconde utilise les énergies locales des gradients. In the texture attributes calculation phase, two new characterizations, additional compared to the characterizations by more classic attributes also used by the method, were introduced
- The first results from a so-called "spiral" integration
- The second uses the local energies of the gradients.
Dans un mode de réalisation, à partir de l'état de l'art en analyse de texture, sept méthodes qui semblent donner les meilleurs résultats de caractérisation, ont été retenues. In one embodiment, based on the state of the art in texture analysis, seven methods which seem to give the best characterization results have been retained.
Les différents paramètres de caractérisation de texture choisis résultant de cette sélection de méthodes sont les I = 14 paramètres suivants - module et phase des histogrammes locaux : [MOD, PHA ] - intégrale curviligne selon 4 orientations : [ AO, A45, AOO, A [ 135i, les nombres correspondant aux angles, par rapport à une référence, des directions 0. selon lesquelles sont calculées les intégrales - maximum local : [ MAX ] ; - moyenne et variance : CMOY, VARj - intégrale spiralique : [SPI, MOYSPI ] - énergies locales des gradients et variance de cette énergie des gradients : [ NRJAMP, NRJORI, VNRJ ] . The different texture characterization parameters chosen resulting from this selection of methods are the following I = 14 parameters - module and phase of the local histograms: [MOD, PHA] - curvilinear integral according to 4 orientations: [AO, A45, AOO, A [ 135i, the numbers corresponding to the angles, with respect to a reference, of directions 0. according to which the integrals are calculated - local maximum: [MAX]; - mean and variance: CMOY, VARj - spiral integral: [SPI, MOYSPI] - local energies of the gradients and variance of this energy of the gradients: [NRJAMP, NRJORI, VNRJ].
Le module MOD et la phase PHA des histogrammes locaux - tels que définis par G. LOWITZ dans une communication intitulée "Extraction de caricatures et textures depuis un histogramme local" au 8e colloque sur le traitement de signal,
GRETSI, Nice 1981 - sont extraits de la manière suivante, à partir d'histogrammes locaux des luminances établis sur les blocs de points d'une fenêtre centrée sur le point courant M.The MOD module and the PHA phase of local histograms - as defined by G. LOWITZ in a communication entitled "Extraction of caricatures and textures from a local histogram" at the 8th conference on signal processing,
GRETSI, Nice 1981 - are extracted as follows, from local histograms of the luminances established on the blocks of points of a window centered on the current point M.
Cette méthode traite l'information spatiale locale d'une image.This method processes the local spatial information of an image.
On montre que les distributions des composantes des histogrammes suivent un modèle statistique Poissonnien. Ce modèle introduit une entropie, puis une distance métrique entre ces histogrammes, qui permet de définir un module et une phase pour chaque histogramme local. On définit alors les deux composantes du vecteur de caractérisation de la manière suivante
- le module d'un histogramme local, MOD, est défini comme étant la distance entre l'histogramme "centré" ho, c'est-à-dire l'histogramme qui correspond à un nombre égal d'occurrence pour tous les niveaux de luminance dans la fenêtre analysée, tel que ho = [ 1/n, 1/n, ...., 1/nj et l'histogramme considéré h. La distance est alors définie comme étant la différence d'entropie entre ces deux histogrammes.Le module est donc égal à
où n. est le nombre de points de la fenêtre dont le niveau de luminance est le ie niveau de quantification
La phase d'un histogramme local, PHA, est définie comme étant l'indice; le plus petit de l'histogramme maximal hjM le plus proche (au sens de la distance définie ci-dessus D) de l'histogramme local considéré.We show that the distributions of the components of the histograms follow a Poissonnian statistical model. This model introduces an entropy, then a metric distance between these histograms, which makes it possible to define a module and a phase for each local histogram. We then define the two components of the characterization vector as follows
- the module of a local histogram, MOD, is defined as being the distance between the "centered" histogram ho, that is to say the histogram which corresponds to an equal number of occurrences for all the levels of luminance in the analyzed window, such as ho = [1 / n, 1 / n, ...., 1 / nj and the histogram considered h. The distance is then defined as the difference in entropy between these two histograms, so the module is equal to
where n. is the number of points in the window whose luminance level is the ie quantization level
The phase of a local histogram, PHA, is defined as the index; the smallest of the maximum histogram hjM closest (in the sense of the distance defined above D) to the local histogram considered.
L'histogramme maximal est défini par M = [ O, O, ... O, 1, O, 0, ..., O, O). The maximum histogram is defined by M = [O, O, ... O, 1, O, 0, ..., O, O).
hj
j est donc l'indice de la composante maximale de l'histogramme local.hj
j is therefore the index of the maximum component of the local histogram.
PHA = j (en unité 211/n). PHA = j (in unit 211 / n).
En choisissant la composante maximale, on choisit la luminance "dominante" de l'histogramme local de la fenêtre d'analyse. By choosing the maximum component, we choose the "dominant" luminance of the local histogram of the analysis window.
La figure 2 présente les histogrammes remarquables ho et hi M et un histogramme local h. Figure 2 shows the remarkable histograms ho and hi M and a local histogram h.
La méthode d'intégration curviligne, quant à elle - exposée par D. DARBA, J. RONSIN et S. RABOISSON au SPIE
Symposium, Cannes 1985, dans une communication intitulée "Comparison between co-occurence matrices, local histogrammes and curvilinear integration for texture characterizationn -, donne des informations précises sur la distribution des niveaux de gris le long de lignes d'analyse d'orientations différentes, c'est-à-dire le long de directions privilégiées e i dans une texture non-isotrope. Les figures 3a, 3b et 3c illustrent les paramètres utilisés dans la méthode d'intégration curviligne.The curvilinear integration method, for its part - exposed by D. DARBA, J. RONSIN and S. RABOISSON at SPIE
Symposium, Cannes 1985, in a communication entitled "Comparison between co-occurence matrices, local histograms and curvilinear integration for texture characterization -, gives precise information on the distribution of gray levels along lines of analysis of different orientations, ie along privileged directions ei in a non-isotropic texture Figures 3a, 3b and 3c illustrate the parameters used in the curvilinear integration method.
Une mesure des propriétés de la texture est obtenue en balayant le voisinage V (M) le long de lignes Li issues de M, suivant des orientations e. définies ci-dessus et représentées par exemple sur la figure 3a. A measurement of the properties of the texture is obtained by scanning the neighborhood V (M) along lines Li coming from M, according to orientations e. defined above and shown for example in Figure 3a.
Soit x' la coordonnée d'un point de Li dans un repère centré en M et d'axe Li. Une métrique euclidienne ds est définie en introduisant un facteur d'échelle Y entre les variations spatiales dx' le long de L. et les variations de luminance correspondantes dz : ds2 = t2 dx'2 + dz2. Let x 'be the coordinate of a point of Li in a coordinate system centered in M and of axis Li. A Euclidean metric ds is defined by introducing a scale factor Y between the spatial variations dx' along L. and the corresponding luminance variations dz: ds2 = t2 dx'2 + dz2.
En utilisant la longueur de l'arc différentiel, on peut calculer l'intégrale curviligne de ds, le long de la courbe
Ci : z = f(x'). Pour un seuil ij fixe positif, on obtient le point Di sur Ci, tel que l'intégrale curviligne de ds, de M à Di, atteigne cette valeur y, comme illustré par la figure 3b.Using the length of the differential arc, we can calculate the curvilinear integral of ds, along the curve
Ci: z = f (x '). For a positive fixed threshold ij, the point Di on Ci is obtained, such that the curvilinear integral of ds, from M to Di, reaches this value y, as illustrated by FIG. 3b.
L'abscisse de D. sur L. est ai. The abscissa of D. on L. is ai.
i i i
A partir du point M pour les différentes orientations (3i on obtient un ensemble d'abscisses [ a. caractérisant la texture pour ce point et formant un vecteur caractéristique qui intègre bien la distribution spatiale des niveaux de gris dans le voisinage du point et s'adapte donc à une mesure locale de sa texture.iii
From point M for the different orientations (3i we obtain a set of abscissas [a. Characterizing the texture for this point and forming a characteristic vector which integrates well the spatial distribution of the gray levels in the vicinity of the point and s' therefore adapts to a local measurement of its texture.
La caractérisation peut être améliorée en intégrant, pour chaque orientation, suivant un ensemble de lignes parallèles passant par les points voisins de M dans la direction orthogonale à Li, chaque composante de texture correspondant alors à une moyenne de caractéristiques suivant une même orientation Li comme représenté sur la figure 3c. The characterization can be improved by integrating, for each orientation, along a set of parallel lines passing through the neighboring points of M in the direction orthogonal to Li, each texture component then corresponding to an average of characteristics following the same orientation Li as shown in Figure 3c.
Cette modification possède l'avantage de ne pas augmenter la dimension du vecteur de caractérisation et ne nécessite qu'un simple moyennage de quantités déjà calculées pour les points voisins. This modification has the advantage of not increasing the dimension of the characterization vector and requires only a simple averaging of quantities already calculated for the neighboring points.
Généralement, les orientations caractérisées correspondent à 00, 450, 900 et 1350. L'intégration curviligne est effectuée avec un seuil y d'environ 200 et un coefficient de pondération g = 4, correspondant respectivement à la valeur d'arrêt de l'intégration et à un facteur d'échelle entre les variations spatiales dx' et les variations de luminance dz, servant à définir la métrique euclidienne ds pour le calcul de l'intégrale comme indiqué ci-dessus. Le vecteur caractéristique du point courant est alors
laO, a45, a90, a135 ] . Generally, the characterized orientations correspond to 00, 450, 900 and 1350. The curvilinear integration is carried out with a threshold y of approximately 200 and a weighting coefficient g = 4, corresponding respectively to the stop value of the integration and to a scale factor between the spatial variations dx 'and the luminance variations dz, used to define the Euclidean metric ds for the calculation of the integral as indicated above. The characteristic vector of the current point is then
laO, a45, a90, a135].
La caractérisation des maxima locaux, [ MAX ] - décrite notamment par O. MITCHELL et W. BOYNE dans IEEE
Transactions on Computers, Vol. C25-1977 dans un article intitulé "A max-min measure for image texture analysisn utilise des descripteurs dont les éléments sont les fréquences d'obtention d'extrema locaux dans un voisinage de la zone analysée, sous certaines conditions de feuillage et de filtrage préalables afin d'éliminer les extrema dus au bruit.The characterization of local maxima, [MAX] - described in particular by O. MITCHELL and W. BOYNE in IEEE
Transactions on Computers, Vol. C25-1977 in an article entitled "A max-min measure for image texture analysisn uses descriptors whose elements are the frequencies of obtaining local extrema in a vicinity of the zone analyzed, under certain conditions of foliage and prior filtering in order to eliminate extrema due to noise.
Cette méthode permet une bonne caractérisation du contraste, du grain et des directions privilégiées, ainsi que des périodicités (si elles existent) d'une texture. This method allows a good characterization of the contrast, the grain and the preferred directions, as well as the periodicities (if they exist) of a texture.
Dans une fenêtre d'analyse de dimension (33 x 33), on examine pour tout point de cette fenêtre dite n statistique" 1000 points), le voisinage (3 x 3) l'entourant, et on le retient si effectivement sa luminance est maximum dans ce voisinage. In a dimension analysis window (33 x 33), the neighborhood (3 x 3) surrounding it is examined for any point in this window called n statistical "1000 points", and it is retained if its luminance is effectively maximum in this neighborhood.
Les paramètres statistiques classiques, moyenne [ MOY ] et variance [ VARl, sont calculés pour chaque point courant M dans une fenêtre (nxn) centrée sur le point courant - moyenne : MOY = #M = 1/N
The classical statistical parameters, mean [MOY] and variance [VARl, are calculated for each current point M in a window (nxn) centered on the current point - average: MOY = #M = 1 / N
La caractérisation par intégration spiralique est une variante nouvelle de la caractérisation par intégration curviligne du signal de luminance, développée suite au constat suivant
La méthode d'intégration curviligne du signal de luminance, le long de lignes d'analyse orientées a l'inconvénient d'être sensible à une rotation d'un angle inférieur au pas d'échantillonnage des orientations d'analyse (45 dans l'exemple ci-dessus).The characterization by spiral integration is a new variant of the characterization by curvilinear integration of the luminance signal, developed following the following observation
The method of curvilinear integration of the luminance signal, along oriented analysis lines has the disadvantage of being sensitive to a rotation of an angle less than the sampling pitch of the analysis orientations (45 in the example above).
Pour supprimer ce défaut, on peut augmenter le nombre de lignes d'analyse en augmentant le nombre des orientations. To eliminate this defect, the number of analysis lines can be increased by increasing the number of orientations.
Malheureusement, cela occasionne un coût de calcul prohibitif.Unfortunately, this results in a prohibitive calculation cost.
D'ou une méthode nouvelle qui consiste à calculer l'inté- grale curviligne le long d'une "spirale" centrée sur le point courant. On passe d'un vecteur de caractérisation de dimension k (k = 4 dans l'exemple) à un vecteur à une seule dimension (un seul attribut), et, cette mesure est complétée par calcul le long de cette spirale, de la valeur moyenne des niveaux de gris. Hence a new method which consists in calculating the curvilinear integral along a "spiral" centered on the current point. We go from a characterization vector of dimension k (k = 4 in the example) to a vector with a single dimension (a single attribute), and, this measurement is completed by calculation along this spiral, of the value average grayscale.
La figure 4 illustre les points de la "spirale" considérés pour l'intégration spiralique autour du point courant M. Figure 4 illustrates the points of the "spiral" considered for the spiral integration around the current point M.
Pour chaque point de l'image, deux paramètres sont ainsi obtenus
- une distance caractérisant la texture "SPI", pour laquelle l'intégrale de ds le long de la spirale atteint un seuil prédéfini
- une valeur moyenne caractérisant la composante "SPI", "MOYSPI". For each point of the image, two parameters are thus obtained
- a distance characterizing the texture "SPI", for which the integral of ds along the spiral reaches a predefined threshold
- an average value characterizing the component "SPI", "MOYSPI".
Enfin les trois derniers paramètres utilisés sont calculés par une méthode nouvelle de caractérisation dite des énergies locales des gradients, non utilisée jusqu a maintenant. Cette méthode présente l'avantage d'utiliser l'information contenue dans les gradients calculés par un algorithme de détection de contours dit de "NEVATIA", - décrits par R. NEVATIA dans un article intitulé "Linear feature extraction and description" publié dans le Vol. 13 de 1980 de Computeur Graphics and Image
Processing -.Finally, the last three parameters used are calculated by a new characterization method called local gradient energies, not used until now. This method has the advantage of using the information contained in the gradients calculated by a contour detection algorithm called "NEVATIA", - described by R. NEVATIA in an article entitled "Linear feature extraction and description" published in the Flight. 13 of 1980 by Computer Graphics and Image
Processing -.
La convolution de l'image originale par les masques de "NEVATIA" fournit, pour tout point, deux paramètres
- l'amplitude du gradient de luminance
- l'orientation du gradient de luminance.The convolution of the original image by the masks of "NEVATIA" provides, for any point, two parameters
- the amplitude of the luminance gradient
- the orientation of the luminance gradient.
La méthode de caractérisation de texture consiste alors à extraire de l'information à partir des deux paramètres précités, dans une fenêtre d'analyse centrée sur le point courant. The texture characterization method then consists in extracting information from the two aforementioned parameters, in an analysis window centered on the current point.
Dans un premier temps, une image de "l'activité" des orientations est calculée grâce à une simple détection de "contours" sur l'image des orientations. First, an image of the orientation "activity" is calculated by simply detecting "contours" on the orientation image.
Dans un second temps, pour chaque point de l'image, l'énergie, E, des images des amplitudes de gradient et de l'activité des orientations est calculée dans une fenêtre (nxn) centrée sur le point courant. Secondly, for each point of the image, the energy, E, of the images of the gradient amplitudes and of the orientation activity is calculated in a window (nxn) centered on the current point.
L'énergie E, dans une fenêtre (nxn) pour un point M(x,y) y) est donnée par
The energy E, in a window (nxn) for a point M (x, y) y) is given by
avec z(x,y) : signal de luminance au point M(x,y). with z (x, y): luminance signal at point M (x, y).
On obtient ainsi, en tout point, les deux paramètres amplitude et orientation du gradient de luminance NRJAMP > NRJORI et la variance de l'énergie E, VNRJ est calculée à partir du paramètre NRJAMP. We thus obtain, at all points, the two parameters amplitude and orientation of the luminance gradient NRJAMP> NRJORI and the energy variance E, VNRJ is calculated from the parameter NRJAMP.
Ainsi les I = 14 paramètres de caractérisation X. choisis sont calculés pour chaque image. La plupart d'entre eux étant calculés dans une fenêtre centrée sur le point courant, glissante sur l'image. Thus the I = 14 characterization parameters X. chosen are calculated for each image. Most of them are calculated in a window centered on the current point, sliding on the image.
Mais, comme indiqué ci-dessus, dans la plupart des algorithmes de caractérisation de textures, il est nécessaire de régler un certain nombre de paramètres de fonctionnement: (seuils, dimension du voisinage, ...). En particulier, la taille de la fenêtre d'analyse est prépondérante, car il existe une dépendance entre le type de texture présent (résolution) et la taille de la fenêtre d'analyse. But, as indicated above, in most of the texture characterization algorithms, it is necessary to adjust a certain number of operating parameters: (thresholds, dimension of the neighborhood, ...). In particular, the size of the analysis window is preponderant, because there is a dependence between the type of texture present (resolution) and the size of the analysis window.
Comme indiqué ci-dessus, le procédé de caractérisation et de segmentation de texture selon l'invention est indépendant de la nature de l'image et ne nécessite pas de mises au point itératives. Pour cela, comme précisé ci-dessus, la taille de la fenêtre d'analyse n'est pas fixée a priori ni modifiée éventuellement de manière itérative::
Dans sa première étape 1 sur la figure 1, le procédé consiste à calculer l'ensemble des paramètres caractérisants, ou attributs, mentionnés ci-dessus, déjà utilisés dans les différentes méthodes connues ou résultant de caractérisations nouvelles, systématiquement pour chacune de trois tailles de fenêtres d'analyse, correspondant à des résolutions d'analyse différentes
- fenêtre (33x33) pixels, correspondant au minimum statistique de dimension maximale utile pour les images à traiter
- fenêtre (7x7) pixels correspondant à la taille minimale de perception dans les images
- fenêtre (15x15) pixels qui est une fenêtre de taille intermédiaire par rapport aux deux précédentes.As indicated above, the texture characterization and segmentation method according to the invention is independent of the nature of the image and does not require iterative adjustments. For this, as specified above, the size of the analysis window is not fixed a priori nor possibly modified iteratively:
In its first step 1 in FIG. 1, the method consists in calculating all of the characterizing parameters, or attributes, mentioned above, already used in the various known methods or resulting from new characterizations, systematically for each of three sizes of analysis windows, corresponding to different analysis resolutions
- window (33x33) pixels, corresponding to the statistical minimum of maximum useful dimension for the images to be processed
- window (7x7) pixels corresponding to the minimum size of perception in the images
- window (15x15) pixels which is a window of intermediate size compared to the previous two.
La deuxième étape, étape 2 sur la figure 1, est la sélection d'un "meilleur" vecteur de caractéristiques ou vecteur discriminant à partir l'ensemble des paramètres mesurés, et ce pour chacune des trois résolutions d'analyse prédéterminées correspondant aux fenêtres d'analyse décrites ci-dessus
Pour cette sélection du vecteur discriminant, la méthode de sélection des paramètres de texture met en oeuvre un processus de recherche des meilleures combinaisons linéaires de ces paramètres Xi, par une analyse discriminante, pour remplacer les
I variables initiales par J nouvelles variables, avec J < I.The second step, step 2 in FIG. 1, is the selection of a "best" vector of characteristics or discriminating vector from all of the parameters measured, and this for each of the three predetermined analysis resolutions corresponding to the windows d described above
For this selection of the discriminating vector, the method of selecting the texture parameters implements a process of searching for the best linear combinations of these parameters Xi, by a discriminating analysis, to replace the
I initial variables by J new variables, with J <I.
L'intérêt d'une telle approche réside dans le fait qu'on opère ainsi une réduction du nombre I des attributs (14 attributs pour chaque point initialement dans l'exemple retenu), en minimisant la perte dtinformation, ce qui permet un gain de temps très appréciable lors de la classification en zones, même si le nombre de variables initiales est limité, car dès lors que la taille des échantillons est importante, ce qui est généralement le cas en traitement d'images, le nombre de valeurs à traiter peut s'en trouver limité de manière intéressante. The advantage of such an approach lies in the fact that a reduction in the number I of attributes is thus effected (14 attributes for each point initially in the example used), by minimizing the loss of information, which allows a gain of very significant time when classifying into zones, even if the number of initial variables is limited, because as soon as the size of the samples is large, which is generally the case in image processing, the number of values to be processed can to be limited in an interesting way.
Cette méthode consiste à déterminer une transformation orthogonale qui permet la projection du nuage de points de l'hyper-espace à I dimensions dans un sous-espace de dimension
J aussi faible que possible, et ceci avec un minimum de déformation et donc de perte d'information, par la méthode d'analyse factorielle discriminante
Pour cela, on utilise une connaissance sur le nombre de classes et sur des zones échantillons d'apprentissage appartenant à ces classes, acquise dans la phase 1' de modélisation des zones de textures différentes, de la manière suivante
Soient K classes à reconnaître, et une partition de N échantillons d'apprentissage en K sous-ensembles de tailles respectives ENi' N2, ..., Nk, ..., NKJ. This method consists in determining an orthogonal transformation which allows the projection of the point cloud of the I dimensional hyperspace into a dimension subspace.
J as weak as possible, and this with a minimum of deformation and therefore of information loss, by the discriminant factor analysis method
For this, we use knowledge on the number of classes and on learning sample areas belonging to these classes, acquired in phase 1 'of modeling areas of different textures, as follows
Let K classes be recognized, and a partition of N training samples into K subsets of respective sizes ENi 'N2, ..., Nk, ..., NKJ.
Le k sous-ensemble correspond à l'ensemble des échantillons de la classe C k dans l'ensemble d'apprentissage. 1l est donné par : Xk = #Xkn1 avec n t [ 1, Nkj
Sa moyenne vaut
The k subset corresponds to the set of samples of class C k in the training set. 1l is given by: Xk = # Xkn1 with nt [1, Nkj
His average is worth
Sa matrice de covariance est
Its covariance matrix is
La moyenne d'ensemble calculée sur les N échantillons d'apprentissage est
The overall average calculated over the N training samples is
La matrice de covariance sur l'ensemble des N échantillons d'apprentissage est
The covariance matrix over the set of N training samples is
Le calcul montre qu'il existe une relation entre la matrice de covariance de l'ensemble, T, et les matrices de covariance Tk des sous-ensembles, qui s'écrit T = W + B,
où W est la matrice de covariance intra classe
et B est la matrice de covariance inter-classe
The calculation shows that there is a relationship between the covariance matrix of the set, T, and the covariance matrices Tk of the subsets, which is written T = W + B,
where W is the intra-class covariance matrix
and B is the inter-class covariance matrix
La matrice de covariance totale T du nuage de points formé de K classes est égale à la somme W des matrices de covariance de chacune des K classes et de la matrice de covariance B qu'aurait ce nuage si la "masse" de chacune des classes était concentrée au "centre de gravité" de la classe, c 'est-à-dire si tous les échantillons de la classe avaient la même valeur moyenne. The total covariance matrix T of the point cloud formed by K classes is equal to the sum W of the covariance matrices of each of the K classes and of the covariance matrix B that this cloud would have if the "mass" of each of the classes was concentrated at the "center of gravity" of the class, ie if all the samples in the class had the same mean value.
Le but de l'analyse factorielle discriminante est d'obtenir une représentation du nuage dans un sous-espace de dimension J, de telle façon que les projections des classes soient les mieux séparées et que chacune d'entre elles soit la plus homogène. The goal of discriminant factor analysis is to obtain a representation of the cloud in a J-dimensional subspace, so that the class projections are the best separated and each of them is the most homogeneous.
Ceci peut s'exprimer à l'aide des variances intra-classe et inter-classe extraites des matrices de covariance W et B. This can be expressed using the intra-class and inter-class variances extracted from the covariance matrices W and B.
La variance intra-classe est définie par
The intra-class variance is defined by
La variance inter-classe est donnée par
The inter-class variance is given by
avec la relation : var(XT) = var(Xw)+var(XB)
L'analyse du rapport var(XB)/var(Xw) est intéressante.with the relation: var (XT) = var (Xw) + var (XB)
The analysis of the var (XB) / var (Xw) ratio is interesting.
Si ce rapport est élevé, cela signifie que les classes forment des ensembles homogènes bien séparés les uns des autres. If this ratio is high, it means that the classes form homogeneous sets well separated from each other.
ll sera facile de séparer les classes. It will be easy to separate the classes.
Par contre, s'il est faible, la séparation des classes sera plus difficile. On the other hand, if it is low, the separation of classes will be more difficult.
Une bonne discrimination des classes, peut s'obtenir si
- la variance intra-classe est minimum et,
- la variance inter-classe est maximum.Good class discrimination can be obtained if
- the intra-class variance is minimum and,
- the inter-class variance is maximum.
L'analyse factorielle discriminante recherche alors le sous-espace de dimension J, dans lequel le rapport var(Xb)/var(Xw) est maximum. The discriminant factorial analysis then searches for the subspace of dimension J, in which the ratio var (Xb) / var (Xw) is maximum.
Le rapport de la variance inter-classe à la variance intra-classe du nuage projeté est maximum lorsque la direction de l'axe de projection est définie par le vecteur propre associé à la plus grande valeur propre de la matrice (W 1).B). The ratio of the inter-class variance to the intra-class variance of the projected cloud is maximum when the direction of the projection axis is defined by the eigenvector associated with the largest eigenvalue of the matrix (W 1) .B ).
L'analyse factorielle discriminante réalise la projection du nuage de points sur le sous-espace engendré par les J vecteurs propres associés aux J plus grandes valeurs propres de la matrice (W#1.B). The discriminant factor analysis performs the projection of the point cloud on the subspace generated by the J eigenvectors associated with the J largest eigenvalues of the matrix (W # 1.B).
On peut noter aussi, que la matrice de covariance inter-classe B est au plus de rang K' = (K-1), si on a K classes. We can also note, that the inter-class covariance matrix B is at most of rank K '= (K-1), if we have K classes.
Si W est inversible, la matrice (W 1.B) est aussi de rang
K'. On n'obtient donc que K' valeurs propres non nulles. Il est donc inutile de projeter le nuage de points dans un espace de dimension plus élevé que le nombre de classes K moins un.If W is invertible, the matrix (W 1.B) is also of rank
K '. One thus obtains only K 'nonzero eigenvalues. It is therefore useless to project the point cloud in a space of dimension higher than the number of classes K minus one.
On peut tout aussi bien chercher à maximiser le rapport
UtBu/utTu qui est une fonction croissante de Ut . Bu/Ut .Wu lorsque W n'est pas inversible. Dans ce cas, on doit rechercher les J vecteurs propres principaux de la matrice (T B). We can just as well try to maximize the ratio
UtBu / utTu which is an increasing function of Ut. Bu / Ut .Wu when W is not invertible. In this case, one must seek the J principal eigenvectors of the matrix (TB).
Cette analyse factorielle discriminante (A. F. D . ) permet donc d'obtenir dans la représentation des plans d'inerties principaux, des projections des classes qui soient, d'une part, les mieux séparées les unes des autres, et d'autre part, les plus homogènes, prises une à une. D'une manière générale, ceci est exprimé à l'aide du critère suivant : la variance inter-classe doit être maximum et la variance intra-classe minimum et stef- fectue de la manière suivante
A partir de W, matrice de covariance intra-classe, et de
B, matrice de covariance inter-classe, le vecteur propre [ a ] tel que le rapport atBa/atWa soit maximum est recherché. This discriminating factorial analysis (AF D.) Therefore makes it possible to obtain in the representation of the main inertia planes, projections of the classes which are, on the one hand, the best separated from each other, and on the other hand, the most homogeneous, taken one by one. In general, this is expressed using the following criterion: the inter-class variance must be maximum and the intra-class variance minimum and stefect as follows
From W, intra-class covariance matrix, and from
B, inter-class covariance matrix, the eigenvector [a] such that the ratio atBa / atWa is maximum is sought.
Pour cela la matrice produit (W B) est diagonalisée. Les valeurs propres (el, e2, ..., ek, ...em) ...em) sont rangées de manière décroissante, et les vecteurs propres associés (al, a2, ..., ak, ..., am) correspondent aux différents axes factoriels. For this, the product matrix (W B) is diagonalized. The eigenvalues (el, e2, ..., ek, ... em) ... em) are ranked in descending order, and the associated eigenvectors (al, a2, ..., ak, ..., am) correspond to the different factor axes.
Dans un système d'axes discriminants Yi-Yj, on peut représenter les nuages de points projetés correspondants chacun à une classe de texture. On choisit généralement comme plan de représentation celui des deux premiers axes factoriels discriminants Y1 et Y2, comme représenté sur les figures Sa et 5b. In a system of discriminating axes Yi-Yj, we can represent the clouds of projected points each corresponding to a texture class. We generally choose as the representation plane that of the first two discriminating factor axes Y1 and Y2, as shown in Figures Sa and 5b.
Un point a pour coordonnées dans ce nouveau repère
coordonnée sur le ler axe discriminant
coordonnée sur le 2ème axe discriminant i : indice de la classe j : indice du point.A point has coordinates in this new coordinate system
coordinated on the 1st discriminating axis
coordinate on the 2nd discriminating axis i: class index j: point index.
Le centre de gravité des points d'une classe a pour coordonnée sur le ler axe discriminant
ceci en centrant les axes du centre de gravité du nuage de points d'une classe.The center of gravity of the points of a class has for coordinate on the 1st discriminating axis
this by centering the axes of the center of gravity of the point cloud of a class.
Deux cas de discrimination pour 5 classes de textures ont été représentés sur les figures Sa et 5b.Two cases of discrimination for 5 classes of texture have been shown in Figures Sa and 5b.
Dans le cas présenté sur la figure 5a, la discrimination s'effectue aisément du fait de la bonne séparabilité des classes et du caractère homogène des nuages de points. A ltopposé, le cas de la figure 5b, est plus difficile. Seules les classes 5 et 2 semblent donner des nuages homogènes, la discrimination sera moins aisée pour les autres classes, d'autant plus que les variances inter-classe sont extrêmement faibles. In the case presented in FIG. 5a, the discrimination is easily carried out due to the good separability of the classes and the homogeneous character of the point clouds. Conversely, the case of FIG. 5b is more difficult. Only classes 5 and 2 seem to give homogeneous clouds, discrimination will be less easy for the other classes, especially since the inter-class variances are extremely small.
A la suite de cette modélisation destinée à sélectionner les axes discriminants (combinaisons linéaires de paramètres caractéristiques) à partir des différents échantillons des textures distinctes repérées dans l'image, la classification de l'image est effectuée. Following this modeling intended to select the discriminating axes (linear combinations of characteristic parameters) from the different samples of the distinct textures identified in the image, the classification of the image is carried out.
Le but de la classification est d'obtenir la segmentation de l'image en plusieurs classes ainsi désignées par les échantillons repérés par l'opérateur et qui ont été modélisés. Le nombre de classes, lié au nombre de zones homogènes est connu a priori et a servi à l'apprentissage du système de décision ; ce système affecte ensuite, dans la phase de classification, l'ensemble des points à l'une ou l'autre des classes, dans une classification dite supervisée. The purpose of the classification is to obtain the segmentation of the image into several classes thus designated by the samples identified by the operator and which have been modeled. The number of classes, linked to the number of homogeneous zones is known a priori and has been used to learn the decision system; this system then assigns, in the classification phase, all of the points to one or other of the classes, in a so-called supervised classification.
Pour cela les fenêtres d'apprentissage permettent également d'établir les lois normales gaussiennes, utilisées pour l'obtention des fonctions discriminantes : une bonne classification doit trouver un nombre maximum de points affecté à la classe correspondante C. dans la fenêtre d'apprentissage associée. For this, the learning windows also make it possible to establish the normal Gaussian laws, used for obtaining the discriminating functions: a good classification must find a maximum number of points assigned to the corresponding class C. in the associated learning window .
Afin de réaliser la sélection du vecteur discriminant puis dans la phase suivante la fusion multi-résolution des segmentations obtenues pour les différentes résolutions d'analyse, une mesure locale de la qualité de la classification, ou segmentation, utilisant un critère de confiance est calculée lors de la phase de classification. La qualité de la segmentation résultante peut ainsi être améliorée. La fusion multi-résolution tient compte du fait qu'une fenêtre d'analyse de grande taille est intéressante pour la caractérisation de zones homogènes de grande surface, tandis qu'à l'opposé, une petite fenêtre d'analyse donnera de meilleurs résultats dans des zones de textures de dimension réduite. In order to carry out the selection of the discriminant vector and then in the next phase the multi-resolution fusion of the segmentations obtained for the different analysis resolutions, a local measure of the quality of the classification, or segmentation, using a confidence criterion is calculated during of the classification phase. The quality of the resulting segmentation can thus be improved. Multi-resolution fusion takes into account the fact that a large analysis window is interesting for the characterization of homogeneous areas of large surface, while on the other hand, a small analysis window will give better results in textured areas of reduced size.
Dans ce but, le procédé de segmentation est établi avec une sélection multi-taille pour les trois dimensions de fenêtre d'analyse décrites précédemment associées à trois résolutions différentes:
R1 : (7x7), R2(15x15), R3(33x33). For this purpose, the segmentation process is established with a multi-size selection for the three dimensions of the analysis window described above associated with three different resolutions:
R1: (7x7), R2 (15x15), R3 (33x33).
Une analyse du voisinage du point courant permet de retenir, parmi les classes apprises durant la phase de modélisation 1', la classe la plus probable, et d'affecter à cette classification un taux de "confiance" résultant. An analysis of the neighborhood of the current point makes it possible to retain, among the classes learned during the modeling phase 1 ′, the most probable class, and to assign to this classification a resulting rate of "confidence".
De plus, une mesure de taux de confiance est établie sur les fonctions discriminantes pour estimer la fiabilité de la classification
Soit une distribution gaussienne d'ordre N, où N est le nombre de paramètres combinés, la vraisemblance P de l'affectation d'un point M de l'image de paramètres X = #X1 ... Xi ...In addition, a confidence rate measure is established on the discriminating functions to estimate the reliability of the classification.
Let be a Gaussian distribution of order N, where N is the number of parameters combined, the likelihood P of the assignment of a point M of the image of parameters X = # X1 ... Xi ...
XI) à une classe Ci est définie par
P(X/Ci) = exp(2-Yi/2)/(2#)N/2(det(#i)
avec Ei = matrice de covariance et Y. données normalisées déduites de Xi telles que
XI) to a class Ci is defined by
P (X / Ci) = exp (2-Yi / 2) / (2 #) N / 2 (det (#i)
with Ei = covariance matrix and Y. normalized data deduced from Xi such that
où CL est le vecteur moyenne dont les composantes lli sont les moyennes des différents paramètres X.. where CL is the mean vector whose components lli are the means of the various parameters X ..
soit Log P(X/Cp+Log [ (2#)N/2]=[Log[det(#i)]+Yi]
On pose
H1 = -[Log[det (#i)+Yi]
L'étude de H1, pour chaque point permet de déterminer la classe du point. Dans le calcul du taux de confiance, on raisonne sur des valeurs absolues de H1.either Log P (X / Cp + Log [(2 #) N / 2] = [Log [det (#i)] + Yi]
We pose
H1 = - [Log [det (#i) + Yi]
The study of H1, for each point makes it possible to determine the class of the point. In calculating the confidence rate, we reason on absolute values of H1.
A titre d'exemple, la figure 6 représente les distributions gaussiennes de la vraisemblance des affectations à trois classes distinctes, C1, C2 et C3 en fonction de X. Pour un point
X, les vraisemblances d'affectation à C1, C2 et C3 sont respectivement H1C1, H1 C2 et H1C3. La classification du point par la méthode du maximum de vraisemblance est effectuée et un critère de confiance ponctuel H est calculé. As an example, Figure 6 represents the Gaussian distributions of the likelihood of assignments to three distinct classes, C1, C2 and C3 as a function of X. For a point
X, the likelihood of assignment to C1, C2 and C3 are H1C1, H1 C2 and H1C3 respectively. The classification of the point by the maximum likelihood method is carried out and a point confidence criterion H is calculated.
- Pour le point d'abscisse X sur la figure 6, H1C1 étant le maximum des HiCi, X est classé en C1 et les vraisemblances d'affectation sont classées : ici #H1C1, H1C2 et H1C3}
- La mesure de confiance tient compte de la différence
Hlmax (ici H1C1) et H1 suivant (ici H1C2). - For the abscissa point X in Figure 6, H1C1 being the maximum of HiCi, X is classified in C1 and the assignment likelihoods are classified: here # H1C1, H1C2 and H1C3}
- The confidence measure takes into account the difference
Hlmax (here H1C1) and next H1 (here H1C2).
- Puis le pourcentage caractérisant le critère de confiance ponctuel H suivant est calculé
H = (Hlmax-Hl suivant/Hlmax) x 100
- Enfin, une pondération de H en fonction de l'écart du point X par rapport à la moyenne de la classe choisie est effectuée.- Then the percentage characterizing the following point confidence criterion H is calculated
H = (next Hlmax-Hl / Hlmax) x 100
- Finally, a weighting of H as a function of the deviation of point X from the average of the chosen class is carried out.
Le schéma synoptique du traitement de fusion multi-résolution est illustré par la figure 7. A cette étape du procédé trois segmentations de l'image correspondant aux trois résolutions d'analyse R1, R2, R3 sont connues ainsi que les images de confiance associées à ces segmentations. La figure 7 symbolise la segmentation de l'image en deux zones A et B pour les trois résolutions et les images de confiance CA, C B associées. The synoptic diagram of the multi-resolution fusion processing is illustrated by FIG. 7. At this stage of the method three segmentations of the image corresponding to the three analysis resolutions R1, R2, R3 are known as well as the confidence images associated with these segmentations. FIG. 7 symbolizes the segmentation of the image into two zones A and B for the three resolutions and the associated confidence images CA, C B.
La fusion multi-résolution est alors basée sur l'analyse du voisinage du point courant, dans les images segmentées. The multi-resolution fusion is then based on the analysis of the neighborhood of the current point, in the segmented images.
Cette analyse contextuelle prend en compte les taux de confiance calculés pour chacune des trois tailles de fenêtres d'analyse, et effectue un tri majoritaire sur ce voisinage.This contextual analysis takes into account the confidence rates calculated for each of the three sizes of analysis windows, and performs a majority sort on this neighborhood.
Pour la fusion, la classe retenue Ci (ou A ou B sur la figure 7) est celle pour laquelle le nombre de points affectés à la classe k est maximum, dans le voisinage considéré et la confiance du point courant M correspond à la confiance moyenne des points de cette classe. For the fusion, the class retained Ci (or A or B on figure 7) is that for which the number of points assigned to the class k is maximum, in the neighborhood considered and the confidence of the current point M corresponds to the average confidence points of this class.
Cette méthode donne une plus grande finesse des détails (sur les frontières des différentes textures notamment), et une homogénéité plus importante des zones de textures de grande surface. Le principal résultat obtenu par ce procédé est donc qu'il permet de synthétiser une caractérisation optimale de la texture, à partir des meilleurs modèles de ltétat de ltart. This method gives greater detail (on the borders of the different textures in particular), and greater homogeneity of the areas of large surface textures. The main result obtained by this process is therefore that it allows to synthesize an optimal characterization of the texture, from the best state of the art models.
Malgré l'inconvénient d'un certain sur-coût de calcul par rapport à l'application d'un algorithme mettant en oeuvre une modélisation unique de la texture, le procédé converge rapidement vers une caractérisation concise de la texture et une segmentation de qualité. De plus, l'inconvénient de surcoût n'est pas rédhibitoire pour une exploitation interactive, car l'architecture du procédé est facilement parallélisable. Despite the disadvantage of a certain over-cost of computation compared to the application of an algorithm implementing a unique modeling of the texture, the method converges quickly towards a concise characterization of the texture and a quality segmentation. In addition, the disadvantage of additional cost is not prohibitive for an interactive exploitation, because the architecture of the process is easily parallelizable.
Par contre dans le vaste domaine des applications en imagerie aérienne, le procédé implémenté est d'un intérêt considérable, du fait de ses qualités particulières, en particulier son autonomie, un gain au niveau de la confiance attachée à la caractérisation de texture et sa possibilité d'ouverture à d'autres méthodes de caractérisation. On the other hand, in the vast field of aerial imagery applications, the implemented process is of considerable interest, because of its particular qualities, in particular its autonomy, a gain in terms of the confidence attached to the characterization of texture and its possibility. openness to other characterization methods.
La quasi-totalité des procédés d'analyse de textures connus de l'état de l'art, permettent une segmentation de bonne qualité, mais souvent avec une lourde contrainte d'exploitation
- soit le modèle utilise est approprié à une catégorie bien particulière d'images de textures homogènes,
- soit le réglage des paramètres de contrôle doit être affiné itérativement sur chaque type d'images,
- soit le nombre d'attributs de caractérisation de la texture est trop élevé.Almost all of the texture analysis methods known from the state of the art, allow good quality segmentation, but often with heavy operating constraints.
- either the model used is appropriate for a very particular category of images of homogeneous textures,
- either the adjustment of the control parameters must be refined iteratively on each type of image,
- either the number of texture characterization attributes is too high.
Le procédé selon l'invention est autonome en ce sens qu'il ne nécessite aucun paramètre de contrôle, et qu'il s'adapte automatiquement à l'image analysée. Cette qualité devient prépondérante lorsqu'on constate qu'en imagerie aérienne, très peu de textures sont homogènes sur de grandes surfaces. The method according to the invention is autonomous in the sense that it does not require any control parameter, and that it automatically adapts to the image analyzed. This quality becomes paramount when we observe that in aerial imagery, very few textures are homogeneous over large areas.
Pour évaluer le résultat d'une segmentation d'images, il est de plus nécessaire d'avoir une mesure fine de la puissance du lien qui attache chaque pixel de l'image source à une classe de texture. Cette mesure ponctuelle est définie dans le processus par le degré de confiance, et l'image de confiance ainsi générée est un critère important de la qualité de segmentation. To evaluate the result of an image segmentation, it is moreover necessary to have a fine measurement of the power of the link which attaches each pixel of the source image to a texture class. This point measure is defined in the process by the degree of confidence, and the confidence image thus generated is an important criterion of the quality of segmentation.
De plus, cette mesure peut être cruciale pour les applications nécessitant une interprétation automatique, car elle pondère la fiabilité de l'information extraite. In addition, this measurement can be crucial for applications requiring automatic interpretation, since it weighs the reliability of the information extracted.
Grâce à son procédé d'analyse contextuelle, le procédé développé produit des segmentations dont le degré de confiance est meilleur que ceux obtenus dans des segmentations par les algorithmes de l'état de l'art. Thanks to its contextual analysis method, the developed method produces segmentations whose degree of confidence is better than those obtained in segmentations by state-of-the-art algorithms.
De plus, étant donné les efforts actuellement portés sur l'analyse de textures, il est vraisemblable que dans le futur, de nouveaux modèles de caractérisation de la texture seront créés. La structure du processus est par définition ouverte à l'intégration de tels modèles, et permet de plus d'évaluer leur contribution par rapport aux modèles existants. Cette facilité est particulièrement intéressante pour améliorer, au cours du temps, la qualité des segmentations produites. In addition, given the current efforts made on texture analysis, it is likely that in the future, new texture characterization models will be created. The structure of the process is by definition open to the integration of such models, and also makes it possible to assess their contribution compared to existing models. This facility is particularly advantageous for improving, over time, the quality of the segmentations produced.
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR909003877A FR2660459B1 (en) | 1990-03-27 | 1990-03-27 | METHOD FOR SEGMENTATION OF IMAGES BY ANALYSIS OF TEXTURES. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR909003877A FR2660459B1 (en) | 1990-03-27 | 1990-03-27 | METHOD FOR SEGMENTATION OF IMAGES BY ANALYSIS OF TEXTURES. |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2660459A1 true FR2660459A1 (en) | 1991-10-04 |
FR2660459B1 FR2660459B1 (en) | 1994-07-29 |
Family
ID=9395147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR909003877A Expired - Fee Related FR2660459B1 (en) | 1990-03-27 | 1990-03-27 | METHOD FOR SEGMENTATION OF IMAGES BY ANALYSIS OF TEXTURES. |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2660459B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2705005A1 (en) * | 1993-05-05 | 1994-11-10 | Philips Laboratoire Electroniq | Device for segmenting images composed of textures from digital signals representing the said images |
US5577131A (en) * | 1993-05-05 | 1996-11-19 | U.S. Philips Corporation | Device for segmenting textured images and image segmentation system comprising such a device |
US8620078B1 (en) | 2009-07-14 | 2013-12-31 | Matrox Electronic Systems, Ltd. | Determining a class associated with an image |
CN114925746A (en) * | 2022-04-19 | 2022-08-19 | 淮阴工学院 | Target detection method based on Air-Net |
-
1990
- 1990-03-27 FR FR909003877A patent/FR2660459B1/en not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
COMPUTER VISION, GRAPHICS AND IMAGE PROCESSING, vol. 48, no. 1, octobre 1989, pages 1-21, Duluth, US; J.Y. HSIAO et al.: "Unsupervised textured image segmentation using feature smoothing and probabilistic relaxation techniques" * |
PATTERN RECOGNITION, vol. 20, no. 1, 1987, pages 17-31, Elmsford, US; S.J. ROAN et al.: "Multiple resolution imagery and texture analysis" * |
PATTERN RECOGNITION, vol. 21, no. 3, 1988, pages 261-268, Elmsford, US; A. AMADASUN et al.: "Low-level segmentation of multispectral images via agglomerative clustering of uniform neighbourhoods" * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2705005A1 (en) * | 1993-05-05 | 1994-11-10 | Philips Laboratoire Electroniq | Device for segmenting images composed of textures from digital signals representing the said images |
US5577131A (en) * | 1993-05-05 | 1996-11-19 | U.S. Philips Corporation | Device for segmenting textured images and image segmentation system comprising such a device |
EP0627693B1 (en) * | 1993-05-05 | 2004-11-17 | Koninklijke Philips Electronics N.V. | Apparatus for segmenting images composed of textures |
US8620078B1 (en) | 2009-07-14 | 2013-12-31 | Matrox Electronic Systems, Ltd. | Determining a class associated with an image |
US8873856B1 (en) | 2009-07-14 | 2014-10-28 | Matrox Electronic Systems, Ltd. | Determining a class associated with an image |
CN114925746A (en) * | 2022-04-19 | 2022-08-19 | 淮阴工学院 | Target detection method based on Air-Net |
CN114925746B (en) * | 2022-04-19 | 2023-08-01 | 淮阴工学院 | Target detection method based on Air-Net |
Also Published As
Publication number | Publication date |
---|---|
FR2660459B1 (en) | 1994-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sharifi et al. | A classified and comparative study of edge detection algorithms | |
CN108764138B (en) | Plateau area cloud and snow classification method based on multidimensional and multi-granularity cascade forest | |
EP0521548A1 (en) | Neural network device and method for data classification | |
EP3572976A1 (en) | Method for processing a video image stream | |
WO1999031530A1 (en) | Method for automatic detection of planar heterogeneities crossing the stratification of an environment | |
EP0473476A1 (en) | Straight edge real-time localisation device and process in a numerical image, especially for pattern recognition in a scene analysis process | |
EP2930659A1 (en) | Method for detecting points of interest in a digital image | |
FR2857481A1 (en) | METHOD AND DEVICE FOR DETECTING FACES IN A COLOR IMAGE | |
CN114417942B (en) | Clutter recognition method, system, device and medium | |
EP0552575A1 (en) | Procedure of polytomic segmentation | |
Roziere et al. | Tarsier: Evolving noise injection in super-resolution gans | |
FR2660459A1 (en) | Method for segmenting images by analysis of textures | |
EP0410826B1 (en) | Iterative motion estimation process, between a reference image and a current image, and device for canying out the process | |
FR3018354A1 (en) | METHOD FOR ANALYZING SEDIMENT SAMPLES WITH AUTOMATIC RECOGNITION OF NANNOFOSSILS | |
Günen et al. | A novel edge detection approach based on backtracking search optimization algorithm (BSA) clustering | |
WO2008104453A1 (en) | Method of automatically recognizing and locating entities in digital images | |
Oniga et al. | Automatic recognition of low earth orbit objects from image sequences | |
FR2685842A1 (en) | METHOD OF RECALING IMAGES | |
EP0568616A1 (en) | Vector-coded object recognition method | |
EP0530088A1 (en) | Method of detection and tracking of moving objects by analysis of sequences of images | |
CN111160486B (en) | Fuzzy image classification method based on support vector machine and wavelet decomposition | |
Sriramakrishnan et al. | Performance Analysis of Advanced Image Segmentation Techniques | |
Polavarapu et al. | Blur Image Detection and Classification using Resnet-50 | |
Kyrgyzov | Mining satellite image database of landscapes and application for urban zones: clustering, consensus and categorisation | |
EP4300129A1 (en) | Method for clustering waveform descriptions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
CL | Concession to grant licences | ||
CD | Change of name or company name | ||
ST | Notification of lapse |
Effective date: 20081125 |