FR2909205A1 - Procede de designation d'un objet dans une image. - Google Patents
Procede de designation d'un objet dans une image. Download PDFInfo
- Publication number
- FR2909205A1 FR2909205A1 FR0610403A FR0610403A FR2909205A1 FR 2909205 A1 FR2909205 A1 FR 2909205A1 FR 0610403 A FR0610403 A FR 0610403A FR 0610403 A FR0610403 A FR 0610403A FR 2909205 A1 FR2909205 A1 FR 2909205A1
- Authority
- FR
- France
- Prior art keywords
- region
- regions
- image
- merging
- origin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
La présente invention concerne un procédé de désignation d'un objet dans une image.Le procédé comporte :- une étape de désignation d'un point P1 à l'intérieur de l'objet dans l'image ;- une étape (31) de segmentation de l'image en régions élémentaires ;- une étape d'identification d'une région d'origine R1 à laquelle appartient le point P1 ;- une étape (32) de construction d'un graphe de connexité entre les régions ;- une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R1, en combinant différents critères d'appartenance ;- une étape (33) de fusion de la région d'origine R1 avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ;- les étapes de calcul de fonctions d'appartenance cles régions connexes et de fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée.L'invention s'applique notamment pour le traitement d'image en vue d'effectuer la désignation graphique d'un objet par une opération simple pour un utilisateur.
Description
1 PROCEDE DE DESIGNATION D'UN OBJET DANS UNE IMAGE La présente invention
concerne un procédé de désignation d'un objet dans une image. L'invention s'applique notamment pour le traitement d'image en vue d'effectuer la désignation graphique d'un objet par une opération simple pour un utilisateur. Un opérateur peut notamment souhaiter disposer d'une fonction automatique de délimitation d'un objet, désigné au préalable par une opération de saisie simple telle que par exemple un seul clic souris, sur une image vidéo sans avoir besoin de repérer lui-même toute une zone de pixels appartenant à l'objet, ni de dessiner une ligne de contour ou une boîte englobant l'objet. Une telle fonctionnalité est notamment intéressante pour des personnes handicapées qui ne peuvent effectuer qu'un seul clic ou une désignation d'objet équivalente et ne peuvent pas effectuer des opérations supplémentaires tel qu'un déplacement de souris pour encadrer un objet à sélectionner. Cette fonctionnalité est aussi intéressante lorsqu'une image présente une grande quantité d'objets à sélectionner. L'opérateur souhaite ainsi désigner un objet sur une image vidéo par exemple par un simple clic et obtenir automatiquement la visualisation de l'objet désigné, par une boîte englobante ou une tache de couleur par exemple. Un problème technique est la mise au point d'un traitement automatique pour la délimitation de l'image d'un objet dans une image à partir de la sélection par l'utilisateur d'un point dans l'image de l'objet. Différentes techniques de traitement d'image ont été développées, mais 25 aucune ne présente de résultats suffisamment fiables et robustes face aux variations de luminosité, de forme ou de texture des objets. Il existe des algorithmes de traitement permettant de repérer des objets dans une image lorsque ces objets ont une forme géométrique de base, du type disque ou rectangle par exemple, ou encore une couleur uniforme spécifique 30 ou des contours suffisamment nets. Ces algorithmes ne sont plus efficaces en général pour des images d'objets quelconques du fait de la complexité de leurs images, des similarités de couleurs entre objets et fonds, ou du manque de contraste notamment.
2909205 2 Une première catégorie de traitement d'image est basée sur la détection automatique des contours d'un objet. Toutefois, ce procédé induit des erreurs dues aux variations de luminosité importantes dans les images, aux effets d'ombre ou aux variations de texture, interprétés de manière erronée 5 par ce procédé comme des contours d'objets. Il existe d'autres procédés de désignation d'objet, par exemple faisant intervenir les images des deux caméras, l'une des caméras étant par exemple fixe et l'autre mobile et guidant le mouvement d'un bras d'un robot. II existe cependant un besoin pour une méthode ne requérant pas de caméra 10 supplémentaire, ni de préparation des objets à saisir, notamment pas de marquage préalable des objets à l'aide de points cibles. Dans le traitement d'images en général pour l'identification d'objets, il existe de nombreuses recherches sur la segmentation globale d'images dans le but de rechercher tous les objets présents dans une image. L'objectif 15 généralement souhaité en segmentation d'image est le découpage de l'ensemble de l'image en objets. Toutefois, la généralité de l'objectif amène à utiliser des attributs photométriques, la couleur notamment, qui à eux seuls ne permettent pas de reconstruire un objet. Par conséquent la sémantique associée aux objets reste éloignée de la sémantique qu'un être humain peut 20 lui associer. Un but de l'invention est notamment de permettre la désignation d'un objet, par une seule interaction sur une image, le différentiant du reste de l'image. A cet effet, l'invention a pour objet un procédé de désignation d'un objet dans une image, le procédé comportant : une étape de désignation d'un point P1 à l'intérieur de l'objet dans l'image ; une étape de segmentation de l'image en régions élémentaires ; une étape d'identification d'une région d'origine R1 à laquelle 30 appartient le point P1 ; - une étape de construction d'un graphe de connexité entre Iles régions ; une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R1, en combinant différents attributs d'appartenance ; 2909205 3 - une étape de fusion de la région d'origine R1 avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ; les étapes de calcul de fonctions d'appartenance des régions connexes et de 5 fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée. L'étape de fusion comporte par exemple les étapes suivantes : - une étape de calcul de la fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R1 ; 10 - une étape de fusion de la région d'origine R1 avec la région connexe la plus proche dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ; une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée ; 15 l'étape de fusion comportant par la suite les étapes itératives suivantes : une étape (71, 72) de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la nouvelle région fusionnée R; ; une étape de fusion (73) de la région fusionnée R; avec la région connexe la plus proche Ri dont la valeur de la fonction d'appartenance 20 est supérieure à un seuil donné ; une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée. Avantageusement, le calcul de la fonction d'appartenance de la région à 25 l'objet se fait par exemple par une opération floue o combinant plusieurs attributs caractérisant la dissimilitude de la région connexe Ri à la région fusionnée R;. Plusieurs types d'attributs peuvent être utilisés, dont par exemple les attributs suivants : l'éloignement de la région Ri au point de désignation P1 ; la distance du centre de gravité de la région Ri au bord de l'image ; - la densité de la région Ri définie comme le rapport de sa surface sur la surface de sa boîte englobante ; - la compacité de la région Ri définie comme le rapport du carré de son 35 périmètre sur sa surface ; 2909205 4 -la symétrie selon un axe de l'image, une région symétrique à une région appartenant à l'objet étant susceptible d'appartenir à cet objet. Avantageusement, le procédé comporte par exemple une étape de 5 reconnaissance de l'objet, ledit procédé utilisant un critère permettant de comparer l'objet aux éléments d'un dictionnaire. Le point P, est par exemple désigné au moyen d'une interface de saisie de type souris.
10 D'autres avantages et caractéristiques de l'invention apparaîtront à l'aide de la description qui suit faite en regard de dessins annexés qui représentent : - les figures la, 1 b et 1c, un exemple de segmentation selon l'art antérieur à partir d'une image originale ; - la figure 2, un exemple de résultat de segmentation souhaité ; 15 la figure 3, une illustration des étapes possibles d'un procédé selon l'invention ; les figures 4a et 4b, une illustration de deux segmentations possibles d'une image ; - la figure 5, une illustration d'un graphe de connexité utilisé dans un 20 procédé selon l'invention ; la figure 6, une illustration d'un lien de connexité ; la figure 7, une illustration des étapes possibles d'un processus itératif appliqué dans une étape de fusion des régions d'un procédé selon l'invention.
25 Les figures la, lb, 1c illustrent, à titre d'exemple, le résultat d'une méthode de segmentation globale d'une image selon l'art antérieur, la figure la présentant l'image originale, la figure 1 b une segmentation cible et la figure 1c la segmentation finalement obtenue.
30 La figure la illustre une image originale A. Le but d'une segmentation globale automatique classique est d'obtenir une image H(A) illustrée par la figure 1 b. Dans cette image H(A) on cherche à réaliser une segmentation en régions sémantiques 1 de toute l'image, dans laquelle chaque objet de premier plan 2 ou de l'arrière-plan 3 est isolé individuellement. La figure 1c illustre la figure segmentée S(A) finalement obtenue où l'on observe une sur-segmentation 2909205 5 par rapport à l'image idéale H(A), des sous-segments 4 étant créés à l'intérieur des objets. Les sous-segments 4, obtenus par segmentation automatique, forment des régions élémentaires en opposition aux régions sémantiques de la figure 1 b 5 obtenues par segmentation humaine. Plus généralement, les principales limites d'une segmentation automatique classique sont les suivantes : des régions de couleurs similaires mais éloignées faisant partie du même objet ne sont pas toujours incluses dans un même segment ; 10 des régions de couleurs similaires et proches faisant partie respectivement de l'objet et du fond peuvent être incluses dans un même segment ; des régions de couleurs très différentes, voisines, faisant partie du même objet ne sont elles aussi pas toujours incluses dans un même 15 segment ; - enfin, des régions de couleurs très différentes, voisines, faisant partie de l'objet et du fond peuvent être regroupées dans un même segment. Les seuls paramètres de distance entre régions et de couleur sont donc insuffisants pour déterminer l'appartenance d'une région à l'objet ou au fond.
20 Il est alors difficile de fusionner automatiquement des régions pour les regrouper en zones correspondant aux différents objets. Une segmentation globale classique ne permet donc pas de segmenter de manière fiable une image en objets sémantiques, puisqu'elle aboutit : soit à une sur-segmentation de l'image telle qu'illustrée par la figure 25 1c, où chaque objet est découpé en zones difficiles à regrouper ; soit à une sous-segmentation de l'image, qui ne permet pas d'isoler les objets du fond. La figure 2 est une illustration d'un exemple de résultat souhaité, pouvant 30 être obtenu par un procédé selon l'invention. Un objet 21 situé dans une partie de l'image est indiquée par un opérateur, par un simple clic de souris par exemple, et la zone de l'image correspondant à l'objet ainsi désignée est différenciée de tout le reste de l'image. Sur la figure 2, une croix 22 est un exemple de point de désignation 35 effectuée par un opérateur, par exemple au moyen d'un clic de souris. La 2909205 6 segmentation souhaitée D(A) est une segmentation binaire, la région correspondante à l'objet désigné 21 étant séparée du reste de l'image ou fond. Dans l'exemple de la figure 2, on peut notamment rendre flou tout ce qui correspond alors au fond de l'image. Ce fond contient plusieurs objets au 5 sens d'une segmentation classique. La figure 3 illustre des étapes possibles pour la mise en oeuvre du procédé selon l'invention. Le procédé comporte une étape préliminaire 30 de désignation d'un point 10 dans l'objet sur l'image. Dans une image affichée sur une interface graphique un opérateur désigne un point faisant partie de l'objet qu'il souhaite désigner, au moyen d'une interface de saisie, par exemple une souris une trackball ou tout autre dispositif adapté au profil de l'utilisateur. Dans l'exemple de la figure 2 l'objet 21 est désigné par un point représenté par une 15 croix 22. L'image peut par exemple subir une étape supplémentaire, optionnelle, de filtrage bas niveau. Dans cette étape, l'image est filtrée afin de réduire sa taille, par exemple sur un nombre réduit de couleurs. Dans une première étape 31, le procédé réalise une segmentation de l'image A en régions. L'image sur laquelle se fait la désignation est découpée 20 en régions par l'intermédiaire d'une méthode de segmentation d'image, par exemple par l'utilisation d'une technique de ligne de partage des eaux ou de diffusion anisotropique. Le procédé comporte une deuxième étape 32 de construction d'un graphe de connexité des régions. Dans cette étape, un graphe de connexité des 25 régions est déterminé à partir de cette segmentation. Dans une troisième étape 33, le procédé effectue le regroupement des régions pour recouvrir au mieux l'objet désigné. La position du clic sur l'image est par exemple utilisée comme repère pour agréger des régions supposées appartenir à l'objet. Les régions à fusionner sont déterminées par 30 des critères structurels, dépendants ou non de la position du clic. Ces critères peuvent être inclusifs ou exclusifs. Les figures 4a et 4b illustrent deux exemples de segmentation de l'image exécutée lors de la première étape 31 précitée. Cette première étape est la 35 segmentation de l'image brute ou initiale dont le but est le découpage de 2909205 7 l'image en régions homogènes. L'objectif de la segmentation esi: d'avoir des régions qui correspondent au mieux aux objets présents dans l'image, et ayant si possible des frontières régulières entre elles. Cette segmentation fournit un nombre d'éléments en nombre plus réduit que le nombre de pixels 5 de l'image initiale. A ce stade, il n'est pas possible de savoir si différentes zones appartiennent à un même objet. Les figures 4a et 4b illustrent deux exemples de segmentations de l'image originale A de la figure la, obtenues selon des méthodes, ou algorithmes, connues. La figure 4a illustre une première méthode de segmentation 10 obtenue par diffusion anisotropique, la figure segmentée 41 est obtenue par une méthode basée sur les contours. Un document Ma, W. . and B.S. Manjunath : Edge Flow : A technic for boundary detection and segmentation. IEEE Transactions on Images Processing, pp 1375-1388, Aug 2000, décrit une méthode de segmentation basée sur les contours. L'image 41 est par 15 ailleurs par exemple obtenue par une diffusion anisotropique. La diffusion anisotropique fait évoluer l'ensemble de l'image de manière à lisser les régions homogènes et à augmenter le contraste au niveau des contours. La figure 4b présente une figure segmentée 42 obtenue par la méthode dite de ligne de partage des eaux. La ligne de partage des eaux est le modèle 20 caractéristique de la segmentation d'image par les méthodes de la morphologie mathématique. Le principe de base consiste à décrire les images comme une surface topographique. Un ouvrage de G. Matheron et J. Serra The Birth of Mathematical Morphology , June 1998 décrit cette méthode.
25 De manière générale, plusieurs méthodes de segmentation en régions peuvent être utilisées. En particulier, les critères suivants peuvent être utilisés : par les contours, comme l'illustre la figure 4a ; par les ensembles de pixels connexes homogènes, comme l'illustre la 30 figure 4b. Le découpage obtenu n'est lié à aucune information sur les distances. Un résultat important est notamment que la segmentation génère des régions au plus proche des objets, en particulier au plus proche de leur structure. La segmentation permet d'avoir des régions correspondant exactement, ou 35 presque, aux différentes parties d'un objet. Une région peut notamment être 2909205 8 caractérisée par sa couleur moyenne, son centre de gravité, sa boîte englobante et sa surface. La segmentation de l'image en régions homogènes est fonction de ces paramètres. D'autres paramètres peuvent éventuellement être pris en compte.
5 Dans l'exemple d'une bouteille d'eau minérale de couleur verte en matière plastique la segmentation devrait permettre si possible d'obtenir notamment des régions correspondant respectivement au bouchon, à l'étiquette et au plastique vert.
10 La figure 5 est une illustration d'un graphe de connexité obtenu à l'issue de la deuxième étape 32 précitée. Un graphe de connexité est une structure classique utilisée en segmentation d'image pour la fusion de régions. Plus particulièrement, la figure 5 illustre à titre d'exemple un graphe de connexité 51 obtenu à partir de l'image segmentée 41 de la figure 4a. L'image d'entrée 15 est représentée par l'ensemble de ses pixels { p; }. Pa = { Rk } 1 < k < M est l'ensemble des régions formant la partition de l'image en M régions obtenue par segmentation, par exemple par la méthode de partage des eaux ou par la méthode des potentiels-contours. Cette partition se représente par un graphe d'adjacence des régions, ou graphe de connexité, G = (N, a), où : 20 - N = { 1, 2, .... M } est l'ensemble des noeuds ; a = { (i, j, 8i, j) tels que R; et Ri soient adjacents } est l'ensemble des arêtes. Une arête représente en fait un lien entre région. Chaque arête est caractérisée par une mesure de dissimilitude 8;, j qui correspond à un critère 25 de fusion entre régions. C'est notamment de ce critère que dépend la qualité de la segmentation finale, comme le montre en particulier un document de Brox, Thomas, Dirk Farin, & Peter H.N. de With : Multi-Stage Region Merging for Image Segmentation In 22"d Symposium on Information Theory in the Benelux, 30 pages 189-196, Enschede, NL, May 2001. Sur la figure 5, des traits 52 indiquent l'existence de liens de connexité entre régions 53, 54 deux à deux. Dans le graphe G = (N, a), chaque noeud 55 représente une région et chaque lien 52 est pondéré par une mesure de dissimilitude 8;, j.
35 2909205 9 La figure 6 illustre un lien de connexité entre deux régions RI, R.;. Le lien 52 est caractérisé par une mesure de dissimilitude 81, ;. Un point PI, symbolisé par la croix 22, est désigné dans la région RI à l'intérieur d'un objet 21 dans l'image. Parmi les régions voisines R; de la région RI à laquelle appartient le 5 point P1, le procédé cherche celles qui peuvent être fusionnées avec celle-ci, à l'aide du graphe de connexité, et plus particulièrement à l'aide des mesures de dissimilitude caractérisant les liens entre régions. Plus particulièrement, une région R; est fusionnée avec la région RI en fonction de la valeur de la mesure de dissimilitude 81, ;. Cette mesure de dissimilitude peut notamment 10 être fonction de plusieurs critères ou attributs, comme par exemple l'éloignement du point de clic, l'appartenance au fond, la compacité, l'aspect symétrique, la régularité de l'enveloppe, la texture ou encore les couleurs. La figure 7 illustre les étapes mises en oeuvre dans l'étape 33 de 15 regroupement, ou fusion, des régions. Dans cette étape, on cherche à obtenir un agrégat de régions pour déterminer une fenêtre entourant l'objet. La figure 7 illustre un processus de fusion des régions s'appuyant sur une nouvelle mesure de dissimilitude. La fusion part d'une région d'origine RI désignée par le clic. On prend comme hypothèse que la région RI appartient 20 à l'objet désigné. Le processus illustré par la figure 7 permet d'élargir la région RI, par fusions successives avec d'autres régions, jusqu'aux bords de l'objet sur l'image. Dans une étape préliminaire 70 au processus, une région RI est par exemple désignée, par un clic par exemple. Des régions R; sont successivement 25 fusionnées. Le déroulement itératif des étapes 71, 72, 73 du processus permet de fusionner une région à chaque itération. Lors d'une itération donnée, le processus cherche à fusionner une région voisine Ri avec une région R; déjà fusionnée à l'agrégat initialisé autour de la région Ri. Dans une première étape 71, le processus identifie la région voisine Ri la 30 plus proche de la région R; parmi les régions voisines. Une région voisine est définie comme une région ayant un lien de connexité 52 avec la région R;. La région voisine la plus proche de la région R; est la région Ri dont le lien avec la région R; présente la mesure de dissimilitude la plus faible 8min. Dans une deuxième étape 72, le processus cherche si cette région voisine Ri 35 appartient à l'objet. A cet effet, le processus exécute par exemple une 2909205 10 mesure floue d'appartenance à l'objet basée sur l'utilisation des différents critères caractérisant la mesure de dissimilitude. Ces critères sont par exemple, comme indiqué précédemment, l'éloignement du point de clic, l'appartenance au fond, la compacité ou densité, l'aspect symétrique, la 5 régularité de l'enveloppe, la texture ou encore les couleurs. Dans une troisième étape 73, la région Ri est fusionnée avec la région R; si elle appartient à l'objet, c'est-à-dire si la mesure d'appartenance est inférieure à un seuil. Le graphe de connexité est mis à jour en conséquence, en particulier le lien de connexité entre les régions Ri et R; est supprimé suite 10 à la fusion de ces deux régions. Le processus reprend alors au niveau de sa première étape 71. Lorsqu'aucune fusion n'a plus lieu, ou si aucune région voisine n'est élue, le processus s'arrête dans une étape 74.
15 Selon l'invention l'appartenance d'une région Ri à un objet 21 est déterminée à l'aide d'une fonction utilisant des opérations floues sur les mesures des différents critères parmi ceux précités. A titre d'exemple, quatre critères sont décrits par la suite. Ces critères sont combinés par des opérations de logique floue de façon à obtenir une mesure globale qui sera comparée au seuil de la 20 deuxième étape 72 du processus de fusion. Il est ainsi possible de représenter la localisation d'une région Ri par rapport au point de désignation 22, ou du clic, par une fonction dépendant à la fois : des déviations verticale et horizontale du centre de la région voisine Ri 25 considérée par rapport au centre de la région RI ; de la déviation du centre de gravité de la région correspondant à la fusion de la région RI du point de désignation 22 avec la région voisine Ri considérée, toujours par rapport à ce point de désignation 22.
30 Il est aussi possible de définir pour chaque région un critère d'appartenance au fond en fonction de sa distance au bord de l'image. On note alors g la distance du centre de gravité au bord de l'image. II est encore possible d'utiliser des mesures de densité ou de corpacité. On note A(Ri) la surface d'une région, p(Ri) le périmètre de la région et BB(R;) la 2909205 11 surface de sa boîte englobante, qui peut être par exemple un rectangle. La mesure de densité peut alors être définie par la fonction : A(R,) fD=BB(R,) et la mesure de compacité peut être définie par la fonction : P2(R;) A(R) La combinaison des différents critères se fait par des opérations de logique floue. Les quatre fonctions précédentes peuvent par exemple être combinées pour obtenir un critère d'appartenance o définie selon la relation suivante : P0 = (PB) A (pL v (PL A PD) v (PL A fls )) (1) Les symboles A et v représentent les fonctions logiques et et ou , cela signifie notamment que dans la relation (1) lorsque deux critères sont reliés par A, les deux critères sont pris en compte. Lorsque deux critères 15 sont reliés par v , l'un ou l'autre des critères est pris en compte, ou les deux à la fois. Pour une région donnée R;, le critère o est un critère d'appartenance à l'objet comportant la région RI du clic initial. Comme les autres fonctions LB, L, t[ , s, o est une fonction de la région R; 20 qui caractérise son lien avec la région voisine Rk considérée. go(Ri) forme une mesure de dissimilitude 8m;n entre la région R; et la région Rk. Plus go(Ri) est grand, plus la dissimilitude est faible. La comparaison de la deuxième étape 72 revient alors à comparer go(Ri) à un seuil, la fusion ayant lieu si go(Ri) est supérieure à ce seuil.
25 Un critère supplémentaire d'appartenance à l'objet peut être la détection des symétries dans la région résultant de la fusion de deux régions élémentaires R;, Ri. Le processus fait alors l'hypothèse que le ou les objets recherchés présentent des axes de symétrie horizontaux et verticaux. Dans de 30 nombreuses applications, les objets à désigner sont principalement des objets manufacturés et présentent en effet pour la plupart une symétrie d'axe vertical. Une méthode pour extraire les axes de symétrie, qui s'appuie sur le gradient de l'image, est décrite dans le document de D. Reisfeld, H. Wolfson 5 10 2909205 12 & Y. Yeshurun : The discrete Symmetry Transform in Computer Vision Int. J. of Computer Vision, Special Issue on Qualitative Vision, 14 : 119-130, 1995. Le processus sélectionne un pixel et cherche sur une même ligne, respectivement une même colonne, un pixel qui présente une similitude dans 5 l'image des gradients, c'est-à-dire l'image résultant de l'étape de détection des contours lors de la phase de segmentation. Le processus cherche ensuite les symétries sur une ligne, puis sur une colonne. Les points présentant une similitude sont ensuite stockés dans une table d'accumulation afin de déterminer le centre de symétrie de l'objet, le centre de symétrie étant 10 le point équidistant de tous ces points accumulés. Une méthode, permettant de détecter les point de symétrie centrale, est notamment décrite dans le document de G. Loy & A. Zelinsky : Fast Radial Symmetry for Detecting Points of Interest , IEEE Transactions on Pattern Analysis arid Machine Intelligence, 25(8) : 959-973, 2003, ISSN 0162-8828.
15 Un critère de symétrie peut alors être utilisé pour la fusion, en effet une région symétrique à une région appartenant à l'objet pourra aussi appartenir à ce même objet. Dans une variante de mise en oeuvre, le procédé selon l'invention comporte 20 une étape supplémentaire de reconnaissance. Il est alors possible de compléter la localisation et saisie de l'objet par sa reconnaissance. Dans ce cas, le procédé selon l'invention introduit un critère permettant de comparer l'objet aux éléments d'un dictionnaire. Il s'agit notamment de reconnaître l'objet compris dans la région finale. Sur une base d'images rassemblant le 25 plus possible d'objets de la vie courante, un index est défini et permet de discriminer les différents objets représentés par les images de la base. A l'issue de la fusion de régions, le procédé selon l'invention permet d'obtenir une image représentant plus ou moins un objet. Cette image est présentée à un indexeur qui calcule la distance à chacun des objets de la base et renvoie 30 la liste des objets triés par ordre de distance croissante par exemple. II est alors possible d'en déduire l'objet le plus probablement désigné. Outre les applications possibles pour améliorer la saisie d'un objet, ou pour anticiper son utilisation, cette reconnaissance peut permettre notamment d'enrichir la région finale correspondant à l'objet en y fusionnant de nouvelles 35 régions ou de remettre en cause la fusion pour supprimer certaines régions 2909205 13 ou pixels de la zone reconnue. Par exemple si la forme d'une bouteille a été reconnue, certaines régions, formant excroissance et qui ne correspondent pas à la forme d'une bouteille, peuvent être supprimées. De la même façon, certaines régions peuvent être ajoutées pour compléter la forme reconnue.
5 Les formes reconnues correspondent à des régions sémantiques qui correspondent à une segmentation plus naturelle pour l'être humain, permettant la discrimination des différents objets préhensibles. Les régions élémentaires précédentes R; sont obtenues par des techniques de segmentation automatique d'image. Les mesures floues utilisées permettent 10 de mesurer le degré d'appartenance d'une région élémentaire à une région sémantique. L'utilisation de mesures floues se prête avantageusement bien à cette incertitude sur l'appartenance d'une région à l'objet, ce dernier correspondant à une région sémantique. Dans des méthodes classiques, on peut utiliser la segmentation en régions 15 floues où un pixel appartient à une région selon un certain degré. Dans le procédé selon l'invention, à la différence de méthodes classiques dans lesquelles un pixel appartient de manière floue à une ou plusieurs régions, un pixel appartient à une seule région à la fois de manière binaire. Ce sont les régions élémentaires qui appartiennent de manièrefloue aux régions 20 sémantiques. Avantageusement, le procédé selon l'invention est moins sensible au bruit. Un autre avantage est notamment qu'il donne à la fusion un formalisme clair, permettant d'obtenir un critère d'appartenance pouvant être enrichi facilement par adjonction de critères complémentaires.
25 Avantageusement, l'invention permet de nombreuses applications. En particulier, elle permet de déclencher la saisie automatique d'un objet au moyen d'un bras manipulateur pour, par exemple : la désignation de l'objet en un clic par l'utilisateur sur l'image vidéo ; la validation du choix par l'utilisateur ; 30 -l'activation d'un bras de robot pour la saisie. Cette étape peut éventuellement être enchaînée à une étape ultérieure de reconnaissance ou d'identification de l'objet, par exemple via une indexation d'images dans une bibliothèque d'images. Le procédé de désignation d'objet selon l'invention peut aussi 35 avantageusement être enchaîné avec un procédé indépendant de saisie 2909205 14 automatique de l'objet, par exemple au moyen d'un bras de robot. Dans ce cas, l'objet est capté par une caméra, par exemple intégrée au robot. L'opérateur, par exemple une personne handicapée, désigne l'objet sur une image transmise par la caméra au moyen d'un clic ou de tout autre moyen 5 élémentaire. Le bras robot manipule par la suite l'objet désigné selon des instructions prédéfinies par exemple.
Claims (10)
1. Procédé de désignation d'un objet dans une image caractérisé en ce qu'il comporte : - une étape (30) de désignation d'un point Pi (22) à l'intérieur de l'objet (21) dans l'image ; une étape (31) de segmentation de l'image (A) en régions élémentaires (4, R;) ; une étape d'identification d'une région d'origine RI à laquelle appartient le point PI ; une étape (32) de construction d'un graphe de connexité (51) entre les régions ; - une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine RI, en combinant différents attributs d'appartenance ; une étape (33) de fusion de la région d'origine RI avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ; les étapes de calcul de fonctions d'appartenance des régions connexes et de fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée.
2. Procédé selon la revendication 1, caractérisé en ce que l'étape (33) de fusion comporte : une étape (71, 72) de calcul de la fonction d'appartenance à l'objet pour les régions connexes à la région d'origine RI ; - une étape (73) de fusion de la région d'origine RI avec la région connexe la plus proche dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ; - une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée ; la dite étape de fusion (33) comportant par la suite les étapes itératives suivantes (71, 72, 73) : une étape (71, 72) de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la nouvelle région fusionnée R; ; 2909205 16 une étape de fusion (73) de la région fusionnée R; avec la région connexe la plus proche Ri dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ; une étape de mise à jour du graphe de connexité en fonction de la 5 nouvelle région fusionnée.
3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le calcul de la fonction d'appartenance de la région à l'objet (21) se fait par une opération floue ( o) combinant plusieurs attributs 10 caractérisant la dissimilitude de la région connexe Ri à la région fusionnée R.
4. Procédé selon la revendication 3, caractérisé en ce qu'un attribut de l'opération floue est l'éloignement de la région Ri au point de désignation PI (22).
5. Procédé selon l'une quelconque des revendications 3 ou 4, caractérisé en ce qu'un attribut de l'opération floue est la distance du centre de gravité de la région Ri au bord de l'image. 20
6. Procédé selon l'une quelconque des revendications 3 à 5, caractérisé en ce qu'un attribut de l'opération floue est la densité de la région Ri définie comme le rapport de sa surface (A(Ri)) sur la surface de sa boîte englobante (BB(Ri)). 25
7. Procédé selon l'une quelconque des revendications 3 à 6, caractérisé en ce qu'un attribut de l'opération floue est la compacité de la région Ri définie comme le rapport du carré de son périmètre (p(Ri)) sur sa surface (A(Ri)).
8. Procédé selon l'une quelconque des revendications 3 à 7, caractérisé en 30 ce qu'un attribut de l'opération floue est la symétrie selon un axe de l'image, une région symétrique à une région appartenant à l'objet (21) étant susceptible d'appartenir à cet objet.
9. Procédé selon l'une quelconque des revendications précédentes, 35 caractérisé en ce qu'il comporte une étape de reconnaissance de l'objet (21), 15 2909205 17 ledit procédé utilisant un critère permettant de comparer l'objet aux éléments d'un dictionnaire.
10. Procédé selon l'une quelconque des revendications précédentes, 5 caractérisé en ce que le point PI (22) est désigné au moyen d'une interface de saisie de type souris.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0610403A FR2909205B1 (fr) | 2006-11-28 | 2006-11-28 | Procede de designation d'un objet dans une image. |
EP07847414A EP2095327A1 (fr) | 2006-11-28 | 2007-11-27 | Procede de designation d'un objet dans une image |
CA002671037A CA2671037A1 (fr) | 2006-11-28 | 2007-11-27 | Procede de designation d'un objet dans une image |
US12/516,778 US20100066761A1 (en) | 2006-11-28 | 2007-11-27 | Method of designating an object in an image |
JP2009537659A JP2010511215A (ja) | 2006-11-28 | 2007-11-27 | 画像内のオブジェクトを指示する方法 |
PCT/EP2007/062889 WO2008065113A1 (fr) | 2006-11-28 | 2007-11-27 | Procede de designation d'un objet dans une image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0610403A FR2909205B1 (fr) | 2006-11-28 | 2006-11-28 | Procede de designation d'un objet dans une image. |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2909205A1 true FR2909205A1 (fr) | 2008-05-30 |
FR2909205B1 FR2909205B1 (fr) | 2009-01-23 |
Family
ID=38066458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0610403A Expired - Fee Related FR2909205B1 (fr) | 2006-11-28 | 2006-11-28 | Procede de designation d'un objet dans une image. |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100066761A1 (fr) |
EP (1) | EP2095327A1 (fr) |
JP (1) | JP2010511215A (fr) |
CA (1) | CA2671037A1 (fr) |
FR (1) | FR2909205B1 (fr) |
WO (1) | WO2008065113A1 (fr) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2439520A1 (fr) | 2010-10-11 | 2012-04-11 | Commissariat À L'Énergie Atomique Et Aux Énergies Alternatives | Procédé de mesure de l'orientation et de la déformation élastique de grains dans des matériaux multicristallins |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8385632B2 (en) * | 2010-06-01 | 2013-02-26 | Mitsubishi Electric Research Laboratories, Inc. | System and method for adapting generic classifiers for object detection in particular scenes using incremental training |
US9558575B2 (en) | 2012-02-28 | 2017-01-31 | Blackberry Limited | Methods and devices for selecting objects in images |
FI20125278L (fi) | 2012-03-14 | 2013-09-15 | Mirasys Business Analytics Oy | Menetelmä ja järjestely ja tietokoneohjelmatuote videoitujen kohteiden tunnistamiseksi |
US9367733B2 (en) | 2012-11-21 | 2016-06-14 | Pelco, Inc. | Method and apparatus for detecting people by a surveillance system |
US10009579B2 (en) | 2012-11-21 | 2018-06-26 | Pelco, Inc. | Method and system for counting people using depth sensor |
US9639747B2 (en) * | 2013-03-15 | 2017-05-02 | Pelco, Inc. | Online learning method for people detection and counting for retail stores |
JP5834253B2 (ja) | 2013-03-27 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5849206B2 (ja) * | 2013-03-27 | 2016-01-27 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5899475B2 (ja) | 2013-04-05 | 2016-04-06 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN104346801B (zh) * | 2013-08-02 | 2018-07-20 | 佳能株式会社 | 图像构图评估装置、信息处理装置及其方法 |
GB2519130A (en) * | 2013-10-11 | 2015-04-15 | Nokia Corp | A method and apparatus for image segmentation |
CN103577829B (zh) * | 2013-11-08 | 2016-04-20 | 中安消技术有限公司 | 一种车标定位方法和装置 |
US9235903B2 (en) | 2014-04-03 | 2016-01-12 | Sony Corporation | Image processing system with automatic segmentation and method of operation thereof |
CN106097353B (zh) * | 2016-06-15 | 2018-06-22 | 北京市商汤科技开发有限公司 | 基于多层次局部区域融合的物体分割方法及装置、计算设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020176625A1 (en) * | 2001-04-04 | 2002-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for segmenting multi-resolution video objects |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803920B2 (en) * | 2000-08-04 | 2004-10-12 | Pts Corporation | Method and apparatus for digital image segmentation using an iterative method |
US6763137B1 (en) * | 2000-09-14 | 2004-07-13 | Canon Kabushiki Kaisha | Recognition and clustering of connected components in bi-level images |
FR2825817B1 (fr) * | 2001-06-07 | 2003-09-19 | Commissariat Energie Atomique | Procede de traitement d'images pour l'extraction automatique d'elements semantiques |
WO2004077358A1 (fr) * | 2003-02-28 | 2004-09-10 | Cedara Software Corporation | Systeme et procede de segmentation de zones d'image |
US7388990B2 (en) * | 2003-09-22 | 2008-06-17 | Matrox Electronics Systems, Ltd. | Local mass distribution partitioning for object recognition |
US8233712B2 (en) * | 2006-07-28 | 2012-07-31 | University Of New Brunswick | Methods of segmenting a digital image |
-
2006
- 2006-11-28 FR FR0610403A patent/FR2909205B1/fr not_active Expired - Fee Related
-
2007
- 2007-11-27 WO PCT/EP2007/062889 patent/WO2008065113A1/fr active Application Filing
- 2007-11-27 EP EP07847414A patent/EP2095327A1/fr not_active Withdrawn
- 2007-11-27 US US12/516,778 patent/US20100066761A1/en not_active Abandoned
- 2007-11-27 CA CA002671037A patent/CA2671037A1/fr not_active Abandoned
- 2007-11-27 JP JP2009537659A patent/JP2010511215A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020176625A1 (en) * | 2001-04-04 | 2002-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for segmenting multi-resolution video objects |
Non-Patent Citations (5)
Title |
---|
ADAMS R ET AL: "Seeded region growing", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 16, no. 6, June 1994 (1994-06-01), pages 641 - 647, XP002215479, ISSN: 0162-8828 * |
BEVERIDGE J R ET AL: "SEGMENTING IMAGES USING LOCALIZED HISTOGRAMS AND REGION MERGING", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, NORWELL, US, vol. 2, no. 3, January 1989 (1989-01-01), pages 311 - 347, XP008038606, ISSN: 0920-5691 * |
GRECU H ET AL: "Simplification of a color image segmentation using a fuzzy attributed graph", IMAGE PROCESSING, 2000. PROCEEDINGS. 2000 INTERNATIONAL CONFERENCE ON SEPTEMBER 10-13, 2000, PISCATAWAY, NJ, USA,IEEE, vol. 1, 10 September 2000 (2000-09-10), pages 525 - 528, XP010530667, ISBN: 0-7803-6297-7 * |
NIELSEN F ET AL: "ClickRemoval: interactive pinpoint image object removal", 13TH ANNUAL ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA ACM NEW YORK, NY, USA, 2005, pages 315 - 318, XP002436021, ISBN: 1-59593-044-2 * |
STEUDEL A ET AL: "Fuzzy segmented image coding using orthonormal bases and derivative chain coding", PATTERN RECOGNITION, ELSEVIER, KIDLINGTON, GB, vol. 32, no. 11, November 1999 (1999-11-01), pages 1827 - 1841, XP004173546, ISSN: 0031-3203 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2439520A1 (fr) | 2010-10-11 | 2012-04-11 | Commissariat À L'Énergie Atomique Et Aux Énergies Alternatives | Procédé de mesure de l'orientation et de la déformation élastique de grains dans des matériaux multicristallins |
FR2965921A1 (fr) * | 2010-10-11 | 2012-04-13 | Commissariat Energie Atomique | Procede de mesure de l'orientation et de la deformation elastique de grains dans des materiaux multicristallins |
Also Published As
Publication number | Publication date |
---|---|
EP2095327A1 (fr) | 2009-09-02 |
US20100066761A1 (en) | 2010-03-18 |
FR2909205B1 (fr) | 2009-01-23 |
CA2671037A1 (fr) | 2008-06-05 |
JP2010511215A (ja) | 2010-04-08 |
WO2008065113A1 (fr) | 2008-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FR2909205A1 (fr) | Procede de designation d'un objet dans une image. | |
CN102968637B (zh) | 一种复杂背景图像文字分割方法 | |
Lu et al. | Salient object detection using concavity context | |
Shivakumara et al. | A laplacian approach to multi-oriented text detection in video | |
WO2018145470A1 (fr) | Procédé et dispositif de détection d'image | |
FR2973540A1 (fr) | Procede d'extraction automatisee d'un planogramme a partir d'images de lineaire | |
Varnousfaderani et al. | Weighted color and texture sample selection for image matting | |
FR2825817A1 (fr) | Procede de traitement d'images pour l'extraction automatique d'elements semantiques | |
Xu et al. | Automatic building rooftop extraction from aerial images via hierarchical RGB-D priors | |
Peng et al. | Text extraction from video using conditional random fields | |
Zirari et al. | A document image segmentation system using analysis of connected components | |
US20230419457A1 (en) | Image cleanup on a mobile device | |
Lu et al. | Video text detection | |
Ngoc et al. | Document detection in videos captured by smartphones using a saliency-based method | |
Wu et al. | Text detection using delaunay triangulation in video sequence | |
FR3018354A1 (fr) | Procede d'analyse d'echantillons sedimentaires avec reconnaissance automatique de nannofossiles | |
Sun et al. | Unsupervised object extraction by contour delineation and texture discrimination based on oriented edge features | |
Ismail et al. | Detection and recognition via adaptive binarization and fuzzy clustering | |
EP0993650A1 (fr) | Procede de segmentation et de reconnaissance d'un document, notamment d'un plan technique | |
Zirari et al. | A simple text/graphic separation method for document image segmentation | |
WO2004013802A2 (fr) | Procede et systeme de localisation automatique de zones de texte dans une image | |
Vilaplana et al. | Object detection and segmentation on a hierarchical region-based image representation | |
EP0530088A1 (fr) | Procédé de détection et de suivi d'objets en mouvement par analyse de séquences d'images | |
FR2774493A1 (fr) | Procede de segmentation spatiale d'une image en objets visuels et application | |
Leena et al. | Generating Graph from 2D Flowchart using Region-Based Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20120731 |