FR3126253A1 - Process for normalizing the variability of an image, application of this process to anomaly detection and visual inspection system implementing this detection - Google Patents
Process for normalizing the variability of an image, application of this process to anomaly detection and visual inspection system implementing this detection Download PDFInfo
- Publication number
- FR3126253A1 FR3126253A1 FR2108810A FR2108810A FR3126253A1 FR 3126253 A1 FR3126253 A1 FR 3126253A1 FR 2108810 A FR2108810 A FR 2108810A FR 2108810 A FR2108810 A FR 2108810A FR 3126253 A1 FR3126253 A1 FR 3126253A1
- Authority
- FR
- France
- Prior art keywords
- reference images
- target image
- normalization
- images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000011179 visual inspection Methods 0.000 title claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001747 exhibiting effect Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 238000005192 partition Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000011425 standardization method Methods 0.000 description 2
- 241001091433 Itea Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Procédé pour normaliser la variabilité d’une image, application de ce procédé à la détection d’anomalie et système d’inspection visuelle implémentant cette détection Procédé pour normaliser la variabilité d’une image cible par rapport à un ensemble d’images de référence d’au moins un objet d’intérêt, cette image cible et ces images de référence étant acquises par une caméra prévue pour observer une surface ou un volume d’analyse de l’objet, l’ensemble d’images de référence présentant une variabilité de position et/ou d’éclairage par rapport à une référence de position préalablement choisie et une variabilité de texture. Le procédé comporte (i) un traitement des images de référence comprenant les étapes de segmentation des images de référence pour y sélectionner un objet d’intérêt et générer un masque de l’objet, normalisation en position des images segmentées par rapport à la référence de position, normalisation en texture de l’ensemble d’images de référence, par apprentissage auto-supervisé d’un réseau de neurones sur l’ensemble d’images de référence, (ii) un pré-traitement de l’image cible comprenant les étapes de segmentation de l’image cible avec le masque de l’objet, normalisation en position de l’image cible segmentée puis normalisation de l’image cible segmentée, et normalisation en texture de l’image cible ainsi segmentée et normalisée en position. Figure pour l’abrégé : Figure 1Method for normalizing the variability of an image, application of this method to anomaly detection and visual inspection system implementing this detection Method for normalizing the variability of a target image with respect to a set of reference images d at least one object of interest, this target image and these reference images being acquired by a camera designed to observe a surface or an analysis volume of the object, the set of reference images having a variability of position and/or lighting relative to a previously chosen position reference and a texture variability. The method comprises (i) a processing of the reference images comprising the steps of segmenting the reference images to select therein an object of interest and generating a mask of the object, normalization in position of the segmented images with respect to the reference of position, texture normalization of the set of reference images, by self-supervised learning of a neural network on the set of reference images, (ii) pre-processing of the target image comprising the steps of segmentation of the target image with the mask of the object, normalization in position of the segmented target image then normalization of the segmented target image, and normalization in texture of the target image thus segmented and normalized in position. Figure for abstract: Figure 1
Description
Domaine de l’inventionField of the invention
La présente invention vise un procédé pour normaliser la variabilité d’une image. Elle vise également une application de ce procédé de normalisation à la détection d’anomalie, ainsi qu’un système d’inspection visuelle implémentant cette application de détection.The present invention relates to a method for normalizing the variability of an image. It also targets an application of this normalization process to anomaly detection, as well as a visual inspection system implementing this detection application.
Le domaine de l’invention est plus particulièrement celui du contrôle qualité en production industrielle automatisée.The field of the invention is more particularly that of quality control in automated industrial production.
Etat de la techniqueState of the art
Le contrôle de la qualité dans les lignes de production a longtemps été effectué par des opérateurs humains. Or, l'automatisation du processus permet d'accélérer, de réduire le coût de production et de lisser les variations de performances dues à la fatigue des opérateurs [1, 2].Quality control in production lines has long been carried out by human operators. However, the automation of the process makes it possible to accelerate, to reduce the cost of production and to smooth out the variations in performance due to the fatigue of the operators [1, 2].
Comme souligné dans plusieurs revues [3], [4], la détection d'anomalies n'est pas un problème de classification classique [5], qui nécessite des classes bien équilibrées et bien définies. Les anomalies ne forment pas une classe ni même plusieurs classes. Elles sont rares et n'ont pas de modèle défini. Les objets sur lesquels détecter les anomalies peuvent également être extrêmement divers. Il est vrai que des algorithmes spécifiques fonctionnent bien pour des cas plus simples comme des motifs répétitifs dans le textile en utilisant la représentation de Fourier [6] ou lorsqu'une référence parfaite est disponible [7]. Pourtant, il n'y a pas de principe général caractérisant la normalité en raison de la nature complexe des objets « normaux ». Une méthode automatique auto-supervisée travaillant avec une large gamme d'objets est confrontée à la variabilité de l'apparence des objets normaux, causée par exemple par des réflexions lumineuses changeantes ou une texture variable.As pointed out in several reviews [3], [4], anomaly detection is not a classical classification problem [5], which requires well-balanced and well-defined classes. Anomalies do not form a class or even several classes. They are rare and have no definite pattern. The objects on which to detect anomalies can also be extremely diverse. It is true that specific algorithms work well for simpler cases like repetitive patterns in textiles using Fourier representation [6] or when a perfect reference is available [7]. Yet there is no general principle characterizing normality due to the complex nature of "normal" objects. A self-supervised automatic method working with a wide range of objects is confronted with the variability in the appearance of normal objects, caused for example by changing light reflections or variable texture.
Les détecteurs d'anomalies sont nécessaires pour automatiser le contrôle qualité industriel. Cependant, la fabrication de tels détecteurs est difficile en raison de la complexité et de la variabilité de l'objet, même en travaillant uniquement avec des objets rigides.Anomaly detectors are necessary to automate industrial quality control. However, the fabrication of such detectors is difficult due to the complexity and variability of the object, even when working only with rigid objects.
La détection d'anomalies est un problème industriel de base qui reçoit beaucoup d'attention ces derniers temps, surtout après la publication d'un nouveau jeu de données de référence par MvTec [8]. Une revue récente [4] classe les détecteurs d'anomalies en cinq catégories principales :Anomaly detection is a basic industrial problem that is receiving a lot of attention lately, especially after the release of a new benchmark dataset by MvTec [8]. A recent review [4] classifies anomaly detectors into five main categories:
Modèles de fond stochastiques: Le principe de ces méthodes de détection d'anomalies est que les anomalies se produisent dans les régions à faible probabilité du modèle de fond [9, 10, 11]. Stochastic background models : The principle of these anomaly detection methods is that anomalies occur in low probability regions of the background model [9, 10, 11].
Modèle de fond homogène: Ces méthodes estiment et généralement soustrait le fond de l'image pour obtenir une représentation d'image résiduelle sur laquelle la détection est finalement effectuée [12, 13]. Homogeneous background model : These methods estimate and usually subtract the background from the image to obtain a residual image representation on which detection is ultimately performed [12, 13].
Modèles d'homogénéité locale: détection centre-entourage. Ces méthodes sont souvent utilisées pour créer des cartes de saillance. Leur justification est que les anomalies (ou saillance) se produisent comme des événements locaux contrastant avec leur environnement [14, 15, 16]. La principale limitation de ce modèle est qu'une anomalie locale n'est pas nécessairement une anomalie globale. Local homogeneity models : center-surround detection. These methods are often used to create salience maps. Their rationale is that anomalies (or salience) occur as local events contrasting with their environment [14, 15, 16]. The main limitation of this model is that a local anomaly is not necessarily a global anomaly.
Modèles d'arrière-plan variationnels basés sur la parcimonie: Une tendance non paramétrique récente consiste à apprendre un dictionnaire clairsemé représentant le contexte (c'est-à-dire la normalité) et à caractériser les valeurs aberrantes par leur non-parité. Pour cela chaque patch de l'image est projeté sur le dictionnaire et détecté comme anormal en fonction de la qualité de la reconstruction ainsi que du nombre d'éléments du dictionnaire utilisés pour la reconstruction [17, 18, 19, 20]. Parsimony-based variational background models : A recent nonparametric trend is to learn a sparse dictionary representing context (i.e., normality) and characterize outliers by their non-parity. For this each patch of the image is projected on the dictionary and detected as abnormal according to the quality of the reconstruction as well as the number of elements of the dictionary used for the reconstruction [17, 18, 19, 20].
Modèles d'arrière-plan auto-similaires non locaux: L'hypothèse de base de ce modèle d'arrière-plan générique, applicable à la plupart des images, est que dans les données normales, chaque patch d'image appartient à un cluster dense dans l'espace de patch de l'image. Les anomalies se produisent plutôt loin de leurs plus proches voisins. Cette définition d'une anomalie peut être implémentée en regroupant les patchs images ou par une recherche de voisin le plus proche menant à une mesure directe de de rareté [21, 22]. Non-local self-similar background patterns : The basic assumption of this generic background pattern, applicable to most images, is that in normal data each image patch belongs to a cluster dense in the image patch space. Anomalies occur rather far from their nearest neighbors. This definition of an anomaly can be implemented by grouping the image patches or by a nearest neighbor search leading to a direct measurement of rarity [21, 22].
Plus récemment, des méthodes sophistiquées basées sur l'apprentissage en profondeur ont également été utilisées pour tenter de résoudre ce problème. ITEA [23] procède sur des images en niveaux de gris, normalise leur orientation et forme un auto-encodeur sur des images sans anomalie. AESC [24] est similaire sauf qu'ici le réseau est entraîné à débruiter l'image d'un bruit de tache. SPADE [25] crée une base de caractéristiques à partir d'un réseau de neurones pré-entraîné avec les images de référence et utilise la norme L2 entre les caractéristiques d'une image et son k-NN (algorithme des plus proches voisins) de la base de référence comme score. Il implique des fonctionnalités à différentes couches pour effectuer une analyse à plusieurs échelles. Des GAN (pour « Generative Adversarial Networks ») ont également été utilisés pour détecter des anomalies dans des images médicales [26, 27].More recently, sophisticated methods based on deep learning have also been used to try to solve this problem. ITEA [23] proceeds on grayscale images, normalizes their orientation and forms an auto-encoder on images without anomaly. AESC [24] is similar except that here the network is trained to denoise the image from speckle noise. SPADE [25] creates a feature base from a pre-trained neural network with the reference images and uses the L2 norm between the features of an image and its k-NN (nearest neighbor algorithm) of the baseline as a score. It involves features at different layers to perform analysis at multiple scales. GANs (for “Generative Adversarial Networks”) have also been used to detect abnormalities in medical images [26, 27].
Le documentWO2015/085189divulgue un procédé de réduction de la variabilité d’un analyseur au moyen d’une cible de normalisation, comprenant l’inclusion dans l’instrument d’une cible de normalisation disposée directement ou indirectement dans le trajet optique du système optique.Document WO2015/085189 discloses a method for reducing the variability of an analyzer by means of a normalization target, comprising the inclusion in the instrument of a normalization target disposed directly or indirectly in the optical path of the system optical.
Le documentUS8640015B2divulgue un procédé de détection d’anomalie dans une base de données directionnelles obtenues en séquence à partir d'un objet surveillé. Ce procédé de détection d'anomalie comprend une génération séquentielle de données directionnelles indiquant une caractéristique de chaque élément de données surveillées en correspondance avec les données surveillées qui sont entrées en séquence, un calcul de la dissemblance des données directionnelles par rapport à un vecteur de référence, une mise à jour de la distribution de la dissemblance apparaissant lorsque les données directionnelles sont modélisées avec une distribution de probabilité multidimensionnelle, basée sur l'instant correspondant déjà aux données surveillées, un calcul d’un paramètre déterminant la variance de la distribution de probabilité multidimensionnelle, sur la base du moment, un calcul d’un seuil de dissimilarité à partir de la distribution de probabilité multidimensionnelle dont la variance est déterminée par le paramètre; et une détection d’une anomalie dans les données surveillées qui correspond à la dissemblance si cette dissemblance dépasse le seuil.Document US8640015B2 discloses a method for detecting anomalies in a directional database obtained in sequence from a monitored object. This anomaly detection method includes sequential generation of directional data indicating a characteristic of each piece of monitored data in correspondence with the monitored data which is input in sequence, calculation of the dissimilarity of the directional data with respect to a reference vector , an update of the dissimilarity distribution occurring when the directional data is modeled with a multidimensional probability distribution, based on the time already corresponding to the monitored data, a calculation of a parameter determining the variance of the probability distribution multidimensional, based on momentum, calculating a dissimilarity threshold from the multidimensional probability distribution whose variance is determined by the parameter; and detecting an anomaly in the monitored data that matches the dissimilarity if the dissimilarity exceeds the threshold.
Le documentKR101916347B1divulgue un procédé de comparaison d'images comprenant une réception, par une fonction de réseau pré-appris, de premières données d'image et de deuxièmes données d'image ayant une corrélation, une détermination d’informations relatives à une anomalie des secondes données d'image sur la base des premières données d'image et des secondes données d'image reçues; et une génération d’informations d’anomalie déterminées par la fonction de réseau. KR101916347B1 discloses an image comparison method comprising receiving, by a pre-learned network function, first image data and second image data having a correlation, determining abnormality information second image data based on the received first image data and second image data; and generating abnormality information determined by the network function.
Le documentWO2020004815divulgue un procédé pour déterminer une anomalie de données d'image, comprenant les étapes suivantes : une fonction réseau pré-apprise reçoit des données d'image. Les données d'image sont classées à l'aide de la fonction de réseau pré-appris. Des valeurs de notation pour chaque classe pour classer les données d'image sorties de la fonction de réseau pré-appris sont obtenues. Et, sur la base des valeurs de notation pour chaque classe, il est déterminé si une anomalie existe dans les données d'image.Document WO2020004815 discloses a method for determining an abnormality of image data, comprising the following steps: a pre-trained network function receives image data. The image data is classified using the pre-learned network function. Scoring values for each class for classifying the image data output from the pre-trained network function are obtained. And, based on the rating values for each class, it is determined whether an abnormality exists in the image data.
Le documentUS9679224B2divulgue un système et procédé d'apprentissage de plusieurs modèles de reconnaissance et d'enregistrement de formes commençant par un premier modèle de forme. Le modèle est entraîné à partir de plusieurs images. Les modèles composites peuvent être utilisés pour améliorer la robustesse ou modéliser de petites différences d'apparence d'une région cible. Les modèles composites combinent les données d'images d'entraînement bruitées montrant des instances de modèles sous-jacents pour créer un modèle unique. Un modèle de reconnaissance et de recalage de formes est généré et couvre toute la gamme d'apparences du motif cible dans l'ensemble d'images d'apprentissage. L'ensemble de modèles de motifs peut être implémenté en tant qu'instances distinctes de modèles de recherche de motifs ou en tant que multi-modèles de motifs. US9679224B2 discloses a system and method for training multiple pattern recognition and registration patterns starting with a first pattern pattern. The model is trained from several images. Composite models can be used to improve robustness or model small differences in appearance of a target region. Composite models combine data from noisy training images showing instances of underlying models to create a single model. A pattern recognition and registration model is generated that covers the full range of appearances of the target pattern in the set of training images. The set of pattern templates can be implemented as separate instances of pattern search templates or as multi-pattern templates.
Le documentUS10846531B2divulgue un procédé de détection automatique d'anomalie à partir d'images aériennes d'un objet d'intérêt. Le procédé peut comprendre la génération d'un modèle de codage de données correspondant à une catégorie d'actifs en entraînant un réseau neuronal avec un ensemble d'images numériques d'apprentissage représentant un actif dans un état exempt d'anomalies. Le procédé peut comprendre en outre la réception d'une image numérique cible représentant un actif cible, et la reconstruction de l'image numérique cible à l'aide du modèle de codage de données pour générer une image numérique cible décodée associée à l'état exempt d'anomalies. Le modèle de codage de données peut être auto-supervisé pour apprendre à se reconstruire dans un état sans anomalie. Le procédé peut également comprendre la comparaison de l'image numérique cible à l'image numérique cible décodée pour générer une carte de différence et, en réponse à une détermination selon laquelle la carte de différence représente une anomalie, générer des données d'alerte d'anomalie.Document US10846531B2 discloses an automatic anomaly detection method from aerial images of an object of interest. The method may include generating a data coding model corresponding to an asset class by training a neural network with a set of digital training images representing an asset in an anomaly-free state. The method may further include receiving a target digital image representing a target asset, and reconstructing the target digital image using the data encoding model to generate a decoded target digital image associated with the state free of anomalies. The data coding model can be self-supervised to learn to rebuild itself into an anomaly-free state. The method may also include comparing the target digital image to the decoded target digital image to generate a difference map and, in response to a determination that the difference map represents an anomaly, generating alert data to 'anomaly.
Le documentEP3588368A2divulgue un procédé d'analyse d'image comprenant une saisie de données d'analyse incluant des informations concernant une cellule cible d'analyse dans un algorithme d'apprentissage en profondeur, une implémentation d’une structure de réseau neuronal, une analyse d’une image en calculant, à l'aide de l'algorithme d'apprentissage en profondeur, une probabilité que la cellule cible d'analyse appartient à chacune des classifications morphologiques d'une pluralité de cellules appartenant à un groupe cellulaire prédéterminé. EP3588368A2 discloses an image analysis method comprising inputting analysis data including information about an analysis target cell into a deep learning algorithm, implementing a neural network structure, analyzing an image by calculating, using the deep learning algorithm, a probability that the analysis target cell belongs to each of the morphological classifications of a plurality of cells belonging to a predetermined cell group.
Ces procédés d’analyse, de détection ou de normalisation de l’art antérieur présentent l’inconvénient de ne pas être explicables, et donc moins prédictibles sur leurs performances en plus d’être moins performants tout court dans la détection d’anomalies. Un objectif de l’invention est ainsi de proposer un nouveau procédé de normalisation qui présente de meilleures performances que les procédés actuels tout en étant aisément implémentable dans un système d’inspection visuelle pour le contrôle qualité sur une ligne de production.These analysis, detection or standardization methods of the prior art have the disadvantage of not being explainable, and therefore less predictable in terms of their performance, in addition to being less efficient altogether in the detection of anomalies. An objective of the invention is thus to propose a new standardization process which has better performance than current processes while being easily implementable in a visual inspection system for quality control on a production line.
Cet objectif est atteint avec un procédé pour normaliser la variabilité d’une image cible par rapport à un ensemble d’images de référence d’au moins un objet d’intérêt, ladite image cible et lesdites images de référence étant acquises par une caméra prévue pour observer une surface ou un volume d’analyse dudit au moins un objet, ledit ensemble d’images de référence présentant une variabilité de position par rapport à une référence de position préalablement choisie et une variabilité de texture et/ou d’éclairage,This objective is achieved with a method for normalizing the variability of a target image with respect to a set of reference images of at least one object of interest, said target image and said reference images being acquired by a camera provided to observe a surface or an analysis volume of said at least one object, said set of reference images exhibiting a position variability with respect to a previously chosen position reference and a texture and/or lighting variability,
ce procédé comportant un traitement des images de référence comprenant les étapes de :this method comprising a processing of the reference images comprising the steps of:
- segmentation de la référence de position, par une méthode de segmentation ou en sélectionnant un objet d’intérêt et en générant un masque dudit objet,segmentation of the position reference, by a segmentation method or by selecting an object of interest and generating a mask of said object,
- normalisation en position et/ou couleur desdites images de référence par rapport à ladite référence de position,standardization in position and/or color of said reference images with respect to said position reference,
- segmentation desdites images de référence normalisées en position avec ledit masque de l’objet,segmentation of said reference images normalized in position with said mask of the object,
- normalisation en texture de l’ensemble d’images de référence, par apprentissage auto-supervisé d’un réseau de neurones sur ledit ensemble d’images de référence,texture normalization of the set of reference images, by self-supervised learning of a neural network on said set of reference images,
ce procédé comportant en outre un pré-traitement de l’image cible comprenant les étapes de :this method further comprising a pre-processing of the target image comprising the steps of:
- normalisation en position de ladite image ciblenormalization in position of said target image
- segmentation de l’image cible avec ledit masque de l’objet,segmentation of the target image with said object mask,
- normalisation en texture et/ou couleur de l’image cible ainsi segmentée et normalisée en position, par inférence dudit réseau de neurones auto-supervisé sur ladite image cible.normalization in texture and/or color of the target image thus segmented and normalized in position, by inference from said self-supervised neural network on said target image.
Les images de référence peuvent en outre présenter une variabilité de leurs arrière-plans respectifs et/ou une variabilité de couleur qui est compensée par une normalisation d’histogramme de couleur.The reference images may further exhibit variability in their respective backgrounds and/or color variability which is compensated by color histogram normalization.
Le réseau de neurones auto-supervisé utilisé pour la normalisation texturale des images peut être de type U-Net.The self-supervised neural network used for the textural normalization of the images can be of the U-Net type.
Le prétraitement des images de référence peut en outre comprendre une création d’un modèle de pré-traitement comprenant la référence de position, le masque de l’objet, les images de référence segmentées et normalisées en position et en texture.The pre-processing of the reference images may further comprise a creation of a pre-processing model including the position reference, the object mask, the reference images segmented and normalized in position and in texture.
Ce modèle de pré-traitement peut en outre comprendre des poids du réseau de neurones auto-supervisé.This pre-processing model may further include weights of the self-supervised neural network.
L’étape de normalisation texturale peut comprendre une suite de comparaisons d’une image de référence au sein de l’ensemble d’images de référence avec une autre image de référence au sein dudit ensemble d’images de référence, deux à deux sur une partie ou sur l’intégralité dudit ensemble d’images de référence.The textural normalization step may comprise a sequence of comparisons of a reference image within the set of reference images with another reference image within said set of reference images, two by two on one part or all of said set of reference images.
Le procédé de normalisation selon l’invention peut en outre avantageusement comprendre une sélection préalable de patchs ou portions des images de référence et ce que les étapes de pré-traitement sont appliquées sur lesdits patchs ou portions d’images de référence ainsi sélectionnés.The normalization method according to the invention can also advantageously comprise a prior selection of patches or portions of the reference images and that the pre-processing steps are applied to said patches or portions of reference images thus selected.
La sélection préalable de patchs peut comprendre une sélection des N plus proches voisins au sens d’une distance entre les images ou patchs de manière à éviter de sélectionner des objets qui seraient trop différents et ainsi ajuster le niveau de variabilité résiduelle de l’ensemble de référence.The prior selection of patches can include a selection of the N nearest neighbors in the sense of a distance between the images or patches so as to avoid selecting objects that would be too different and thus adjust the level of residual variability of the set of reference.
L’étape de normalisation en position peut mettre en œuvre un algorithme de type Inverse Compositional.The positional normalization step can implement an Inverse Compositional type algorithm.
Suivant un autre aspect de l’invention, il est proposé une application du procédé de normalisation selon l’invention, pour détecter une anomalie à partir d’une image cible d’au moins un objet d’intérêt en comparaison avec un ensemble d’images de référence dudit au moins un objet d’intérêt, mettant en œuvre le procédé de normalisation selon l’invention, ladite image cible et lesdites images de référence étant acquises par une caméra prévue pour observer une surface ou un volume d’analyse dudit au moins un objet, ledit ensemble d’images de référence présentant une variabilité de position par rapport à une référence de position préalablement choisie et une variabilité de texture, ce procédé de détection comportant :According to another aspect of the invention, an application of the normalization method according to the invention is proposed, to detect an anomaly from a target image of at least one object of interest in comparison with a set of reference images of said at least one object of interest, implementing the normalization method according to the invention, said target image and said reference images being acquired by a camera provided for observing a surface or an analysis volume of said at least at least one object, said set of reference images exhibiting a position variability with respect to a previously chosen position reference and a texture variability, this detection method comprising:
- une séquence de normalisation dudit au moins un objet, comprenant un apprentissage auto-supervisé d’un réseau de neurones sur ledit ensemble d’images de référence et sur ladite image cible pour produire des images de référence et une image cible normalisées en position et en texture,a normalization sequence of said at least one object, comprising self-supervised training of a neural network on said set of reference images and on said target image to produce reference images and a target image normalized in position and in texture,
- une séquence multi-échelle comprenant une étape pour estimer une image auto-similaire à partir de l’image cible prétraitée, une étape pour soustraire l’image auto-similaire de l’image cible pré traitée de manière à obtenir des cartes binaires et des résidus pour une série d’échelles, une étape pour fusionner les cartes binaires obtenues à différentes échelles eta multi-scale sequence comprising a step for estimating a self-similar image from the preprocessed target image, a step for subtracting the self-similar image from the preprocessed target image so as to obtain binary maps and residuals for a series of scales, a step to merge the bitmaps obtained at different scales and
- une étape pour délivrer un score de normalité dudit au moins un objet d’intérêt à partir de la carte binaire issue de ladite étape de fusion et d’un résidu calculé à partir de l’ensemble des résidus correspondant aux différentes échelles.a step for delivering a normality score of said at least one object of interest from the binary map resulting from said merging step and a residual calculated from the set of residuals corresponding to the different scales.
L’étape pour estimer une image auto-similaire û à partir de l’image cible prétraitée u peut utiliser une méthode de débruitage.The step for estimating a self-similar image û from the preprocessed target image u can use a denoising method.
Cette méthode de débruitage peut comprendre une comparaison de chaque image cible prétraitée avec les images de référence, ou en comparant chaque patch de l’image cible prétraitée avec des patchs de référence.This denoising method can include comparing each preprocessed target image with reference images, or comparing each patch of the preprocessed target image with reference patches.
Les patchs de référence utilisés pour la comparaison avec le patch de l’image cible prétraitée sont sélectionnés selon l’algorithme des plus proches voisins, en faisant varier le nombre K de voisins selon la variabilité résiduelle de l’ensemble de référence.The reference patches used for the comparison with the patch of the preprocessed target image are selected according to the nearest neighbors algorithm, by varying the number K of neighbors according to the residual variability of the reference set.
L’application de détection selon l’invention peut en outre comprendre une étape pour restreindre la recherche des patchs de référence à une fenêtre de taille M x N autour du patch cible prétraité, ainsi qu’une extension de la recherche sur la globalité de l’image dans un espace modifié de type arbre k-d pour accélérer la recherche, lorsqu’un nombre insuffisant de patchs de référence est trouvé dans une fenêtre locale au sens des plus proches voisins.The detection application according to the invention may further comprise a step for restricting the search for the reference patches to a window of size M x N around the preprocessed target patch, as well as an extension of the search on the whole of the image in a modified space of k-d tree type to speed up the search, when an insufficient number of reference patches are found in a local window in the sense of nearest neighbors.
L’étape de comparaison peut être répétée en choisissant une échelle différente de l’image, parmi une série d’échelles.The comparison step can be repeated by choosing a different scale of the image, among a series of scales.
L’application de détection selon l’invention peut aussi comprendre un calcul d’un seuil à partir d’une hypothèse statistique sur la nature du résidu et un nombre de fausses alarmes acceptables. The detection application according to the invention can also comprise a calculation of a threshold based on a statistical hypothesis on the nature of the residue and a number of acceptable false alarms .
La méthode de débruitage de patchs peut mettre en œuvre un algorithme de type Non Local Means.The patch denoising method can implement a Non Local Means type algorithm.
L’application de détection selon l’invention peut en outre comprendre un calcul d’un score d’activation comportant les étapes de :The detection application according to the invention may further comprise a calculation of an activation score comprising the steps of:
- normaliser les résidus obtenus à différentes échelles selon la moyenne et l’écart type des résidus des images de l’ensemble de référence,normalize the residuals obtained at different scales according to the mean and the standard deviation of the residuals of the images of the reference set,
- obtenir les cartes binaires correspondantes à différentes échelles en utilisant un seuil sur les résidus,obtain the corresponding bitmaps at different scales using a threshold on the residuals,
- fusionner les cartes binaires obtenues à différentes échelles,merge the bitmaps obtained at different scales,
- calculer un score de normalité pour chaque objet défini comme la somme de la valeur absolue des résidus à différentes échelles dans la carte binaire fusionnée pour chaque pixel.calculate a normality score for each object defined as the sum of the absolute value of the residuals at different scales in the merged bitmap for each pixel.
L’application de détection selon l’invention peut également comprendre une génération d’une alerte basée sur la valeur d’un score de normalité d’un objet par rapport à un seuil déterminé, ainsi qu’une prédétermination d’un seuil de détection à partir d’une image contenant le motif à détecter.The detection application according to the invention can also comprise a generation of an alert based on the value of a normality score of an object with respect to a determined threshold, as well as a predetermination of a detection threshold from an image containing the pattern to be detected.
Le seuil de détection peut être prédéterminé :The detection threshold can be predetermined:
- à partir d’une portion de l’ensemble de référence appelé ensemble de validation, en plaçant le seuil au-delà d’un certain pourcentage de tolérance de faux positifs,from a portion of the reference set called the validation set, by placing the threshold beyond a certain false positive tolerance percentage,
- en modélisant la distribution des scores d’activation de l’ensemble de validation et en plaçant le seuil selon une hypothèse statistique sur cette distribution.by modeling the distribution of the activation scores of the validation set and placing the threshold according to a statistical hypothesis on this distribution.
Suivant encore un autre aspect de l’invention, il est proposé un système d’inspection visuelle pour contrôler la qualité d’un ensemble de pièces, mettant en œuvre l’application de détection d’anomalie selon l’invention, ce système comprenant :According to yet another aspect of the invention, a visual inspection system is proposed for controlling the quality of a set of parts, implementing the anomaly detection application according to the invention, this system comprising:
- au moins une caméra pour couvrir un champ d’une surface d’analyse recevant lesdites pièces,at least one camera to cover a field of an analysis surface receiving said parts,
- un éclairage permettant de maintenir une lumière plus homogène sur la zone d’observation,lighting to maintain a more homogeneous light over the observation area,
- des moyens logiciels pour traiter un flux vidéo produit par la caméra et appliquer sur des images cibles extraites dudit flux vidéo le procédé de détection d’anomalies selon l’invention.software means for processing a video stream produced by the camera and applying to target images extracted from said video stream the anomaly detection method according to the invention.
Ainsi, l'ajout d'une étape de normalisation par apprentissage profond en tant qu'étape de prétraitement aux détecteurs basés sur un modèle permet des détections meilleures et plus robustes. Ce réseau de neurones de normalisation auto-supervisé est entraîné uniquement sur des données non anormales. Le procédé de prétraitement proposé, suivi d'un détecteur automatique, permet d'obtenir des résultats performants sur des objets rigides à partir de l'ensemble de données MvTec.Thus, adding a deep learning normalization step as a pre-processing step to model-based detectors allows for better and more robust detections. This self-supervised normalization neural network is trained only on non-anomalous data. The proposed preprocessing method, followed by an automatic detector, allows to obtain powerful results on rigid objects from the MvTec dataset.
La présente invention propose ainsi de décomposer la tâche en deux étapes (voir
L’algorithme NLM(« Non Local Means ») est utilisé pour le débruitage d'images. Contrairement aux filtres « moyenne locale », qui prennent la valeur moyenne d'un groupe de pixels entourant un pixel cible pour lisser l'image, le filtrage des moyennes non locales prend une moyenne de tous les pixels de l'image, pondérée par la similarité d’un voisinage de ces pixels avec le voisinage correspondant du pixel cible.The NLM (“Non Local Means”) algorithm is used for image denoising. Unlike "local average" filters, which take the average value of a group of pixels surrounding a target pixel to smooth the image, non-local average filtering takes an average of all the pixels in the image, weighted by the similarity of a neighborhood of these pixels with the corresponding neighborhood of the target pixel.
L’apprentissage non supervisédésigne la situation d'apprentissage automatique dans laquelle les données ne sont pas étiquetées. Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite. Unsupervised learning refers to the machine learning situation in which the data is not labeled. It is therefore a question of discovering the structures underlying these unlabeled data. Since the data is not labeled, it is impossible for the algorithm to reliably calculate a pass score.
L’apprentissage auto-superviséest un moyen d'entraîner les ordinateurs à effectuer des tâches sans que les humains ne fournissent de données étiquetées. Il s'agit d'un sous-ensemble de l’apprentissage non supervisé, dans lequel les résultats ou les objectifs sont dérivés par des machines qui étiquettent, catégorisent et analysent les informations par elles-mêmes, puis tirent des conclusions sur la base de connexions et de corrélations. Self-supervised learning is a way to train computers to perform tasks without humans providing labeled data. It is a subset of unsupervised learning, in which outcomes or goals are derived by machines that label, categorize and analyze information on their own, then draw conclusions based on connections and correlations.
L’AUROCpour « Area Under the Receiver Operating Characteristic » est une mesure de performance qui est utilisée pour évaluer les modèles de classification AUROC for “Area Under the Receiver Operating Characteristic” is a performance metric that is used to evaluate classification models
L'algorithme k-NNdes k plus proches voisinsest une méthode non paramétrique utilisée en reconnaissance de forme pour la classification et la régression. Dans les deux cas, il s'agit de classer l'entrée dans la catégorie à laquelle appartiennent les k plus proches voisins dans l'espace des caractéristiques identifiées par apprentissage.The k-NN k - nearest neighbors algorithm is a nonparametric method used in pattern recognition for classification and regression. In both cases, the aim is to classify the input in the category to which the k nearest neighbors belong in the space of characteristics identified by learning.
LesGAN(pour «Generative Adversarial Network) sont en intelligence artificielle des réseaux adverses génératifs. Ils constituent une classe d'algorithmes d'apprentissage non supervisé. GANs (for “Generative Adversarial Networks”) are generative adversarial networks in artificial intelligence. They are a class of unsupervised learning algorithms.
MVTEC ADest un ensemble de données de détection d’anomalie mis à disposition publiquement par la société MVTec Software GmbH. Cet ensemble de données permet de comparer les méthodes de détection d'anomalies en mettant l'accent sur l'inspection industrielle. Il contient plus de 5000 images haute résolution réparties en quinze catégories d'objets et de textures différentes. Chaque catégorie comprend un ensemble d'images d'apprentissage sans défaut et un ensemble d'images de test avec divers types de défauts ainsi que des images sans défauts. MVTEC AD is a set of anomaly detection data made publicly available by MVTec Software GmbH. This dataset allows comparison of anomaly detection methods with a focus on industrial inspection. It contains more than 5000 high-resolution images divided into fifteen different categories of objects and textures. Each category includes a set of defect-free training images and a set of test images with various types of defects as well as defect-free images.
U-Netest un réseau de neurones à convolution créé par Olaf Ronneberger, Philipp Fischer et Thomas Brox en 2015 et développé pour la segmentation d'images biomédicales au département d'informatique de l'université de Fribourg en Allemagne. Ce réseau est basé sur le réseau entièrement convolutionnel créé par Evan Shelhamer, Jonathan Long et Trevor Darrell en 2014 et son architecture a été modifiée et étendue pour fonctionner avec moins d’images d'apprentissage et pour permettre une segmentation plus précise. U-Net is a convolutional neural network created by Olaf Ronneberger, Philipp Fischer and Thomas Brox in 2015 and developed for biomedical image segmentation at the Computer Science Department of the University of Freiburg in Germany. This network is based on the fully convolutional network created by Evan Shelhamer, Jonathan Long and Trevor Darrell in 2014 and its architecture has been modified and extended to work with fewer training images and to allow more precise segmentation.
Description des figuresDescription of figures
Claims (25)
ce procédé comportant un traitement des images de référence (2) comprenant les étapes de :
- segmentation de la référence de position, par une méthode de segmentation ou en sélectionnant un objet d’intérêt et en générant un masque dudit objet,
- normalisation en position et/ou couleur (31) desdites images de référence par rapport à ladite référence de position,
- segmentation desdites images de référence normalisées en position avec ledit masque de l’objet,
- normalisation en texture (33) de l’ensemble d’images de référence (2), par apprentissage auto-supervisé d’un réseau de neurones (38) sur ledit ensemble d’images de référence (2),
ce procédé comportant en outre un pré-traitement de l’image cible comprenant les étapes de :
- normalisation en position de ladite image cible,
- segmentation de l’image cible avec ledit masque de l’objet,
- normalisation en texture et/ou couleur de l’image cible ainsi segmentée et normalisée en position, par inférence dudit réseau de neurones auto-supervisé (38) sur ladite image cible (3).Method for normalizing the variability of a target image (3) with respect to a set of reference images (2) of at least one object of interest (22-24), said target image (3) and said images (2) being acquired by a camera (25) provided for observing a surface or an analysis volume of said at least one object (22-24), said set of reference images (2) exhibiting a variability of position with respect to a previously chosen position reference and a texture and/or lighting variability,
this method comprising a processing of the reference images (2) comprising the steps of:
- segmentation of the position reference, by a segmentation method or by selecting an object of interest and by generating a mask of said object,
- standardization in position and/or color (31) of said reference images with respect to said position reference,
- segmentation of said reference images normalized in position with said mask of the object,
- texture normalization (33) of the set of reference images (2), by self-supervised learning of a neural network (38) on said set of reference images (2),
this method further comprising a pre-processing of the target image comprising the steps of:
- normalization in position of said target image,
- segmentation of the target image with said object mask,
- normalization in texture and/or color of the target image thus segmented and normalized in position, by inference from said self-supervised neural network (38) on said target image (3).
- une séquence (4) de normalisation dudit au moins un objet, comprenant un apprentissage auto-supervisé d’un réseau de neurones (38) sur ledit ensemble d’images de référence (2) et sur ladite image cible (3) pour produire des images de référence et une image cible normalisées en position et en texture selon l’une quelconque des revendications précédentes,
- une séquence multi-échelle (7) comprenant une étape (40) pour estimer une image auto-similaire à partir de l’image cible prétraitée, une étape pour soustraire l’image auto-similaire de l’image cible pré traitée de manière à obtenir des cartes binaires et des résidus pour une série d’échelles, une étape (45) pour fusionner les cartes binaires obtenues à différentes échelles et
- une étape(10) pour délivrer un score de normalité dudit au moins un objet d’intérêt à partir de la carte binaire issue de ladite étape de fusion (45) et d’un résidu calculé à partir de l'ensemble des résidus correspondant aux différentes échelles.Method for detecting an anomaly from a target image (3) of at least one object of interest (23) in comparison with a set of reference images (2) of said at least one object of interest (23), said target image (3) and said reference images (2) being acquired by a camera (25) designed to observe a surface or an analysis volume of said at least one object (23), said set of reference images (2) exhibiting a position variability with respect to a previously chosen position reference and a texture variability, this detection method comprising:
- a sequence (4) for normalizing said at least one object, comprising self-supervised learning of a neural network (38) on said set of reference images (2) and on said target image (3) to produce reference images and a target image normalized in position and in texture according to any one of the preceding claims,
- a multi-scale sequence (7) comprising a step (40) for estimating a self-similar image from the preprocessed target image, a step for subtracting the self-similar image from the preprocessed target image in a obtaining bitmaps and residuals for a series of scales, a step (45) for merging the bitmaps obtained at different scales and
- a step (10) for delivering a normality score of said at least one object of interest from the binary map resulting from said merging step (45) and a residue calculated from the set of corresponding residues at different scales.
- normalisation de résidus obtenus à différentes échelles selon la moyenne et l’écart type des images de l’ensemble de référence,
- obtention des cartes binaires correspondantes à différentes échelles en utilisant un seuil sur les résidus,
- fusion des cartes binaires obtenues à différentes échelles,
- calcul dudit score de normalité pour chaque objet défini comme la somme de la valeur absolue des résidus à différentes échelles dans la carte binaire fusionnée pour chaque pixel.Detection method according to any one of Claims 11 to 19, characterized in that it further comprises a calculation (10) of a normality score comprising the steps of:
- normalization of residuals obtained at different scales according to the mean and the standard deviation of the images of the reference set,
- obtaining the corresponding binary maps at different scales using a threshold on the residuals,
- fusion of binary maps obtained at different scales,
- calculating said normality score for each object defined as the sum of the absolute value of the residuals at different scales in the merged bitmap for each pixel.
- à partir d’une portion de l’ensemble de référence appelé ensemble de validation, en plaçant le seuil au-delà d’un certain pourcentage de tolérance de faux positifs,
- en modélisant la distribution des scores d’activation de l’ensemble de validation et en plaçant le seuil selon une hypothèse statistique sur cette distribution.Detection method according to the preceding claim, characterized in that the detection threshold is predetermined:
- from a portion of the reference set called the validation set, by placing the threshold beyond a certain false positive tolerance percentage,
- by modeling the distribution of the activation scores of the validation set and by placing the threshold according to a statistical hypothesis on this distribution.
- au moins une caméra (25) pour couvrir un champ d’une surface d’analyse (21) recevant lesdites pièces,
- des moyens logiciels pour traiter un flux vidéo produit par la caméra et appliquer sur des images cibles extraites dudit flux vidéo le procédé de détection d’anomalies selon l’une quelconque des revendications 11 à 23.Visual inspection system (S) for controlling the quality of a set of parts (22-24), implementing the anomaly detection method according to any one of claims 11 to 23, this system comprising:
- at least one camera (25) to cover a field of an analysis surface (21) receiving said parts,
- software means for processing a video stream produced by the camera and applying to target images extracted from said video stream the anomaly detection method according to any one of claims 11 to 23.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2108810A FR3126253B1 (en) | 2021-08-20 | 2021-08-20 | Method for normalizing the variability of an image, application of this method to anomaly detection and visual inspection system implementing this detection |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2108810 | 2021-08-20 | ||
| FR2108810A FR3126253B1 (en) | 2021-08-20 | 2021-08-20 | Method for normalizing the variability of an image, application of this method to anomaly detection and visual inspection system implementing this detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3126253A1 true FR3126253A1 (en) | 2023-02-24 |
| FR3126253B1 FR3126253B1 (en) | 2024-01-12 |
Family
ID=78483355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2108810A Active FR3126253B1 (en) | 2021-08-20 | 2021-08-20 | Method for normalizing the variability of an image, application of this method to anomaly detection and visual inspection system implementing this detection |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3126253B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8640015B2 (en) | 2004-08-02 | 2014-01-28 | International Business Machines Corporation | Anomaly detection based on directional data |
| WO2015085189A1 (en) | 2013-12-06 | 2015-06-11 | Quidel Corporation | Method for reducing analyzer variability using a normalization target |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| KR101916347B1 (en) | 2017-10-13 | 2018-11-08 | 주식회사 수아랩 | Deep learning based image comparison device, method and computer program stored in computer readable medium |
| EP3588368A2 (en) | 2018-05-10 | 2020-01-01 | Juntendo Educational Foundation | Image analysis method, apparatus, and deep learning algorithm generation method |
| WO2020004815A1 (en) | 2018-06-25 | 2020-01-02 | 주식회사 수아랩 | Method of detecting anomaly in data |
| US10846531B2 (en) | 2018-09-20 | 2020-11-24 | The Boeing Company | Image-based anomaly detection for aerial inspection using self-supervised learning |
-
2021
- 2021-08-20 FR FR2108810A patent/FR3126253B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8640015B2 (en) | 2004-08-02 | 2014-01-28 | International Business Machines Corporation | Anomaly detection based on directional data |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| WO2015085189A1 (en) | 2013-12-06 | 2015-06-11 | Quidel Corporation | Method for reducing analyzer variability using a normalization target |
| KR101916347B1 (en) | 2017-10-13 | 2018-11-08 | 주식회사 수아랩 | Deep learning based image comparison device, method and computer program stored in computer readable medium |
| EP3588368A2 (en) | 2018-05-10 | 2020-01-01 | Juntendo Educational Foundation | Image analysis method, apparatus, and deep learning algorithm generation method |
| WO2020004815A1 (en) | 2018-06-25 | 2020-01-02 | 주식회사 수아랩 | Method of detecting anomaly in data |
| US10846531B2 (en) | 2018-09-20 | 2020-11-24 | The Boeing Company | Image-based anomaly detection for aerial inspection using self-supervised learning |
Non-Patent Citations (36)
| Title |
|---|
| ANNE-SOPHIE COLLINCHRISTOPHE DE VLEESCHOUWER, IM- PROVED ANOMALY DÉTECTION BY TRAINING AN AUTOENCODER WITH SKIP CONNECTIONS ON IMAGES CORRUPTED WITH STAIN-SHAPED NOISE, 2020 |
| ANTONI BUADESBARTOMEU COLLJ-M MOREL: "CVPR", 2005, IEEE, article "Equivalence and efficiency of image alignment algorithms" |
| BO DULIANGPEI ZHANG: "Random-selection-based anomaly detector for hy-perspectral imagery", IEEE TRANSAC- TIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 49, no. 5, 2011, pages 1578 - 1589, XP011354324, DOI: 10.1109/TGRS.2010.2081677 |
| CHAOQIN HUANGFEI YEJINKUN CAOMAOSEN LIYA ZHANGCEWU LU, ATTRIBUTE RESTORATION FRAMEWORK FOR ANOMALY DETECTION, 2020 |
| DIEGO CARRERAGIACOMO BORACCHIALESSANDRO FOIBRENDT WOHLBERG: "2015 International Joint Conference on Neural Networks", 2015, IEEE, article "Detecting anomalous structures by convolutional sparse models", pages: 1 - 8 |
| DIEGO CARRERAGIACOMO BORACCHIALESSANDRO FOIBRENDT WOHLBERG: "ICIP", 2018, IEEE, article "Scale-invariant anomaly détection with multiscale group-sparse models" |
| D-M TSAIC-Y HSIEH: "Automated surface inspection for directional textures", IMAGE AND VISION COMPUTING, vol. 18, no. 1, 1999, pages 49 - 62, XP055019481, DOI: 10.1016/S0262-8856(99)00009-8 |
| DOMEN TABERNIK ET AL: "Segmentation-Based Deep-Learning Approach for Surface-Defect Detection", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 20 March 2019 (2019-03-20), XP081370220, DOI: 10.1007/S10845-019-01476-X * |
| DONG XINGHUI ET AL: "Defect Detection and Classification by Training a Generic Convolutional Neural Network Encoder", IEEE TRANSACTIONS ON SIGNAL PROCESSING, IEEE, USA, vol. 68, 19 October 2020 (2020-10-19), pages 6055 - 6069, XP011818775, ISSN: 1053-587X, [retrieved on 20201030], DOI: 10.1109/TSP.2020.3031188 * |
| DONG XINGHUI ET AL: "Small Defect Detection Using Convolutional Neural Network Features and Random Forests", 23 January 2019, ADVANCES IN DATABASES AND INFORMATION SYSTEMS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 398 - 412, ISBN: 978-3-319-10403-4, XP047501185 * |
| DU-MING TSAITSE-YUN HUANG: "Automated surface in- spection for sta-tistical textures", IMAGE AND VISION COMPUTING, vol. 21, no. 4, 2003, pages 307 - 323 |
| GIACOMO BORACCHIDIEGO CARRERABRENDT WOHLBERG: "2014 IEEE Symposium on Intelligent Embedded Systems", 2014, IEEE, article "Novelty détection in images by sparse representations", pages: 47 - 54 |
| HUI-CHAO SHANGYOU-PING CHENWEN-YONG YUZU-DE ZHOU: "Online auto-detection method and system of presswork quality", THE INTERNATIONAL JOURNAL OF ADVANCED MANUFACTUR- ING TECHNOLOGY, vol. 33, no. 7-8, 2007, pages 756 - 765, XP019511340, DOI: 10.4028/0-87849-421-9.1072 |
| IRVING S REEDXIAOLI YU: "Adaptive multiple-band cfar détection of an optical pattern with unknown spectral distri- bution", IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, vol. 38, no. 10, 1990, pages 1760 - 1770 |
| JAAKKO LEHTINENJACOB MUNKBERGJON HASSELGRENSAMULI LAINETERO KARRASMIIKA AITTALATIMO AILA: "Noise2noise: Learning image restoration without clean data", ICML, 2018 |
| JINWON AN: "Variational Autoencoder based Anomaly Detec- tion using Reconstruction Probability", ARXIV, 2016 |
| JULIE DELON: "Midway image equalization", JOURNAL OF MATHE- MATICAL IMAGING AND VISION, vol. 21, no. 2, 2004, pages 119 - 134 |
| LAURENT ITTICHRISTOF KOCHERNST NIEBUR: "A model of saliency-based visual attention for rapid scene analysis", PAMI, vol. 20, no. 11, 1998, pages 1254 - 1259 |
| LIONEL TARASSENKOPAUL HAYTONNICHOLAS CERNEAZMICHAEL BRADY, NOVELTY DÉTECTION FOR THE IDENTIFICATION OF MASSES IN MAMMOGRAMS, 1995 |
| MARCO AF PIMENTELDAVID A CLIFTONLEI CLIFTONLIONEL TARASSENKO: "A review of novelty detection", SIGNAL PROCESS- ING, vol. 99, 2014, pages 215 - 249, XP055254623, DOI: 10.1016/j.sigpro.2013.12.026 |
| MARIA ZONTAKISRAEL COHEN: "Defect détection in patterned wafers using ani-sotropic kernels", MACHINE VISION AND APPLI- CATIONS, vol. 21, no. 2, 2010, pages 129 - 141 |
| MD MAHFUZUR RAHMAN SIDDIQUEEZONGWEI ZHOUNIMA TAJBAKHSHRUIBIN FENGMICHAEL B GOTWAYYOSHUA BENGIOJIANMING LIANG: "Learning fixed points in generative ad- versarial networks: From image-to-image translation to dis- ease détection and localization", ICCV, 2019, pages 191 - 200 |
| MUJA MARIUS ET AL: "Scalable Nearest Neighbor Algorithms for High Dimensional Data", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 36, no. 11, 1 November 2014 (2014-11-01), pages 2227 - 2240, XP011560102, ISSN: 0162-8828, [retrieved on 20141001], DOI: 10.1109/TPAMI.2014.2321376 * |
| NIV COHENYEDID HOSHEN, TRANSFORMER-BASED ANOMALY SEGMENTATION, 2020 |
| OLGA RUSSAKOVSKYJIA DENGHAO SUJONATHAN KRAUSESAN- JEEV SATHEESHSEAN MAZHIHENG HUANGANDREJ KARPATHYADITYA KHOSLAMICHAEL BERNSTEIN: "ImageNet Large Scale Visual Récognition Chai- lenge", IJCV, vol. 115, no. 3, 2015, pages 211 - 252 |
| PAUL BERGMANNMICHAEL FAUSERDAVID SATTLEGGERCARSTEN STEGER: "Mvtec ad-a comprehensive real-world dataset for un- supervised anomaly detection", CVPR, 2019 |
| PAUL BERGMANNSINDY LO''WEMICHAEL FAUSERDAVID SATTLEGCARSTEN STEGER: "Improving unsupervised defect seg- mentation by applying structural si-milarity to autoencoders", PROCEEDINGS OF THE 14TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS, 2019 |
| PIN XIESHENG-UEI GUAN: "A golden-template self- generating method for patterned wafer inspection", MACHINE VISION AND APPLICATIONS, vol. 12, no. 3, 2000, pages 149 - 156, XP002458775, DOI: 10.1007/s001380050133 |
| RAN MARGOLINAYELLET TALLIHI ZELNIK-MANOR: "What makes a patch distinct?", CVPR, 2013 |
| THIBAUD EHRETAXEL DAVYJEAN-MICHEL MORELMAURICIO DELBRACIO: "Image anomalies: A review and synthesis of de- tection methods", JMIV, vol. 61, no. 5, 2019, pages 710 - 743 |
| THIERRY GUILLEMOTJULIE DELON: "Implementation of the Midway Image Equalization", IMAGE PROCESSING ON LINE, vol. 6, 2016, pages 114 - 129 |
| THOMAS SCHLEGLPHILIPP SEEBO'CKSEBASTIAN M. WALDSTEINURSULA SCHMIDT-ERFURTHGEORG LANGS: "Unsupervised Anomaly Détection with Generative Adversarial Networks to Guide Marker Discovery", ARXIV, 2017 |
| TOSHIFUMI HONDASHREE K NAYAR: "ICCV", 2001, IEEE, article "Finding'' anomalies'' in an arbitrary image" |
| V ZOGRAFOS: "Pose-invariant, model-based object recognition, using linear combination of views and Bayesian statistics", PHD THESIS, UNIV. COLLEGE LONDON, 1 January 2009 (2009-01-01), XP055219943, Retrieved from the Internet <URL:http://www.researchgate.net/profile/Vasileios_Zografos/publication/237077968_Pose-invariant_model-based_object_recognition_using_linear_combination_of_views_and_Bayesian_statistics/links/0c96051b5831f04dea000000.pdf> [retrieved on 20151012] * |
| XIANGHUA XIEMAJID MIRMEHDI: "Texems: Texture exem- plars for defect détection on random textured surfaces", IEEE PAMI, vol. 29, no. 8, 2007, pages 1454 - 1464 |
| XIANGQIAN PENGYOUPING CHENWENYONG YUZUDE ZHOUGUODONG SUN: "An online defects inspection method for float glass fabrication based on machine vision", THE INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY, vol. 39, no. 11-12, 2008, pages 1180 - 1189, XP019652087 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3126253B1 (en) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aquino et al. | Grapevine flower estimation by applying artificial vision techniques on images with uncontrolled scene and multi-model analysis | |
| Suriyal et al. | Mobile assisted diabetic retinopathy detection using deep neural network | |
| CN111368764B (en) | False video detection method based on computer vision and deep learning algorithm | |
| Bong et al. | Vision-based inspection system for leather surface defect detection and classification | |
| Dang et al. | Deep learning-based sewer defect classification for highly imbalanced dataset | |
| US20240160194A1 (en) | System and method for manufacturing quality control using automated visual inspection | |
| JP2022027473A (en) | Generation of training data usable for inspection of semiconductor sample | |
| WO2016012972A1 (en) | Method for detecting anomalies in a distribution network, in particular for drinking water | |
| Bai et al. | Robust texture-aware computer-generated image forensic: Benchmark and algorithm | |
| Vatsavayi et al. | Identification and classification of wild animals from video sequences using hybrid deep residual convolutional neural network | |
| Kumar et al. | LSTM based texture classification and defect detection in a fabric | |
| WO2015132531A1 (en) | Method for analysing sedimentary samples with automatic recognition of nanofossils | |
| FR3126253A1 (en) | Process for normalizing the variability of an image, application of this process to anomaly detection and visual inspection system implementing this detection | |
| Li et al. | BI-CAM: generating explanations for deep neural networks using bipolar information | |
| Tailanian et al. | A multi-scale a contrario method for unsupervised image anomaly detection | |
| Gibson et al. | A no-reference perceptual based contrast enhancement metric for ocean scenes in fog | |
| US11639906B2 (en) | Method and system for virtually executing an operation of an energy dispersive X-ray spectrometry (EDS) system in real-time production line | |
| EP4099228A1 (en) | Automatic learning without annotation improved by adaptive groupings in open assembly of classes | |
| EP3929809A1 (en) | Method of detection of at least one visible biometric trait on an input image by means of a convolutional neural network | |
| Rahmon et al. | Evaluation of Different Decision Fusion Mechanisms for Robust Moving Object Detection | |
| Ström et al. | Extracting regions of interest and detecting outliers from image data | |
| FR2872326A1 (en) | Events e.g. car movement, detecting process for e.g. parking, involves classifying objects into categories using prediction model created during learning phase to indicate in which category object is to be present in audio/video sequence | |
| Vijayalakshmi et al. | Banana Ripening Classification using Hybrid Features on various Classifiers. | |
| CA3104759A1 (en) | Method of modelling for checking the results provided by an artificial neural network and other associated methods | |
| Issa | Explainable AI for RGB to HyperSpectral CNN Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230224 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |