FR3139225A1

FR3139225A1 - Image synthesis using physical simulation and deep learning methods for early learning of a tire surface evaluation model

Info

Publication number: FR3139225A1
Application number: FR2208465A
Authority: FR
Inventors: Francois Mourougaya; Guillaume DEAU
Original assignee: Compagnie Generale des Etablissements Michelin SCA
Current assignee: Compagnie Generale des Etablissements Michelin SCA
Priority date: 2022-08-23
Filing date: 2022-08-23
Publication date: 2024-03-01
Also published as: FR3139224A1

Abstract

L’invention concerne un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié mis en œuvre par un système (100) de transfert de style comprenant un ou des processeurs connectés de manière opérationnelle à une mémoire configurée pour stocker un module d’exécution de l'application d'analyse qui réalise le traitement des données représentatives de pneumatiques imagés dont le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser le procédé. L’invention concerne aussi un système (100) de transfert de style pour mettre en œuvre un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié. Figure pour l’abrégé : Fig 2The invention relates to a method for anticipating an evaluation model of the surface of an identified tire implemented by a style transfer system (100) comprising one or more processors operably connected to a memory configured to store an execution module of the analysis application which carries out the processing of data representative of imaged tires whose processor(s) are capable of executing programmed instructions stored in the memory to carry out the method. The invention also relates to a style transfer system (100) for implementing a method of anticipatory learning of a model for evaluating the surface of an identified tire. Figure for the abstract: Fig 2

Description

Synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatiqueImage synthesis using physical simulation and deep learning methods for early learning of a tire surface evaluation model

L’invention concerne le domaine du contrôle visuel des pneumatiques. Plus particulièrement,The invention relates to the field of visual inspection of tires. More particularly,

l’invention concerne la synthèse d’images par méthodes de simulation physique et d’apprentissage profond pour l’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique.the invention relates to the synthesis of images using physical simulation and deep learning methods for the anticipated learning of a model for evaluating the surface of a tire.

ContexteContext

Dans le domaine de processus industriels, les surfaces des pneumatiques destinés à équiper les véhicules roulants sont difficiles à contrôler. Ces pneumatiques ont généralement une couleur noire du fait de la matière gomme noire qui les constitue (en raison de l’utilisation du carbone pour renforcer les mélanges élastomériques). Ainsi, la détection automatisée d’anomalies de surface (qui inclut, sans limitation, les tâches diverses (y compris des tâches de graisse), les griffures, les manques de matière, les excès de matière, les différences de teintes de noir, les fissures, les matériaux gravés et les décolorations localisées) est très difficile à réaliser. Comme utilisé ici, le terme « anomalie » (dans le singulier ou dans le pluriel) fait référence à une différence détectée (représentée, par exemple, par un écart à une valeur standard) sans autre information (donc, une « anomalie » n’est pas automatiquement interprétée comme un « défaut »).In the field of industrial processes, the surfaces of tires intended to equip rolling vehicles are difficult to control. These tires generally have a black color due to the black rubber material which constitutes them (due to the use of carbon to reinforce the elastomeric mixtures). Thus, the automated detection of surface anomalies (which includes, without limitation, various stains (including grease stains), scratches, lack of material, excess material, differences in shades of black, cracks, etched materials and localized discolorations) is very difficult to achieve. As used herein, the term "anomaly" (in the singular or plural) refers to a detected difference (represented, for example, by a deviation from a standard value) without further information (thus, an "anomaly" does not is not automatically interpreted as a “defect”).

Il existe des solutions dans l’art antérieur pour surmonter ce défi. Par exemple, le brevet FR3103555 de la Demanderesse divulgue un système permettant l’évaluation de l’état d’un pneumatique par l’acquisition d’une image visuelle. En se référant à la (qui correspond à la figure 5 du brevet FR3103555), le système divulgué réalise une acquisition des images d’un pneumatique 10 ayant des zones externes (y compris les flancs 12, les épaules 14 et la bande de roulement (ou « sommet ») 16 ) et les zones internes (y compris les côtés internes 18 et la couronne intérieure 20) en utilisant à la fois des caméras (ou « capteurs ») en deux dimensions et en trois dimensions. Les capteurs en deux dimensions sont utilisés à la fois pour l’intérieur et l’extérieur (dans des modes de réalisation incorporant les capteurs trois dimensions, ces capteurs sont utilisés uniquement pour les surfaces externes du pneumatique 10). Au cours d’un procédé réalisé par le système divulgué, le pneumatique 10 entre dans le système où il est bloqué et il est mis en rotation pour que les différents capteurs puissent prendre les images du pneumatique (par exemple, en descendant rapidement le capteur jusqu’à proximité de la zone où il doit se situer, puis en passant en vitesse lente pour ajuster précisément la position).There are solutions in the prior art to overcome this challenge. For example, the Applicant's patent FR3103555 discloses a system allowing the evaluation of the condition of a tire by acquiring a visual image. Referring to the (which corresponds to Figure 5 of patent FR3103555), the disclosed system acquires images of a tire 10 having external zones (including the sidewalls 12, the shoulders 14 and the tread (or “top”) 16) and internal areas (including internal sides 18 and interior crown 20) using both two-dimensional and three-dimensional cameras (or “sensors”). The two-dimensional sensors are used for both the interior and exterior (in embodiments incorporating the three-dimensional sensors, these sensors are used only for the external surfaces of the tire 10). During a process carried out by the disclosed system, the tire 10 enters the system where it is blocked and it is rotated so that the various sensors can take images of the tire (for example, by rapidly lowering the sensor up to 'near the area where it should be located, then switching to slow speed to precisely adjust the position).

Il existe aussi des développements récents qui emploient des méthodes d’intelligence artificielle (ou « IA »), et en particulier par apprentissage profond (ou « deep learning ») permettant d’interpréter les images acquises d’un pneumatique (y compris le moyen d’acquisition employé dans la publication WO2021/105597). Ces techniques nécessitent de grandes quantités de données annotées pour révéler toute leur efficacité. En conséquence, leur coût initial de mise en place n’est pas négligeable.There are also recent developments which use artificial intelligence (or “AI”) methods, and in particular deep learning (or “deep learning”), making it possible to interpret the images acquired from a tire (including the means acquisition method used in publication WO2021/105597). These techniques require large amounts of annotated data to reveal their full effectiveness. Consequently, their initial implementation cost is not negligible.

En dehors de l’obtention « brutale » (c’est-à-dire coûteuse mais simple de nouvelles données réelles), il est classiquement possible d’améliorer les performances d’un réseau de neurones profond par des techniques d’augmentation (voir, par exemple, Li, Wei et al.,Data Augmentation for Hyperspectral Image Classification With Deep CNN, IEEE Geoscience and Remote Sensing Letters 16.4, 593-597 (2018)(qui propose une méthode d'augmentation des données à partir d’un CNN profond (ou « deep CNN »)) pour augmenter le nombre d'échantillons d'entraînement (« l'augmentation du nombre d’échantillons par trois est souvent suffisante pour atteindre la limite supérieure »). Il existe aussi des travaux qui proposent des méthodes d’apprentissage few-shot (ou « few-shot learning » ou « FSL ») qui visent à obtenir de bonnes performances d'apprentissage compte tenu d'informations supervisées limitées fournies dans l'ensemble d'apprentissage pour alléger la charge que représente la collection de données supervisées à grande échelle (voir, par exemple, Jing, Bai et al.,Class Incremental Leanring With Few-Shots Based on Linear Programming for Hyperspectral Image Classification, IEEE Transactions on Cybernetics (2020)) (voir aussi, par example, Fei-Fei, Li, Fergus, Rob et Perona Pietro,One-Shot Learning of Object Categories", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, Issue 4, p. 594-611 (April 2006)).Apart from obtaining “brutal” (i.e. expensive but simple, new real data), it is classically possible to improve the performance of a deep neural network by augmentation techniques (see , for example, Li, Wei et al., Data Augmentation for Hyperspectral Image Classification With Deep CNN , IEEE Geoscience and Remote Sensing Letters 16.4, 593-597 (2018) (which proposes a method for data augmentation from a Deep CNN (or “deep CNN”)) to increase the number of training samples (“increasing the number of samples by three is often sufficient to reach the upper limit”). There are also works which propose few-shot learning methods (or “few-shot learning” or “FSL”) which aim to obtain good learning performance given limited supervised information provided in the training set to lighten the load what the large-scale supervised data collection represents (see, e.g., Jing, Bai et al., Class Incremental Leanring With Few-Shots Based on Linear Programming for Hyperspectral Image Classification , IEEE Transactions on Cybernetics (2020)) (see also , for example, Fei-Fei, Li, Fergus, Rob and Perona Pietro, One-Shot Learning of Object Categories ", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, Issue 4, p. 594-611 (April 2006)).

Toutefois, avec les changements d’éléments de design de pneumatiques et l’évolution des procédés de leur fabrication, le modèle initialement entraîné est de moins en moins bien adapté aux produits à contrôler (voir Castro, Francisco et al.,End-to-End Incremental Learning, Proceedings of the European Conference on Computer Vision (ECCV)(2018))(« Bien que les approches d'apprentissage profond se soient démarquées au cours des dernières années en raison de leurs résultats de pointe, elles continuent de souffrir d'un oubli catastrophique. »). Dans une application réelle à l’échelle industrielle, avant même de considérer une amélioration des performances, avoir un lot d’apprentissage le plus représentatif possible de la diversité des anomalies à détecter et de l’aspect conforme des produits sert déjà en premier lieu à maintenir les performances dans le temps.However, with changes in tire design elements and the evolution of their manufacturing processes, the initially trained model is less and less well adapted to the products to be controlled (see Castro, Francisco et al., End-to- End Incremental Learning , Proceedings of the European Conference on Computer Vision (ECCV)(2018))("Although deep learning approaches have stood out in recent years due to their cutting-edge results, they continue to suffer from 'a catastrophic oversight.'). In a real application on an industrial scale, before even considering an improvement in performance, having a training batch that is as representative as possible of the diversity of anomalies to be detected and of the compliant appearance of the products already serves first and foremost to maintain performance over time.

La génération d’images de synthèse peut être employée pour séparer et pour recombiner le contenu et le style d'images des surfaces de pneumatiques différentes où des anomalies de surface pourraient être présentes. Par exemple, un algorithme neuronal de style artistique permettant de produire de nouvelles images de haute qualité perceptuelle peut être employé, qui combine le contenu d'une image arbitraire avec l'apparence de nombreuses images connues (voir Gatys, L.A. et el., Image Style Transfer Using Convolutional Neural Networks”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 2414-2423 (June 2016)) ( « …les représentations du contenu et du style dans le réseau neuronal convolutif sont bien séparables...nous pouvons manipuler les deux représentations indépendamment pour produire de nouvelles images perceptivement significatives. Pour démontrer cette découverte, nous générons des images qui mélangent la représentation du contenu et du style à partir de deux images sources différentes. »).Synthetic image generation can be used to separate and recombine the content and style of images of different tire surfaces where surface anomalies might be present. For example, an art-style neural algorithm for producing new images of high perceptual quality can be employed, which combines the content of an arbitrary image with the appearance of many known images (see Gatys, L.A. et al., Image Style Transfer Using Convolutional Neural Networks”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2414-2423 (June 2016) (“…the representations of content and style in the convolutional neural network are well separable. ...we can manipulate the two representations independently to produce new perceptually meaningful images. To demonstrate this finding, we generate images that mix the representation of content and style from two different source images.").

Dans un autre exemple, un type de méthode paramétrique qui a été largement appliqué et étudié pour la synthèse d'images implique les réseaux du type adversaires génératifs (ou « generative adversarial networks » ou « GAN »). En cours d’entrainement des réseaux générateurs et discriminateurs, l'objectif du discriminateur est de classifier les images "réelles" et les images "fausses" générées. Le générateur vise à tromper le discriminateur en générant des images qui sont indiscernables des images réelles. Une fois entraîné, le générateur peut être utilisé pour synthétiser des images lorsqu'il est ensemencé avec un vecteur de bruit. Même si le GAN "classique" est capable de générer des images réalistes à partir de bruit, il n'est pas facilement contrôlable.In another example, a type of parametric method that has been widely applied and studied for image synthesis involves generative adversarial networks (GANs). During training of the generator and discriminator networks, the objective of the discriminator is to classify the “real” images and the “fake” images generated. The generator aims to fool the discriminator by generating images that are indistinguishable from real images. Once trained, the generator can be used to synthesize images when seeded with a noise vector. Even though “classic” GAN is capable of generating realistic images from noise, it is not easily controllable.

Il existe donc des propositions pour la synthèse de texture et transfert de style (voir, par exemple, Xian, W., et al.,TextureGAN: Controlling Deep Image Synthesis with Texture Patches, Computer Vision and Pattern Recognition (CVPR)(2018))(discutant les GANs conditionnels « qui synthétisent des images en fonction de modalités d'entrée autres que le simple bruit, offrant ainsi un meilleur contrôle des résultats générés…pour fonctionner de manière interactive lorsque les utilisateurs modifient les suggestions d'esquisses ou de textures. »). La synthèse de texture et le transfert de style sont deux sujets étroitement liés à la synthèse d'images. La synthèse de texture prend en entrée une image de texture d'entrée pour générer de nouvelles images ayant des textures visuellement similaires. Le transfert de style prend en entrée des images de contenu et de style pour synthétiser des images ayant la disposition et la structure de l'image de contenu et la texture de l'image de style (par exemple, « TextureShop » utilise la synthèse de texture non-paramétrique et le « shape-from-shading » pour raccourcir la texture afin qu'elle semble suivre la surface d'un objet photographié (voir « Textureshop : Texture Synthesis as a Photograph Editing Tool », Hang, Fui et Hart, John C.,ACM Transactions on Graphics(June 2004)) (DOI:10.1145/1186562.1015728).There are therefore proposals for texture synthesis and style transfer (see, for example, Xian, W., et al., TextureGAN: Controlling Deep Image Synthesis with Texture Patches , Computer Vision and Pattern Recognition (CVPR)(2018) )(discussing conditional GANs “that synthesize images based on input modalities other than simple noise, thereby providing greater control over the generated results…to operate interactively as users modify sketch or texture suggestions .”). Texture synthesis and style transfer are two topics closely related to image synthesis. Texture synthesis takes an input texture image as input to generate new images having visually similar textures. Style transfer takes content and style images as input to synthesize images having the layout and structure of the content image and the texture of the style image (for example, "TextureShop" uses synthesis of non-parametric texture and “shape-from-shading” to shorten the texture so that it appears to follow the surface of a photographed object (see “Textureshop: Texture Synthesis as a Photograph Editing Tool”, Hang, Fui and Hart, John C., ACM Transactions on Graphics (June 2004) (DOI:10.1145/1186562.1015728).

La résolution et la qualité des images produites par des méthodes génératives (telles que les réseaux du type GAN) se sont rapidement améliorées. A titre d’exemple, la publication US2021/0012486 divulgue un appareil pour effectuer une synthèse d'images médicales dont l’appareil réalise la génération d'une image cible dans une première modalité d'imagerie à partir d'une image source dans une deuxième modalité d'imagerie sur la base d'une opération de propagation de texture dans un réseau adversaire génératif (GAN) bidirectionnel. Dans un mode de réalisation de l’appareil divulgué, l'opération de propagation de texture comprend la propagation de détails de texture de l'image source à l'image cible en utilisant une pluralité de cartes de caractéristiques d'un réseau profond pour préserver les détails de texture locaux au niveau d'une pluralité de couches de convolution du réseau profond.The resolution and quality of images produced by generative methods (such as GAN-type networks) have rapidly improved. By way of example, publication US2021/0012486 discloses a device for performing a synthesis of medical images, the device of which generates a target image in a first imaging modality from a source image in a second imaging modality based on a texture propagation operation in a bidirectional generative adversarial network (GAN). In one embodiment of the disclosed apparatus, the texture propagation operation includes propagating texture details from the source image to the target image using a plurality of feature maps of a deep network to preserve local texture details at a plurality of convolution layers of the deep network.

D’autres exemples sont divulgués dans le domaine médical (voir, par exemple, la publication chinoise CN112862738 qui divulgue une méthode, un dispositif, un support de stockage et un processeur de synthèse d'image multimodale, de manière à résoudre l'incapacité à effectuer un calcul de dose pour les images médicales)(voir aussi la publication chinoise CN111402179 qui divulgue un procédé et un système de synthèse d'image qui combine un auto-encodeur et un réseau de génération pour amplifier les données d'échantillon sur un ensemble limité de données d'image médicale).Other examples are disclosed in the medical field (see, for example, Chinese publication CN112862738 which discloses a multimodal image synthesis method, device, storage medium and processor, so as to resolve the inability to perform dose calculation for medical images)(see also Chinese publication CN111402179 which discloses an image synthesis method and system that combines an autoencoder and a generation network to amplify sample data on a set limited medical image data).

Il n’existe rien dans l’art antérieur qui implique des propositions pour la synthèse de texture et transfert de style des pneumatiques de manière à construire et mettre à jour les modèles entraînés. En effet, les approches GAN de l’art antérieur prennent en entrée du générateur une source de bruit aléatoire. L’apport d’une image de synthèse apporte non seulement beaucoup d’information a priori, mais aussi potentiellement la possibilité d’avoir des images du domaine « synthèse » et du domaine « acquisition » parfaitement recalées, ce qui démultiplie l’efficacité (ratio performance / nombre d’images nécessaires à l’entraînement) des GAN.There is nothing in the prior art that involves proposals for texture synthesis and style transfer of tires so as to construct and update the trained models. Indeed, prior art GAN approaches take a random noise source as input to the generator. The provision of a synthetic image not only provides a lot of a priori information, but also potentially the possibility of having images from the “synthesis” domain and the “acquisition” domain perfectly registered, which increases efficiency ( ratio performance / number of images necessary for training) of GANs.

Ainsi, l’invention divulguée concerne un système permettant la génération d’images de synthèse à partir de représentations trois-dimensionnelles (ou « 3D ») de pneumatiques. En utilisant la connaissance de l’objet recherché (ou « CAO ») des pneumatiques, l’invention divulguée optimise l’utilité des données disponibles afin de générer une image de synthèse comme si elle provenait d’une machine d’acquisition et de guider le transfert de style.Thus, the disclosed invention concerns a system allowing the generation of synthetic images from three-dimensional (or “3D”) representations of tires. By using knowledge of the desired object (or "CAD") of tires, the disclosed invention optimizes the utility of the available data to generate a synthetic image as if it came from an acquisition machine and to guide style transfer.

L’invention concerne un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié mis en œuvre par un système de transfert de style comprenant un ou des processeurs connectés de manière opérationnelle à une mémoire configurée pour stocker une application d'analyse des données représentatives des pneumatiques imagés, le ou les processeurs comprenant un module d’exécution de l'application d'analyse qui réalise le traitement d’images dont le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser le procédé, caractérisé en ce que le procédé comprend les étapes suivantes :
- une étape de réception d’une ou des images de référence réalisée par un dispositif de traitement du système qui utilise les données provenant d’au moins un modèle de conception assistée par ordinateur (fichier CAO) d’un pneumatique identifié, avec le ou les fichiers CAO comprenant une ou des images sources dont un contenu source sémantique est incorporé ;
- une étape de génération d’images de synthèse réalisée par un synthétiseur du système qui alimente des données supplémentaires aux fichiers CAO à partir de paramètres de rendu fournis par le synthétiseur ;
- une étape de création d’une ou des images de synthèse du pneumatique identifié à partir des fichiers CAO et des paramètres de rendu ;
- une étape de construction d’un ou des modèles de l’aspect réaliste à partir d’une base d’acquisitions visuelles existantes stockées dans une base de données du système ;
- une étape d’entrainement d’un réseau de transfert de style qui fonctionne sur le processeur du système, le réseau de transfert de style comprenant au moins un encodeur qui encode le contenu d’une image source reçue du processeur du système et qui génère les caractéristiques de l'image source, et au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes ;
- une étape d’extraction des données de caractéristiques sémantiques sources du contenu sémantique source de l'image source réalisée par l’encodeur ;
- une étape d’introduction au décodeur les données de caractéristiques sémantiques extraites par l’encodeur pour que le décodeur puisse sortir une image synthétique comprenant au moins une partie de contenu sémantique de l'image source dans un style cible ;
- une étape de détermination d’une perte de contenu en utilisant les données de caractéristiques sémantiques sources et les données de caractéristiques synthétiques ;
- une étape d’introduction des images photoréalistes incorporant des données caractéristiques synthétiques et les images cibles ;
- une étape de détermination d’une perte de style ;
- une étape de détermination d’une perte totale en fonction de la perte du contenu et la perte du style, réalisée par le processeur du système ; et
- une étape d’entrainement du modèle d’évaluation pour construire un modèle d’images photoréalistes représentant le ou les pneumatiques identifiés dans un état sans anomalies.The invention relates to a method for anticipating an evaluation model of the surface of an identified tire implemented by a style transfer system comprising one or more processors operably connected to a memory configured to store an application for analyzing data representative of the imaged tires, the processor(s) comprising an execution module of the analysis application which carries out image processing, the processor(s) of which are capable of executing stored programmed instructions in the memory to carry out the method, characterized in that the method comprises the following steps:
- a step of receiving one or more reference images carried out by a processing device of the system which uses the data coming from at least one computer-aided design model (CAD file) of an identified tire, with the or CAD files comprising one or more source images with semantic source content incorporated;
- a step of generating synthetic images carried out by a synthesizer of the system which feeds additional data to the CAD files based on rendering parameters provided by the synthesizer;
- a step of creating one or more synthetic images of the tire identified from the CAD files and rendering parameters;
- a step of constructing one or more models of the realistic appearance from a base of existing visual acquisitions stored in a database of the system;
- a step of training a style transfer network which operates on the system processor, the style transfer network comprising at least one encoder which encodes the content of a source image received from the system processor and which generates the characteristics of the source image, and at least one decoder which decodes the characteristics of the source image and which applies the style of target images to generate photorealistic images;
- a step of extracting source semantic characteristic data from the source semantic content of the source image produced by the encoder;
- a step of introducing to the decoder the semantic characteristic data extracted by the encoder so that the decoder can output a synthetic image comprising at least part of the semantic content of the source image in a target style;
- a step of determining a content loss using the source semantic feature data and the synthetic feature data;
- a step of introducing photorealistic images incorporating synthetic characteristic data and the target images;
- a step of determining a loss of style;
- a step of determining a total loss according to the loss of content and the loss of style, carried out by the system processor; And
- a training step of the evaluation model to construct a photorealistic image model representing the tire(s) identified in a state without anomalies.

Dans certains modes de réalisation du procédé de l’invention, le réseau de transfert de style comprend au moins un réseau adversaire génératif (GAN) comprenant :
- un générateur qui prend en entrée les images de synthèse synthétisées par le synthétiseur et les images cibles de la base de données comme les images sources, le générateur comprenant :
- au moins un encodeur qui encode le contenu d’une image source reçue du processeur du système et qui génère les caractéristiques de l'image source ;
- au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes ; et
- et au moins un discriminateur qui compare les images photoréalistes générées par le générateur et des images cibles obtenues de la base de données .In certain embodiments of the method of the invention, the style transfer network comprises at least one generative adversarial network (GAN) comprising:
- a generator which takes as input the synthetic images synthesized by the synthesizer and the target images from the database as the source images, the generator comprising:
- at least one encoder which encodes the content of a source image received from the system processor and which generates the characteristics of the source image;
- at least one decoder which decodes the characteristics of the source image and which applies the style of target images to generate photorealistic images; And
- and at least one discriminator which compares the photorealistic images generated by the generator and target images obtained from the database.

Dans certains modes de réalisation du procédé de l’invention, pendant l’étape d’entraînement du réseau de transfert de style, le discriminateur apprend à distinguer l'image photoréaliste générée par le générateur et des images réelles du domaine cible de sorte que le réseau de transfert de style est entrainé pour sortir des paramètres de rendu afin de modéliser une image rendue résultante permettant d’effectuer un transfert de style présent dans les images sources vers les images cibles.In certain embodiments of the method of the invention, during the training step of the style transfer network, the discriminator learns to distinguish the photorealistic image generated by the generator and real images of the target domain so that the style transfer network is trained to output rendering parameters in order to model a resulting rendered image allowing transfer of style present in the source images to the target images.

Dans certains modes de réalisation du procédé de l’invention, pendant l’étape d’entrainement du réseau de transfert de style, la modélisation est réalisée sur un ou des composants CNN du type ImageNet-VGG.In certain embodiments of the method of the invention, during the training step of the style transfer network, the modeling is carried out on one or more CNN components of the ImageNet-VGG type.

Dans certains modes de réalisation du procédé de l’invention, le ou les fichiers CAO reçus pendant l’étape de réception incorporent plusieurs modèles de pneumatiques identifiés à soumettre à un contrôle visuel.In certain embodiments of the method of the invention, the CAD file(s) received during the reception step incorporate several identified tire models to be subjected to a visual inspection.

Dans certains modes de réalisation du procédé de l’invention :
- l’image source comprend une ou des images des pneumatiques photoréalistes synthétisées ;
- l’image cible comprend une ou des images des pneumatiques réels ; et
- le style cible comprend le style des images des pneumatiques réels.In certain embodiments of the method of the invention:
- the source image comprises one or more images of the synthesized photorealistic tires;
- the target image includes one or more images of the real tires; And
- the target style includes the style of the actual tire images.

Dans certains modes de réalisation du procédé de l’invention, une ou plusieurs étapes du procédé sont réalisées de manière itérative jusqu'à ce que la perte totale soit égale ou inférieure à un seuil de perte prédéterminé.In certain embodiments of the method of the invention, one or more steps of the method are carried out iteratively until the total loss is equal to or less than a predetermined loss threshold.

D’autres aspects de l’invention vont devenir évidents grâce à la description détaillée suivante.Other aspects of the invention will become apparent from the following detailed description.

La nature et les divers avantages de l’invention vont devenir plus évidents à la lecture de la description détaillée qui suit, conjointement avec les dessins annexés, sur lesquels les mêmes numéros de référence désignent partout des parties identiques, et dans lesquels :
La représente les différentes zones d’un pneumatique où des images doivent être acquises pendant un procédé effectué par un système d’évaluation de l’art antérieur permettant l’évaluation de l’état d’un pneumatique par l’acquisition d’une image visuelle.
La représente une architecture globale d’un système de l’invention qui réalise un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique.
The nature and various advantages of the invention will become more evident on reading the detailed description which follows, together with the accompanying drawings, in which the same reference numbers designate identical parts throughout, and in which:
There represents the different areas of a tire where images must be acquired during a process carried out by a prior art evaluation system allowing the evaluation of the state of a tire by the acquisition of a visual image .
There represents an overall architecture of a system of the invention which carries out a method of anticipated learning of a model for evaluating the surface of a tire.

Description détailléedetailed description

En se référant maintenant aux figures, sur lesquelles les mêmes numéros identifient des éléments identiques, la représente une architecture globale d’un système 100 de l’invention qui réalise un procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié (ou « procédé ») de l’invention. Le procédé de l’invention concerne un procédé de génération d’images de synthèses à partir de représentations trois-dimensionnelles (ou « 3D ») de pneumatiques. Ces représentations sont dérivées des modèles de conception assistée par ordinateur (ou « fichiers CAO ») des pneumatiques identifiés. Ainsi, le procédé divulgué incorpore une méthode d’apprentissage automatique dont l’algorithme employé utilise les données disponibles dans une séquence d’images obtenues des pneumatiques identifiés pour effectuer une synthèse de texture et transfert de style de manière à modéliser un aspect réaliste et transférer cet aspect aux images synthétiques obtenues.Referring now to the figures, in which the same numbers identify identical elements, the represents an overall architecture of a system 100 of the invention which carries out a method of anticipatory learning of a model for evaluating the surface of an identified tire (or “method”) of the invention. The method of the invention relates to a method for generating synthetic images from three-dimensional (or “3D”) representations of tires. These representations are derived from computer-aided design models (or “CAD files”) of the identified tires. Thus, the disclosed method incorporates a machine learning method whose algorithm used uses the data available in a sequence of images obtained from the identified tires to perform texture synthesis and style transfer so as to model a realistic appearance and transfer this aspect to the synthetic images obtained.

Tel qu'utilisé ici, le terme “procédé” ou “processus” peut comprendre une ou plusieurs étapes effectuées par au moins un système informatique comportant un ou des processeurs pour exécuter des instructions qui effectuent les étapes. Sauf indication contraire, toute séquence d'étapes est donnée à titre d’exemple et ne limite pas les procédés décrits à une quelconque séquence particulière.As used herein, the term “method” or “process” may include one or more steps performed by at least one computer system having one or more processors to execute instructions that perform the steps. Unless otherwise indicated, any sequence of steps is given by way of example and does not limit the methods described to any particular sequence.

En se référant à la , pour mettre en œuvre le procédé de l’invention par moyen d’ordinateur, le système 100 comprend un réseau de communication (ou « réseau »)(non-représenté) qui gère les données entrantes au système des sources variées. Le réseau de communication incorpore un ou des serveurs de communication (ou « serveurs ») (non représentés) comprenant chacun un ou des processeurs connectés de manière opérationnelle à une mémoire. La mémoire est configurée pour stocker une application d'analyse des données représentatives des pneumatiques (y compris des segments partiels des pneumatiques) imagés. Le ou les processeurs comprennent un module d’exécution d’application d’analyse qui réalise le traitement des images, dont le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser le procédé de l’invention.Referring to the , to implement the method of the invention by computer means, the system 100 comprises a communications network (or “network”) (not shown) which manages data entering the system from various sources. The communications network incorporates one or more communications servers (or “servers”) (not shown) each comprising one or more processors operably connected to a memory. The memory is configured to store an application for analyzing data representative of the tires (including partial segments of the tires) imaged. The processor(s) include an analysis application execution module which performs image processing, the processor(s) of which are capable of executing programmed instructions stored in the memory to carry out the method of the invention.

Le terme « processeur » (ou, alternativement, le terme "circuit logique programmable") désigne un ou plusieurs dispositifs capables de traiter et d'analyser des données et comprenant un ou plusieurs logiciels pour leur traitement (par exemple, un ou plusieurs circuits intégrés connus par l’homme de métier comme étant inclus dans un ordinateur, un ou plusieurs contrôleurs, un ou plusieurs microcontrôleurs, un ou plusieurs micro-ordinateurs, un ou plusieurs automates programmables (ou « PLC »), un ou plusieurs circuits intégrés spécifiques à une application, un ou plusieurs réseaux de neurones, et/ou un ou plusieurs autres circuits programmables équivalents connus). Le processeur comprend un ou des logiciels pour le traitement des données capturées et/ou traitées par le système 100 (et les données correspondantes obtenues) ainsi qu'un ou des logiciels pour l'identification et la localisation des variances et l’identification de leurs sources pour les corriger.The term "processor" (or, alternatively, the term "programmable logic circuit") means one or more devices capable of processing and analyzing data and including one or more software for their processing (for example, one or more integrated circuits known to those skilled in the art as being included in a computer, one or more controllers, one or more microcontrollers, one or more microcomputers, one or more programmable logic controllers (or “PLCs”), one or more integrated circuits specific to an application, one or more neural networks, and/or one or more other known equivalent programmable circuits). The processor includes software(s) for processing the data captured and/or processed by the system 100 (and the corresponding data obtained) as well as software(s) for identifying and locating variances and identifying their sources to correct them.

Le réseau de communication du système 100 peut comprendre un ou d’autres dispositifs de communication (ou « dispositifs ») qui capturent et qui transmettent des données recueillies de l’environnement physique dont le système 100 fonctionne. Le ou les dispositifs de communication peuvent communiquer par fil ou sans fil (par exemple, via WiFi, Bluetooth, infrarouge, transmission RFID, Universal Serial Bus (USB), cellulaire, et/ou autres moyens de communication sans fil) sur le réseau de communication du système 100. Le ou les dispositifs de communication peuvent comprendre un ou des dispositifs portables tels qu'un dispositif de réseau mobile d’un opérateur identifié (par exemple, un téléphone mobile, un ordinateur portable, un ou des dispositifs portables connectés au réseau, y compris des dispositifs du type « réalité augmentée » et/ou « réalité virtuelle », et/ou toutes combinaisons et/ou tous équivalents). Le ou les dispositifs de communication peuvent comprendre aussi un ou des ordinateurs à distance pouvant transférer des données par le réseau de communication.The communications network of system 100 may include one or more communications devices (or “devices”) that capture and transmit data collected from the physical environment in which system 100 operates. The communication device(s) may communicate by wire or wirelessly (e.g., via WiFi, Bluetooth, infrared, RFID transmission, Universal Serial Bus (USB), cellular, and/or other wireless communication means) over the network of communication of the system 100. The communication device(s) may include a portable device(s) such as a mobile network device of an identified operator (e.g., a mobile phone, a laptop computer, a portable device(s) connected to the network, including devices of the “augmented reality” and/or “virtual reality” type, and/or all combinations and/or all equivalents). The communication device(s) may also include remote computer(s) capable of transferring data over the communications network.

Tel qu'utilisé ici, “opérateur” se réfère à un seul utilisateur comprenant un participant individuel d’un processus et/ou d’un procédé prédéterminé. L’opérateur peut être un membre individuel d'une équipe ou d'un groupe qui participe à un processus et/ou un procédé prédéterminé. L’opérateur peut inclure une machine (par exemple, un robot ou un cobot) ayant des droits intégrés qui répliquent des mouvements de manière anthropomorphique. Un opérateur humain (ou pas) pourrait gérer une telle machine en gérant à distance un processus et/ou un procédé prédéterminé en direct. Il est entendu qu’un opérateur (soit humain soit machine) peut employer un ou des systèmes et/ou appareils électroniques configuré pour recevoir une entrée de commande et configuré pour envoyer automatiquement des données à au moins un autre opérateur (par exemple, un opérateur humain qui gère un processus en amont ou en aval du processus et/ou procédé prédéterminé en cours de réalisation).As used herein, “operator” refers to a single user comprising an individual participant of a predetermined process and/or process. The operator may be an individual member of a team or group who participates in a predetermined process and/or procedure. The operator can include a machine (e.g., a robot or cobot) with built-in rights that replicates movements anthropomorphically. A human operator (or not) could manage such a machine by remotely managing a process and/or a predetermined process live. It is understood that an operator (either human or machine) may employ electronic system(s) and/or devices configured to receive control input and configured to automatically send data to at least one other operator (e.g., an operator human who manages a process upstream or downstream of the predetermined process and/or process being carried out).

Dans le système 100, la mémoire peut comprendre à la fois des dispositifs de mémoire volatiles et non volatiles. La mémoire non volatile peut comprendre des mémoires à l'état solide, telles que la mémoire flash NAND, la mémoire « vive » (ou « keep-alive memory » ou « KAM ») pour sauvegarder des variables diverses de fonctionnement pendant que le processeur est hors tension, des supports de stockage magnétiques et optiques, ou tout autre dispositif de stockage de données approprié qui conserve les données lorsque le système 100 est désactivé ou perd son alimentation électrique. La mémoire volatile peut comprendre une mémoire statique et dynamique RAM qui stocke des instructions de programme et des données, y compris une application d'apprentissage automatique. A titre d’exemple, une application d'apprentissage automatique peut comprendre une application d’apprentissage profond et/ou une application d'apprentissage few-shot.In system 100, the memory may include both volatile and non-volatile memory devices. The non-volatile memory may include solid state memories, such as NAND flash memory, “random access” memory (or “keep-alive memory” or “KAM”) to save various operating variables while the processor is powered off, magnetic and optical storage media, or any other suitable data storage device that retains data when the system 100 is disabled or loses power. The volatile memory may include static and dynamic RAM that stores program instructions and data, including a machine learning application. For example, a machine learning application may include a deep learning application and/or a few-shot learning application.

Le système 100 permet de générer une image du domaine cible à partir d'une image du domaine source. Un programme s'exécute dans la mémoire du système 100 qui collecte des images (par exemple, au moyen d'un capteur, d'un scanner, d'une caméra, etc.) et les stocke dans une base de données. Un programme peut parcourir et sélectionner des images, et celles-ci sont chargées dans une base de données locale et/ou une base de données distante. Le programme lit les attributs d'un modèle et présente les attributs de ce modèle à l'opérateur.The system 100 makes it possible to generate an image of the target domain from an image of the source domain. A program runs in the memory of system 100 that collects images (e.g., by means of a sensor, scanner, camera, etc.) and stores them in a database. A program can browse and select images, and these are loaded into a local database and/or a remote database. The program reads the attributes of a model and presents the attributes of that model to the operator.

Pour fournir des données aussi pertinentes que possible, le système 100 comprend un dispositif de traitement 102 d’une ou des images de référence proviennent d’au moins un modèle de conception assistée par ordinateur (ici, un « fichier CAO ») d’un pneumatique identifié. Comme utilisé ici, un « fichier CAO » peut incorporer plusieurs modèles de pneumatiques identifiés et pour lesquels l’inspection ultérieure est souhaitée pendant des processus de leur production.To provide data that is as relevant as possible, the system 100 includes a processing device 102 of one or more reference images coming from at least one computer-aided design model (here, a “CAD file”) of a tire identified. As used here, a “CAD file” can incorporate several tire models identified and for which subsequent inspection is desired during their production processes.

Pendant le procédé de l’invention réalisé par le système 100, le dispositif de traitement 102 reçoit un fichier CAO d’un ou des modèles des pneumatiques identifiés avant leur mise en production en leur forme finale. Le dispositif de traitement 102 utilise les données des fichiers CAO de ces pneumatiques dont les représentations trois-dimensionnelles (ou « 3D ») servent à une « densification du stockage » pour mettre en correspondance l'emplacement d’une anomalie à partir du fichier CAO. Dans un mode de réalisation, le travail de densification du stockage peut comprendre un ensemble entièrement homogène de pneumatiques identiques (dont on renseigne la dimension une fois puis le système 100 les traite automatiquement). Dans un autre mode de réalisation, le travail de densification du stockage peut comprendre une lecture au cas par cas de la référence du pneumatique identifié et l’appel à ses dimensions dans une base de données CAO. Il est entendu que le dispositif de traitement 102 peut recevoir le ou les fichiers CAO par des méthodes de transmission de données connues par l'homme du métier.During the process of the invention carried out by the system 100, the processing device 102 receives a CAD file of one or more models of the tires identified before they are put into production in their final form. The processing device 102 uses the data from the CAD files of these tires whose three-dimensional (or “3D”) representations are used for “storage densification” to match the location of an anomaly from the CAD file. . In one embodiment, the storage densification work can include an entirely homogeneous set of identical tires (the size of which is entered once and then the system 100 processes them automatically). In another embodiment, the storage densification work may include a case-by-case reading of the reference of the identified tire and the call up of its dimensions in a CAD database. It is understood that the processing device 102 can receive the CAD file(s) by data transmission methods known to those skilled in the art.

Les fichiers CAO comprennent des zones d’une surface d’un pneumatique identifié à inspecter (par exemple, des zones accidentées, des zones de fort relief, des zones lisses, et des zones planes). Il est entendu qu’une image de référence acquise par le dispositif de traitement 102 peut comprendre une image moyenne issue d’une pluralité de modèles CAO considérés comme des pneumatiques de référence. Le ou les fichiers CAO comprennent des données d’une ou des images sources dont un contenu source sémantique (ou « contenu sémantique ») est incorporé. Comme utilisé ici, le terme « contenu sémantique » fait référence à des objets dans l’image source et leur agencement dans l’image source. Dans le cas d’un pneumatique identifié, le contenu sémantique pourrait comprendre les caractéristiques principales de la bande de roulement du pneumatique identifié (par exemple, les rainures, les lamelles et les blocs) représentées dans le fichier CAO correspondant.CAD files include areas of an identified tire surface to be inspected (for example, rough areas, high relief areas, smooth areas, and flat areas). It is understood that a reference image acquired by the processing device 102 may include an average image from a plurality of CAD models considered as reference tires. The CAD file(s) include data from a source image(s) with semantic source content (or “semantic content”) embedded therein. As used here, the term "semantic content" refers to objects in the source image and their arrangement in the source image. In the case of an identified tire, the semantic content could include the main tread characteristics of the identified tire (e.g. grooves, sipes and blocks) represented in the corresponding CAD file.

Le système 100 comprend en outre un dispositif de rendu (ou « synthétiseur ») 104 qui alimente des données supplémentaires aux fichiers CAO pour générer d’images de synthèse de pneumatiques identifiés dites « photo-réalistes » (ou « images photo-réalistes »). Pendant une étape d’entrainement du système 100 réalisée pendant le procédé de l’invention, le synthétiseur 104 permet de produire des paramètres de rendu qui fournissent une imagerie cohérente. Pour réduire la variabilité, le synthétiseur 104 apprend à sortir des paramètres de rendu pour modéliser l'image rendue résultante pour un ensemble de données sur une image souhaitée. Les ensembles de paramètres appris établissent une conception de visualisation qui peut être réutilisée lorsque de nouvelles données sont introduites dans le système 100 afin de fournir des images rendues cohérentes. Comme utilisé ici, un rendu « cohérent » (ou la « cohérence ») fait référence à une manipulation cohérente des données, une visualisation cohérente et/ou des styles visuels cohérents.The system 100 further comprises a rendering device (or “synthesizer”) 104 which feeds additional data to the CAD files to generate so-called “photo-realistic” synthetic images of identified tires (or “photo-realistic images”). . During a training step of the system 100 carried out during the method of the invention, the synthesizer 104 makes it possible to produce rendering parameters which provide coherent imagery. To reduce variability, synthesizer 104 learns to output rendering parameters to model the resulting rendered image for a data set onto a desired image. The learned parameter sets establish a visualization design that can be reused when new data is introduced into the system 100 to provide consistent rendered images. As used herein, "consistent" rendering (or "consistency") refers to consistent data manipulation, consistent visualization, and/or consistent visual styles.

Pendant le procédé de l’invention réalisé par le système 100, le synthétiseur 104 simule la physique de la propagation de la lumière pour créer une image au lieu d'accumuler des échantillons avec une machine de contrôle automatique (par exemple, une machine du type divulgué par le brevet FR3103555 de la Demanderesse). Le synthétiseur 104 peut aussi employer une opération de simulation des interactions lumières-matières, tant d’un point de vue du matériau du pneumatique que des modalités particulières d’éclairage des moyens d’acquisition des images du pneumatique (par exemple, l’éclairage, le laser, et un ou des moyens équivalents). Le synthétiseur 104 peut comprendre un moyen de traitement graphique, un réseau de moyens de traitement graphique, un serveur, un ordinateur ou toute autre machine capable d'effectuer les calculs requis. Tout algorithme de rendu capable de calculer le transport de lumière peut être utilisé (par exemple, le traçage de chemin, y compris, sans limitation, le traçage de chemin sans biais, le traçage de chemin de Monte-Carlo ou le transport de lumière de Metropolis).During the method of the invention carried out by the system 100, the synthesizer 104 simulates the physics of light propagation to create an image instead of accumulating samples with an automatic control machine (e.g., a machine of the type disclosed by the Applicant's patent FR3103555). The synthesizer 104 can also employ an operation of simulating light-material interactions, both from the point of view of the material of the tire and of the particular modalities of lighting of the means of acquiring images of the tire (for example, the lighting , the laser, and one or more equivalent means). The synthesizer 104 may include graphics processing means, a network of graphics processing means, a server, a computer or any other machine capable of performing the required calculations. Any rendering algorithm capable of calculating light transport may be used (e.g., path tracing, including, without limitation, unbiased path tracing, Monte Carlo path tracing, or light transport of Metropolis).

Le processeur du système 100 comprend un ou des logiciels de modélisation 3D 103 qui sont capables d'exécuter des instructions programmées stockées dans la mémoire pour créer une ou des images de synthèse 105. Le système 100 utilise les représentations 3D créées pour générer une ou des images de synthèse 105 du pneumatique identifié à partir des fichiers CAO et des paramètres de rendu. Les logiciels de modélisation 3D sont connus pour numériser de sujets d’un environnement physique (ou « monde réel ») en un ensemble de points de données. Le logiciel de modélisation 3D 103 peut être choisi parmi les logiciels de modélisation 3D disponibles dans le commerce.The processor of the system 100 includes one or more 3D modeling software 103 which are capable of executing programmed instructions stored in the memory to create one or more synthetic images 105. The system 100 uses the 3D representations created to generate one or more synthetic images 105 of the tire identified from the CAD files and rendering parameters. 3D modeling software is known for digitizing subjects from a physical environment (or “real world”) into a set of data points. The 3D modeling software 103 can be chosen from commercially available 3D modeling software.

Le système 100 comprend en outre une base de données 106 dont les images des pneumatiques réels (ou des « images cibles ») sont stockées pour construire un ou des modèles de l’aspect réaliste à partir d’une base d’acquisitions visuelles existantes. Pour transférer cet aspect réaliste aux images photo-réalistes synthétisées, la base de données 106 comprend une identification et une description d’un ou des pneumatiques existants (y compris, sans limitation, l’aspect réel du matériau de la surface du chaque pneumatique existant). Ainsi, la base de données 106 incorpore un lexique commun pour faire référence aux caractéristiques des pneumatiques destinés au marché, ce qui permet à l’aspect réaliste d’être appliqué à l’aspect des anomalies recherchées par des modèles d’évaluation de la surface de pneumatiques (employés, par exemple, pendant des séances d’inspection des pneumatiques fabriqués avant leur mise au marché). Le système 100 comprend en outre au moins un réseau de transfert de style qui fonctionne sur les processeurs du système. Les réseaux de transfert de style utilisent des réseaux neuronaux profonds pour apprendre une représentation artistique d’une ou des images originales et pour les appliquer à de nouvelles images originales. Les réseaux neuronaux profonds extraient les caractéristiques statistiques des images liées au contenu et au style, de sorte qu’on peut quantifier l'efficacité du transfert de style sans les paires d'images explicites.The system 100 further comprises a database 106 whose images of real tires (or “target images”) are stored to construct one or more models of the realistic appearance from a base of existing visual acquisitions. To transfer this realistic appearance to the synthesized photo-realistic images, the database 106 includes an identification and a description of one or more existing tires (including, without limitation, the actual appearance of the surface material of each existing tire ). Thus, the database 106 incorporates a common lexicon for referring to the characteristics of tires intended for the market, which allows the realistic aspect to be applied to the appearance of the anomalies sought by surface evaluation models. of tires (employed, for example, during inspection sessions on tires manufactured before they are placed on the market). The system 100 further includes at least one style transfer network that operates on the system's processors. Style transfer networks use deep neural networks to learn an artistic representation of an original image(s) and apply them to new original images. Deep neural networks extract statistical features from images related to content and style, so that the effectiveness of style transfer can be quantified without explicit image pairs.

Le réseau de transfert de style comprend au moins un encodeur qui encode le contenu d’une image source reçue par le processeur du système 100 et qui génère les caractéristiques de l'image source. Le réseau de transfert de style comprend aussi au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes (par exemple, des images photoréalistes 113 décrites en dessous).The style transfer network includes at least one encoder which encodes the content of a source image received by the system processor 100 and which generates the characteristics of the source image. The style transfer network also includes at least one decoder that decodes the characteristics of the source image and applies the style of target images to generate photorealistic images (e.g., photorealistic images 113 described below).

Dans le mode de réalisation du système 100 représenté dans la , le réseau de transfert de style comprend au moins un réseau adversaire génératif (ou « generative adversarial network » ou « GAN ») qui fonctionne sur le processeur du système 100. Pour capter des éléments particuliers liés au procédé de fabrication du pneumatique identifié, le GAN est entrainé de sorte qu’il puisse propager des styles et/ou des textures qui sont présents dans l’image source vers une image cible. Cette technique est reconnue comme « transfert de style » (ou « style transfer » en anglais). Le terme « style » fait référence aux couleurs moyennes dans l’espace et la texture d’une image source (tels que l’équilibre des blancs, la saturation de couleurs et la luminosité de l’image).In the embodiment of the system 100 shown in the , the style transfer network comprises at least one generative adversarial network (or “generative adversarial network” or “GAN”) which operates on the processor of the system 100. To capture particular elements linked to the manufacturing process of the identified tire, the GAN is trained so that it can propagate styles and/or textures that are present in the source image to a target image. This technique is recognized as “style transfer” (or “style transfer” in English). The term "style" refers to the average colors in the space and texture of a source image (such as white balance, color saturation, and brightness of the image).

Il est entendu que le GAN représenté dans la est donné à titre d’exemple et que le système 100 pourrait employer un ou d’autres réseaux de transfert de style connus par l’homme du métier (y compris, sans limitation, le transfert par les coefficients d’un encodeur, Cycle GAN, et d’autres techniques de transfert de style neuronal connu). A titre d’exemple, on pourrait utiliser un algorithme du type transfert de style arbitraire dont les premières couches d’un réseau VGG-19 pour encoder les images de contenu et les images de style. Une couche AdaIN est utilisée pour réaliser le transfert de style, et un décodeur est entrainé pour inverser la sortie AdaIN vers les epsaces d’image (voir Huang, Xun et Belongie, Serge, « Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization », arXiv :1703.06868 (3à juillet 2017).It is understood that the GAN represented in the is given by way of example and that the system 100 could employ one or other style transfer networks known to those skilled in the art (including, without limitation, transfer by the coefficients of an encoder, Cycle GAN , and other known neural style transfer techniques). For example, we could use an algorithm of the arbitrary style transfer type including the first layers of a VGG-19 network to encode the content images and the style images. An AdaIN layer is used to perform the style transfer, and a decoder is trained to invert the AdaIN output to the image spaces (see Huang, Xun and Belongie, Serge, “Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization », arXiv:1703.06868 (July 3, 2017).

Au cours du procédé de l’invention réalisé par le système 100, le GAN (ou un autre réseau de transfert de style choisi) est entraîné par la réception d'un corpus d'échantillons source et d'un corpus d'échantillons cible. Un « corpus » est une collection d'échantillons de données du même type, et chaque échantillon a une étendue bidimensionnelle (par exemple, pixel), tridimensionnelle (par exemple, voxel) ou à N dimensions. Une collection peut être formée de types similaires d'échantillons ayant un ou des attributs en commun (par exemple, des attributs d’un flanc, d’une gomme intérieure et/ou d’un sommet du pneumatique identifié).During the method of the invention carried out by the system 100, the GAN (or another chosen style transfer network) is trained by receiving a corpus of source samples and a corpus of target samples. A “corpus” is a collection of data samples of the same type, and each sample has a two-dimensional (e.g., pixel), three-dimensional (e.g., voxel), or N-dimensional extent. A collection may be formed of similar types of samples having one or more attributes in common (for example, attributes of a sidewall, an inner rubber and/or a crown of the identified tire).

Le GAN comprend un réseau de générateur d’image (ou « générateur ») 108 qui prend en entrée les images de synthèse 105 synthétisées par le synthétiseur 104 et les images cibles de la base de données 106 (ici, « les images sources »). Le générateur 108 comprend au moins un encodeur 108a auquel le processeur du système 100 entre les images sources . L’encodeur 108a comprend une pluralité de couches de codage 108a’ dont chaque couche de codage réalise une convolution avec un banc de filtres pour produire un ensemble de cartes de caractéristiques (ou « feature maps »). L’encodeur 108a encode le contenu de chaque l'image source, et il génère les caractéristiques des images sources.The GAN includes an image generator network (or “generator”) 108 which takes as input the synthetic images 105 synthesized by the synthesizer 104 and the target images from the database 106 (here, “the source images”) . The generator 108 includes at least one encoder 108a to which the system processor 100 inputs the source images. The encoder 108a comprises a plurality of coding layers 108a', each coding layer of which performs a convolution with a bank of filters to produce a set of feature maps. The encoder 108a encodes the content of each source image, and it generates the characteristics of the source images.

Le générateur 108 comprend aussi au moins un décodeur 108b qui reçoit les cartes de caractéristiques de l’encodeur 108a. Le décodeur 108b, ayant une pluralité de couches de décodage108b’, décode les caractéristiques des images sources, et il applique le style d’images cibles pour générer des images photo-réalistes 113.The generator 108 also includes at least one decoder 108b which receives the characteristic maps from the encoder 108a. The decoder 108b, having a plurality of decoding layers 108b', decodes the characteristics of the source images, and it applies the style of target images to generate photo-realistic images 113.

Il est apprécié que le générateur 108 est un générateur à plusieurs couches afin d'augmenter la capacité de l’encodeur 108a à représenter les caractéristiques du contenu de l'entrée (c.-à-d., les fichiers CAO et donc les données des fichiers CAO).It is appreciated that the generator 108 is a multi-layer generator in order to increase the ability of the encoder 108a to represent the characteristics of the input content (i.e., the CAD files and therefore the data CAD files).

Le GAN comprend en outre un réseau discriminateur (ou « discriminateur ») 110 qui compare une image photoréaliste 113 (générée par le générateur 108) et des images cibles (obtenues de la base de données 106) pour déterminer si l’image photoréaliste (comprenant une image synthétique stylisée) est réelle ou fausse. En conséquence, le GAN essaie de " tromper " le discriminateur 110 en produisant une image synthétique qui semble provenir d'une vraie distribution de données du domaine d'image cible (c'est-à-dire, une image capturée par une caméra d’un pneumatique réel). Pendant l'entrainement du GAN, le discriminateur 110 apprend à distinguer l'image photoréaliste 113 générée par le générateur 108 et des images réelles du domaine cible. Pendant l'entrainement, le générateur 108 apprend une modélisation des images sources au style cible, et il s'entraîne à produire des échantillons cibles qui trompent le discriminateur 110.The GAN further includes a discriminator (or “discriminator”) network 110 that compares a photorealistic image 113 (generated by the generator 108) and target images (obtained from the database 106) to determine whether the photorealistic image (including a stylized synthetic image) is real or false. Accordingly, the GAN attempts to "fool" the discriminator 110 by producing a synthetic image that appears to come from a real data distribution of the target image domain (i.e., an image captured by a camera d 'a real tire). During training of the GAN, the discriminator 110 learns to distinguish the photorealistic image 113 generated by the generator 108 and real images of the target domain. During training, the generator 108 learns a modeling of the source images in the target style, and it trains itself to produce target samples which deceive the discriminator 110.

L’encodeur 108a du générateur 108 extrait les données de caractéristiques sémantiques sources du contenu sémantique source des images sources. Ces données extraites sont entrées dans le décodeur 108b qui génère (ou « sort ») une image synthétique (ou « image photoréaliste ») 113. L’image photoréaliste comprend une partie ou la totalité du contenu sémantique d’une ou des images sources (étant une ou des images des pneumatiques photo-réalistes synthétisées) dans un style cible (étant le style des images des pneumatiques réels) en utilisant les données de caractéristiques sémantiques extraites par l’encodeur 108a. Le discriminateur 110 prend en entrée les images photo-réalistes 113 synthétisées, et il extrait des données caractéristiques synthétiques des images photoréalistes.The encoder 108a of the generator 108 extracts the source semantic feature data from the source semantic content of the source images. This extracted data is entered into the decoder 108b which generates (or “outputs”) a synthetic image (or “photorealistic image”) 113. The photorealistic image includes part or all of the semantic content of one or more source images ( being one or more synthesized photo-realistic tire images) in a target style (being the style of the real tire images) using the semantic feature data extracted by the encoder 108a. The discriminator 110 takes the synthesized photorealistic images 113 as input, and it extracts synthetic characteristic data from the photorealistic images.

Afin de produire une image photoréaliste du pneumatique identifié, le générateur 108 est configuré pour synthétiser (ou « générer ») une image de domaine cible à partir d'une image de domaine source (ici, « l’image photoréaliste synthétisée »)(ici, les termes « synthétiser » et « générer » sont utilisés de manière interchangeable). Il est entendu qu’une séquence d'images peut être fournie à mesure que l'image est construite ou rendue. Il est également entendu qu’une seule image peut être produite sur la base d’un ensemble donné de valeurs de paramètres de rendu. Dans les deux cas, l'image photoréaliste 113 est rendue à l'aide de préréglages provenant, au moins en partie, d’un modèle appris par le système 100. Avec le synthétiseur 104, un opérateur peut modifier les valeurs des paramètres de rendu pour personnaliser les valeurs standards associées avec chaque modèle de pneumatique, ce qui rend les données correspondantes plus réutilisables.In order to produce a photorealistic image of the identified tire, the generator 108 is configured to synthesize (or “generate”) a target domain image from a source domain image (here, “the synthesized photorealistic image”) (here , the terms “synthesize” and “generate” are used interchangeably). It is understood that a sequence of images may be provided as the image is constructed or rendered. It is also understood that a single image can be produced based on a given set of rendering parameter values. In both cases, the photorealistic image 113 is rendered using presets originating, at least in part, from a model learned by the system 100. With the synthesizer 104, an operator can modify the values of the rendering parameters to personalize the standard values associated with each tire model, which makes the corresponding data more reusable.

Ainsi, à la fin d’une étape de génération des images photo-réalistes 113 du procédé de l’invention réalisé par le système 100, des données exploitables sont déjà fournies dans un modèle déjà entrainé. Il est entendu que ce modèle pourrait être entraîné sur un ou des composants CNN du type ImageNet-VGG dans Tensorflow et/ou ses équivalents. Les données exploitables obtenues sont utilisées dans la construction d’un modèle d’images photoréaliste représentant le ou les pneumatiques identifiés dans un état « parfait » (c.-à-d., un état sans anomalies avant leur utilisation).Thus, at the end of a step of generating photo-realistic images 113 of the method of the invention carried out by the system 100, usable data are already provided in an already trained model. It is understood that this model could be trained on one or more CNN components of the ImageNet-VGG type in Tensorflow and/or its equivalents. The resulting usable data is used in the construction of a photorealistic image model representing the identified tire(s) in a “perfect” condition (i.e., a condition without anomalies before their use).

Pour rendre proches les images photoréalistes et les images cibles en termes de caractéristiques de contenu (et donc accélérer l'apprentissage), le processeur du système 100 détermine une perte d’encodeur (ou « perte de contenu ») 115 en utilisant les données de caractéristiques sémantiques sources et les données de caractéristiques synthétiques. La perte de contenu est calculée par une distance Euclidienne entre une représentation intermédiaire des caractéristiques de niveau supérieur de l'image d'entrée et l'image de contenu dans une couche. Ainsi, le générateur 108 peut être considéré comme un encodeur suivi d'un décodeur dont l’encodeur donne une représentation raccourcie du contenu pour extraire les caractéristiques sémantiques de base de l'entrée. A titre d’exemple, il est connu d’utiliser une ou des fonctions objectives pour la régression (par exemple, l’erreur absolue moyen (« EAM ») et l’erreur quadratique moyenne (« EQM »). Il est aussi connu d’utiliser une ou des mesures de similarité d’une image synthétisée par rapport à une image cible (par exemple, le rapport signal de crête sur bruit (ou « peak signal-to-noise ratio » ou « PSNR » en anglais)). Il est également connu d’utiliser des mesures de luminance, de contraste et de structure pour mesurer la similarité entre deux ou plusieurs images (par exemple, la mesure de l'indice de similarité structurelle (ou « structural similarity index measure » ou « SSIM » en anglais)). Le système pourrait mettre en œuvre un ou des moyens pour déterminer la perte de contenu 115comme entendu par l’homme du métier.To make photorealistic images and target images close in terms of content characteristics (and therefore accelerate learning), the system processor 100 determines an encoder loss (or "content loss") 115 using the data from source semantic features and synthetic feature data. The content loss is calculated by a Euclidean distance between an intermediate representation of the higher-level features of the input image and the content image in a layer. Thus, the generator 108 can be considered as an encoder followed by a decoder whose encoder gives a shortened representation of the content to extract the basic semantic characteristics of the input. For example, it is known to use one or more objective functions for regression (for example, the mean absolute error (“MAE”) and the mean square error (“MSE”). It is also known to use one or more measures of similarity of a synthesized image relative to a target image (for example, the peak signal-to-noise ratio (or “PSNR” in English)) It is also known to use luminance, contrast and structure measurements to measure the similarity between two or more images (for example, the structural similarity index measure). SSIM" in English). The system could implement one or more means to determine the loss of content 115 as understood by those skilled in the art.

Dans le système 100 qui réalise le procédé de l’invention, le discriminateur 110 prend en entrée les images photoréalistes 113 synthétisées (et donc les données caractéristiques synthétiques). En outre, le processeur du système 100 introduit les images cibles t (et donc les données d'images cibles) de la base de données 106 au discriminateur 110. Le discriminateur 110 permet de classer ces données d'images cibles à partir des données caractéristiques synthétiques. Pour rendre proche les images photoréalistes et les images cibles en termes de caractéristiques de style, le discriminateur 110 détermine et sort une perte de réseau adversaire génératif (GAN)(ou « perte de style »)(ou « style loss »). La perte de style peut être mesurée comme le degré de corrélation présente entre les cartes de caractéristiques dans une couche donnée. Elle concerne un argument mathématique selon lequel l'entraînement du générateur 108 devrait chercher à minimiser la distance entre la distribution des données observées dans l'ensemble de données d'entraînement et la distribution observée dans les images photoréalistes générées. A titre d’exemple, les matrices de Gram, qui montrent la distribution globale des caractéristiques dans une couche donnée, pourraient être utilisées pour interpréter les informations de style dans une image. A titre d’exemple, d’autres mesures de distance de distribution pourraient être utilisées, y compris, sans limitation, la fonction de perte de Wasserstein (ou « the Wasserstein loss funciton »)(qui cherche à augmenter l’écart entre les scores des images réelles et ceux des images générées), la divergence de Kullback-Leibler (ou « KL divergence ») et la divergence de Jensen-Shannon (ou « JS divergence »).In the system 100 which carries out the method of the invention, the discriminator 110 takes as input the synthesized photorealistic images 113 (and therefore the synthetic characteristic data). In addition, the processor of the system 100 introduces the target images t (and therefore the target image data) from the database 106 to the discriminator 110. The discriminator 110 makes it possible to classify these target image data from the characteristic data synthetics. To make the photorealistic images and the target images close in terms of style characteristics, the discriminator 110 determines and outputs a generative adversarial network (GAN) loss (or “style loss”). Style loss can be measured as the degree of correlation present between feature maps in a given layer. It concerns a mathematical argument that training generator 108 should seek to minimize the distance between the data distribution observed in the training dataset and the distribution observed in the generated photorealistic images. As an example, Gram matrices, which show the overall distribution of features in a given layer, could be used to interpret style information in an image. As an example, other measures of distribution distance could be used, including, without limitation, the Wasserstein loss function (or "the Wasserstein loss function") which seeks to increase the gap between scores real images and those of generated images), the Kullback-Leibler divergence (or “KL divergence”) and the Jensen-Shannon divergence (or “JS divergence”).

Le processeur du système 100 détermine ensuite une perte totale en fonction de la perte du contenu et la perte du style. La perte représente une variation totale qui aide à réduire le bruit dans les images photoréalistes 113. Lorsque l'apprentissage du modèle est terminé, le système 100 sort les paramètres d’un modèle de transfert de style pour générer une ou des images synthétisées finales.The system processor 100 then determines a total loss based on the content loss and the style loss. The loss represents a total variation that helps reduce noise in the photorealistic images 113. When model training is complete, the system 100 outputs the parameters of a style transfer model to generate a final synthesized image(s).

Dans tous les modes de réalisation de l’invention, le système 100 peut réaliser une ou plusieurs étapes du procédé (et le procédé entier) de manière itérative. Par conséquent, en répétant ce procédé, le processeur entraîne le générateur 108 et le discriminateur 110 en utilisant la perte de contenu et la perte du style, jusqu'à ce que la perte totale soit égale ou inférieure à un seuil de perte prédéterminé ou atteigne le nombre maximum d'itérations afin de minimiser la distorsion de l'image pendant le transfert du style d'image.In all embodiments of the invention, the system 100 can perform one or more process steps (and the entire process) iteratively. Therefore, by repeating this process, the processor trains the generator 108 and the discriminator 110 using the content loss and the style loss, until the total loss is equal to or less than a predetermined loss threshold or reaches the maximum number of iterations to minimize image distortion during Picture Style transfer.

Il est entendu que l'architecture du système 100 peut être adaptée de telle sorte qu'elle peut appliquer un seul style dans une image (par exemple, une seule image réelle) ou elle peut mélanger et assortir plusieurs styles (par exemple, deux ou plusieurs images réelles).It is understood that the architecture of system 100 can be adapted such that it can apply a single style in an image (e.g., a single real image) or it can mix and match multiple styles (e.g., two or several real images).

L’invention divulguée permet de capter des éléments particuliers liés au procédé de fabrication du pneumatique identifié qui n’apparaissent pas dans les fichiers CAO initiaux (par exemple, les données correspondantes à des évents, à des anomalies de matières, et à des bavures aux jonctions des pièces de moule produisant le pneumatique qui sont présentes à la surface du pneumatique identifié). Ainsi, l’invention divulguée rend disponible les données correspondantes à des phénomènes optiques du moyens d’acquisition qui sont auparavant indisponibles en raison des difficultés et des coûts à les reproduire par simulation physique.The disclosed invention makes it possible to capture particular elements linked to the manufacturing process of the identified tire which do not appear in the initial CAD files (for example, data corresponding to vents, material anomalies, and burrs on the junctions of the mold parts producing the tire which are present on the surface of the identified tire). Thus, the disclosed invention makes available the data corresponding to optical phenomena of the acquisition means which are previously unavailable due to the difficulties and costs of reproducing them by physical simulation.

Comme utilisé ici, « image », au singulier ou au pluriel, fait respectivement référence aux images fixes et aux images capturées dans des séquences vidéo. La caméra peut être choisie parmi les caméras disponibles dans le commerce, y compris, sans limitation, des caméras de profondeur et des caméras à lumière visible (caméra RVB). Il est entendu que les termes « caméra vidéo », "caméra", "appareil photo", "capteur" et "capteur optique" peuvent être utilisés de manière interchangeable et peuvent se référer à un ou plusieurs appareils configurés pour capturer des images vidéos et fixes.As used herein, "image", in the singular or plural, refers to still images and images captured in video footage, respectively. The camera may be selected from commercially available cameras, including, without limitation, depth cameras and visible light cameras (RGB camera). It is understood that the terms "video camera", "camera", "camera", "sensor" and "optical sensor" may be used interchangeably and may refer to one or more devices configured to capture video images and fixed.

Dans tous les modes de réalisation de l’invention, au moins un réseau neuronal peut être entraîné pour permettre de reconnaitre des anomalies caractéristiques dans des images de synthèse réalistes de pneumatiques sortant du GAN et de créer à minima des boîtes englobantes (ou « régions encadrées ») autour des anomalies caractéristiques reconnues, et au mieux une détermination précise des frontières des anomalies. Pendant cet entraînement, les coordonnées de la boîte englobante de l’anomalie caractéristique sont mises en corrélation avec les coordonnées des positions prédéterminées sur la surface du pneumatique identifié. Les régions recadrées et les anomalies caractéristiques sont transmises à un réseau neuronal (par exemple, un ou des CNNs) pour apprendre conjointement la représentation de l’anomalie caractéristique dans des pneumatiques différents.In all embodiments of the invention, at least one neural network can be trained to make it possible to recognize characteristic anomalies in realistic synthetic images of tires coming out of the GAN and to create at least bounding boxes (or "framed regions"). ") around the recognized characteristic anomalies, and at best a precise determination of the boundaries of the anomalies. During this training, the coordinates of the bounding box of the characteristic anomaly are correlated with the coordinates of the predetermined positions on the surface of the identified tire. The cropped regions and characteristic anomalies are transmitted to a neural network (e.g., CNN(s)) to jointly learn the representation of the characteristic anomaly in different tires.

Le système informatique peut inclure des préprogrammations des informations de gestion. Par exemple, un réglage du procédé réalisé par le système 100 peut être associé avec les paramètres des environnements physiques typiques dans lesquels le système fonctionne.The computer system may include preprogramming of management information. For example, a process setting performed by system 100 may be associated with parameters of typical physical environments in which the system operates.

Dans des modes de réalisation de l’invention, le système 100 (et/ou une installation incorporant le système 100) peut recevoir des commandes vocales ou d'autres données audio représentant, pour exemple, une démarche ou un arrêt du procédé de l’invention mis en œuvre par le système 100. La commande peut inclure une demande pour l'état actuel du procédé prédéterminé. Une réponse générée peut être représentée de manière audible, visuelle, tactile (par exemple, en utilisant une interface haptique) et/ou virtuelle et/ou augmentée. Cette réponse, ainsi que les données correspondantes, peuvent être enregistrées dans le réseau neuronal.In embodiments of the invention, the system 100 (and/or an installation incorporating the system 100) can receive voice commands or other audio data representing, for example, an action or a stop of the process of the invention implemented by system 100. The command may include a request for the current state of the predetermined process. A generated response may be represented audibly, visually, tactilely (e.g., using a haptic interface), and/or virtually and/or augmented. This response, along with the corresponding data, can be recorded in the neural network.

Les termes « au moins un(e) » et « un(e) ou plusieurs » sont utilisés de manière interchangeable. Les gammes qui sont présentées comme se situant « entre a et b » englobent les valeurs « a » et « b ».The terms “at least one” and “one or more” are used interchangeably. Ranges that are presented as being "between a and b" include the values "a" and "b".

Bien que des modes de réalisation particuliers de l’appareil révélé aient été illustrés et décrits, on comprendra que divers changements, additions et modifications peuvent être pratiqués sans s’écarter de l’esprit ni de la portée du présent exposé. Par conséquent, aucune limitation ne devrait être imposée sur la portée de l’invention décrite à l’exception de celles exposées dans les revendications annexées.Although particular embodiments of the disclosed apparatus have been illustrated and described, it will be understood that various changes, additions and modifications may be made without departing from the spirit and scope of the present disclosure. Therefore, no limitations should be imposed on the scope of the invention described except those set forth in the appended claims.

Claims

Procédé d’apprentissage anticipé d’un modèle d’évaluation de la surface d’un pneumatique identifié mis en œuvre par un système (100) de transfert de style comprenant un ou des processeurs connectés de manière opérationnelle à une mémoire configurée pour stocker une application d'analyse des données représentatives des pneumatiques imagés, le ou les processeurs comprenant un module d’exécution de l'application d'analyse qui réalise le traitement d’images dont le ou les processeurs sont capables d'exécuter des instructions programmées stockées dans la mémoire pour réaliser le procédé, caractérisé en ce que le procédé comprend les étapes suivantes :
- une étape de réception d’une ou des images de référence réalisée par un dispositif de traitement (102) du système (100) qui utilise les données provenant d’au moins un modèle de conception assistée par ordinateur (fichier CAO) d’un pneumatique identifié, avec le ou les fichiers CAO comprenant une ou des images sources dont un contenu source sémantique est incorporé ;
- une étape de génération d’images de synthèse réalisée par un synthétiseur (104) du système (100) qui alimente des données supplémentaires aux fichiers CAO à partir de paramètres de rendu fournis par le synthétiseur ;
- une étape de création d’une ou des images de synthèse (105) du pneumatique identifié à partir des fichiers CAO et des paramètres de rendu ;
- une étape de construction d’un ou des modèles de l’aspect réaliste à partir d’une base d’acquisitions visuelles existantes stockées dans une base de données (106) du système (100) ;
- une étape d’entrainement d’un réseau de transfert de style qui fonctionne sur le processeur du système (100), le réseau de transfert de style comprenant au moins un encodeur qui encode le contenu d’une image source reçue du processeur du système (100) et qui génère les caractéristiques de l'image source, et au moins un décodeur qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes (113) ;
- une étape d’extraction des données de caractéristiques sémantiques sources du contenu sémantique source de l'image source réalisée par l’encodeur ;
- une étape d’introduction au décodeur les données de caractéristiques sémantiques extraites par l’encodeur pour que le décodeur puisse sortir une image synthétique comprenant au moins une partie de contenu sémantique de l'image source dans un style cible ;
- une étape de détermination d’une perte de contenu (115) en utilisant les données de caractéristiques sémantiques sources et les données de caractéristiques synthétiques ;
- une étape d’introduction des images photoréalistes (113) incorporant des données caractéristiques synthétiques et les images cibles ;
- une étape de détermination d’une perte de style ;
- une étape de détermination d’une perte totale en fonction de la perte du contenu et la perte du style, réalisée par le processeur du système (100) ; et
- une étape d’entrainement du modèle d’évaluation pour construire un modèle d’images photoréalistes (113) représentant le ou les pneumatiques identifiés dans un état sans anomalies.Method for anticipatory learning of a model for evaluating the surface of an identified tire implemented by a style transfer system (100) comprising one or more processors operably connected to a memory configured to store an application for analyzing data representative of the imaged tires, the processor(s) comprising an execution module of the analysis application which carries out image processing, the processor(s) of which are capable of executing programmed instructions stored in the memory to carry out the method, characterized in that the method comprises the following steps:
- a step of receiving one or more reference images carried out by a processing device (102) of the system (100) which uses data coming from at least one computer-aided design model (CAD file) of a identified tire, with the CAD file(s) comprising one or more source images of which semantic source content is incorporated;
- a step of generating synthetic images carried out by a synthesizer (104) of the system (100) which feeds additional data to the CAD files based on rendering parameters provided by the synthesizer;
- a step of creating one or more synthetic images (105) of the tire identified from the CAD files and rendering parameters;
- a step of constructing one or more models of the realistic appearance from a base of existing visual acquisitions stored in a database (106) of the system (100);
- a step of training a style transfer network which operates on the system processor (100), the style transfer network comprising at least one encoder which encodes the content of a source image received from the system processor (100) and which generates the characteristics of the source image, and at least one decoder which decodes the characteristics of the source image and which applies the style of target images to generate photorealistic images (113);
- a step of extracting source semantic characteristic data from the source semantic content of the source image produced by the encoder;
- a step of introducing to the decoder the semantic characteristic data extracted by the encoder so that the decoder can output a synthetic image comprising at least part of the semantic content of the source image in a target style;
- a step of determining a content loss (115) using the source semantic feature data and the synthetic feature data;
- a step of introducing photorealistic images (113) incorporating synthetic characteristic data and the target images;
- a step of determining a loss of style;
- a step of determining a total loss according to the loss of content and the loss of style, carried out by the system processor (100); And
- a training step of the evaluation model to construct a photorealistic image model (113) representing the tire(s) identified in a state without anomalies.

Procédé de la revendication 1, dans lequel le réseau de transfert de style comprend au moins un réseau adversaire génératif (GAN) comprenant :
- un générateur (108) qui prend en entrée les images de synthèse (105) synthétisées par le synthétiseur (104) et les images cibles de la base de données (106) comme les images sources, le générateur (108) comprenant :
- au moins un encodeur (108a) qui encode le contenu d’une image source reçue du processeur du système (100) et qui génère les caractéristiques de l'image source ;
- au moins un décodeur (108b) qui décode les caractéristiques de l'image source et qui applique le style d’images cibles pour générer des images photoréalistes (113) ; et
- et au moins un discriminateur (110) qui compare les images photoréalistes (113) générées par le générateur (108) et des images cibles obtenues de la base de données (106) .The method of claim 1, wherein the style transfer network comprises at least one generative adversarial network (GAN) comprising:
- a generator (108) which takes as input the synthetic images (105) synthesized by the synthesizer (104) and the target images from the database (106) as the source images, the generator (108) comprising:
- at least one encoder (108a) which encodes the content of a source image received from the system processor (100) and which generates the characteristics of the source image;
- at least one decoder (108b) which decodes the characteristics of the source image and which applies the style of target images to generate photorealistic images (113); And
- and at least one discriminator (110) which compares the photorealistic images (113) generated by the generator (108) and target images obtained from the database (106).

Procédé de la revendication 2, dans lequel, pendant l’étape d’entraînement du réseau de transfert de style, le discriminateur (110) apprend à distinguer l'image photoréaliste (113) générée par le générateur (108) et des images réelles du domaine cible de sorte que le réseau de transfert de style est entrainé pour sortir des paramètres de rendu afin de modéliser une image rendue résultante permettant d’effectuer un transfert de style présent dans les images sources vers les images cibles.The method of claim 2, wherein, during the step of training the style transfer network, the discriminator (110) learns to distinguish the photorealistic image (113) generated by the generator (108) and real images of the target domain so that the style transfer network is trained to output rendering parameters in order to model a resulting rendered image allowing transfer of style present in the source images to the target images.

Procédé de la revendication 1, dans lequel, pendant l’étape d’entrainement du réseau de transfert de style, la modélisation est réalisée sur un ou des composants CNN du type ImageNet-VGG.Method of claim 1, in which, during the training step of the style transfer network, the modeling is carried out on one or more CNN components of the ImageNet-VGG type.

Procédé de l’une quelconque des revendications 1 à 4 , dans lequel le ou les fichiers CAO reçus pendant l’étape de réception incorporent plusieurs modèles de pneumatiques identifiés à soumettre à un contrôle visuel.Method of any one of claims 1 to 4, wherein the CAD file(s) received during the reception step incorporate several identified tire models to be subjected to a visual inspection.

Procédé de l’une quelconque des revendications précédentes, dans lequel :
- l’image source comprend une ou des images des pneumatiques photoréalistes synthétisées ;
- l’image cible comprend une ou des images des pneumatiques réels ; et
- le style cible comprend le style des images des pneumatiques réels.Process of any one of the preceding claims, in which:
- the source image comprises one or more images of the synthesized photorealistic tires;
- the target image includes one or more images of the real tires; And
- the target style includes the style of the actual tire images.

Procédé de l’une quelconque des revendications précédentes, dans lequel une ou plusieurs étapes du procédé sont réalisées de manière itérative jusqu'à ce que la perte totale soit égale ou inférieure à un seuil de perte prédéterminé.The method of any preceding claim, wherein one or more steps of the method are carried out iteratively until the total loss is equal to or less than a predetermined loss threshold.