BE1027609B1 - Méthode et système de débruitage d'images ESPI basés sur l'apprentissage approfondi - Google Patents

Méthode et système de débruitage d'images ESPI basés sur l'apprentissage approfondi Download PDF

Info

Publication number
BE1027609B1
BE1027609B1 BE20215108A BE202105108A BE1027609B1 BE 1027609 B1 BE1027609 B1 BE 1027609B1 BE 20215108 A BE20215108 A BE 20215108A BE 202105108 A BE202105108 A BE 202105108A BE 1027609 B1 BE1027609 B1 BE 1027609B1
Authority
BE
Belgium
Prior art keywords
images
espi
image
fringed
denoising
Prior art date
Application number
BE20215108A
Other languages
English (en)
Other versions
BE1027609A1 (fr
Inventor
Huamei Xin
Original Assignee
Univ Shandong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Shandong filed Critical Univ Shandong
Publication of BE1027609A1 publication Critical patent/BE1027609A1/fr
Application granted granted Critical
Publication of BE1027609B1 publication Critical patent/BE1027609B1/fr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

La présente divulgation propose une méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi, qui consiste en construire un ensemble de données d’entraînement ; construire un modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative ; entraîner ledit modèle de réseau nerveux convolutif avec l’ensemble de données d’entraînement ; entrer une image à franges d'interférence de speckle à débruiter dans le modèle entraîné, et débruiter l'image à franges d'interférence de speckle; la méthode proposée par la présente divulgation permet d’effectuer effectivement un débruitage sur les images ESPI, qui non seulement garant un faible résidu de bruit, mais également fournit une protection efficace sur les informations marginales des images à franges, de plus, les images ESPI peuvent avoir une bonne adaptabilité, ce qui facilite le traitement d’images par lot et construit une base pour les opérations ultérieures tel que l'extraction de phase.

Description

Méthode et système de débruitage d'images ESPI basés sur l'apprentissage approfondi
DOMAINE TECHNIQUE La présente divulgation concerne le domaine technique d'interférométrie de speckle électronique, et en particulier une méthode et un système de débruitage d'images ESPI basés sur l'apprentissage approfondi.
CONTEXTE TECHNIQUE La description de cette section ne fournit que des informations techniques du contexte relatives à la présente divulgation et ne constitue pas nécessairement une technique antérieure.
La technologie d'interférométrie de speckle électronique permet de réaliser une détection de plein champ de haute précision sans contact et présente en même temps des avantages tels qu’une plage large de fréquences, un niveau faible d’impacts environnementaux, une plage large de scènes applicables, une simplicité et une facilité d’opérations. Avec le développement de recherches sur la technologie d'interférence de speckle électronique, cette technologie joue un rôle important pour détecter des dommages de surface, des défauts, des déformations et des déplacements des objets, qui présente des avantages uniques pour des détections dans de nombreux domaines, tels que l’industrie automobile, les transports, l’industrie électronique, l'archéologie, la recherche artistique, les ponts, la médecine, la science des matériaux, la science spatiale et autres pour détecter des vibrations, détecter des profils d’objets, lever des déplacements, inspecter des déformations de machines physiques et des équipements, évaluer la rugosité de la surface et la résistance des objets, etc. De plus, les recherches sur les images ESPI a également devenu un point chaud, apportant des avancées révolutionnaires aux mesures optiques.
Une image ESPI peut exprimer avec précision et efficacité la déformation d’un objet et peut être crée par différents modes d’opération, y compris les modes d'addition, de soustraction et de multiplication. Le mode de soustraction ne sera pas affecté par l'intensité lumineuse de l'arrière-plan, de sorte que l’image final présente un contraste avantages et produise relativement peu de bruit, mais la production de bruit reste inévitable. Des images à franges d'interférence de speckle obtenus par n'importe quelle mode présentent des problèmes tels qu’un flou d'image, une — faible résolution et un niveau élevé de bruit inhérent, qui défavorisent les recherches ultérieures. Par conséquent, l'exploration des méthodes de débruitage est très significative.
Par débruitage, on entend de filtrer des bruits défavorables à la collection et à l’utilisation des informations cibles contenues dans des images. Pendant le débruitage, le degré de protection sur des informations utiles, le niveau du bruit résiduel et la clarté d’image sont tous des indicateurs permettant d'évaluer les effets de débruitage, et également des normes pour tester les avantages et
; BE2021/5108 les inconvénients des méthodes de débruitage. Avec les recherches de plus en plus approfondies sur les algorithmes de débruitage d'images ESPI en chine et à l'étranger depuis les dernières années, les méthodes couramment utilisées comprennent le filtrage de domaine spatial et le filtrage du domaine de transformation, y compris le filtrage moyen, le filtrage médian, le filtrage Wiener, la transformée de Fourier et la transformée en ondelettes. Ces méthodes réduiront le contraste de l'image tout en filtrant le bruit, conduisant au flou de l'image, et la structure des franges de l'image sera détruite de certains niveaux, ce qui affectera l'extraction et le calcul de phases ultérieures.
Avec les progrès technologiques, les exigences sur le débruitage d’images à franges d'interférence de speckle devenant de plus en plus élevées, l'inventeur a constaté que les méthodes de débruitage existants ne peuvent pas obtenir des effets désirés et que le niveau de bruit d'images ESPI est relativement élevé et les franges présentent une grande diversité. Les méthodes existants n’arrivent pas à réaliser un débruitage en garantissant les informations de contraste et de détail marginal des images à franges, bien que le débruitage et la protection des informations marginales sont deux aspects qui doivent être équilibrés et coordonnés pendant les recherche des méthodes de débruitage d’images ESPI ; avec la mature de la technologie actuelle d'apprentissage approfondi, le réseau nerveux ont également été appliqués aux recherches sur les images, y compris la reconnaissance d'images, la classification d'images et autres, et la structure du réseau nerveux lié au débruitage d'images est également en constante évolution et innovation, mais la structure du réseau nerveux convolutif utilisé pour le débruitage d’images à franges d'interférence de speckle reste relativement simple, et en raison des limites des données d'entraînement, le traitement sur des images ESPI par un modèle de réseau de débruitage présente également certaines limites ; en raison des influences du résidu de bruit et de la perte d'informations, des résultats de l'extraction d'informations de phase correspondante, de la prédiction du résiduel, de la détection marginale, de la mesure de déformation d'objet et d'autres opérations ne sont pas idéaux.
DESCRIPTION DE L’DIVULGATION Pour résoudre les problèmes ci-dessus, la présente divulgation propose une méthode et un système de débruitage d'images ESPI basés sur l'apprentissage approfondi, qui consiste d’abord en entraîner un nouveau modèle de réseau nerveux convolutif proposé sur la base de BM3D-TV auto-adaptative, puis débruiter des images réelles à franges d'interférence de speckle avec le modèle entraîné, protégeant ainsi les informations de franges tout en assurant l'effet de débruitage. La solution ci-dessus présente une bonne universalité des images ESPI. Selon un premier aspect de l'exemple de la présente divulgation, une méthode système de débruitage d'images ESPI basés sur l'apprentissage approfondie est fournie, qui comprend : construire un ensemble de données d’entraînement : construire un modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative
; BE2021/5108 entraîner ledit modèle de réseau nerveux convolutif avec l’ensemble de données d’entraînement ; entrer une image à franges d'interférence de speckle à débruiter dans le modèle entraîné, et débruiter l'image à franges d'interférence de speckle.
De plus, ledit ensemble de données d’entraînement comprend des images à franges sans bruit, des images simulées à franges d'interférence de speckle avec bruit et des images réelles à franges d'interférence de speckle collectées par la technologie ESPI ; lesdites images simulées à franges d'interférence de speckle avec bruit sont obtenues par ajouter du bruit additif et du bruit multiplicatif aux images à franges.
De plus, pour garantir le nombre d’images réelles à franges d'interférence de speckle dans l'ensemble de données d'entraînement, les images réelles à franges d'interférence de speckle collectées seront coupées et tournées, afin d’améliorer des données et d’obtenir une expansion du nombre d’images réelles.
De plus, l'algorithme BM3D-TV auto-adaptative est utilisé pour débruiter les images réelles à franges d'interférence de speckle, et les images réelles à franges d'interférence de speckle débruitées sont utilisées comme sortie de l’entraînement du réseau nerveux convolutif.
De plus, la fonction cible de l'algorithme BM3D-TV auto-adaptative est exprimée comme suit : min, (7) = (/ PV" ad +(2/2) | aso] dry où, est une image à franges d’informations avec bruit à traiter, P(X,Y) est un paramètre auto-adaptatif, /zusp est une image de résultats obtenue après le débruitage par un filtre BM3D, ©) estune zone d'image et À est un multiplicateur Lagrange.
De plus, le réseau nerveux convolutif comprend une pluralité de couches, et la fonction d'activation ReLU est adoptée, à l'exception des première et dernière couches du réseau nerveux convolutif, les couches intermédiaires subiront une normalisation par lots après l’opération de convolution.
De plus, le modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative permet de réaliser un entraînement du modèle en prenant l’image ESPI réelle (comme entrée, et le signal de l’entrée traité avec le modèle étant comme sortie), l’image simulée à franges sans bruit (sortie) et l’image ESPI simulée à franges avec bruit (entrée) comme échantillon d'entraînement des deux canaux dans le modèle de réseau, et en prenant l’image ESPI réelle débruitée par l’algorithme BM3D-TV auto-adaptative comme sortie du modèle ; les deux canaux sont le canal d'entraînement de l'image réelle et le canal d'entraînement de l'image simulée, l'entrée du canal d'entraînement de l'image réelle étant l'image ESPI réelle et la sortie est l'image réelle traitée (un filtrage BM3D-TV auto-adaptative et un renfort des données) à l'intérieur du modèle de réseau ; l'entrée du canal d'entraînement de l'image simulée est l’image ESPI simulée,
et la sortie est l’image ESPI simulée sans bruit avant d'ajout du bruit. BE2021/5108 Selon un deuxième aspect de l'exemple de la présente divulgation, un système de débruitage d'images ESPI basés sur l'apprentissage approfondie est fourni, qui comprend : un module d’acquisition de données d’entraînement, l’ensemble de données d’entraînement acquis comprenant des images à franges sans bruit, des images simulées à franges d'interférence de speckle avec bruit et des images réelles à franges d'interférence de speckle collectées par la technologie ESPI : un module de construction de modèle, pour construire le modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative et entraîner ledit modèle de réseau nerveux convolutif avec l’ensemble de données d’entraînement : un module d’acquisition d’images ESPI réelles, pour acquérir les images à franges ESPI d’un objet par la technologie d'interférométrie de speckle électronique ; un module de traitement de débruitage, pour entrer les images réelles à franges ESPI à traiter dans le modèle entraîné et sortir les images à franges ESPI débruitées.
Selon un troisième aspect de l'exemple de la présente divulgation, un équipement électrique est fourni, qui comprend une mémoire, un processeur et un programme informatique exécutable stocké dans la mémoire, le processeur mettant en oeuvre ladite méthode de débruitage d'images ESPI basé sur l'apprentissage approfondie en exécutant le programme.
Selon un quatrième aspect de l'exemple de la présente divulgation, un support de stockage lisible par ordinateur est fourni, dans lequel est stocké un programme informatique, le processeur mettant en oeuvre ladite méthode de débruitage d'images ESPI basé sur l'apprentissage approfondie en exécutant le programme.
Comparé avec les techniques existants, la présente divulgation présente les effets bénéfiques suivants : La présente divulgation propose un modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative, qui permet de réaliser un entraînement du modèle en prenant l’image ESPI réelle, l’image simulée à franges sans bruit et l’image ESPI simulée à franges avec bruit comme échantillon d’entraînement des deux canaux dans le modèle de réseau, et prenant l’image ESPI réelle débruitée par l’algorithme BM3D-TV auto-adaptative comme sortie du modèle ; et de — débruiter l'image réelle à franges d'interférence de speckle avec le modèle entraîné. La méthode décrite dans la présente divulgation permet d’effectuer un débruitage sur les images ESPI, qui non seulement garant un faible résidu de bruit, mais également fournit une protection efficace sur les informations marginales des images à franges, de plus, les images ESPI peuvent avoir une bonne adaptabilité, ce qui facilite le traitement d’images par lot et construit une base pour les opérations ultérieures tel que l'extraction de phase.
DESCRIPTION DES FIGURES BE2021/5108 La présente divulgation sera mieux comprise en référence aux figures annexées, et les exemples donnés pour expliquer la présente divulgation sont donnés seulement à titre d’ exemple illustratif et non limitatif.
5 Lafigure 1 (a) est une image ESPI simulée de l’image à franges sans bruit générée par simulation dans l’exemple I de la présente divulgation ; La figure 1 (b) est une image ESPI simulée avec bruit générée par simulation dans l’exemple I de la présente divulgation ; La figure 2 est une image réelle à franges d'interférence de speckle dans l’exemple I de la présente divulgation ; La figure 3 (a) est une vue de coupe de la figure 1 (a) dans l’exemple I de la présente divulgation ; La figure 3 (b) est une vue de coupe de la figure 1 (b) dans l’exemple I de la présente divulgation ; La figure 3 (c) est une vue de coupe de la figure 2 dans l’exemple I de la présente divulgation ; La figure 4 est un diagramme des étapes de l’algorithme de débruitage à TV auto-adaptative basé sur BM3D dans l’exemple I de la présente divulgation ; La figure 5 montre la structure du modèle de réseau dans l’exemple I de la présente divulgation ; La figure 6 (a) à la figure 6 (b) est une vue et une vue de coupe de l’image réelle à franges d'interférence de speckle dans l’exemple I de la présente divulgation après le débruitage avec le modèle PCNN ; La figure 6 (c) à la figure 6 (b) est une vue et une vue de coupe de l’image réelle à franges d'interférence de speckle dans l’exemple I de la présente divulgation après le débruitage avec le modèle SRCNN : La figure 6 (e) à la figure 6 (f) est une vue et une vue de coupe de l’image réelle à franges d'interférence de speckle dans l’exemple I de la présente divulgation après le débruitage avec le modèle DnCNN ; La figure 7 (a) est une vue de l’image réelle à franges d'interférence de speckle dans l’exemple I de la présente divulgation après le débruitage par l’algorithme de réseau nerveux convolutif basé sur BM3D-TV auto-adaptative ; La figure 7 (b) est une vue de coupe de l’image réelle à franges d'interférence de speckle dans l’exemple I de la présente divulgation après le débruitage par l’algorithme de réseau nerveux convolutif basé sur BM3D-TV auto-adaptative.
EXPOSÉ DÉTAILLE DE MODE DE RÉALISATION La présente divulgation peut être décrite ci-après en plus détaillé via les exemples de réalisations et les figures annexés.
Il est à noter que la description détaillée ci-dessous n’est qu’illustrative pour mieux comprendre la
° BE2021/5108 présente divulgation . II est à noter que, sauf indication contraire, tous les termes techniques et scientifiques utilisés dans la présente divulgation ont la même signification que ceux bien connus de l’homme de l’art.
II est à noter que les termes utilisés ici ont pour but de décrire des modes de réalisation, au lieu de limiter la mode de réalisation illustratif selon la présente demande. Sauf indication contraire, la forme singulière inclut celle plurielle, en outre, les mots utilisés ici « comprendre » et / ou « inclure », indiquent la présence de la caractéristique, l’étape, le travail, le dispositif, le composant et / ou la combinaison de ceux-ci. Exemple I : Un exemple de réalisation préféré de la présente divulgation est décrit ci-après. La figure 1 (a) montre un exemple d'image simulée à franges, qui consiste en tout d’abord générer 300 images simulées à franges sans bruit par un ordinateur et les enregistrer comme échantillon de sortie pour l’entraînement du modèle, dont la taille est de 180 * 180. La figure 1 (b) montre un exemple d'image simulée à franges, qui consiste en ajouter un bruit simulé à l'image à franges, comprenant un bruit additif et un bruit multiplicatif, et les détails du bruit ajouté sont les suivants : I. est une image à franges sans bruit, M et M, sont des bruits gaussiens aléatoires, / est une image simulée à franges d'interférence de speckle avec bruit on peut ainsi obtenir une expression de la relation entre les trois : Ii, fn +n, où, fl et M respectent une distribution gaussienne aléatoire et peuvent être exprimés comme suit (basée sur python) : n = np.randon.normal(loa = a, scale= b/3,5æ= 180*180) n, = np.randon.normal(loa = a,scale= b, Sze= 180*180) où, &@ est une valeur moyenne et À est l'écart type. Une image à franges d'interférence de speckle est générée ainsi et enregistrée. La figure 2 montre un exemple de l’image réelle à franges d'interférence de speckle. En collectant une image ESPI réelle puis l’étendre à 100 images par la méthode de renfort des données (il est réalisé principalement par couper et tourner ici), puis ajustant les images à une taille identique de 180 * 180, les images seront utilisées avec les images simulées comme échantillon d'entraînement du modèle, fournissant des données de support pour les essais suivants. La figure 3 (a) - la figure 3 (c) sont les vues de coupe de la figure 1 (a), la figure 1 (b) et figure 2 ci-dessus, la figure de coupe est une ligne obtenue par relier les valeurs de gris des points correspondant à toutes les valeurs x, dans laquelle la valeur du niveau de gris est l'axe y et la
| BE2021/5108 position de pixel continu dans l'image est l'axe x. La figure de coupe permet de mieux analyser les informations sur le bruit et les franges de l'image, qui est l'un des moyens efficaces d'évaluer la qualité d'image.
La figure 4 est un diagramme des étapes de l’algorithme de débruitage à TV auto-adaptative basé sur BM3D; En particulier, la méthode BM3D se compose de deux étapes : l'estimation initiale et l'estimation finale, dont les détails sont les suivants : (a) Estimation initiale Récupérer des blocs approximatifs de l'image, superposer les résultats pour former une matrice tridimensionnelle et diviser en groupes ; faire les valeurs de seuil dur sur les coefficients tridimensionnels dans le domaine de fréquence tridimensionnel pour éliminer le bruit, et effectuer une opération de filtrage de valeurs de seuil dur par une conversion inverse tridimensionnelle ; pondérer toutes les valeurs estimées à la même position et faire la valeur moyenne, les données obtenues étant la valeur moyenne des pixels à cette position, de manière à réaliser l'estimation initiale de l'image réelle et réaliser l'agrégation.
(b) Estimation finale Effectuer une adaptation de blocs sur l’image de résultats de l'estimation initiale, et construire une image de résultats d'estimation initiale et une matrice 3D correspondant à l'image de bruits en fonction des coordonnées de zones correspondantes de blocs similaires ; effectuer une conversion 3D sur les deux matrices 3D construites respectivement à l’étape ci-dessus, effectuer un filtrage Wiener sur les coefficients de conversion de la matrice 3D composé de l'image avec bruit en prenant un spectre d'énergie de l'image réelle comme spectre d'énergie de l'image de l'estimation initiale, puis effectuer une conversion 3D pour obtenir des blocs d'image débruité et les renvoyer à ses positions ; acquérir une valeur estimée finale de chaque pixel en faisant la valeur moyenne pondérée de toutes les valeurs estimées à la même position pour réaliser une agrégation.
Nous prenons / ij Pour représenter à la valeur du niveau de gris au centre de l'image x =ihy,= jh , 1,j=0,1,2--N, Nh=L et L sont chacun la longueur de l'image d'origine, À est le pas spatial, / (x,%t,) est le résultat de #7 itérations de l'algorithme, et les données de ce résultat est notées comme / L p où, 1 =n-At ‚ At est le pas temporel.
Le terme de diffusion de l’algorithme de débruitage à TV auto-adaptative basé sur BM3D peut être exprimé comme suit :
v. pvI |_ Il, Add +1 Ts vz? I;+1, Substituer le quotient de différence à la dérivée partielle pour obtenir : (I, X, = Ti, JI (, ), 7 1 LA (In X, = Li 15 —21/, Le (1, X, 2 + U, X, = Tae Ia ne +1 F5 Par conséquence, la forme d’itération discrète dans l'équation Euler-Lagrange du modèle de débruitage à TV auto-adaptative peut être exprimée comme suit : VI.
VEN — AT”, —1° + A V.
PV 1,7 1,J 1,7 1,J n 2-p vr] où, M est le nombre d'itérations, À est un multiplicateur Lagrange, ;,j=0,1,2---N, et des conditions de limites satisfont ls, = I, ; ri =p et La = Ju = Pt . Un bref processus de l’algorithme de débruitage à TV auto-adaptative basé sur BM3D peut être exprimé comme suit : Étape 1, entrer une image ESPI réelle comme échantillon d'entrée pour l’entraînement du réseau ; Étape 2, initialiser des paramètres : fr dee [ nu n=0, At=04 1 =l, VI ‚ les paramètres du terme de fidélité À sont construits par | /.- | et|/,, | ; Étape 3, réexécuter les étapes (1) et (2) si 7 est inférieur au nombre maximal d'itérations ‘ = fr.
Le LA Étape (1) N=N+1 , calculer Li par l’itération discrète ; VI” A ;( ni PVE) Etape (2), effectuer une opération pour obtenir le terme de diffusion Vis, : Étape 4, sortir les résultats comme échantillon de sortie pour l’entraînement du réseau une fois l'itération terminée.
Les étapes détaillées de l’algorithme de débruitage à TV auto-adaptative basé sur BM3D peuvent être exprimées comme suit : La première étape consiste en écrire l'opérateur de l'algorithme de débruitage BM3D comme BM3D(-), et l'image de résultats obtenue après le débruitage par un filtre BM3D peut être exprimée comme suit : BE2021/5108 ! yo = BM3D(1) où, { est une image à franges d’informations avec bruit à traiter. Selon le contenu correspondant de la variation totale ci-dessus, l'algorithme à TV auto-adaptative peut être exprimé comme suit : pley) 2 Jo) = ple x) {97° dev + (4/2) [1-14] ded où, P(X, Y) est un paramètre auto-adaptatif et peut être exprimé comme suit : p(x, y) =1+ li + VG, “1, (x, y | G, est un filtre gaussien, © >0, ©) est une zone de l'image, À est un multiplicateur Lagrange, ff estun objet à filtrer, soit une image avec bruit, et /, est une image sans bruit.
Par conséquent, le nouveau terme de fidélité dans l'algorithme à TV auto-adaptative peut être écrit comme suit : À 2 Prev = [ZU Teas) dx En synthétisant les nouveaux éléments de fidélité Fa, UN modèle de débruitage à TV auto-adaptatif basé sur BM3D peut être obtenu, qui est exprimé comme suit : . pley) 2 min Jot) = (/p(e ») {V7 dxdy + (3/2)[, [I To dxdy De plus, il est possible d’obtenir une équation Euler-Lagrange du modèle de débruitage à TV auto-adaptative, qui peut être exprimée comme suit : vpn vr} AU Tas) = 0 Un flux descendant à gradients dans le modèle de débruitage à TV auto-adaptative peut être exprimé comme suit : 61/01 = -{9I/ Nij "AT Toys) La figure 5 montre la structure du modèle de réseau de la présente divulgation.
En prenant les images ESPI réelle avant et après le traitement à l’étape correspondant à la figure 4, l’image simulée à franges sans bruit et l’image ESPI simulée à franges avec bruit comme échantillon d'entraînement des deux canaux dans le modèle de réseau, les deux canaux sont le canal d’échantillon d'entraînement de l'image réelle et le canal d’échantillon d'entraînement de l'image simulée, soit pour l’un canal, l'entrée est l'image ESPI réelle et la sortie est l'image ESPI réelle traitée (un filtrage BM3D-TV auto-adaptative et un renfort des données) à l'intérieur du modèle de réseau ; et pour l’autre canal, l'entrée est l’image ESPI simulée et la sortie est l’image ESPI simulée sans bruit avant d'ajout du bruit, qui sont utilisées pour entraîner le modèle.
La profondeur du réseau nerveux convolutif dans le présente exemple est de 17 couches, les couches des fonctions de convolution + activation (Conv + ReLU) : en tant que la première couche du réseau, 64 filtres ayant dimensions de 3*3*C sont utilisés pour générer 64 images caractéristiques ; où, © représente le nombre de canaux d'image, l'image traitée est une image en niveaux de gris, donc le nombre de canaux est de 1 ; la fonction d'activation dans le réseau est une fonction ReLU ; les couches des fonctions de convolution + normalisation par lots + activation (Conv + BN + ReLU) : en tant que les couches 2 à 16, 64 filtres ayant dimensions de 3x 3x 64 sont utilisés, et une normalisation par lots est ajoutée entre les fonctions de convolution et d'activation ; la couche de convolution, en tant que la dernière couche, se compose de CE filtres ayant dimensions de 3x 3x 64 pour générer l'image de sortie. Puis il convient de combiner l’algorithme de débruitage à TV auto-adaptative basé sur BM3D et le réseau nerveux convolutif ci-dessus, la structure du modèle après la combinaison étant montré dans la figure 5. Nous avons pour but de prévoir l’image après le débruitage sur l’image d'origine avec le réseau nerveux convolutif, en supposant que l'image d'origine est Ji, l'image traitée est X, et le bruit est % nous obtenons ainsi X AM et le but final est d'obtenir un mappage F (y)=x pour prévoir l'image après le débruitage ; le réseau nerveux convolutif dans la présente divulgation entraîne un mappage résiduel R(y;0)= V, avec le résiduel, où, est une fonction ajustable avec l’entraînement du réseau, afin de prévoir l’image X” YT R(y,0) après le débruitage en fonction du mappage résiduel. Enfin, en prenant l'écart moyen quadratique entre le résiduel réel et la valeur prévue comme fonction de perte, un ajustement d'entraînement sur le paramètre & pouvant être mise à jour dans la structure du réseau sera effectué. La fonction de perte est exprimée comme suit 1 N (9) =)
N OÙ, fx). represente N groupes des images avec et sans bruit, c'est-ä-dire des groupes d'entraînement des images d'entrée et de sortie. Pendant l’entraînement, la fonction de perte peut être réduite en ajustant &, afin d’obtenir un mappage résiduel approprié et d’obtenir davantage une image sans bruit en calculant la différence avec l'image avec bruit. Pendant la rétro-propagation, les paramètres pouvant être entraînés dans le réseau peuvent être appris en minimisant la fonction de perte par l’algorithme d'estimation de moment auto-adaptatif. Ü Grâce à la rétro-propagation, les paramètres dans le CNN sont mis à jour encore et encore, et la valeur de la fonction de perte est réduite progressivement pour terminer l'entraînement du modèle. Pour la normalisation par lots pendant ce processus, la taille de l’ensemble d’entraînement minimal B est de 128, et pour chaque fonction d'activation x***, la sortie après la normalisation est de vi L'opération de normalisation de l'ensemble d’entraînement est exprimée comme suit : BN 4 Xa 77 Vaag Le processus E.M peut être exprimé comme suit : L’entree est B=X%, ‚2 ; les paramètres à apprendre est + et PB. La sortie est {x =BN, „(x)}, la valeur moyenne de l'ensemble d’entrainement minimal est 1 12 exprimée comme Ag “DEX, la variance de l'ensemble d’entraînement minimal est exprimée ia) TT ap ot a comme 1285! , O,+E après la normalisation, la sortie après la normalisation par lots est Y,=+X +B= BN, (X). Où, 7 et À peuvent tous être appris, et Ÿ est l’entrée de la couche suivante du réseau et sera transmise vers l'avant, pendant l'entraînement, les dimensions du bloc d’image du filtre d’entrée seront définies à 50x50, 128x3000 blocs d’image seront coupés pour entraîner le modèle, le taux d'apprentissage initial est de 10, et le nombre d'itérations est de 300. Une fois l’entraînement terminé, le modèle du réseau de débruitage sera testé avec les images d’échantillon de l'ensemble de test, l'ensemble de test comprenant 60 images ESPI réelles, les images étant utilisées comme entrée du réseau et la sortie étant l'image débruitée.
La figure 6 (a) à la figure 6 (f) sont respectivement une vue et une vue de coupe de l’image réelle à franges d'interférence de speckle après le débruitage avec le modèle DnCNN, SRCNN et DnCNN ; La figure 7 (a) à la figure 7 (b) sont chacune une vue et une vue de coupe de l’image réelle à franges d'interférence de speckle après le débruitage par l’algorithme de réseau nerveux convolutif basé sur BM3D-TV auto-adaptative.
Exemple II: Le présent exemple a pour but de fournir un système de débruitage d'images ESPI basés sur l'apprentissage approfondi. Pour le but ci-dessus, le présent exemple fournit un système de débruitage d'images ESPI basés sur l'apprentissage approfondi, qui comprend : un module d’acquisition de données d’entraînement, l’ensemble de données d’entraînement acquis comprenant des images à franges sans bruit, des images simulées à franges d'interférence de speckle
N BE2021/5108 avec bruit et des images reelles ä franges d'interference de speckle collectees par la technologie ESPI; un module de construction de modèle, pour construire le modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative et entraîner ledit modèle de réseau nerveux convolutif avec l’ensemble de données d’entraînement ; un module d’acquisition d’images ESPI réelles, pour acquérir les images à franges ESPI d’un objet par la technologie d'interférométrie de speckle électronique ; un module de traitement de débruitage, pour entrer les images réelles à franges ESPI à traiter dans le modèle entraîné et sortir les images à franges ESPI débruitées.
Exemple HI: Le présent exemple a pour but de fournir un équipement électrique.
L’équipement électrique comprend une mémoire, un processeur et un programme informatique exécutable stocké dans la mémoire, le processeur mettant en œuvre les étapes suivantes en exécutant le programme, comprenant : construire un ensemble de données d’entraînement ; construire un modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative entraîner le modèle de réseau nerveux convolutif ci-dessus avec l’ensemble de données d’entraînement ; entrer une image à franges d'interférence de speckle à débruiter dans le modèle entraîné, et débruiter l'image à franges d'interférence de speckle.
Exemple IV : Le présent exemple a pour but de fournir un support de stockage lisible par ordinateur.
Un support de stockage lisible par ordinateur est proposé, dans lequel est stocké un programme informatique, le processeur mettant en œuvre les étapes suivantes en exécutant le programme, comprenant : construire un ensemble de données d’entraînement : construire un modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative — entraîner le modèle de réseau nerveux convolutif ci-dessus avec l’ensemble de données d’entraînement ; entrer une image à franges d'interférence de speckle à débruiter dans le modèle entraîné, et débruiter l'image à franges d'interférence de speckle.
La méthode et le système de débruitage d'images ESPI basés sur l'apprentissage approfondie fournis dans les exemples ci-dessous sont tout à fait réalisables et ont de larges perspectives d'application.
Les exemples ci-dessous ne sont donnés qu'à titre d’exemple de préférence, au lieu de limiter la présente divulgation, et les modifications et les variantes sur la présente divulgation par l’homme de l’art sont bien sûr possibles. Toutes modifications, remplacements équivalentes et améliorations qui respectent les esprits et les principes de la présente divulgation doivent être inclus dans le cadre de la protection de la présente divulgation.
Bien que la présente divulgation ait été décrite en détaillé par les modes de réalisations en référant les figures, ils ne constituent pas une limitation de l'étendue de la protection de la présente divulgation. L’homme de l’art comprendra que le toutes modifications ou variantes sans travail créatif doivent être inclus dans le cadre de la protection de la présente divulgation.

Claims (10)

REVENDICATIONS
1. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi, caractérisée en ce qu’elle comprend : construire un ensemble de données d’entraînement : construire un modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative entraîner ledit modèle de réseau nerveux convolutif avec l’ensemble de données d’entraînement ; entrer une image à franges d'interférence de speckle à débruiter dans le modèle entraîné, et débruiter l'image à franges d'interférence de speckle.
2. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi selon la revendication 1, caractérisée en ce que, ledit ensemble de données d’entraînement comprend des images à franges sans bruit, des images simulées à franges d'interférence de speckle avec bruit et des images réelles à franges d'interférence de speckle collectées par la technologie ESPI ; lesdites images simulées à franges d'interférence de speckle avec bruit sont obtenus par ajouter du bruit additif et du bruit multiplicatif aux images à franges.
3. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi selon la revendication 2, caractérisée en ce que, pour garantir le nombre d’images réelles à franges d'interférence de speckle dans l'ensemble de données d'entraînement, les images réelles à franges d'interférence de speckle collectées seront coupées et tournées, afin d’améliorer des données et d’obtenir une expansion du nombre d’images réelles.
4. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi selon la revendication 1, caractérisée en ce que, l'algorithme BM3D-TV auto-adaptative est utilisé pour débruiter les images réelles à franges d'interférence de speckle, et les images réelles à franges d'interférence de speckle débruitées sont utilisées comme sortie de l’entraînement du réseau nerveux convolutif.
S. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi selon la revendication 1, caractérisée en ce que, la fonction cible de l'algorithme BM3D-TV auto-adaptative est exprimée comme suit : mind, ()=0/ plc 2) VI" ad + (A/2)[ 7 aus] ded où, £ est une image à franges d’informations avec bruit à traiter, P(X Y) est un paramètre auto-adaptatif, Zap est une image de résultats obtenue après le débruitage par un filtre BM3D, © estune zone d'image et À est un multiplicateur Lagrange.
6. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi selon la revendication 1, caractérisée en ce que, le réseau nerveux convolutif comprend une pluralité de couches, chacune des couches adopte la fonction d'activation ReLU, à l'exception des première et dernière couches du
© BE2021/5108 reseau nerveux convolutif, les couches intermediaires subiront une normalisation par lots apres l’opération de convolution.
7. Méthode de débruitage d'images ESPI basés sur l'apprentissage approfondi selon la revendication 1, caractérisée en ce que, le modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative permet de réaliser un entraînement du modèle en prenant l’image ESPI réelle, l’image simulée à franges sans bruit et l’image ESPI simulée à franges avec bruit comme échantillon d'entraînement des deux canaux dans le modèle de réseau, et en prenant l’image ESPI réelle débruitée par l’algorithme BM3D-TV auto-adaptative comme sortie du modèle.
8. Système de débruitage d'images ESPI basés sur l'apprentissage approfondi, caractérisé en ce qu’il comprend : un module d’acquisition de données d’entraînement, l’ensemble de données d’entraînement acquis comprenant des images à franges sans bruit, des images simulées à franges d'interférence de speckle avec bruit et des images réelles à franges d'interférence de speckle collectées par la technologie ESPI : un module de construction de modèle, pour construire le modèle de réseau nerveux convolutif basé sur l’algorithme BM3D-TV auto-adaptative et entraîner ledit modèle de réseau nerveux convolutif avec l’ensemble de données d’entraînement : un module d’acquisition d’images ESPI réelles, pour acquérir les images à franges ESPI d’un objet par la technologie d'interférométrie de speckle électronique ; un module de traitement de débruitage, pour entrer les images réelles à franges ESPI à traiter dans le modèle entraîné et sortir les images à franges ESPI débruitées.
9. Équipement électrique, caractérisé en ce qu’il comprend une mémoire, un processeur et un programme informatique exécutable stocké dans la mémoire, le processeur mettant en œuvre ladite méthode de débruitage d'images ESPI basé sur l'apprentissage approfondie selon l'une quelconque des revendications 1 à 7 en exécutant le programme.
10. Support de stockage lisible par ordinateur, caractérisé en ce que dans lequel est stocké un programme informatique, le processeur met en œuvre ladite méthode de débruitage d'images ESPI basé sur l'apprentissage approfondie selon l'une quelconque des revendications 1 à 7 en exécutant le programme.
BE20215108A 2020-06-09 2021-02-17 Méthode et système de débruitage d'images ESPI basés sur l'apprentissage approfondi BE1027609B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517755.4A CN111768349A (zh) 2020-06-09 2020-06-09 一种基于深度学习的espi图像降噪方法及***

Publications (2)

Publication Number Publication Date
BE1027609A1 BE1027609A1 (fr) 2021-04-26
BE1027609B1 true BE1027609B1 (fr) 2022-01-17

Family

ID=72720355

Family Applications (1)

Application Number Title Priority Date Filing Date
BE20215108A BE1027609B1 (fr) 2020-06-09 2021-02-17 Méthode et système de débruitage d'images ESPI basés sur l'apprentissage approfondi

Country Status (2)

Country Link
CN (1) CN111768349A (fr)
BE (1) BE1027609B1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598597A (zh) * 2020-12-25 2021-04-02 华为技术有限公司 一种降噪模型的训练方法及相关装置
CN113706408A (zh) * 2021-08-11 2021-11-26 西安交通大学 一种基于降噪卷积神经网络的鬼成像去噪方法及设备
CN114488217B (zh) * 2021-12-24 2022-11-18 中国人民解放军战略支援部队航天工程大学 基于深度学习的高轨卫星cei信号频率估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976340A (zh) * 2016-05-20 2016-09-28 山东师范大学 改进的基于小波分解的旋滤波算法
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
CN107358584A (zh) * 2017-06-29 2017-11-17 天津大学 基于自适应希尔伯特变换的espi条纹图的滤波方法
CN109977966A (zh) * 2019-02-28 2019-07-05 天津大学 基于深度学习的电子散斑条纹批量全自动滤波方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PUYANG WANG ET AL: "SAR Image Despeckling Using a Convolutional Neural Network", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 June 2017 (2017-06-02), XP081324602, DOI: 10.1109/LSP.2017.2758203 *
XING YING ET AL: "ESPI Images Denoising Based on Improved Total Variation", 2019 IEEE 11TH INTERNATIONAL CONFERENCE ON ADVANCED INFOCOMM TECHNOLOGY (ICAIT), IEEE, 18 October 2019 (2019-10-18), pages 43 - 47, XP033674829, DOI: 10.1109/ICAIT.2019.8935914 *
YANG DONG ET AL: "BM3D-Net: A Convolutional Neural Network for Transform-Domain Collaborative Filtering", IEEE SIGNAL PROCESSING LETTERS., vol. 25, no. 1, 1 January 2018 (2018-01-01), US, pages 55 - 59, XP055825278, ISSN: 1070-9908, DOI: 10.1109/LSP.2017.2768660 *

Also Published As

Publication number Publication date
BE1027609A1 (fr) 2021-04-26
CN111768349A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
BE1027609B1 (fr) Méthode et système de débruitage d'images ESPI basés sur l'apprentissage approfondi
EP3138079B1 (fr) Procédé de suivi de forme dans une scène observée par un capteur asynchrone de lumière
EP3707676B1 (fr) Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé
EP3221841B1 (fr) Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
Zhang et al. Hyperspectral image denoising with realistic data
EP3572976A1 (fr) Procede de traitement d'un flux d'images video
WO2018185104A1 (fr) Procede d'estimation de pose, dispositif, systeme et programme d'ordinateur associes
Prajapati et al. Direct unsupervised super-resolution using generative adversarial network (DUS-GAN) for real-world data
CN108447113B (zh) 一种基于深度学习模型的脉冲式强度关联三维成像方法
FR3088755A1 (fr) Procede de defloutage d’une image
FR2884335A1 (fr) Dispositif perfectionne de traitement d'images brutes ou d'images de tenseurs
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
EP2294552B1 (fr) Dispositif de traitement d'images amélioré
Krishnan et al. A novel underwater image enhancement technique using ResNet
EP0410826B1 (fr) Procédé itératif d'estimation de mouvement, entre une image de référence et une image courante, et dispositif pour la mise en oeuvre de ce procédé
FR2933520A1 (fr) Procede et dispositif de restauration d'une sequence video
EP2943935B1 (fr) Estimation de mouvement d'une image
FR3092426A1 (fr) Procédé dynamique d’imagerie tridimensionnelle
Chen et al. Fast and Robust Restoration of Single Photon 3D Data Using Parameterized Kernel
CN117132715B (zh) 基于物理驱动噪声鲁棒的飞行时间图像重建方法和装置
Xu et al. Interferogram blind denoising using deep residual learning for phase-shifting interferometry
FR3066633A1 (fr) Procede de defloutage d'une image
BE1026937B1 (fr) Méthode de segmentation d'une image
Zhang et al. Super-resolution reconstruction Algorithm for PMD range image based on regularization
Wang et al. Remote sensing image denoising algorithm based on improved Transformer network

Legal Events

Date Code Title Description
FG Patent granted

Effective date: 20220117

MM Lapsed because of non-payment of the annual fee

Effective date: 20230228