FR3078190A1 - Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale - Google Patents

Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale Download PDF

Info

Publication number
FR3078190A1
FR3078190A1 FR1851531A FR1851531A FR3078190A1 FR 3078190 A1 FR3078190 A1 FR 3078190A1 FR 1851531 A FR1851531 A FR 1851531A FR 1851531 A FR1851531 A FR 1851531A FR 3078190 A1 FR3078190 A1 FR 3078190A1
Authority
FR
France
Prior art keywords
checkerboard
marking
spectral
directions
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1851531A
Other languages
English (en)
Other versions
FR3078190B1 (fr
Inventor
Michel Grediac
Benoit Blaysat
Frederic Sur
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite de Lorraine
Universite Clermont Auvergne
Sigma Clermont
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite de Lorraine
Universite Clermont Auvergne
Sigma Clermont
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite de Lorraine, Universite Clermont Auvergne, Sigma Clermont filed Critical Centre National de la Recherche Scientifique CNRS
Priority to FR1851531A priority Critical patent/FR3078190B1/fr
Priority to PCT/EP2019/054458 priority patent/WO2019162449A1/fr
Publication of FR3078190A1 publication Critical patent/FR3078190A1/fr
Application granted granted Critical
Publication of FR3078190B1 publication Critical patent/FR3078190B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

La présente invention se rapporte à un procédé spectral de traitement d'images de marquage pour en extraire des champs de déplacements et de déformations en surface d'objets, ledit marquage étant de type damier et en ce ledit procédé étant mis en œuvre dans l'espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier. Cette estimation du déplacement est ensuite affinée avec un algorithme de type point fixe. La présente invention se rapporte également à un système de traitement d'images de marquage pour en extraire des champs de déplacements et de déformations en surface d'objets.

Description

© PROCEDE DE MESURE DE CHAMPS DE DEPLACEMENTS ET DE DEFORMATIONS AVEC MARQUAGE DE TYPE DAMIER ET TRAITEMENT PAR METHODE SPECTRALE.
©) La présente invention se rapporte à un procédé spectral de traitement d'images de marquage pour en extraire des champs de déplacements et de déformations en surface d'objets, ledit marquage étant de type damier et en ce ledit procédé étant mis en œuvre dans l'espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier. Cette estimation du déplacement est ensuite affinée avec un algorithme de type point fixe.
La présente invention se rapporte également à un système de traitement d'images de marquage pour en extraire des champs de déplacements et de déformations en surface d'objets.
PROCEDE DE MESURE DE CHAMPS DE DEPLACEMENTS ET DE DEFORMATIONS AVEC MARQUAGE DE TYPE DAMIER ET TRAITEMENT PAR METHODE SPECTRALE
Domaine de l’invention
La présente invention se rapporte au domaine des techniques de mesure de champs de déplacements et de déformations.
La présente invention concerne plus particulièrement un système de traitement d’images de marquage de type damier pour en extraire des champs de déplacements et de déformations en surface d’objets ainsi marqués et qui se déforment faiblement. Une méthode de type spectrale, c’est-à-dire basée sur l’analyse de Fourier, est utilisée dans ce but.
Etat de la technique
La mesure de déplacements et de déformations est largement pratiquée dans le domaine de la mécanique, que ce soit dans les laboratoires ou dans l’industrie. Elle s’appuie généralement sur des capteurs délivrant une information ponctuelle comme les capteurs inductifs pour les déplacements, ou les jauges électriques pour les déformations. Cette gamme de capteurs ponctuels s’est progressivement enrichie depuis quelques années avec l’émergence de divers systèmes de mesure sans contact délivrant des champs entiers de mesures. Leur intérêt principal est de fournir un nombre de points de mesure largement plus important que ce qui peut être raisonnablement obtenu avec l’utilisation de plusieurs capteurs ponctuels, offrant ainsi à l’expérimentateur une vision globale des champs cinématiques hétérogènes, qui régnent le plus souvent dans les composants industriels soumis à divers types de chargement.
Le principe des systèmes basés sur le moiré ou sur les phénomènes interférométriques est connu depuis plusieurs dizaines d’années. Leur usage dans un cadre industriel reste cependant relativement limité, ce qui s’explique par la lourdeur de leur mise en oeuvre ou par certains problèmes spécifiques comme la sensibilité aux vibrations pour les systèmes interférométriques. La diffusion de moyens de mesure dits « en lumière blanche >> a progressivement changé cette situation.
On connaît dans l’état de la technique la méthode de corrélation d’images numériques (CIN) ou « digital image corrélation » (DIC) en terminologie anglo-saxonne. Cette technique est la plus diffusée actuellement pour réaliser des mesures de champs de déplacements et de déformations. La CIN se caractérise par sa facilité de mise en oeuvre puisque son principe de base repose sur le traitement d’images de surfaces marquées de façon aléatoire. Un marquage naturel peut même parfois suffire si sa texture est suffisamment contrastée. Dès lors, une caméra, un ordinateur et un éclairage adapté sont suffisants pour utiliser la CIN, expliquant sa diffusion rapide dans les laboratoires de recherche puis dans l’industrie. L’existence de solutions clés en mains facilite largement cette diffusion.
Certains verrous importants subsistent cependant, empêchant l’utilisation des systèmes décrits ci-dessus comme substitution effective des capteurs ponctuels, notamment dans le cadre de la mesure des déformations. Par exemple, à base de mesure équivalente et avec les réglages d’usage, leur résolution de mesure est inférieure à celle des jauges électriques de déformation. Par ailleurs, la reproductibilité des mesures reste limitée, divers paramètres difficilement contrôlables influençant leur qualité. Il s’agit notamment du marquage lui-même, qui doit rester aléatoire pour garantir le bon fonctionnement du traitement des images par CIN. Dès lors, une question qui se pose dans l’état de la technique est celle qui consiste à garantir la reproductibilité d’un tel marquage ou de ses propriétés s’il doit rester aléatoire. Divers travaux récents traitent de ce problème, mais sans proposer à ce jour de piste sérieuse pour le résoudre. Une solution simple consisterait à utiliser un marquage quasi-périodique, car il est a priori beaucoup plus facilement contrôlable qu’un motif aléatoire, mais il est alors nécessaire d’abandonner l’idée d’une résolution par CIN, la ressemblance des motifs du marquage entre eux causant des problèmes de convergence lors de la recherche de la solution du problème de minimisation fournissant le champ de déplacement recherché.
On connaît notamment dans l’état de la technique la publication scientifique « Increasing accuracy and précision of digital image corrélation through pattern optimization » (Optics and Lasers in Engineering, Vol. 91, Avril 2017, pages 73-85, G.F. Bomarito, J.D. Hochhalter, T.J. Ruggles et A.H. Cannon), qui se rapporte à l’amélioration des performances métrologiques de la corrélation d’images numériques à travers l’optimisation des motifs.
On connaît également dans l’état de la technique la publication scientifique “ Development of Optimal Multiscale Patterns for Digital Image Corrélation via Local Grayscale Variation” (Experimental Mechanics, mis en ligne le 2 novembre 2017, G.F. Bomarito, J.D. Hochhalter, T.J. Ruggles), qui concerne le développement de motifs multi-échelles optimaux pour la corrélation d’images numériques via la variation locale des niveaux de gris.
On connaît également dans l’état de la technique les documents suivants :
- « Evaluation of the quality of a speckle pattern in the digital image corrélation method by mean subset fluctuation » (Optics and Laser Technology - Vol. 43, Issue 1, Février 2011, pages 9 à 13, Tao Hua, Huimin Xie, Simon Wang, Zhenxing Hu, Pengwan Chen, Quingming Zhang) ;
- “Mean intensity gradient: An effective global parameter for quality assessment of the speckle patterns used in digital image corrélation” (Optics and Lasers in Engineering - Vol. 48, Issue 4, Avril 2010, pages 469 à 477, Bing Pan, Zixing Lu et Huimin Xie) ;
- “Quality assessment of speckle patterns for digital image corrélation” (Optics and Lasers in Engineering - Vol. 44, Issue 11, 2006, Pages 1132 à 1145, D. Lecompte, A. Smits, Sven Bossuyt, H. Sol, J. Vantomme, D. Van Hemerelrijk, A. M. Habraken) ;
- “Speckle pattern quality assessment for digital image corrélation” (Optics and Lasers in Engineering - Vol. 51, Issue 12, Décembre 2013, pages 1368 à 1378, G. Crammond, S.W. Boyd et J.M. Dulieu-Barton) ;
- “Study of image characteristics on digital image corrélation error assessment” (Optics and Lasers in Engineering - Vol. 48, Issue 3, Mars 2010, pages 335 à 339).
On connaît également dans l’état de la technique le brevet européen N° EP 3 022 713 B1 (Airbus, Centre National de la Recherche Scientifique, Ecole Normale Supérieure de Cachan) « Procédé de mesure multi-échelles de forme, de déplacement et/ou de déformation d’une pièce de structure soumise à des sollicitations par création d’une pluralité de mouchetis colorimétriques » qui concerne essentiellement un procédé de mesure de déplacement et/ou de déformation d'une pièce d'étude soumise à une sollicitation extérieure, ledit procédé mettant en oeuvre un dispositif d'acquisition d'images numériques en couleurs et des moyens de corrélation d'images, comportant les étapes suivantes : acquisition d'une pluralité d'images numériques en couleurs de la surface de la pièce d'étude au moyen du dispositif d'acquisition d'images numériques en couleurs pendant l'application d'une sollicitation extérieure sur ladite pièce d'étude, traitement des images numériques en couleur acquises à l'étape d'acquisition d'une pluralité d'images numériques en couleurs, de manière à mettre en évidence des détails contrastés sur des échelles variables.
On connaît également dans l’état de la technique la publication « The Grid Method for In-Plane Displacement and Strain measurement : A Review and Analysis », Strain, (M. Grédiac, F. Sur et B. Blaysat), qui met l’accent sur une méthode d’analyse de grilles. L'objectif de cette publication est de donner l'état de l'art concernant la méthode dite de la grille, l'information étant dispersée dans la littérature au jour de la parution de l’article. Les auteurs de cette publication proposent tout d'abord de rappeler diverses techniques utilisées dans le passé pour traiter des images de grilles, pour se focaliser progressivement sur celle qui est la plus utilisée dans les exemples récents : la Localized Spectrum Analysis ou LSA, qui s’appuie sur un usage particulier de la transformée de Fourier fenêtrée. D'un point de vue pratique, les surfaces étudiées doivent être marquées avec des grilles, de sorte que les techniques disponibles pour marquer les éprouvettes avec des grilles sont présentées. Ensuite, les auteurs de cette publication rassemblent les informations disponibles dans la littérature récente pour synthétiser le lien entre trois caractéristiques importantes des techniques de mesure en plein champ: la résolution spatiale, la résolution de mesure et le biais de mesure. Des informations pratiques sont ensuite proposées pour aider les lecteurs qui découvrent cette technique à commencer à l'utiliser. Les auteurs de cette publication présentent enfin quelques exemples récents disponibles dans la littérature pour mettre en évidence l'efficacité de la méthode de grille pour la mesure de déformations et de déplacements en surface d’éprouvettes dans des situations réelles. La méthode spectrale Localized Spectrum Analysis ou LSA est présentée et utilisée dans les exemples qui sont donnés.
On connaît également dans l’état de la technique la publication « Quantitative measurement of displacement and strain fields from HREM micrographs », Ultramicroscopy, Vol. 74, Pages 131-146, M. Hÿtch, E. Snoeck,
R. Kilaasc, 1998, qui décrit une méthode spectrale de type Géométrie Phase Analysis ou GPA qui donne des champs de déplacements à partir de l’extraction des phases d’images de grilles de type traits noirs sur fond blanc.
On connaît également dans l’état de la technique la publication «Géométrie phase analysis based on the windowed Fourier transform for the deformation field measurement », Optics and Laser Technology, Vol. 58, Issue 6, Pages 119-127, X. Dai and H. Xie and H. Wang, 2014, qui décrit une méthode spectrale de type Windowed Fourier Transform-Geometric Phase Analysis ou WGPA qui donne des champs de déplacement à partir de l’extraction des phases d’images de grilles de type traits noirs sur fond blanc.
On connaît également dans l’état de la technique la publication « Sampling Moiré Method for Accurate Small Deformation Distribution Measurement », Experimental Mechanics, Vol. 50, Issue 4, Pages 501-508,
S. Ri, M. Fujigaki, Y. Morimoto, 2010, qui décrit une méthode spectrale de type Sampling Moiré ou SM qui donne des champs de déplacement à partir de l’extraction des phases d’images de grilles de type traits blancs sur fond noir.
On connaît enfin dans l’état de la technique la publication « A critical comparison of some metrological parameters characterizing local digital image corrélation and grid method », Experimental Mechanics, Vol. 57, Issue 3, 2017, Pages 871-903, M. Grédiac, F. Sur et B. Blaysat, qui démontre que moyennant quelques hypothèses simplificatrices raisonnables, le problème que résout itérativement la DIC dans l’espace réel, à savoir la minimisation du résidu optique entre deux imagettes pour trouver le déplacement, admet une solution unique dans l’espace de Fourier si le marquage est périodique comme le sont des grilles. Ce déplacement solution du problème de minimisation est proportionnel au premier ordre à la différence de phases aux points physiques des images courantes et de référence. Cette estimation est ensuite affinée en un algorithme de type point fixe.
Exposé de l’invention
La présente invention entend remédier à certains inconvénients de l’art antérieur en proposant un procédé spectral de traitement d’images de marquage de type damier pour en extraire des champs de déplacements et de déformations en surface d’objets ainsi marqués et qui se déforment faiblement. L’intérêt du damier est qu’il est reconnu comme optimal en termes de présence de bruit dans les champs de déplacements et de déformations obtenus avec la méthode de corrélation d’images numériques (CIN). Des travaux en cours montrent également que le marquage de type damier utilisé avec une méthode spectrale aboutit à des erreurs systématiques dues au marquage qui sont plus petites qu’avec des marquages aléatoires traités par la DIC.
A cet effet, la présente invention concerne, dans son acception la plus générale, un procédé spectral de traitement d’images de marquage pour en extraire des champs de déplacements et de déformations en surface d’objets, ledit marquage étant de type damier et ledit procédé étant mis en oeuvre dans l’espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier. Cette estimation du déplacement est ensuite affinée avec un algorithme de type point fixe.
Le marquage optimal des surfaces est le damier, car il maximise le gradient moyen sur une zone donnée. En effet, plus ce gradient est élevé, plus le niveau de bruit dans les cartes finales est réduit. Les gains obtenus en termes de niveau de bruit global entre la corrélation d’images numériques (CIN) et une méthode spectrale appliquée à des grilles bidirectionnelles, sont estimés à plusieurs centaines de pourcents en utilisant un marquage aléatoire quelconque non optimisé, et de 20 à 30 % par rapport à une méthode spectrale appliquée à une grille bidirectionnelle. Le temps de calcul est également fortement réduit par rapport à la corrélation d’images numériques (CIN), ceci grâce à la puissance de la transformée de Fourier rapide, qui est utilisée pour conduire une partie des calculs dans l’espace de Fourier.
De plus, la description de la géométrie d’un marquage de type damier est très simple, contrairement à celle d’un marquage aléatoire. Cette caractéristique donne au marquage de type damier un avantage technique puisqu’il est aisément reproductible. On peut donc envisager sa normalisation.
Ledit procédé s’appuie sur une méthode spectrale, c’est à dire basée sur l’analyse de Fourier, pour extraire les phases des images de damiers. Les déplacements sont déduits desdites phases car ils sont proportionnels au premier ordre à la différence des phases obtenues dans les états courants et de référence. Selon le mode de réalisation, la méthode spectrale utilisée pour extraire les phases peut être de type Localized Spectrum Analysis (LSA), Géométrie Phase Analysis (GPA), Windowed Fourier Transform-Geometric Phase Analysis (WGPA) ou Sampling Moiré (SM). L’estimation du déplacement ainsi obtenue est ensuite affinée avec un algorithme de type point fixe.
Selon un mode de réalisation, ledit procédé met en oeuvre un procédé de type Localized Spectrum Analysis ou LSA pour extraire les phases.
Selon un autre mode de réalisation, ledit procédé met en œuvre un procédé de type Géométrie Phase Analysis ou GPA pour extraire les phases.
Selon un autre mode de réalisation, ledit procédé met en œuvre un procédé de type Windowed Fourier Transform-Geometric Phase Analysis ou WGPA pour extraire les phases.
Selon un autre mode de réalisation, ledit procédé met en œuvre un procédé de type Sampling Moiré ou SM pour extraire les phases.
Selon un mode de réalisation, des motifs sont traités avec un procédé <2 LSA appliqué à deux directions de +/-45 degrés, avec une fréquence égale à y, p étant le pas du damier le long des axes x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier.
Selon un autre mode de réalisation, ledit procédé comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé LSA afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacements et de déformations directement dans la base x-y de ces champs.
Selon un mode de réalisation, des motifs sont traités avec un procédé GPA appliqué à deux directions de +/-45 degrés, avec une fréquence égale à /2 —, p étant le pas du damier le long des axes xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier.
Selon un autre mode de réalisation, ledit procédé comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé GPA afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-yde ces champs.
Selon un mode de réalisation, des motifs sont traités avec un procédé WGPA appliqué à deux directions de +/-45 degrés, avec une fréquence égale à /2 —, p étant le pas du damier le long des axes xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier.
Selon un autre mode de réalisation, ledit procédé comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé WGPA afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-yde ces champs.
Selon un mode de réalisation, des motifs sont traités avec un procédé y[2
SM appliqué à deux directions de +/-45 degrés, avec une fréquence égale à y, p étant le pas du damier le long des axes x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier.
Selon un autre mode de réalisation, ledit procédé comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé SM afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-yde ces champs.
La présente invention se rapporte également à un système de traitement d’images de marquage pour en extraire des champs de déplacements et de déformations en surface d’objets, ledit marquage étant de type damier et ledit système comportant des moyens pour une mise en œuvre dans l’espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier. Cette estimation du déplacement est ensuite affinée avec un algorithme de type point fixe.
Brève description des dessins
On comprendra mieux l’invention à l’aide de la description, faite ci-après à titre purement explicatif, d’un mode de réalisation de l’invention, en référence aux Figures dans lesquelles :
• Les Figures 1A, 1B et 1C illustrent le procédé selon la présente invention, dans un premier mode de réalisation ; et • les Figures 2A, 2B, 3A, 3B, 3C, 3D, 3E, 3F, 4A, 4B, 4C, 4D, 4E, 4F, 5A, 5B, 5C et 5D illustrent le procédé selon la présente invention, dans un second mode de réalisation.
Description détaillée des modes de réalisation de l’invention
L’objet de l’invention consiste à proposer une méthode spectrale de traitement d’images de marquage de type damier pour en extraire des champs de déplacements et de déformations en surface d’objets ainsi marqués et qui se déforment faiblement. L’intérêt du damier est qu’il est reconnu comme optimal en termes de présence de bruit dans les champs de déplacements et de déformations obtenus avec la méthode de corrélation d’images numériques (CIN). Des travaux en cours montrent également que le marquage de type damier utilisé avec une méthode spectrale aboutit à des erreurs systématiques dues au marquage qui sont plus petites qu’avec des marquages aléatoires traités par la DIC. Cette technique est la plus diffusée actuellement pour réaliser des mesures de champs de déplacements et de déformations. Un marquage optimal de type damier ne peut cependant pas être traité avec la CIN, car son principe même fait que ce sont des marquages aléatoires qui doivent être traités. Selon la présente invention, on propose d’adapter une technique spectrale de traitement d’un autre marquage quasi-périodique, à savoir la grille bidirectionnelle, pour traiter des marquages de type damier. Dans ce cas aussi, le damier est un marquage optimal. Les résultats obtenus montrent que pour une résolution spatiale donnée, le niveau de bruit atteint dans les cartes de déplacements et de déformations est inférieur à d’une part celui qui est constaté dans les cartes obtenues avec la CIN sur marquage aléatoire, et d’autre part à celui qui est observé avec cette même technique spectrale appliquée à des grilles bidirectionnelles. Un autre avantage du marquage de type damier est que sa géométrie est définie simplement et qu’elle est réalisable de façon répétable, contrairement aux marquages aléatoires. Ceci permet d’envisager une normalisation plus aisée de la technique proposée que la CIN, celle-ci étant basée sur des marquages aléatoires difficilement répétables.
La présente invention vise à dépasser certaines limitations actuelles des systèmes de CIN en considérant d’emblée le marquage optimal des surfaces en termes de niveau de bruit dans les cartes finales, à savoir le marquage de type damier. Comme il s’agit d’un marquage quasi-périodique, l’idée est de le traiter non pas en minimisant itérativement le résidu optique estimé sur des imagettes, ce qui est le principe même de la CIN, mais en considérant la solution analytique exacte de ce problème de minimisation dans le domaine de Fourier. Il a en effet été prouvé que moyennant quelques hypothèses simplificatrices raisonnables, ce problème de minimisation pouvait se résoudre avantageusement dans l’espace de Fourier si le marquage était quasipériodique.
Dans ces conditions, la solution du problème se trouve en mettant en oeuvre l’équation utilisée classiquement pour extraire des champs de déplacements d’images de marquages quasi-périodiques, à savoir le changement de phases en tout point de ce marquage quasi-périodique est proportionnel au premier ordre au déplacement recherché. Cette estimation du déplacement est ensuite affinée avec un algorithme de type point fixe. Mesurer les déplacements, qui est la solution au problème de minimisation que résout itérativement la CIN, revient donc à estimer un changement de phases entre image de référence et image déformée. Ces phases étant obtenues directement en chaque pixel d’un marquage quasi-périodique, par exemple, avec Localized Spectrum Analysis (LSA), en prenant l’argument de la transformée de Fourier fenêtrée des images déformées et de référence, le déplacement ainsi trouvé est la solution directe du même problème de minimisation résolu itérativement par la CIN.
Au bilan, la solution du problème de la recherche du déplacement devient directe au premier ordre au lieu d’être itérative, et le marquage optimal en termes de propagation du bruit du capteur dans les cartes finales peut potentiellement être traité avec ce formalisme, car ce marquage de type damier est justement quasi-périodique, cette particularité devenant un avantage au lieu d’être un inconvénient. Ce marquage est aisément reproductible, ce qui évite les problèmes liés à la reproductibilité des marquages aléatoires utilisés en CIN.
Le procédé selon la présente invention met en oeuvre une méthode spectrale, c’est à dire basée sur l’analyse de Fourier, qui peut être de type Localized Spectrum Analysis (LSA), Géométrie Phase Analysis (GPA), Windowed Fourier Transform-Geometric Phase Analysis (WG PA) ou Sampling Moiré (SM) pour extraire des champs de déplacements et de déformations en surface d’objets à partir d’images de marquage de type damier. Ces méthodes spectrales sont habituellement utilisées pour traiter des images de grille en deux dimensions.
La présente invention se rapporte à une méthode spectrale de traitement d’images de marquage pour en extraire des champs de déplacements et de déformations en surface d’objets, dans lequel ledit marquage est de type damier, ledit procédé étant mis en oeuvre dans l’espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier. Cette estimation du déplacement est ensuite affinée en avec un algorithme de type point fixe.
Les principes de base des méthodes LSA, GPA, WGPA et SM étant connus, ils ne seront pas rappelés ici.
Dans un mode de réalisation, on se base sur l’observation suivante : lorsque l’on considère un damier le long des directions à +/-45 degrés par rapports aux axes xet y, deux séries de lignes perpendiculaires sont clairement visibles, formant chacune une grille 1D le long des bissectrices des directions x et y. x et y sont les directions définies par les côtés des carrés de base constituant le damier. Les directions définies par les bissectrices sont notées x’ et y’. Les Figures 1A et 1B représentent une vue schématique de ces deux grilles 1D. La bordure des «lignes» formant ces deux grilles 1D n'est pas rectiligne puisque les lignes de ces grilles sont faites de losanges placés côte à côte (comme illustré Figure 1C). Ces lignes s'interconnectent, de sorte que le m pas de ces grilles 1D est égal à p— où p est le pas du damier le long des axes xet y. Bien que ces lignes n'aient pas de bordures rectilignes, elles forment le long de chacune des directions x’et y’un motif périodique similaire à une grille 1D. En tant que tels, ces motifs peuvent être traités avec un procédé LSA /2 appliqué à ces deux directions, avec une fréquence égale à y. Le déplacement suivant les directions x’ et y' est alors dérivé des phases, et le déplacement suivant les directions x et y est déduit en appliquant un simple changement de base.
Dans un autre mode de réalisation, on prétraite le damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, puis on applique une méthode spectrale, c’est à dire basée sur l’analyse de Fourier, afin d'extraire les phases selon ces deux directions, et enfin on déduit les champs de déplacement et de déformation directement dans la base x-y de ces champs. En effet, un damier peut être déduit d'une grille 1D faite de lignes verticales en inversant le signe, une ligne sur deux, du niveau de gris de chaque pixel du damier par rapport à la valeur moyenne de la distribution des niveaux de gris. Cette propriété est illustrée Figures 2A et 2B, où l'ensemble de la ligne définissant le Domaine reste inchangé, tandis que les pixels des lignes définissant le Domaine D2 sont affectés par l’inversion de signe par rapport à la moyenne. La même remarque vaut pour une grille 1D faite de lignes horizontales, le changement de signe par rapport à la moyenne étant appliqué une colonne sur deux. Inversement, une grille 1D faite de lignes verticales peut être déduite d'un damier en inversant le signe de la distribution des niveaux de gris une ligne sur deux par rapport à la valeur moyenne du niveau de gris sur l’image de damier. Une autre grille 1 D, mais cette fois faite de lignes horizontales, peut être déduite du même damier en inversant le signe une colonne sur deux par rapport à la moyenne à la place d’une ligne sur deux. Par conséquent, deux grilles perpendiculaires 1D peuvent être déduites de n’importe quel damier. Chacune de ces grilles «virtuelles >> 1D peut ensuite être traitée en utilisant la méthode spectrale, c’est à dire basée sur l’analyse de Fourier, pour extraire la phase (et ainsi le déplacement) le long des directions x et y. Il est à noter que l’inversion de signe n'affecte pas l'information contenue dans l'image brute de damier en termes de déplacement, puisque ce dernier est proportionnel au premier ordre à un changement de phase entre deux images. L’inversion de signe appliquée ici n'a pas d'impact sur ce changement de phase, et les informations sur le déplacement ne sont donc pas affectées. Au contraire, l’inversion de signe par rapport à la moyenne maximise la norme de la Transformée de Fourier fenêtrée (« Windowed Fourier Transform » ou WFT en terminologie anglo-saxonne), car il est appliqué à une grille 1 D, donc dans le mode de réalisation basé sur la LSA, le bruit dans la phase résultante et les cartes de déplacement est minimisé. L’obtention de ces deux grilles 1D du même damier est illustrée Figures 3A, 3B, 3C, 3D, 3E, 3F et 4A, 4B, 4C, 4D,
4E, 4F pour les directions xet y, respectivement. Les Figures 5A, 5B, 5C et 5D représentent un exemple d’un vrai damier transformé en deux grilles 1 D. Ces deux grilles sont visuellement proches de grilles 1D idéales, ce qui est très favorable pour l’analyse de Fourier réalisée avec une méthode spectrale, et donc plus favorable que lorsque des grilles 2D sont traitées avec une méthode spectrale.
Les Figures 1A, 1B et 1C illustrent le procédé selon la présente invention, dans un premier mode de réalisation.
Plus précisément, les Figures 1A, 1B et 1C représentent des lignes constituées de losanges observées le long des bissectrices d’un damier réel : en Figure 1A le long d’une bissectrice à +45 degrés, en Figure 1B le long d’une bissectrice à -45 degrés. La Figure 3C est une vue de près d’un motif en forme de losange observé le long de directions +/- 45 degrés. Les lignes et les colonnes de losanges sont clairement visibles.
Les Figures 2A, 2B, 3A, 3B, 3C, 3D, 3E, 3F, 4A, 4B, 4C, 4D, 4E, 4F, 5A, 5B, 5C et 5D illustrent le procédé selon la présente invention, dans un second mode de réalisation.
Plus précisément, les Figures 2A et 2B représentent schématiquement le passage d’une grille unidirectionnelle à un damier. On observe ainsi en Figure 2A une grille avec des lignes verticales, et on observe en Figure 2B un damier obtenu en inversant le signe sur le Domaine D2 et en ajoutant deux fois la valeur moyenne des niveaux de gris.
Les Figures 3A, 3B, 3C, 3D, 3E, 3F représentent schématiquement l’opération inverse, à savoir la récupération d’une grille constituée de traits verticaux à partir d’un damier. On observe en Figure 3A une vue du damier, en Figure 3B une représentation équivalente binaire avec une matrice, en Figure 3C le changement de signe à appliquer sur les lignes du motif avec un produit de Hadamard, en Figure 3D une valeur constante à ajouter au résultat du produit de Hadamard pour obtenir des valeurs bornées entre 0 et 1, en Figure
3E le résultat de la procédure et en Figure 3F une grille faite de lignes verticales équivalentes au damier pour la détermination de la phase le long de l’axe x avec une méthode spectrale, c’est à dire basée sur l’analyse de Fourier.
Les Figures 4A, 4B, 4C, 4D, 4E, 4F représentent schématiquement la récupération d’une grille constituée de traits horizontaux à partir d’un damier. On observe en Figure 4A une vue du damier, en Figure 4B une représentation équivalente binaire avec une matrice, en Figure 4C le changement de signe à appliquer sur les lignes du motif avec un produit de Hadamard, en Figure 4D une valeur constante à ajouter au résultat du produit de Hadamard pour obtenir des valeurs bornées entre 0 et 1, en Figure 4E le résultat de la procédure et en Figure 4F une grille faite de lignes horizontales équivalentes au damier pour la détermination de la phase le long de l’axe y avec une méthode spectrale, c’est à dire basée sur l’analyse de Fourier.
En Figure 5A, on observe une vue d’une image réelle de damier, en Figures 5B et 5C une vue des deux grilles 1D déduites du damier représenté en 5A, et en Figure 5D une coupe transversale verticale de la distribution de niveaux de gris le long des deux colonnes de pixels en Figure 5B (colonne brillante x= 21 et colonne sombre x= 25).
Selon le mode de réalisation, les phases peuvent être obtenues à partir de ces deux images de grilles 1D avec un procédé de type Localized Spectrum Analysis ou LSA, Géométrie Phase Analysis ou G PA, Windowed Fourier Transform-Geometric Phase Analysis ou WGPA, Sampling Moiré ou SP.
Dans un mode de réalisation, des motifs sont traités avec un procédé spectral appliqué à deux directions de +/-45 degrés, avec une fréquence du y[2 marquage égale à y, p étant le pas du damier le long des axes xet y.
Dans un autre mode de réalisation, ledit procédé comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, une étape de mise en oeuvre d’un procédé spectral afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacements et de déformations directement dans la base x-y de ces champs.
La présente invention se rapporte également à un système de traitement d’images de marquage pour en extraire des champs de déplacements et de déformations en surface d’objets, dans lequel ledit marquage est de type damier, ledit système comportant des moyens pour une mise en oeuvre dans l’espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier. Cette estimation du déplacement est ensuite affinée avec un algorithme de type point fixe.
L’invention est décrite dans ce qui précède à titre d’exemple. Il est entendu que l'homme du métier est à même de réaliser différentes variantes de l'invention sans pour autant sortir du cadre du brevet.

Claims (14)

1. Procédé spectral de traitement d’images de marquage pour en extraire des champs de déplacements et de déformations en surface d’objets, caractérisé en ce que ledit marquage est de type damier et en ce que ledit procédé est mis en œuvre dans l’espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au premier ordre au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier.
2. Procédé spectral de traitement d’images de marquage selon la revendication 1, caractérisé en ce qu’il met en œuvre un procédé de type Localized Spectrum Analysis ou LSA pour extraire les phases.
3. Procédé spectral de traitement d’images de marquage selon la revendication 1, caractérisé en ce qu’il met en œuvre un procédé de type Géométrie Phase Analysis ou G PA pour extraire les phases.
4. Procédé spectral de traitement d’images de marquage selon la revendication 1, caractérisé en ce qu’il met en œuvre un procédé de type Windowed Fourier Transform-Geometric Phase Analysis ou WG PA pour extraire les phases.
5. Procédé spectral de traitement d’images de marquage selon la revendication 1, caractérisé en ce qu’il met en œuvre un procédé de type Sampling Moiré ou SM pour extraire les phases.
6. Procédé spectral de traitement d’images de marquage selon la revendication 2, caractérisé en ce que des motifs sont traités avec un procédé LSA appliqué à deux directions de +/-45 degrés, avec une
V2 fréquence égale à y, p étant le pas du damier le long des axes x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier.
7. Procédé spectral de traitement d’images de marquage selon la revendication 2, caractérisé en ce qu’il comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé LSA afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-y de ces champs.
8. Procédé spectral de traitement d’images de marquage selon la revendication 3, caractérisé en ce que des motifs sont traités avec un procédé G PA appliqué à deux directions de +/-45 degrés, avec une
V2 fréquence égale a —, p étant le pas du damier le long des axes x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier.
9. Procédé spectral de traitement d’images de marquage selon la revendication 3, caractérisé en ce qu’il comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé G PA afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-y de ces champs.
10. Procédé spectral de traitement d’images de marquage selon la revendication 4, caractérisé en ce que des motifs sont traités avec un procédé WGPA appliqué à deux directions de +/-45 degrés, avec une
V2 fréquence égale a —, p étant le pas du damier le long des axes x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier.
11. Procédé spectral de traitement d’images de marquage selon la revendication 4, caractérisé en ce qu’il comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé WGPA afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-y de ces champs.
12. Procédé spectral de traitement d’images de marquage selon la revendication 5, caractérisé en ce que des motifs sont traités avec un procédé SM appliqué à deux directions de +/-45 degrés, avec une fréquence égale à —, p étant le pas du damier le long des axes x et y, les axes x et y étant définis par les côtés des carrés de base constituant le damier.
13. Procédé spectral de traitement d’images de marquage selon la revendication 5, caractérisé en ce qu’il comporte une étape de prétraitement du damier pour extraire les deux premières grilles 1D perpendiculaires suivant les directions xet y, les axes xet y étant définis par les côtés des carrés de base constituant le damier, une étape de mise en oeuvre d’un procédé SM afin d'extraire les phases selon ces deux directions, et une étape de déduction des champs de déplacement et de déformation directement dans la base x-y de ces champs.
14. Système de traitement d’images de marquage pour en extraire des champs de déplacements et de déformations en surface d’objets, caractérisé en ce que ledit marquage est de type damier et en ce que ledit système comporte des moyens pour une mise en œuvre dans l’espace de Fourier, en estimant un changement de phases entre une image de référence et une image déformée, ledit changement de phases en tout point du marquage de type damier étant proportionnel au déplacement recherché, lesdites phases étant obtenues directement en chaque pixel dudit marquage de type damier.
FR1851531A 2018-02-22 2018-02-22 Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale Active FR3078190B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1851531A FR3078190B1 (fr) 2018-02-22 2018-02-22 Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale
PCT/EP2019/054458 WO2019162449A1 (fr) 2018-02-22 2019-02-22 Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1851531A FR3078190B1 (fr) 2018-02-22 2018-02-22 Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale
FR1851531 2018-02-22

Publications (2)

Publication Number Publication Date
FR3078190A1 true FR3078190A1 (fr) 2019-08-23
FR3078190B1 FR3078190B1 (fr) 2021-04-09

Family

ID=62683318

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1851531A Active FR3078190B1 (fr) 2018-02-22 2018-02-22 Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale

Country Status (2)

Country Link
FR (1) FR3078190B1 (fr)
WO (1) WO2019162449A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102374B (zh) * 2020-11-23 2021-03-12 北京蜜莱坞网络科技有限公司 图像处理方法、装置、电子设备及介质
CN114839054B (zh) * 2022-03-16 2023-02-28 徐州大成环境科技有限公司 一种基于人工智能的建筑材料强度检测方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3008522B1 (fr) 2013-07-15 2016-11-11 European Aeronautic Defence & Space Co Eads France Procede de mesure multi-echelles de forme, de deplacement et/ou de deformation d’une piece de structure soumise a des sollicitations par creation d’une pluralite de mouchetis colorimetriques

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. GRÉDIAC ET AL: "The Grid Method for In-plane Displacement and Strain Measurement: A Review and Analysis : The Grid Method", STRAIN., vol. 52, no. 3, 13 May 2016 (2016-05-13), US, pages 205 - 243, XP055502362, ISSN: 0039-2103, DOI: 10.1111/str.12182 *
M.J. HYTCH ET AL: "Quantitative measurement of displacement and strain fields from HREM micrographs", ULTRAMICROSCOPY, vol. 74, no. 3, 1 August 1998 (1998-08-01), NL, pages 131 - 146, XP055502364, ISSN: 0304-3991, DOI: 10.1016/S0304-3991(98)00035-7 *
SANDER WILDEMAN: "Real-time quantitative Schlieren imaging by fast Fourier demodulation of a checkered backdrop", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 15 December 2017 (2017-12-15), XP080846473 *

Also Published As

Publication number Publication date
FR3078190B1 (fr) 2021-04-09
WO2019162449A1 (fr) 2019-08-29

Similar Documents

Publication Publication Date Title
Li et al. Imaging through glass diffusers using densely connected convolutional networks
EP3274689B1 (fr) Procédé et dispositif d&#39;analyse de particules
Orieux et al. Bayesian estimation for optimized structured illumination microscopy
Qin et al. Deep subwavelength nanometric image reconstruction using Fourier domain optical normalization
FR3078190A1 (fr) Procede de mesure de champs de deplacements et de deformations avec marquage de type damier et traitement par methode spectrale
EP3637194A1 (fr) Procédé de détermination de paramètres d&#39;une particule
WO2015025098A1 (fr) Procédé de calibration d&#39;une technique de caractérisation cd-sem
EP3440443B1 (fr) Procédé d&#39;acquisition et de formation d&#39;une image de spectrométrie par un échantillonnage spatial adapté
EP0575514A1 (fr) Procede d&#39;analyse physico-chimique fonde sur le controle de tensions interfaciales, et appareil correspondant.
Maalouf Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF
O’holleran et al. Methodology for imaging the 3D structure of singularities in scalar and vector optical fields
Martínez et al. Metrological characterization of different methods for recovering the optically sectioned image by means of structured light
FR3050528A1 (fr) Procede et dispositif d’estimation de proprietes optiques d’un echantillon
Chomik et al. Quantification in optical sectioning microscopy: a comparison of some deconvolution algorithms in view of 3D image segmentation
EP0603062B1 (fr) Procédé et dispositif pour la mesure non destructive et en temps réel des propriétés mécaniques d&#39;un matériau en feuille
Guyot et al. Spatial speckle characterization by Brownian motion analysis
Ferreira et al. Evaluating sub-pixel functional defects of a display using an arbitrary resolution camera
Siaudinyte et al. Far-field sectioning for the retrieval of subwavelength grating parameters using coherent Fourier scatterometry
Stoykova Preprocessing of raw data for quality enhancement of the pointwise dynamic speckle analysis
EP2649430B1 (fr) Procede et dispositif de caracterisation de la dynamique interne d&#39;un echantillon de matiere en presence d&#39;un deplacement rigide
Padilla-Vivanco et al. Comparative analysis of pattern reconstruction using orthogonal moments
Turrisi et al. Image deconvolution techniques for motion blur compensation in DIC measurements
FR3015033A1 (fr) Procede et dispositif d&#39;analyse de la surface d&#39;un substrat
EP3517940A1 (fr) Procede et système de determination de la variation d&#39;intensite diffractee par un reseau bidimensionnel organise le long d&#39;une direction donnee
WO2013050673A1 (fr) Dispositif et procédé pour l&#39;inspection de produits semi-conducteurs

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20190823

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7