FR2950157A1 - Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine - Google Patents

Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine Download PDF

Info

Publication number
FR2950157A1
FR2950157A1 FR0904416A FR0904416A FR2950157A1 FR 2950157 A1 FR2950157 A1 FR 2950157A1 FR 0904416 A FR0904416 A FR 0904416A FR 0904416 A FR0904416 A FR 0904416A FR 2950157 A1 FR2950157 A1 FR 2950157A1
Authority
FR
France
Prior art keywords
pattern
fringes
image
images
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR0904416A
Other languages
English (en)
Inventor
Benoit Bocquillon
Ludovic Brethes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noomeo SAS
Original Assignee
Noomeo SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noomeo SAS filed Critical Noomeo SAS
Priority to FR0904416A priority Critical patent/FR2950157A1/fr
Priority to PCT/FR2010/000610 priority patent/WO2011033186A1/fr
Publication of FR2950157A1 publication Critical patent/FR2950157A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Utilisation d'un motif structuré dans la construction d'un modèle numérique tridimensionnel d'une surface (2) physique, dans laquelle le motif est projeté sur la surface (2), dans laquelle le motif est formé par la combinaison d'un motif primaire (28) comprenant un réseau de franges (29) rectilignes continues espacées, et d'un motif secondaire (30) anisotrope s'étendant dans les espaces entre franges (29).

Description

Procédé de numérisation tridimensionnelle d'une surface comprenant la projection d'un motif combiné
L'invention a trait à la construction de modèles numériques tridimensionnels de surfaces physiques par mesure optique, sans contact. Cette technique est couramment appelée numérisation tridimensionnelle, numérisation 3D, ou encore, suivant la terminologie anglo-saxonne, scanning 3D. L'architecture des systèmes de vision permettant de réaliser la numérisation 3D d'une surface comprend classiquement deux composants : un composant physique : le scanner (de préférence portatif), qui effectue une acquisition d'images de la surface, généralement par une succession de prises de vues (ponctuelles, en rafale ou en continu) de celle-ci ; un composant logiciel de traitement des images produites par le scanner, ce traitement permettant d'effectuer une reconstruction tridimensionnelle de synthèse de la surface, par exemple dans un environnement CAO (Conception assistée par ordinateur) ou CFAO (Conception et Fabrication assistées par ordinateur). L'acquisition des images est généralement effectuée par projection sur la surface à numériser d'un motif lumineux structuré ayant une forme prédéterminée (lignes, carrés, mouchetis, etc.), puis par capture optique du motif projeté. Des traitements sont appliqués aux images capturées, permettant de calculer les coordonnées spatiales d'une sélection de points pour reconstruire le modèle tridimensionnel de la surface. Sur la base de ce même principe fondamental, de nombreuses solutions ont été proposées, qui varient selon trois axes principaux : l'architecture du scanner ; la nature et la forme du motif projeté ; la méthodologie de reconstruction. S'agissant en premier lieu des scanners, on en distingue généralement deux types : les scanners à caméra unique (vision monoculaire), et les scanners à caméras multiples (vision binoculaire ou stéréovision ; vision multi-oculaire). Dans les scanners fonctionnant en vision monoculaire, une seule image du motif déformé est produite. Cette image est ensuite comparée N003 B005 FR motif combiné TQD à une image de référence du motif non déformé pour effectuer la reconstruction. Les documents de brevet US 5 003 166 (MIT), FR 2 842 591 (ENSMA/CNRS), WO2007/043036 (PRIME SENSE), US 2009/0059241 (ARTEC) et FR 2 921 719 (NOOMEO) illustrent cette architecture. Dans les scanners fonctionnant en vision binoculaire ou multioculaire, qui sont ceux qui nous intéressent ici, au moins deux images du motif déformé sont produites simultanément, et on effectue une comparaison de ces images pour effectuer la reconstruction. La demande internationale WO 2006/094409 (CREAFORM) illustre cette architecture. S'agissant en second lieu du motif projeté, il peut être répétitif, par exemple sous forme de lignes ou de segments (cf. US 5 003 166 précité), ou non répétitif, par exemple sous forme d'un mouchetis (cf. notamment FR 2 842 591 et FR 2 921 719 précités). S'agissant enfin de la méthodologie de reconstruction, elle peut varier d'une solution à l'autre en matière de choix des algorithmes, mais comprend généralement trois étapes : la rectification des images ; - la mise en correspondance ; le calcul des coordonnées spatiales de points de la surface numérisée. En stéréovision, la rectification des images est préférable pour faciliter leur exploitation ultérieure. Outre la correction des distorsions induites par les systèmes optiques, on applique généralement aux images un traitement de rectification épipolaire visant à rendre parallèles et alignées les droites épipolaires des deux images. La mise en correspondance ou corrélation consiste ensuite à apparier dans les images stéréoscopiques les homologues ou stéréo- correspondants, c'est-à-dire les projections dans les plans images d'un même point de la surface physique. La différence entre les coordonnées des stéréo-correspondants est appelée disparité. Une fois calculées les disparités, les coordonnées spatiales des points correspondants de la surface sont alors calculées par triangulation, le résultat des calculs fournissant un nuage de points localisés précisément dans l'espace. A partir d'un nuage de points, des techniques de mappage permettent d'obtenir une surface continue. N003 B005 FR motif combiné TQD La rectification des images est une problématique bien connue, pour laquelle des algorithmes performants et robustes existent depuis quelque temps déjà, cf. par exemple P. Lasserre et P. Grandjean, « Stereo improvements », dans IEEE International Conference on 5 Advanced Robotics, Barcelone, 1995. De même, une fois la mise en correspondance effectuée, les calculs de triangulation ne posent pas de problèmes particuliers. En revanche, la problématique de la mise en correspondance est beaucoup plus complexe, et fait actuellement l'objet de nombreuses 10 recherches pour parvenir à des solutions efficaces, rapides et robustes. Pour un aperçu de certaines techniques de mise en correspondance (et, incidemment, une meilleure compréhension de la géométrie épipolaire en stéréovision), cf. par exemple V. Lemonde, « Stéréovision embarquée sur véhicule : de l'auto-Calibrage à la 15 Détection d'obstacles », Thèse CNRS/INSA, Novembre 2005, S. Chambon, « Mise en correspondance stéréoscopique d'images couleur en présence d'occultations », Thèse Université Paul Sabatier, Décembre 2005, et W. Souid-Miled, « Mise en correspondance stéréoscopique par approches variationnelles convexes », Thèse 20 Université Paris-Est/INRIA, Décembre 2007. La complexité de la mise en correspondance croît avec le nombre de points que l'on souhaite apparier. En effet, s'il est relativement simple de sélectionner un faible nombre de points d'intérêt (par exemple situés dans un environnement fortement contrasté permettant 25 de détecter facilement les stéréo-correspondants), un appariement plus dense se heurte rapidement à des difficultés d'analyse en raison de la présence d'ambiguïtés dans certaines zones des images qui pèchent par exemple par un aspect trop homogène, voire par l'absence totale de contenu (par exemple en raison de phénomènes d'occultation qui ne 30 manquent pas d'apparaître, notamment pour des surfaces présentant des reliefs prononcés). II apparaît qu'une mauvaise conception du motif destiné à être projeté sur la surface à numériser est à l'origine de nombreuses erreurs de mise en correspondance et/ou d'une densité de reconstruction 35 insuffisante. Or les erreurs de mise en correspondance aboutissent à l'obtention de points manifestement aberrants qui doivent être éliminés au moyen N003 B005 FR motif combiné TQD de techniques de filtrage complexes. Cette élimination requiert de la puissance et du temps de calcul, elle diminue le nombre total de points utiles ù et donc la densité de la reconstruction. On peut tenter de remédier à une insuffisance de densité en réitérant les opérations d'acquisition et de traitement, de sorte à générer plusieurs nuages de points qu'il est ensuite nécessaire de recaler dans l'espace en raison des décalages intervenus entre deux prises de vues successives. Mais les techniques de recalage sont complexes, et nécessitent une puissance et/ou un temps de calcul proportionnels au nombre de nuages à recaler. Les motifs répétitifs, tels que les alternances de lignes noires et blanches ou les quadrillages (cf. par exemple la figure 6 du document US 5 003 166 précité), qui ont l'avantage d'offrir un bon contraste, sont difficilement exploitables dans les systèmes de stéréovision car ils génèrent des erreurs de mise en correspondance en raison du caractère isotrope du motif, de sorte que des décalages peuvent se produire lors de la recherche de fenêtres de corrélation. Les motifs pseudo-aléatoires, de type mouchetis (cf. par exemple la figure 7B du document US 5 003 166 ou le document FR 2 921 719 précité), ont l'avantage naturel de n'être pas répétitifs, de sorte que les risques de décalage lors de la recherche de fenêtres de corrélation sont faibles. En revanche, leur contraste est médiocre, ce qui complique la recherche de points d'intérêt. L'invention vise à proposer une solution remédiant notamment aux inconvénients précités, et facilitant une reconstruction fiable et dense d'un modèle numérique tridimensionnel d'une surface. A cet effet, l'invention propose une utilisation d'un motif structuré dans la construction d'un modèle numérique tridimensionnel d'une surface physique, dans laquelle le motif est projeté sur la surface, ce motif étant formé par la combinaison d'un motif primaire comprenant un réseau de franges rectilignes continues espacées, et d'un motif secondaire anisotrope s'étendant dans les espaces entre franges. Une telle combinaison permet de cumuler les avantages des motifs isotropes, en offrant un bon contraste, et des motifs anisotropes, en minimisant le risque de confusion lors de l'identification de fenêtres de corrélation.
N003 B005 FR motif combiné TQD L'invention propose par ailleurs un système de numérisation tridimensionnelle comprenant un dispositif de projection d'un motif lumineux, et un système de stéréovision, dans lequel le dispositif de projection est agencé pour projeter un motif lumineux tel que décrit ci- dessus. L'invention propose également un procédé de construction d'un modèle numérique tridimensionnel d'une surface physique utilisant un motif tel que décrit ci-dessus, ce procédé comprenant les opérations suivantes : Projection du motif structuré sur la surface, Acquisition et mémorisation d'au moins une image bidimensionnelle de la surface ainsi éclairée, Construction du modèle numérique à partir de l'image ainsi acquise.
Suivant un premier mode de réalisation, le motif primaire est mono-orienté, les franges s'étendant suivant une direction unique. Suivant un deuxième mode de réalisation, le motif primaire est biorienté, les franges s'étendant suivant deux directions, qui peuvent être perpendiculaire de sorte que les franges définissent un quadrillage.
Les franges peuvent être claires, et être bordées de lignes sombres entre lesquelles s'étend le motif secondaire. En variante, les franges sont sombres ; elles peuvent être bordées de lignes claires doublées de lignes sombres. Quant au motif secondaire, il comprend par exemple des tavelures 25 ou des pictogrammes. D'autres objets et avantages de l'invention apparaîtront à la lumière de la description faite ci-après en référence aux dessins annexés dans lesquels : la figure 1 est une vue en perspective illustrant un dispositif de 30 numérisation tridimensionnelle comprenant un appareil de capture relié à un ordinateur, appliqué à la numérisation de la surface d'un objet, en l'occurrence le visage d'une statue ; la figure 2 est une vue schématique de côté illustrant les principaux composants optiques de l'appareil de la figure 1, placés 35 dans une situation de prise de vue ;
N003 B005 FR motif combiné TQD la figure 3 est une vue en plan d'un motif pour la projection sur une surface à numériser, selon une première variante de réalisation la figure 4 est une vue d'un détail du motif de la figure 3 la figure 5 est une vue en plan d'un motif pour la projection sur une surface à numériser, selon une deuxième variante de réalisation la figure 6 est une vue d'un détail du motif de la figure 5 la figure 7 est une vue en plan d'un motif pour la projection sur une surface à numériser, selon une troisième variante de réalisation la figure 8 est une vue d'un détail du motif de la figure 7 la figure 9 est une en plan d'un motif pour la projection sur une surface à numériser, selon une quatrième variante de réalisation ; ù la figure 10 est une vue d'un détail du motif de la figure 9 ; la figure 11 montre un couple d'images stéréoscopiques structurées du motif des figures 3 et 4 projeté sur le visage de la figure 1 ; la figure 12 montre un couple d'images stéréoscopiques texturées du visage de la figure 1 ; la figure 13 est une vue en perspective d'un nuage de points reconstruit à partir du couple d'images stéréoscopiques structurées de la figure 11 ; la figure 14 est une vue en perspective montrant deux nuages de points non recalés, reconstruits à partir de deux couples d'images stéréoscopiques structurées capturées lors de deux prises de vues successives du visage de la statue de la figure 1 ; la figure 15 est une vue similaire à la figure 14, montrant les deux nuages de points recalés ; ù la figure 16 est une vue en perspective montrant une pluralité de nuages de points recalés, reconstruits à partir d'une série de couples d'images stéréoscopiques capturées lors d'une séquence de prises de vues successives du visage de la statue de la figure 1 Sur la figure 1 est représenté un système 1 de numérisation optique sans contact, permettant de construire un modèle numérique N003 B005 FR motif combiné TQD tridimensionnel, sous forme d'une image de synthèse en environnement de DAO (dessin assisté par ordinateur) ou CAO (Conception assistée par ordinateur), d'une surface 2 physique, par exemple l'enveloppe d'un objet physique réel 3. En l'occurrence, cet objet 3 est une statue mais il pourrait s'agir de tout autre objet présentant une ou plusieurs surfaces à numériser. Généralement, la surface 2 à numériser est en relief, c'est-à-dire non plane, mais le système 1, ainsi que le procédé mis en oeuvre décrit ci-après, permettent a fortiori la numérisation de surfaces planes. (NB. pour respecter les prescriptions formelles en matière de dessins de brevets, la photographie de la statue sur la figure 1 a été filtrée et convertie pour un affichage en deux couleurs, d'où son aspect granuleux). Le système 1 de numérisation comprend un appareil 4 d'acquisition (ou capture) optique, dénommé scanner, équipé d'un boîtier 5 portatif muni d'une poignée 6 permettant sa saisie et sa manipulation. La poignée 6 porte, sur une face avant, un déclencheur 7 manuel dont l'actionnement commande la prise de vue. Le système 1 comprend également une unité centrale de traitement (UC ou CPU) des images capturées par le scanner 4, sous forme d'un processeur sur lequel est implémentée une application logicielle de construction des modèles numériques à partir des images capturées. Plus précisément, cette application logicielle comprend des instructions permettant de mettre en oeuvre les opérations de calcul décrite ci-après.
Le processeur peut être embarqué dans le scanner 4 ou, comme cela est illustré sur la figure 1, délocalisé en étant intégré dans un ordinateur 8 équipé d'une interface graphique et relié au scanner 4 par l'intermédiaire d'une interface 9 de communication filaire (ou sans fil), par exemple sous forme d'un bus informatique de type USB.
Le scanner 4 est conçu pour fonctionner en stéréovision. Comme cela est visible sur les figures 1 et 2, il comprend, montés dans le boîtier 5 : un projecteur 10 lumineux ; un système 11 de stéréovision comprenant une paire de dispositifs 12, 13 d'acquisition optique, de type caméras (c'est-à-dire conçu pour réaliser des prises de vues en continu, par exemple à la cadence normalisée de 24 images N003 B005 FR motif combiné TQD par seconde), ou appareils photographiques (c'est-à-dire réalisant des prises de vues ponctuelles, éventuellement en rafale) ; un système 14 de visée optique ; une centrale 15 inertielle, configurée pour fournir à tout instant un référentiel absolu invariant, construit à partir de deux directions orthogonales identifiables par la centrale 15, à savoir le Nord magnétique et la verticale. On suppose dans ce qui suit que les dispositifs 12, 13 d'acquisition optique sont des caméras, qui, au besoin, peuvent être employées comme appareils photographiques. Le projecteur 10 comprend une source lumineuse (non visible), une optique 16 de focalisation et une diapositive (non visible), interposée entre la source lumineuse et l'optique 16 de focalisation.
La source lumineuse est de préférence une source non cohérente de lumière blanche, notamment de type à filament ou halogène, ou encore à diode (LED). L'optique 16 de focalisation du projecteur 10 définit un axe optique principal 17 passant par la source lumineuse. Cet axe optique 17 définit un axe optique de projection du scanner 4. Les caméras 12, 13 comprennent chacune : une optique 18 de focalisation définissant un axe optique 19 (respectivement 20) de visée, un capteur 21 photosensible, par exemple de type CCD, qui se présente sous forme d'une plaque carrée ou rectangulaire placée, en regard de l'optique 18 de focalisation, sur l'axe optique 19, 20, c'est-à-dire perpendiculairement à celui-ci et de sorte que l'axe 19, 20 passe par le centre du capteur 21. Les centres optiques des caméras 12, 13 sont espacés l'un de l'autre d'une distance appelée base, leurs axes optiques 19, 20 convergeant vers un point 22 situé sur l'axe optique 17 du projecteur 10, dans le champ de celui-ci. En pratique, on orientera les caméras 12, 13 de telle sorte que le point de convergence de leurs axes optiques 19, 20 se trouve dans un plan médian situé dans le champ de projection et dans la zone de netteté (également appelé profondeur de champ) du projecteur 10.
N003 B005 FR motif combiné TQD Le capteur 21 de chaque caméra 12, 13 est placé à une distance prédéterminée de l'optique 18 de focalisation, dans un plan image dépendant de sa focale et tel que le plan objet correspondant à ce plan image se trouve dans la zone de netteté du projecteur 10.
Comme cela est illustré sur la figure 2, le projecteur 10 et les caméras 12, 13 sont fixés sur une platine 23 commune monobloc, réalisée dans un matériau suffisamment rigide pour minimiser les risques de désaxement des caméras 12, 13 (un tel désaxement est appelé décalibrage). En pratique, la platine 23 est réalisée dans un alliage d'aluminium. Comme cela est visible sur la figure 1, la poignée 6 du scanner 4 s'étend parallèlement à la base, de sorte que la tenue naturelle du scanner 4 est verticale, les caméras 12, 13 s'étendant l'une au-dessus de l'autre. Par convention toutefois, on dénomme caméra gauche la caméra supérieure 12 (située du côté du pouce) et caméra droite la caméra inférieure 13. Le système 14 de visée est agencé pour permettre, préalablement à la prise de vue, un positionnement du scanner 4 à une distance de la surface 2 à numériser telle que le motif projeté soit inclus dans le champ du projecteur 10 û et soit par conséquent net. Comme cela est illustré sur la figure 2, le système 14 de visée comprend deux pointeurs laser 24 montés rigidement sur la platine 23, conçus pour émettre chacun, lorsque le déclencheur 7 est enfoncé, un faisceau lumineux linéaire 25, 26 produisant, sur toute surface éclairée, une tache lumineuse sensiblement ponctuelle. Les pointeurs 24 sont positionnés angulairement sur la platine 23 pour que les faisceaux 25, 26 émis se croisent en un point d'intersection 27 situé sur l'axe 17 du projecteur 10, dans la zone de netteté de celui-ci et en amont du point 22 de convergence des axes optiques 19, 20 des caméras 12, 13. La diapositive est disposée entre la source lumineuse et l'optique 16 du projecteur 10, sur l'axe 17, c'est-à-dire perpendiculairement à l'axe 17 et de sorte que celui-ci passe par le centre de la diapositive. La diapositive est placée à une distance prédéterminée de l'optique 16 dont elle constitue un plan objet, de telle sorte que l'image du motif soit nette dans un plan image perpendiculaire à l'axe 17. En pratique, le plan image n'est pas unique, l'optique de focalisation du projecteur 10 N003 B005 FR motif combiné TQD étant conçue (ou réglée) pour présenter une certaine profondeur de champ, telle que l'image du motif projeté soit nette dans une certaine zone de netteté qui s'étend entre deux plans espacés perpendiculaires à l'axe 17.
La diapositive se présente sous la forme d'une plaque translucide ou transparente (en verre ou en matière plastique), carrée ou rectangulaire, sur laquelle le motif est imprimé par un procédé classique (transfert, offset, sérigraphie, flexographie, laser, jet d'encre, microlithographie, etc.).
Le motif est structuré, c'est-à-dire qu'il présente des alternances de zones claires et de zones sombres d'une forme prédéterminée. La constitution du motif (couleur, contraste) n'est pas aléatoire : elle est connue en tout point. Le motif peut être réalisé en niveaux de gris ou en couleurs, mais il est de préférence réalisé en noir et blanc, ce qui maximise le contraste entre zones claires et zones sombres. Plus précisément, le motif comprend la combinaison de deux sous-motifs, à savoir : - Un motif primaire 28 régulier, comprenant un réseau de franges 29 rectilignes continues espacées, et - un motif secondaire 30 globalement anisotrope, c'est-à-dire irrégulier et non répétitif dans toute direction de l'espace. On a représenté sur les figures 3 à 10 quatre variantes de motifs pouvant être utilisés dans le système de numérisation. Suivant un mode de réalisation illustré sur les figures 3 à 8 qui illustrent trois variantes, le motif secondaire 30 comprend des tavelures 31 s'étendant dans les espaces entre franges 29. Suivant un autre mode de réalisation illustré sur les figures 9 et 10, le motif secondaire 30 comprend des pictogrammes agencés de manière pseudo-aléatoire. Un motif secondaire 30 à tavelures tel qu'illustré sur les figures 3 à 8 peut être généré de manière automatique au moyen d'un programme d'ordinateur permettant de réaliser des motifs pseudo-aléatoires. Citons à titre d'exemple l'algorithme de Ken Perlin générant un type de mouchetis bien connu appelé Bruit de Perlin, qui présente l'avantage d'être anisotrope. Dans le détail, ce type de motif comprend un entrelacement de taches noires et blanches qui donnent un aspect granuleux au motif. Le terme « tavelure » désigne cet entrelacement. En anglais, ce type de motif est également dénommé « Speckle ». N003 B005 FR motif combiné TQD Comme nous le verrons plus en détail ci-après, le motif primaire 28 a pour fonction de générer localement un fort contraste, aisément détectable, entre zones claires blanches et zones sombres, tandis que le motif secondaire 30 a pour fonction, par sa nature anisotrope, de localiser dans l'image avec certitude toute fenêtre de visualisation. Dans la première variante du premier mode de réalisation, représentée dans son ensemble sur la figure 3 et en détail à échelle agrandie sur la figure 4, le motif primaire 28 est mono-orienté et comprend une série de franges 29 claires (blanches en l'occurrence) qui s'étendent verticalement dans l'orientation illustrée sur les figures 3 et 4, bordées chacune, de part et d'autre, par deux bandes sombres 32 (noires en l'occurrence) parallèles, semblables. La largeur des franges 29 est constante, de même que l'espacement entre franges 29.
Comme cela est visible sur la figure 3, et plus en détail sur la figure 4, les tavelures 31 du motif secondaire 30 s'étendent par bandes dans les espaces entre franges 29, et plus précisément entre les bandes noires 32 bordant les franges 29 blanches. Compte tenu du caractère mono-directionnel du motif primaire 28, il existe une orientation préférée du motif général, par rapport au positionnement du système 11 de stéréovision. En effet, l'image est imprimée sur la diapositive ù ou celle-ci est orientée ù de manière que les franges 29 s'étendent perpendiculairement à la base, c'est-à-dire à l'axe reliant les centres optiques des caméras 12, 13. En d'autres termes, les franges 29 s'étendent perpendiculairement au plan contenant les axes optiques 19, 20 des caméras 12, 13, afin qu'en vision stéréoscopique les franges 29 s'étendent verticalement sur les images capturées par les caméras 12, 13. Quoi qu'il en soit, la présence de franges 29 claires, bordées de bandes noires 32, permet de munir le motif de zones contrastées qui pourront être identifiées lors du traitement des images, comme nous l'expliquerons plus en détail ci-après. Ce type de motif est avantageux en comparaison d'un mouchetis simple qui apparaîtrait peu contrasté, car les taches noires et blanches de la diapositive formeraient, par projection, des taches en niveaux de gris. Quant à un motif isotrope fait par exemple de seules franges, il est
N003 B005 FR motif combiné TQD par nature non adapté à la stéréovision, car non localisable et donc impropre à la mise en correspondance. Dans la deuxième variante, représentée dans son ensemble sur la figure 5 et en détail à échelle agrandie sur la figure 6, le motif primaire 28 est bi-orienté et comprend une série de franges claires 29 (blanches en l'occurrence) qui s'étendent à la fois horizontalement et verticalement pour former un quadrillage. Chaque frange claire 29 horizontale et verticale est bordée, de part et d'autre, par des bandes sombres 32 (noires en l'occurrence) discontinues qui, ensemble, forment un réseau de carrés isolés régulièrement espacés à bords noirs. Comme cela est visible sur la figure 5, et plus en détail sur la figure 6, les tavelures 31 du motif secondaire 30 s'étendent par blocs dans les espaces entre franges 29, c'est-à-dire dans les carrés délimités par les bandes noires 32. Cette deuxième variante du motif présente, par rapport à la première variante, l'avantage d'être bi-orientée, de sorte qu'il n'existe pas de direction privilégiée de projection du motif sur la surface 2, par rapport à l'orientation du scanner 4. En outre, la multiplication des franges 29 permet d'augmenter la densité de zones contrastées du motif, en l'espèce au niveau des franges 29. Dans la troisième variante, représentée dans son ensemble sur la figure 7 et en détail à échelle agrandie sur la figure 8, le motif primaire 28 est bi-orienté et comprend une série de franges 29 sombres (noires en l'occurrence) qui s'étendent à la fois horizontalement et verticalement pour former un quadrillage. Chaque frange 29 horizontale et verticale est bordée, de part et d'autre, par des bandes claires 32 (blanches en l'occurrence) discontinues qui, ensemble, forment un réseau de carrés isolés régulièrement espacés à bords 32 blancs. En outre, les bords 32 de chaque carré sont doublés, vers l'intérieur, de bandes noires 33, de sorte que chaque carré comporte un double périmètre, composé d'un périmètre extérieur blanc et d'un périmètre intérieur noir. Outre qu'elle présente le même bénéfice que la deuxième variante d'être bi-orientée, cette troisième variante présente en outre l'avantage d'accroître encore la densité de zones contrastées du motif. Dans le deuxième mode de réalisation, illustré dans son ensemble sur la figure 9 et en détail à échelle agrandie sur la figure 10, le motif N003 B005 FR motif combiné TQD primaire 28 est bi-orienté, et comprend une série de franges claires 29 (blanches en l'occurrence) qui s'étendent à la fois horizontalement et verticalement pour former un quadrillage. Les carrés délimités par les franges 29 présentent un fond sombre (noir en l'occurrence) sur lequel se détachent des pictogrammes 34 de couleur claire (blanc en l'occurrence). Comme cela est visible sur la figure 9, on peut n'utiliser qu'un nombre limité de pictogrammes 34 différents. Toutefois, afin de rendre globalement anisotrope le motif secondaire 30, les pictogrammes 34 sont répartis de manière pseudo-aléatoire et de telle sorte que le voisinage de chaque pictogramme 34 (par exemple les pictogrammes 34 adjacents situés sur une même ligne, ou sur une même colonne) soit différent des voisinages de tous les autres pictogrammes 34. Ce motif présente l'avantage d'être plus contrasté que les motifs à tavelures, ce qui facilite les opérations de mise en correspondance (voir ci-après). On décrit à présent le fonctionnement du système 1 de numérisation tridimensionnelle. Ce fonctionnement repose sur la succession des étapes suivantes, réalisées après une étape préalable de calibrage du système Il de stéréovision : Numérisation de la surface 2 ; Rectification des images ; Reconstruction de nuages de points ; - Recalage des nuages de points ; Construction du modèle tridimensionnel.
Calibraqe Le calibrage du système 11 de stéréovision est une étape préalable indispensable, sans laquelle il n'est pas possible de traiter convenablement les informations capturées par les caméras 12, 13.
Le calibrage d'une caméra unique (en vision monoculaire) se limite à estimer les paramètres intrinsèques de la caméra ainsi que sa position par rapport à un référentiel absolu. Le calibrage du système 11 de stéréovision est plus complexe, car il suppose d'effectuer un calibrage double, qui comprend non seulement l'estimation des paramètres intrinsèques de chaque caméra 12, 13, mais également la position et l'orientation relatives des caméras 12, 13 l'une par rapport à l'autre. En pratique, le calibrage consiste à apparier les deux caméras N003 B005 FR motif combiné TQD 12, 13 en implémentant dans l'UC du système 1 de numérisation un nombre donné de paramètres structurels et optiques du système 11 de stéréovision, notamment la position des centres optiques et l'angle entre les axes optiques 19, 20.
Ce calibrage n'est pas nécessairement réalisé avant chaque utilisation du système 1. Il est de préférence réalisé en usine, à l'aide d'une mire (par exemple un damier) dont la géométrie est connue avec exactitude. On peut réaliser le calibrage du système 11 de stéréovision selon une procédure et des algorithmes connus. A cet effet, l'homme du métier pourra notamment se référer à V. Lemonde, « Stéréovision embarquée sur véhicule : de l'auto-Calibrage à la Détection d'obstacles », Thèse, CNRS/INSA, Novembre 2005, précité, ou à B. Bocquillon, « Contributions à l'autocalibrage des caméras : modélisations et solutions garanties par l'analyse d'intervalle », Thèse, Université de Toulouse, Octobre 2008.
Numérisation La numérisation est l'étape d'acquisition d'un ou plusieurs couples d'images stéréoscopiques de la surface 2. Plus précisément, la procédure de numérisation comprend la succession des opérations suivantes. En premier lieu, le scanner 4 est positionné face à la surface 2 à numériser û en l'occurrence face au visage de la statue.
Une impulsion sur le déclencheur 7 provoque l'allumage des pointeurs 24. Le scanner 4 peut alors être positionné correctement, la concordance des points lumineux produits par les lasers sur la surface 2 signifiant que celle-ci est située dans le champ du projecteur 10 et des caméras 12, 13.
Une fois positionné le scanner 4, la procédure d'acquisition est alors initiée par un appui prolongé sur le déclencheur 7. La procédure se poursuit tant que le déclencheur 7 est maintenu enfoncé. Cette procédure comprend la succession des opérations suivantes : a.1) Allumage du projecteur 10. Cet allumage provoque la projection du motif sur la surface 2. a.2) Extinction des pointeurs (pour éviter l'aveuglement des caméras 12, 13) et acquisition par les caméras 12, 13 d'un premier couple N003 B005 FR motif combiné TQD d'images stéréoscopiques bidimensionnelles de la surface 2 ainsi éclairée. Ces images sont dites structurées car elles contiennent le motif structuré projeté sur la surface 2, suivant les deux points de vue différents des caméras 12, 13. Bien que le système 11 de stéréovision ne soit pas nécessairement orienté horizontalement, on dénomme par convention image gauche et l'on note G l'image structurée produite par la caméra gauche 12, et image droite û notée D û l'image structurée produite par la caméra droite 13. L'acquisition d'une image comprend en fait deux étapes. D'abord la prise de vue, lors de laquelle l'image s'imprime sur les cellules photosensibles du capteur 21, puis la lecture de l'image par l'électronique embarquée de la caméra 12, 13, avec mise progressive de l'image, sous forme numérique, dans une mémoire tampon embarquée dans la caméra. Les capteurs 21 étant bloqués pendant leur lecture, les caméras sont momentanément inutilisables et par conséquent mises en attente. a.3) Mémorisation du couple d'images stéréoscopiques structurées G-D : une fois la mise en mémoire tampon des images G et D achevée, celles-ci peuvent être transmises à l'UC du système 11 où elles sont mémorisées pour traitement (voir les phases de rectification et de reconstruction décrites ci-après). Un couple d'images stéréoscopique structurées G-D du visage 2 de la statue 1 est illustré sur la figure 13. Cette figure est fournie à titre illustratif, les images G-D n'étant pas nécessairement affichées sur l'interface graphique de l'ordinateur 8. a.4) Extinction du projecteur 10. Cette extinction peut être commandée immédiatement après l'acquisition des images structurées G et D, par exemple pendant la lecture des images, ou pendant leur mémorisation par l'UC du système 11. a.5) Acquisition par les caméras 12, 13 d'un second couple d'images stéréoscopiques bidimensionnelles de la surface 2 non éclairée (et non pointée). Cette opération est similaire à l'opération a.2), à la différence que les images ne sont pas structurées, le motif n'ayant pas été projeté sur la surface 2.
Les images de la surface 2 non éclairée sont effectuées en lumière naturelle (ambiante), éventuellement agrémentée d'une lumière blanche produite par exemple par des diodes électroluminescentes N003 B005 FR motif combiné TQD (LED) équipant le scanner 4. Ainsi, selon un mode particulier de réalisation, le scanner 4 est équipé en façade de deux séries circulaires de LED entourant les optiques 18 des caméras 12, 13 et orientées suivant les axes 19, 20 de celles-ci.
Ces images sont dites texturées, car en l'absence du motif projeté elles contiennent la texture naturelle de la surface 2. L'image gauche est notée G' ; l'image droite D'. Les images G' et D' sont lues par l'électronique interne des caméras 12, 13 et stockées en mémoire tampon. Pendant ce temps, les caméras 12, 13 sont mises en attente. a.6) Mémorisation des images texturées G'-D'. Une fois achevée la mise en mémoire tampon des images G' et D', celles-ci sont transmises à l'UC du système 11 où elles sont mémorisées pour traitement avec le couple d'images stéréoscopiques structurées G- D. Un couple d'images stéréoscopique texturées G'-D' du visage 2 de la statue 1 est illustré sur la figure 14. (NB. pour respecter les prescriptions formelles en matière de dessins de brevets, les images représentées sur la figure 14 ont été filtrées et converties pour un affichage en deux couleurs, d'où leur aspect granuleux à ne pas confondre avec des tavelures). Cette procédure d'acquisition fournit par conséquent un quadruplet d'images, ci-après dénommé « quad », composé des deux paires d'images stéréoscopiques : une paire d'images structurées G-D et une paire d'images texturées G'-D'.
La procédure, c'est-à-dire la succession des opérations a.1) à a.6), peut être répétée autant que de besoin, afin d'obtenir une série de quads. On peut, pendant cette répétition, balayer la surface 2 pour la couvrir en totalité et en faire des prises de vue en rafale. Afin d'accroître la densité de la reconstruction (voir ci-après), il est en outre préférable d'effectuer plusieurs acquisitions depuis un même point de vue, ou depuis des points de vue proches afin d'obtenir un chevauchement des zones de la surface 2 couvertes par les caméras 12, 13. Afin d'éviter la dérive du scanner 4 hors du champ du projecteur 10 pendant le balayage de la surface 2, les pointeurs 24 peuvent être activés en permanence û à l'exception des séquences de prises de vues, à défaut de quoi les images seraient inexploitables û de sorte à N003 B005 FR motif combiné TQD permettre à l'utilisateur de maintenir relativement constante la distance entre le scanner 4 et la surface 2. Compte tenu des vitesses d'obturation des caméras 12, 13 (de l'ordre de quelques millisecondes), l'oeil ne perçoit pas l'extinction des lasers 24 pendant la prise de vue, l'utilisateur ayant l'illusion d'un pointage continu. Compte tenu de la précision des CCD et de la capacité mémoire du système 1, des essais concluants ont pu être conduits avec les paramètres suivants : Fréquence de l'acquisition (1 quad) : 4 Hz (soit 4 quads/s) - Vitesse d'obturation (de prise de vue) : environ 5 ms Temps de lecture pour chaque image : 28 à 50 ms Taille capteur CCD : 1024x768 pixels Niveaux de gris codés sur 8 bits (0-255) Espace mémoire requis pour chaque image : 0,7 Mo Rectification Les images brutes de chaque quad, obtenues par la procédure d'acquisition décrite ci-dessus, sont affectées de défauts, notamment une distorsion et une absence de parallélisme des droites épipolaires entre images d'une même paire stéréoscopique. Aussi, avant de soumettre les images au traitement visant à permettre la reconstruction du modèle tridimensionnel de la surface 2, est-il préférable de leur appliquer un prétraitement comprenant notamment les opérations suivantes, programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en oeuvre : - Rectification de la distorsion (par exemple au moyen d'algorithmes connus), visant à redresser les lignes droites qui apparaissent courbées sur les images ; - Rectification épipolaire, qui permet, pour une paire d'images stéréoscopiques, de faire correspondre à tout point de l'image gauche une ligne horizontale de l'image droite, et réciproquement. Comme la rectification de la distorsion, la rectification épipolaire peut être conduite à l'aide d'algorithmes classiques. L'homme du métier pourra se référer aux documents mentionnés en introduction.
Reconstruction
N003 B005 FR motif combiné TQD L'étape de reconstruction vise à calculer, à partir de la paire d'images stéréoscopiques structurées G-D, un nuage de points tridimensionnels de la surface à numériser. La reconstruction comprend deux phases, programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en oeuvre : La mise en correspondance (MEC) La triangulation.
Mise en correspondance La MEC consiste à apparier des points de la paire d'images structurées G-D. La MEC est effectuée en deux temps : une MEC initiale, relativement grossière ; puis une MEC finale, plus fine, fondée sur les résultats de la MEC initiale. La MEC initiale consiste à effectuer pour chaque pixel PG de coordonnées (i,j) de l'image G une corrélation locale consistant à : Sélectionner dans l'image G un voisinage, appelé fenêtre de corrélation, centré sur le pixel PG ; - Comparer la fenêtre de corrélation du pixel PG avec une série de fenêtres de corrélation de même taille (dans les méthodes dites de Block matching) ou de taille différente centré sur un pixel PD de coordonnées (k,l) de l'image D, situé sur la ligne de l'image D contenant la droite épipolaire correspondant au pixel PG ; à chaque fenêtre de corrélation de l'image D correspond une mesure (ou score) de corrélation ; Sélectionner dans cette série la fenêtre de corrélation qui maximise le score de corrélation - ou le minimise, selon que l'on utilise des critères de similarité ou de dissimilarité. Le pixel PD situé au centre de cette fenêtre est alors apparié au pixel PG, les pixels PG et PD étant dénommés homologues ou stéréo-correspondants. On peut alors calculer une première estimation, dite initiale, de la disparité D(x) entre les vues 1 et 2 au pixel PG : D(PG) = x(PD) ù x(PG ) N003 B005 FR motif combiné TQD Où x désigne une mesure parallèle aux horizontales des images G et D (abscisse). La MEC initiale est relativement robuste. Elle l'est d'autant plus que le motif secondaire 30, pseudo-aléatoire, permet de minimiser les erreurs d'appariement. Il serait possible, à partir des coordonnées x(PG) et x(PD) des pixels stéréo-correspondants, et grâce à un calcul de triangulation, de calculer la position d'un point de la surface 2 dont les projections sur les images G et D serait situées respectivement dans les pixels PG et PD. Cependant, la précision du positionnement de ce point, notamment en profondeur, serait insuffisante pour satisfaire aux objectifs que s'est fixé le demandeur, à savoir une tolérance en profondeur 0,1 mm. En effet, disparité et précision en profondeur peuvent être reliées par l'équation suivante :
Oz = Ztravail2 AD focale•base Où Az (exprimée en mm) est la tolérance en profondeur, mesurée le long de l'axe optique 17 du projecteur 10 ; Ztravail (exprimée en mm) est approximativement la distance de travail normale du scanner 4, c'est-à-dire la distance moyenne entre le scanner 4 et la surface 2 à numériser, mesurée le long de l'axe optique 17 du projecteur 10 ; focale (exprimée en équivalents pixels) est la distance focale des caméras 12, 13 ; base (exprimée en mm) est la distance séparant les centres optiques des caméras 12, 13 ; OD (exprimée en pixels) la tolérance sur la disparité.
On suppose que le système 11 présente la configuration suivante : Ztravail comprise entre 350 et 500 mm (soit 425 mm en moyenne) focale 1 700 pixels base 140 mm. Compte tenu de cette configuration (qui peut bien entendu varier), et en partant de l'hypothèse que l'on souhaite atteindre une précision Oz de 0,1 mm, la précision de la disparité doit être de 0,1 pixel. En N003 B005 FR motif combiné TQD (1) d'autres termes, la disparité doit être précise au sous-pixel, et plus précisément au dixième de pixel. Une telle précision n'est pas atteignable au moyen d'une MEC initiale telle que décrite ci-dessus. Toutefois, comme nous allons le voir à présent, on peut se servir des résultats de la MEC initiale comme base de calcul pour la MEC fine, plus précise mais se fondant principalement sur les points du motif primaire 28. La MEC finale comprend les opérations suivantes, programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en oeuvre : b.1) Détection, dans l'image G, de pics locaux d'intensité lumineuse. Il peut s'agir de sommets ou de creux, qui sont formellement équivalents. En pratique on détecte les sommets. Cette détection peut être conduite à l'aide d'algorithmes connus, tel l'algorithme de Biais et Rioux (cf. F. Biais et M. Rioux, « Real-time numerical peak detector », in Signal processing, 1986, vol.l1,n°2, pp.145-155). Concrètement, à partir de l'image G, on établit une cartographie d'une dérivée en chaque pixel PG(i,j) de l'intensité lumineuse correspondant à ce pixel.
Dans la mesure où l'intensité lumineuse n'est pas une fonction continue mais discrète, la dérivée est calculée de manière discrète, par exemple égale à la pente du segment joignant deux points successifs dont les valeurs d'abscisses sont celles des pixels correspondants, et les ordonnées les valeurs des intensités lumineuses correspondantes (sur une échelle de 0 à 255 pour des niveaux de gris codés sur huit bits). On décrète alors qu'un pixel correspond à un pic lorsqu'une fonction dérivée de l'intensité lumineuse change de signe entre ce pixel et le pixel voisin situé sur la même ligne PG(i+ 1,j). Plus précisément, et suivant l'algorithmique choisie, on peut décréter que le pixel correspond à un pic lorsque la fonction dérivée de l'intensité lumineuse change de signe en montant, c'est-à-dire qu'elle est négative au pixel PG(i,j) et positive au pixel PG(i + 1,j). b.2) Calcul des coordonnées des points de l'image G, appelés extremums (en pratique il s'agit de maximums) et notés ci-après EG, correspondant aux pics détectés. Ces points ne sont pas des
N003 B005 FR motif combiné TQD pixels. Il s'agit de points dont les coordonnées dans l'image G sont des nombres réels. A cet effet, pour un sommet détecté dans le pixel PG(i,j) lors de l'opération b.1), on choisit une fenêtre contenant le pixel PG(i,j), par exemple la fenêtre comprenant PG(i,j) et les deux pixels l'encadrant sur la même ligne, soit PG(i û 1,j) et PG(i+1,j). On calcule alors une fonction continue d'interpolation de l'intensité lumineuse des pixels de cette fenêtre, puis on calcule l'abscisse XG de l'extremum EG, c'est-à-dire du point qui maximise cette fonction d'interpolation. La fonction d'interpolation étant continue, l'abscisse XG n'est pas entière : il s'agit d'un nombre réel. b.3) Pour chaque extremum EG ainsi calculé, détermination, dans la deuxième D image du couple G-D, du stéréo-correspondant du pixel PG(i,j), c'est-à-dire du pixel PD(k,l) apparié, lors de la MEC initiale, au pixel PG(i,j) de l'image G contenant l'extremum EG. b.4) Sélection, dans l'image D, d'une fenêtre contenant le pixel PD(k,l). Cette fenêtre comprend par exemple PD(k,l) et les pixels l'encadrant sur la même ligne, soit PD(k û 1,1) et PD(k + 1, l). b.5) Détection, dans cette fenêtre, d'un pic d'intensité lumineuse. b.6) Si un tel pic existe, calcul d'une fonction continue d'interpolation de l'intensité lumineuse des pixels de cette fenêtre, et calcul de l'abscisse XD de l'extremum ED, c'est-à-dire du point qui maximise cette fonction d'interpolation. Comme pour l'extremum EG, l'abscisse de l'extremum ED n'est pas entière puisqu'il s'agit d'un nombre réel. b.7) Appariement des extremums EG et ED. On peut éventuellement calculer de la disparité : D = XD ù XG Les abscisses XD et XG étant, nous l'avons vu, des nombres réels, la précision obtenue sur la disparité est bien inférieure à 0,1 pixel, conformément aux objectifs indiqués ci-dessus. Les étapes b.1) à b.7) sont répétées pour l'ensemble des pics d'intensité lumineuse, la mise en correspondance produit un ensemble de doublets de points EG et ED appariés pour le couple d'images G-D.
N003 B005 FR motif combiné TQD Nous l'avons vu, le contraste est plus faible dans le motif secondaire 30 que dans le motif primaire 28. Aussi la détection de pics est-elle moins fiable dans les zones des images G et D correspondant au motif secondaire 30, que dans les zones correspondant au motif primaire 28, dans lequel l'alternance des zones claires et sombres est plus nette. Aussi, à des fins de précision û mais au détriment de la densité de reconstruction û, est-il préférable de limiter la MEC fine à une sélection de points d'intérêt localisés dans les franges 29 du motif primaire 28, qu'il est par conséquent nécessaire de localiser. Cette localisation peut être effectuée par balayage vertical de l'image (dans le cas de la première version de motif) ou par combinaison d'un balayage vertical et d'un balayage horizontal (dans le cas de la deuxième version et de la troisième version du motif), et par estimation de la similarité des voisinages. Les franges 29 se caractérisent en effet par une isotropie directionnelle qui se traduit par une homogénéité des voisinages des points des franges 29 dans la direction suivant laquelle celle-ci s'étend.
Triangulation Les extremums EG et ED étant homologues (ou stéréo-correspondants), ils sont les projections, respectivement dans l'image gauche G et dans l'image droite D, d'un même point de la surface 2 à numériser. Par conséquent, les coordonnées de ce point peuvent être aisément calculées par triangulation à partir des positions de EG et ED. Ainsi, à partir de l'ensemble des doublets d'extremums EG et ED, la triangulation permet d'obtenir un nuage de points qui forme une première ébauche, éparse, du modèle tridimensionnel de la surface à numériser.
Un tel nuage de points est représenté sur la figure 15. Ce nuage résulte de la succession des phases de MEC et de triangulation appliquées au couple d'images G-D de la figure 11. On voit sur la figure 13 que le nuage est orienté, et comprend plusieurs groupes de points tous situés dans des plans parallèles verticaux. Cela illustre la technique de MEC décrite ci-dessus, dans laquelle la MEC fine a été limitée à une sélection de points d'intérêt situés dans les franges 29 du
N003 B005 FR motif combiné TQD motif primaire 28, en raison de la précision de leur localisation dans les images G et D.
Recalage La reconstruction étant réitérée pour l'ensemble des couples d'images structurées G-D capturées lors des prises de vues multiples de la surface 2, on obtient une série de nuages de points épars sans lien entre eux, décalés dans l'espace, qu'il est donc nécessaire de recaler pour les fusionner avant d'entamer la procédure de maillage permettant de construire le modèle tridimensionnel de la surface 2. On a représenté sur la figure 14 deux nuages de points reconstruits à partir de deux quads successifs, avant recalage. Les opérations du recalage sont programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en oeuvre.
Du point de vue des caméras 12, 13 la surface 2 scannée a évolué dans l'espace, entre deux prises de vues successives, dans un repère lié au scanner 4, en pratique un repère cartésien dont le centre est confondu avec le foyer image de la caméra gauche 12, et dont les axes sont respectivement : x : la droite parallèle aux horizontales du capteur 21 de la caméra gauche 12 passant par son foyer image, situé au centre du capteur 21 ; y : la droite parallèle aux verticales du capteur 21 de la caméra gauche 12 et passant par son foyer image ; z : l'axe optique 19 de la caméra gauche 12. Le recalage vise à évaluer les déplacements du scanner 12 entre deux prises de vues successives, puis à appliquer aux nuages de points issus de ces prises de vues des transformations (appelées « poses » et constituée chacune de la combinaison d'une rotation et d'une translation) correspondant à ces déplacements, afin d'aligner les repères de chaque nuage de points. On utilise à cet effet les données issues : de la centrale inertielle 15 du scanner 4, laquelle, nous l'avons vu, fournit à tout instant le Nord magnétique et la verticale et se comporte par conséquent comme une boussole tridimensionnelle ; du couple d'images stéréoscopiques texturées G'-D'.
N003 B005 FR motif combiné TQD Calcul de la rotation On se sert pour le calcul de la rotation des données issues de la centrale inertielle 15. Soit une paire de nuages de points successifs (Ni, Ni+1), ayant permis de reconstruire deux nuages de points respectifs. On souhaite calculer la rotation relative du scanner 4 entre Ni et Ni+l, afin d'appliquer l'inverse de cette rotation au second nuage pour le recaler en rotation sur le premier. Les données de la centrale inertielle 15 permettent de calculer : la matrice de rotation absolue, notée Ri, matrice de transformation du référentiel associé au scanner 4 vers le référentiel terrestre à l'itération i, - la matrice de rotation absolue, notée Ri+1, matrice de transformation du référentiel associé au scanner 4 vers le référentiel terrestre à l'itération i+1. La matrice de rotation relative entre le nuage Ni et le nuage N;+1, notée R+1 est égale au produit de la matrice Ri par la matrice inverse de la matrice Ri+1 Ri+l = Ri-+ . D.
On applique l'inverse de cette rotation aux points du nuage Ni+1 pour le recaler en rotation sur le nuage Ni.
Calcul de la translation Le scanner 4 ayant été déplacé entre les deux quads successifs correspondant aux nuages Ni et N;+1 (pour une fréquence d'acquisition de 4Hz, il existe en pratique un décalage temporel de 250 ms environ entre les quads), les paires successives d'images stéréoscopiques structurées Gi-Di et Gi+1-Di+1, sur la base desquelles les nuages ont été reconstruits, sont inexploitables seules pour le calcul de la translation entre nuages. En effet, le motif projeté s'est déplacé sur la surface 2 à numériser, de sorte qu'aucune corrélation fiable ne peut être effectuée directement entre les images gauches Gi et Gi+1 (respectivement entre les images droites Di et Di+1) des couples d'images Gi-Di et Gi+1-Di+1
N003 B005 FR motif combiné TQD Aussi, pour le calcul de la translation, exploite-t-on les paires d'images stéréoscopiques texturées G'i-D'i et G'i+1-D'i+1 des quads. On commence par sélectionner dans G'; un ensemble de points d'intérêt (en pratique entre 200 et 300), au moyen d'un algorithme de filtrage permettant de détecter des singularités. On recherche ensuite dans G'i+l les correspondants des points de G'i, au moyen d'un algorithme de suivi de points (par exemple l'algorithme de point tracking de Lucas-Kanade, cf. B. Lucas et T. Kanade, « An Iterative Image Registration Technique with an Application to Stereo Vision », in Proceedings of Imaging Understanding Workshop, pp. 121-130, 1981) basé sur des similarités de texture de la surface 2, acquises lors de l'acquisition des images texturées G'-D' (d'où l'utilité de ces images dans le cadre du recalage). On dispose ainsi de deux ensembles de points : points d'intérêt de G'i appariés dans G'i+1 points de G'i+1 appariés aux points PiG' On réinjecte alors les points PiG' dans l'image Gi structurée rectifiée, et on effectue pour chacun de ces points une MEC initiale (ou on réutilise les résultats de la MEC initiale déjà effectuée pour ces 20 points, voir supra) avec l'image Di de la même paire stéréoscopique Gi-Di, puis on effectue une reconstruction pour obtenir un premier nuage de points de densité réduite, exprimé dans le repère associé au nuage Ni et comprenant un nombre de points inférieur à celui-ci. On effectue la même opération pour les points Pi+i dans la paire 25 stéréoscopiques Gi+1-Di+1 de sorte à obtenir un second nuage de points de densité réduite, exprimé dans le repère associé au nuage Ni+1 et réputé être l'évolution dans l'espace du premier nuage de points de densité réduite. Cette réinjection suppose soit d'avoir au préalable rectifié les 30 images texturées G'; et G'i+1, soit de rectifier les points PiG' et Pi+i, de manière à faire correspondre au moins localement les repères des images texturées avec ceux des images structurées dans lesquelles les points sont réinjectés. On applique alors l'inverse de la rotation R+1 au deuxième nuage 35 de densité réduite pour le recaler en rotation sur le premier nuage de densité réduite. N003 B005 FR motif combiné TQD DG' G' Pi+l On calcule ensuite, pour chaque point P;G' du premier nuage de densité réduite, la distance le séparant (dans l'espace) de son correspondant P;+i dans le deuxième nuage de densité réduite. On extrait la moyenne de ces distances, que l'on décrète égale à la translation subie par le nuage de points Ni+1 par rapport au premier Ni. Chaque pose, qui comprend une rotation et une translation, est ainsi complète. On applique ensuite l'inverse de cette pose à l'ensemble des points du nuage N;+1 pour le recaler en translation sur le nuage Ni. On a représenté sur la figure 15 les nuages de la figure 14, recalés. On réitère les opérations qui viennent d'être décrites à la succession de nuages de points, qui se trouvent ainsi recalés les uns par rapport aux autres.
Construction du modèle La construction du modèle numérique de la surface 2 est réalisée à partir des nuages de points issus du recalage. De nombreuses zones de l'objet ayant été capturées plusieurs fois (il existe des zones de recouvrement entre les vues successives), le nuage de points final, obtenu par agrégation des nuages de points issus du recalage, présente une densité élevée (cf. figure 16, qui montre une dizaine de nuages de points successifs recalés). On peut alors effectuer à partir des points du nuage un maillage, permettant d'obtenir une deuxième ébauche de modèle constituée de triangles jointifs, puis un calcul d'interpolation permettant à partir de cette deuxième ébauche de reconstruire un véritable modèle surfacique fondé sur des fonctions mathématiques continues, compatible avec les systèmes de CAO.
N003 B005 FR motif combiné TQD

Claims (11)

  1. REVENDICATIONS1. Système (1) de numérisation tridimensionnelle comprenant un dispositif (10) de projection d'un motif lumineux et un système (11) de stéréovision, caractérisé en ce que le dispositif (10) de projection est agencé pour projeter un motif lumineux formé par la combinaison d'un motif primaire (28) comprenant un réseau de franges (29) rectilignes continues espacées, et d'un motif secondaire (30) anisotrope s'étendant dans les espaces entre franges (28).
  2. 2. Système (1) selon la revendication 1, dans laquelle le motif primaire (28) est mono-orienté, les franges (29) s'étendant suivant une direction unique.
  3. 3. Système (1) selon la revendication 1, dans laquelle le motif primaire (28) est bi-orienté, les franges (29) s'étendant suivant deux directions.
  4. 4. Système (1) selon la revendication 3, dans laquelle les deux directions sont perpendiculaires, les franges (29) définissant un quadrillage.
  5. 5. Système (1) selon l'une des revendications 1 à 4, dans laquelle les franges (29) sont claires.
  6. 6. Système (1) selon la revendications, dans laquelle les franges claires (29) sont bordées de lignes sombres (32) entre lesquelles s'étend le motif secondaire (30).
  7. 7. Système (1) selon l'une des revendications 1 à 4, dans laquelle les franges (29) sont sombres.
  8. 8. Système (1) selon la revendication 7, dans laquelle les franges sombres (29) sont bordées de lignes claires (32) doublées de lignes sombres (33).
  9. 9. Système (1) selon l'une des revendications 1 à 8, dans laquelle le motif secondaire (30) comprend des tavelures (31) ou des pictogrammes (34).
  10. 10. Procédé de construction d'un modèle numérique tridimensionnel d'une surface (2) physique, caractérisé en ce qu'il comprend : Projection, sur la surface (2), d'un motif lumineux formé par la combinaison d'un motif primaire (28) comprenant un réseau de franges (29) rectilignes continues espacées, et d'un motif N003 B005 FR motif combiné TQDsecondaire (30) anisotrope s'étendant dans les espaces entre franges (28), - Acquisition et mémorisation d'au moins une image bidimensionnelle de la surface ainsi éclairée, Construction du modèle numérique à partir de l'image ainsi acquise.
  11. 11. Utilisation d'un motif structuré dans la construction d'un modèle numérique tridimensionnel d'une surface (2) physique, dans laquelle le motif est projeté sur la surface (2), caractérisée en ce que le motif est formé par la combinaison d'un motif primaire (28) comprenant un réseau de franges (29) rectilignes continues espacées, et d'un motif secondaire (30) anisotrope s'étendant dans les espaces entre franges (29). N003 B005 FR motif combiné TQD
FR0904416A 2009-09-15 2009-09-15 Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine Withdrawn FR2950157A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR0904416A FR2950157A1 (fr) 2009-09-15 2009-09-15 Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine
PCT/FR2010/000610 WO2011033186A1 (fr) 2009-09-15 2010-09-08 Procédé de numérisation tridimensionnelle d'une surface comprenant la projection d'un motif combiné

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0904416A FR2950157A1 (fr) 2009-09-15 2009-09-15 Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine

Publications (1)

Publication Number Publication Date
FR2950157A1 true FR2950157A1 (fr) 2011-03-18

Family

ID=42107411

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0904416A Withdrawn FR2950157A1 (fr) 2009-09-15 2009-09-15 Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine

Country Status (2)

Country Link
FR (1) FR2950157A1 (fr)
WO (1) WO2011033186A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016002398B4 (de) 2016-02-26 2019-04-25 Gerd Häusler Optischer 3D-Sensor zur schnellen und dichten Formerfassung
JP6879168B2 (ja) * 2017-11-01 2021-06-02 オムロン株式会社 3次元測定装置、3次元測定方法及びプログラム
JP7168077B2 (ja) * 2019-05-22 2022-11-09 オムロン株式会社 3次元計測システム及び3次元計測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020134839A1 (en) * 2001-03-23 2002-09-26 Olympus Optical Co., Ltd Distance information acquisition apparatus or system, pattern projector, and distance information acquisition method
US20090059241A1 (en) * 2007-08-28 2009-03-05 Artec Ventures System and Method for Three-Dimensional Measurement of The Shape of Material Objects
DE102008002730A1 (de) * 2008-06-27 2009-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur 3D-Rekonstruktion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
FR2842591B1 (fr) 2002-07-16 2004-10-22 Ecole Nale Sup Artes Metiers Dispositif pour mesurer des variations dans le relief d'un objet
CN101189487B (zh) 2005-03-11 2010-08-11 形创有限公司 三维扫描自动参考***和设备
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和***
FR2921719B1 (fr) 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020134839A1 (en) * 2001-03-23 2002-09-26 Olympus Optical Co., Ltd Distance information acquisition apparatus or system, pattern projector, and distance information acquisition method
US20090059241A1 (en) * 2007-08-28 2009-03-05 Artec Ventures System and Method for Three-Dimensional Measurement of The Shape of Material Objects
DE102008002730A1 (de) * 2008-06-27 2009-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur 3D-Rekonstruktion

Also Published As

Publication number Publication date
WO2011033186A1 (fr) 2011-03-24

Similar Documents

Publication Publication Date Title
US9367952B2 (en) 3D geometric modeling and 3D video content creation
US8090194B2 (en) 3D geometric modeling and motion capture using both single and dual imaging
CN106500628B (zh) 一种含有多个不同波长激光器的三维扫描方法及扫描仪
Moons et al. 3D reconstruction from multiple images part 1: Principles
CN114766003A (zh) 用于利用偏振增强传感器***和成像***的***和方法
US20180025529A1 (en) Apparatus and method of texture mapping for dental 3d scanner
EP3382645B1 (fr) Procédé de génération d'un modèle 3d à partir de structure from motion et stéréo photométrique d'images 2d parcimonieuses
JP5633058B1 (ja) 3次元計測装置及び3次元計測方法
FR2950138A1 (fr) Procede de numerisation tridimensionnelle a recalage rapide
He et al. 3D Surface reconstruction of transparent objects using laser scanning with LTFtF method
WO2022072055A2 (fr) Systèmes, procédés et supports pour récupérer directement des surfaces planes dans une scène à l'aide d'une lumière structurée
Zaman et al. Simultaneous capture of the color and topography of paintings using fringe encoded stereo vision
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
EP1207367A1 (fr) Installation et procédé automatiques de prise de mensurations et d'acquisition de formes
FR2950157A1 (fr) Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine
Balzer et al. Cavlectometry: Towards holistic reconstruction of large mirror objects
WO2011033187A1 (fr) Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance
Pavlidis et al. 3D digitization of tangible heritage
FR2672119A1 (fr) Systeme de mesure de surfaces a trois dimensions devant etre representees mathematiquement ainsi qu'un procede de mesure et un gabarit d'etalonnage du systeme de mesure.
Wei et al. Colorful 3-D imaging using an infrared Dammann grating
Grifoni et al. 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting
FR2950139A1 (fr) Procede de numerisation tridimensionnelle comprenant l'acquisition d'un quadruplet d'images stereoscopique
Lin Resolution adjustable 3D scanner based on using stereo cameras
Xu et al. High-resolution modeling of moving and deforming objects using sparse geometric and dense photometric measurements
Gupta et al. (De) Focusing on global light transport for active scene recovery

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20150529