FR3048515A1 - Appareil de prise de vue stereoscopique - Google Patents

Appareil de prise de vue stereoscopique Download PDF

Info

Publication number
FR3048515A1
FR3048515A1 FR1651805A FR1651805A FR3048515A1 FR 3048515 A1 FR3048515 A1 FR 3048515A1 FR 1651805 A FR1651805 A FR 1651805A FR 1651805 A FR1651805 A FR 1651805A FR 3048515 A1 FR3048515 A1 FR 3048515A1
Authority
FR
France
Prior art keywords
sensor
image
images
selecting
aligned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1651805A
Other languages
English (en)
Other versions
FR3048515B1 (fr
Inventor
Cecile Schmollgruber
Edwin Azzam
Olivier Braun
Ludovick Razafimandimby
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stereolabs SAS
Original Assignee
Stereolabs SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stereolabs SAS filed Critical Stereolabs SAS
Priority to FR1651805A priority Critical patent/FR3048515B1/fr
Priority to US16/079,167 priority patent/US20190058869A1/en
Priority to PCT/FR2017/050465 priority patent/WO2017149248A1/fr
Publication of FR3048515A1 publication Critical patent/FR3048515A1/fr
Application granted granted Critical
Publication of FR3048515B1 publication Critical patent/FR3048515B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Appareil de prise de vue stéréoscopique (10) comprenant un premier capteur d'images numériques (11), un deuxième capteur d'images numériques (12) synchronisé avec le premier capteur (11), au moins un zoom optique (21, 22) de distance focale variable associé au premier capteur (11) ou au deuxième capteur (12), et des moyens (131) pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur (12), caractérisé en ce que l'appareil (10) comprend de plus des moyens (132) pour choisir une valeur de changement d'échelle pour aligner une image à aligner provenant du premier capteur (11) et une image à aligner provenant du deuxième capteur (12), et des moyens (133) pour produire une cartographie de profondeur.

Description

Contexte technique L’invention s’inscrit dans le domaine de la prise de vue stéréoscopique, par exemple pour la vidéo stéréoscopique.
On connait des systèmes de prise de vue stéréoscopique utilisant différentes techniques, fournissant une information de profondeur.
Par exemple des systèmes utilisent un capteur d’images numériques monoscopique sensibles à la lumière visible couplé à la fois à un générateur d’impulsion infrarouge et à un capteur monoscopique d’images sensible aux ondes infra-rouge. À l’aide du temps de vol des ondes infra-rouge reflétées par les objets visualisés, les distances, pixels par pixels, de ces objets au dispositif de prise de vue sont déterminées. On utilise par exemple de l’infrarouge, par exemple de l’infra-rouge proche, pour éviter de polluer les informations en lumière visible. L’image en lumière visible est dotée d’une carte de profondeur associée, indiquant pour chaque pixel les distances des objets visibles. Des perturbations peuvent être causées par l’environnement, tel que le soleil, ou des sources d’ondes infra-rouge comme un deuxième capteur mis en oeuvre à proximité.
Alternativement, on connait des scanners envoyant des impulsions par segment en lumière visible sur la scène, qui est balayée rapidement par un système mécanique d’orientation du générateur d’impulsion. La mécanique est complexe, implique des miroirs, et est assez coûteuse, encombrante et fragile. Le scanner peut être aveuglé en cas de nébulosité ambiante.
On connait des systèmes utilisant une source lumineuse éclairant la scène à l’aide d’une onde de forme structurée, dont on analyse la déformation avec un capteur monoscopique. Un tel système nécessite l’utilisation d’un générateur de lumière en plus de l’appareil de prise de vue, ce qui est contraignant.
Ces différents systèmes ont l’inconvénient d’être dépendants de l’envoi d’une information lumineuse dans la scène, ce qui les rend précaires.
On connait aussi des systèmes stéréoscopiques utilisant deux capteurs monoscopiques disposés l’un à côté de l’autre de manière prédéfinie et à partir desquels on détermine, par triangulation, une carte de profondeur. L’information de profondeur étant issue de deux capteurs, elle est qualifiée d’information de disparité. On parle aussi de cartographie de disparité.
Par exemple la caméra bumblebee2 est une caméra stéréoscopique à deux capteurs pour la génération d’images de disparité.
Par ailleurs WO2012/165717 décrit un appareil pour générer une image stéréoscopique par enregistrement d’une image pour l’œil gauche et une image pour l’œil droit, les deux capteurs ayant des résolutions différentes. La convergence est contrôlée et l’image de haute résolution est excisée des parties les plus extérieures, et ajustée en échelle.
Ces différentes technologies n’offrent pas de dispositif facile à mettre en œuvre, robuste, qui ne soit pas coûteux en énergie et vulnérable à l’environnement, et qui fournisse une image associée à une information de profondeur. Définition de l’invention
Pour résoudre les problèmes identifiés ci-dessus, il est proposé un appareil de prise de vue stéréoscopique comprenant un premier capteur d’images numériques, un deuxième capteur d’images numériques synchronisé avec le premier capteur, au moins un zoom optique de distance focale variable associé au premier capteur ou au deuxième capteur, et des moyens pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur, l’appareil comprenant de plus des moyens pour choisir une valeur de changement d’échelle pour aligner une image à aligner provenant du premier capteur et une image à aligner provenant du deuxième capteur, et des moyens pour produire une cartographie de profondeur associée à des images capturées à une même date par les premier et deuxième capteurs en utilisant des images provenant du deuxième capteur modifiées par l’application par les moyens pour effectuer un zoom numérique d’un changement d’échelle de ladite valeur de changement d’échelle, les moyens pour choisir une valeur de changement d’échelle étant configurés pour être mis en œuvre au moins lorsque la distance focale du zoom optique est modifiée, pour calibrer l’appareil de prise de vie stéréoscopique.
Dans certains modes de réalisation, l’appareil de prise de vue stéréoscopique présente les caractéristiques suivantes : - les moyens pour produire une cartographie de profondeur mettent en oeuvre, pour produire la cartographie, une rotation entre une image à exploiter provenant du premier capteur et une image à exploiter provenant du deuxième capteur ; - les moyens pour choisir une valeur de changement d’échelle déterminent, pour choisir la valeur de changement d’échelle, au moins une rotation sur un, deux ou trois axes (préférentiellement trois axes) entre une image à aligner provenant du premier capteur et une image à aligner provenant du deuxième capteur ; - les moyens pour choisir une valeur de changement d’échelle utilisent une extraction de points d’intérét d’une image à aligner provenant du deuxième capteur dans sa forme telle que capturée par le deuxième capteur avant tout changement d’échelle, une extraction de points d’intéréts d’une image à aligner provenant du premier capteur, et un appariement des points d’intérét extraits des deux images ; - les moyens pour choisir une valeur de changement d’échelle utilisent une extraction de points d’intérét d’une image à aligner provenant du deuxième capteur dans une forme modifiée au moins par l’application d’un changement d’échelle par les moyens pour effectuer un zoom numérique, une extraction de points d’intéréts d’une image à aligner provenant du premier capteur et un appariement des points d’intérét extraits des deux images ; - le deuxième capteur est un capteur monochrome et le premier capteur est un capteur couleur à plus haute résolution que le capteur monochrome ; - les moyens pour choisir une valeur de changement d’échelle sont configurés pour être mis en oeuvre lorsque l’appareil est allumé ou réinitialisé ; - les moyens pour sélectionner une valeur de changement d’échelle mettent en oeuvre plusieurs zooms numériques avec des changements d’échelle de valeurs différentes sur ladite image numérique capturée par le deuxième capteur pour obtenir une pluralité d’images numériques modifiées, et utilisent une comparaison de chacune desdites images numériques modifiées avec ladite image numérique capturée par le premier capteur ; - les moyens pour choisir une valeur de changement d’échelle mettent en oeuvre une obtention préalable d’une valeur sommaire de changement d’échelle entre ladite image numérique capturée par le premier capteur, et ladite image numérique capturée par le deuxième capteur de manière synchrone, et un affinage de la valeur sommaire en une valeur affinée de changement d’échelle.
Liste des figures
La figure 1 présente un premier mode de réalisation d’un appareil selon l’invention.
La figure 2 présente un deuxième mode de réalisation d’un appareil selon l’invention.
La figure 3 présente un premier mode de réalisation de fonctions mises en oeuvre dans l’invention.
La figure 4 présente un deuxième mode de réalisation de fonctions mises en oeuvre dans l’invention.
La figure 5 présente un troisième mode de réalisation de fonctions mises en oeuvre dans l’invention.
Description d’un mode de réalisation
En figure 1, on a représenté un appareil de prise de vue stéréoscopique 10 selon un mode de réalisation de l’invention. Il comprend un premier capteur monoscopique d’images numériques 11, polychromatique (par exemple RGB), et de haute résolution. L’appareil de prise de vue stéréoscopique 10 comprend un deuxième capteur monoscopique d’images numérique 12, monochromatique, et de résolution plus basse que celle du premier capteur 11. Les deux capteurs sont synchronisés temporellement par un composant (non représenté) générant et envoyant un signal d’horloge aux deux capteurs. Les deux capteurs 11 et 12 sont reliés à une unité de calcul 13, qui reçoit les images sous forme de transmission électronique de données numériques. L’ensemble des éléments électriques de l’appareil 10 est alimenté par une pile 14 ou un accumulateur, ou toute source autonome d’énergie de petite taille et de faible poids. Celle-ci fournit la puissance électrique à l’unité de calcul 13. L’unité de calcul 13 est dimensionnée pour être alimentée par la pile 14. L’appareil de prise de vue 10 est de préférence mobile, transportable et contenu dans un boîtier. Il ne nécessite pas d’alimentation de type secteur.
Le premier capteur 11 produit des images qualifiées d’images principales, alors que le deuxième capteur 12 produit des images qualifiées d’images esclaves.
Les données provenant des deux capteurs 11 et 12 sont concaténées sous la forme d’une seule image comprenant les deux informations, avant d’être traitées par l’unité de calcul 13.
Un exemple de concaténation peut être le suivant : Pixel du capteur principal (Ym, Um ou Vm) + Pixel du capteur secondaire monochrome (Ys) = Pixel de l’image finale (Ym, Um ou Vm, Ys). L’image résultante est utilisable par un processeur qui connaitrait la façon dont sont ordonnés les pixels afin de décoder les deux images.
Une manière de faire est de concaténer chaque pixel de l’image principale avec le pixel de l’image esclave. Dans le cas de résolutions différentes, certains pixels de l’image principale n’ont pas de correspondants, et on complète donc avec des 0.
Le pixel n de l’image finale est [ Y (px princp . n) ] [ U(px princp. n)] [Y (px esclave n)]
Une deuxième manière de faire est de concaténer la liste complète de pixels de l’image principale avec la liste complète de l’image esclave à la suite. L’avantage de cette méthode est qu’il n’est pas nécessaire de rajouter des 0. L’image finale se lit donc [ Y (px princ 1) ] [ U(px princ 1)]... [ Y (px princ n) ] [ V(px princp. n)]...... [Y (px esclave 1)].. [Y (px escl. 2)].. [Y (px escl. n)]
La concaténation peut être effectuée par le processeur principal 13. Dans ce cas, le processeur principal transmet directement la puissance électrique nécessaire aux deux capteurs par une piste électronique dédiée. L’un ou l’autre des capteurs numériques est muni d’un zoom optique. Dans le mode de réalisation représenté, les deux capteurs numériques 11 et 12 sont munis chacun d’un zoom optique, référencé respectivement 21 et 22. La focale de l’un ou l’autre des zooms optiques peut être amenée à être modifiée, par un utilisateur agissant manuellement, ou par un processeur ou un contrôleur agissant pour régler l’appareil. Les deux focales peuvent éventuellement être modifiées à une même occasion.
Par ailleurs, le processeur principal 13 comprend des moyens 131 pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur 12.
Le processeur principal 13 comprend de plus des moyens 132 pour choisir une valeur de changement d’échelle pour aligner une image principale IP à aligner provenant du premier capteur et une image esclave à aligner lE provenant du deuxième capteur.
Le processeur principal 13 comprend de plus des moyens 133 pour produire une cartographie de profondeur associée à des images capturées à une même date par les premier et deuxième capteurs 11 et 12.
Les moyens 132 pour choisir une valeur de changement d’échelle sont configurés pour être mis en oeuvre lorsque la distance focale du zoom optique ou d’un des zooms optiques est modifiée.
Alternativement, dans un mode de réalisation avantageux représenté en figure 2, la concaténation peut être effectuée sur un processeur secondaire déporté 15, relié aux capteurs 11 et 12, et lié au processeur principal par un câble 16 de type USB. Dans ce cas particulier, l’alimentation est transmise via le câble 16 au processeur secondaire 15, qui transmet â son tour l’alimentation nécessaire aux deux capteurs 11 et 12 par une piste électronique dédiée.
La concaténation des données est utilisée pour garantir la synchronisation des images des deux capteurs 11 et 12. Cela permet d’éviter â l’unité de calcul 13 de récupérer deux images en deux procédures différentes.
En figure 3, on a représenté un premier mode de réalisation d’un traitement d’images par l’appareil de prise de vue stéréoscopique 10, et plus précisément par l’unité de calcul 13. Les images principales IP et les images esclaves lE sont fournies â l’unité de calcul 13 par les capteurs 11 et 12, par exemple sous la forme concaténée évoquée ci-dessus.
Un recalage du capteur secondaire 12 est effectué, en utilisant une image principale IP et l’image esclave lE correspondant temporellement. Le recalage peut aussi être effectué en utilisant plusieurs images principales IP et les images esclaves lE correspondant temporellement.
Le recalage du deuxième capteur (ou calibration de l’appareil stéréoscopique) consiste â déterminer des paramètres de modification des images esclaves lE afin de les aligner sur les images principales IP.
Le recalage est effectué lors de l'initialisation du système. Il peut être effectué à nouveau lorsque la distance focale d’un zoom optique associé à l’un ou l’autre des capteurs est modifiée.
Les images principales IP font l’objet d’une extraction 100 de la composante de luminance Y. Il s’agit là en général du premier canal de couleur de l’image principale. L’étape d’extraction 100 permet de disposer d’images principales monochromes IPM.
Le traitement se poursuit par une étape 110 d’évaluation du rapport entre les focales de l’image principale monochrome IPM et de l’image esclave lE. Cette étape peut être mise en œuvre à l’aide d’une extraction de points d’intérêt, comme des coins ou des contours d’objet, ou tout autre technique, utilisant tout ou partie de l’information disponible dans les images lE et IPM. A la place de l’image IPM, l’image IP peut être utilisée pour cette étape. L’étape 110 est mise en œuvre par les moyens 132 pour choisir une valeur de changement d’échelle. Les points d’intérêt sont identifiés dans les images correspondantes (de même date) et on trouve les points correspondants, par un processus de reconnaissance et appariement.
Le traitement se poursuit par une étape 120 de modification de l’image esclave lE par changement d’échelle (resize/rescaling en anglais) en utilisant le rapport de focales déterminé à l’étape 110. Cette étape fournit une image esclave corrigée IEC1. IEC1 est une image esclave virtuelle qui proviendrait d’un capteur esclave ayant la même distance focale que le capteur principal 11. L’étape est mise en œuvre par les moyens 131 pour effectuer un zoom numérique.
Le traitement se poursuit par une étape d’estimation 130 des différences angulaires, de préférence sur trois axes complémentaires de l’espace, entre les prises de vue, en comparant l’image esclave corrigée IEC1 et l’image principale monochrome IPM. Cette étape peut être mise en œuvre à l’aide d’une extraction de points d’intérêt, comme des coins ou des contours d’objet, ou tout autre technique, utilisant tout ou partie de l’information disponible dans les images IEC1 et IPM. A la place de l’image IPM, l’image IP peut être utilisée pour cette étape. À nouveau, les points d’intérêt sont identifiés dans les images correspondantes (de même date) et on trouve les points correspondants, par un processus de reconnaissance et appariement.
Le traitement se poursuit par une étape 140 de modification de l’image esclave corrigée IEC1 par application de rotations, de préférence sur trois axes complémentaires de l’espace, en utilisant les décalages angulaires déterminés à l’étape 130. Cette étape fournit une image esclave corrigée IEC2. IEC2 est une image esclave virtuelle qui proviendrait d’un capteur esclave ayant la même distance focale que le capteur principal 11, et placé au même endroit.
Le traitement se poursuit par une étape de génération 150 d’une carte de profondeur CP (ou carte de disparité), à partir de l’image principale monochrome IPM (ou éventuellement de l’image principale originale IP) et de l’image esclave corrigée IEC2. Un exemple de mode opératoire peut être l’utilisation d’un algorithme de correspondance semi-globale par bloc, ou bien plus généralement la description dans chaque pixel de l’image principale et la recherche du pixel homologue dans l’image esclave recalée. L’étape 150 est mise en oeuvre par les moyens 133 de génération d’une cartographie de profondeur.
Le traitement se poursuit par une étape de génération 160 d’une image en couleur intégrant la disparité (ou profondeur) RGB-D. Cela est effectué par exemple en assemblant l’image principale IP et la carte de profondeur CP dans une seule image dans un format côte à côte.
En figure 4, on a représenté un deuxième mode de réalisation d’un traitement d’images par l’unité de calcul 13.
Il est similaire au mode de réalisation de la figure 2, avec l’ajout, une fois l’image esclave corrigée IEC2 obtenue par correction de l’échelle et de la rotation, une étape de test 145, pour vérifier si la qualité du recalage est satisfaisante au vu d’un critère d’appréciation de la qualité du recalage.
Dans le cas où le recalage est jugé satisfaisant, la carte de profondeur CP est générée au cours de l’étape 150.
Si le recalage n’est pas jugé satisfaisant, une étape 147 d’évaluation du rapport entre les focales de l’image principale monochrome IPM et de l’image esclave corrigée IEC est mise en oeuvre de manière similaire à l’étape 110 évoquée précédemment, mais en utilisant, à la place de l’image originale esclave lE, l’image esclave corrigée IEC2. Un processus d’affinage de la valeur de changement d’échelle à appliquer entre les images esclaves lE et les images principales IP est mis en œuvre, jusqu’à ce qu’à une itération donnée, le test 145 soit trouvé positif.
En figure 5, on a représenté un troisième mode de réalisation d’un traitement d’images par l’unité de calcul 13, pour le recalage des images esclaves lE. Comme précédemment, les images principales IP font l’objet d’une extraction 100 de la composante de luminance Y. L’étape d’extraction 100 permet de disposer d’images principales monochromes IPM.
Le traitement comprend en parallèle des étapes de génération 220 d’une pluralité d’images esclaves corrigées IEC11, IEC12, ... lECIn... générées par l’application d’une pluralité de changements d’échelle différents à l’image esclave lE, les valeurs de changement d’échelle étant choisies par exemple de manière régulière sur un intervalle de valeur numérique prédéfini. Ces étapes de génération 220 sont mises en œuvre avec les moyens 131 pour effectuer un zoom numérique.
Puis, pour chacune de ces d’images esclaves corrigées IEC11, IEC12, IEC13, le traitement comprend une étape d’estimation 230 des différences angulaires, entre les prises de vue, en comparant l’image esclave corrigée IEC11, IEC12, ... lECIn et l’image principale monochrome IPM. Cela peut se faire en extrayant des points d’intérét sur chaque image, et en effectuant, pour chaque paire d’images constitué d’une image esclave corrigée IEC11, ... et l’image principale IPM, une association des points d’intérét correspondants. Comme précédemment, les points d’intérét sont identifiés dans les images correspondantes (de même date) et on trouve les points correspondants, par un processus de reconnaissance et appariement.
Le traitement est complété par une évaluation de la qualité de la correction par rotation pour chacune des images IEC11, IEC12, ... lECIn, Cette étape peut se faire simultanément aux étapes d’estimation 230 des différences angulaires, et vise à évaluer la qualité de la correspondance entre l’image principale IPM et chacune des images esclaves corrigées IEC11, IEC12, ... lECIn une rotation étant autorisée entre elles pour la correspondance.
Parmi les images IEC11, IEC12... lECIn celle étant associée à la meilleure correction est sélectionnée au cours d’une étape de sélection 240, permettant ainsi de choisir la meilleure échelle parmi la pluralité de changements d’échelle utilisés précédemment. Cette étape est mise en œuvre par les moyens 132 pour choisir une valeur de changement d’échelle.
Le traitement est poursuivi par une étape d”application 245 de la rotation associée à l’image esclave corrigée IEC11, IEC12, ... lECIn sélectionnée sur celle-ci, pour la génération d’une image esclave corrigée IEC2.
Le traitement se poursuit par une étape de génération 150 d’une carte de profondeur CP (ou carte de disparité), à partir de l’image principale monochrome IPM (ou éventuellement de l’image principale originale IP) et de l’image esclave corrigée IEC2.
Le traitement se poursuit encore par une étape de génération 160 d’une image en couleur intégrant la disparité (ou profondeur) RGB-D.
Le capteur à haute résolution 11 détermine la texture de la cartographie de profondeur, et on privilégie donc une caméra performante, par exemple un capteur Full HD 1920x1080 px, avec une bonne netteté d’images.
La distance focale du zoom optique associé au premier capteur 11 est préférentiellement choisie par l'utilisateur. Celle associée au deuxième capteur 12 peut rester fixe ou peut varier. L’invention n’est pas limitée aux modes de réalisation, mais s’étend à toutes les variantes dans le cadre de la portée des revendications.

Claims (9)

  1. REVENDICATIONS
    1. Appareil de prise de vue stéréoscopique (10) comprenant un premier capteur d’images numériques (11), un deuxième capteur d’images numériques (12) synchronisé avec le premier capteur (11), au moins un zoom optique (21, 22) de distance focale variable associé au premier capteur (11) ou au deuxième capteur (12), et des moyens (131) pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur (12), caractérisé en ce que l’appareil (10) comprend de plus des moyens (132) pour choisir une valeur de changement d’échelle pour aligner une image à aligner (IP) provenant du premier capteur (11 ) et une image à aligner (lE) provenant du deuxième capteur (12), et des moyens (133) pour produire une cartographie de profondeur associée à des images capturées à une même date par les premier (11) et deuxième (12) capteurs en utilisant des images (IEC1 ; IEC11, IEC12, ...) provenant du deuxième capteur (12) modifiées par l’application par les moyens (131) pour effectuer un zoom numérique d’un changement d’échelle (120) de ladite valeur de changement d’échelle, les moyens pour choisir une valeur de changement d’échelle (132) étant configurés pour être mis en oeuvre au moins lorsque la distance focale du zoom optique (21, 22) est modifiée, pour calibrer l’appareil de prise de vie stéréoscopique (10).
  2. 2. Appareil de prise de vue stéréoscopique selon la revendication 1, dans lequel les moyens (133) pour produire une cartographie de profondeur mettent en oeuvre, pour produire la cartographie, une rotation (140, 245) sur un, deux ou trois axes entre une image à exploiter provenant du premier capteur (11) et une image à exploiter provenant du deuxième capteur (12).
  3. 3. Appareil de prise de vue stéréoscopique selon la revendication 1 ou la revendication 2, dans lequel les moyens (132) pour choisir une valeur de changement d’échelle déterminent, pour choisir la valeur de changement d’échelle, au moins une rotation (130, 230) entre une image à aligner (IP) provenant du premier capteur (11) et une image à aligner (lE) provenant du deuxième capteur (12).
  4. 4. Appareil de prise de vue stéréoscopique selon l’une des revendications 1 à 3, dans lequel les moyens (132) pour choisir une valeur de changement d’échelle utilisent une extraction de points d’intérét (110) d’une image à aligner (lE) provenant du deuxième capteur (12) dans sa forme telle que capturée par le deuxième capteur (12) avant tout changement d’échelle, une extraction de points d’intéréts d’une image à aligner (IP ; IPM) provenant du premier capteur (11), et un appariement des points d’intérét extraits des deux images.
  5. 5. Appareil de prise de vue stéréoscopique selon l’une des revendications 1 à 4, dans lequel les moyens (132) pour choisir une valeur de changement d’échelle utilisent une extraction de points d’intérét (147, 230) d’une image à aligner (IEC2 ; IEC11, IEC12, ...) provenant du deuxième capteur (12) dans une forme modifiée au moins par l’application d’un changement d’échelle par les moyens (131) pour effectuer un zoom numérique, une extraction de points d’intéréts d’une image à aligner (IP ; IPM) provenant du premier capteur (11) et un appariement des points d’intérét extraits des deux images.
  6. 6. Appareil de prise de vue stéréoscopique selon l’une des revendications 1 à 5, dans lequel le deuxième capteur (12) est un capteur monochrome et le premier capteur (11) est un capteur couleur à plus haute résolution que le capteur monochrome (12).
  7. 7. Appareil de prise de vue stéréoscopique selon l’une des revendications 1 à 6, dans lequel les moyens (132) pour choisir une valeur de changement d’échelle sont configurés pour être mis en oeuvre lorsque l’appareil (10) est allumé ou réinitialisé.
  8. 8. Appareil de prise de vue stéréoscopique selon l’une des revendications 1 à 7, dans lequel les moyens (132) pour sélectionner une valeur de changement d’échelle mettent en œuvre (220) plusieurs zooms numériques avec des changements d’échelle de valeurs différentes sur ladite image numérique capturée par le deuxième capteur (12) pour obtenir une pluralité d’images numériques modifiées, et utilisent une comparaison de chacune desdites images numériques modifiées (ECU, IEC12, ...) avec ladite image numérique capturée par le premier capteur (11).
  9. 9. Appareil de prise de vue stéréoscopique selon l’une des revendications 1 à 7, dans lequel les moyens pour choisir (132) une valeur de changement d’échelle mettent en œuvre une obtention préalable (110) d’une valeur sommaire de changement d’échelle entre ladite image numérique capturée par le premier capteur (11), et ladite image numérique capturée par le deuxième capteur (12) de manière synchrone, et un affinage (147) de la valeur sommaire en une valeur affinée de changement d’échelle.
FR1651805A 2016-03-03 2016-03-03 Appareil de prise de vue stereoscopique Active FR3048515B1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR1651805A FR3048515B1 (fr) 2016-03-03 2016-03-03 Appareil de prise de vue stereoscopique
US16/079,167 US20190058869A1 (en) 2016-03-03 2017-03-01 Stereoscopic image-capturing apparatus
PCT/FR2017/050465 WO2017149248A1 (fr) 2016-03-03 2017-03-01 Appareil de prise de vue stereoscopique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1651805A FR3048515B1 (fr) 2016-03-03 2016-03-03 Appareil de prise de vue stereoscopique
FR1651805 2016-03-03

Publications (2)

Publication Number Publication Date
FR3048515A1 true FR3048515A1 (fr) 2017-09-08
FR3048515B1 FR3048515B1 (fr) 2018-06-22

Family

ID=55752628

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1651805A Active FR3048515B1 (fr) 2016-03-03 2016-03-03 Appareil de prise de vue stereoscopique

Country Status (3)

Country Link
US (1) US20190058869A1 (fr)
FR (1) FR3048515B1 (fr)
WO (1) WO2017149248A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018183206A1 (fr) * 2017-03-26 2018-10-04 Apple, Inc. Amélioration de la résolution spatiale dans un système d'imagerie de caméra stéréoscopique

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028954A (en) * 1988-11-18 2000-02-22 Industrial Science & Technology, Kozo Iizuka, Director-General Of Agency Method and apparatus for three-dimensional position measurement
EP2259599A1 (fr) * 2009-05-29 2010-12-08 Telefonaktiebolaget L M Ericsson (Publ) Procédé et agencement pour le traitement d'une image stéréo à partir d'une vue tridimensionnelle
US20120098939A1 (en) * 2010-10-21 2012-04-26 Yasutaka Hirasawa Image processing apparatus and method, and program
US20130128009A1 (en) * 2009-03-11 2013-05-23 Fujifilm Corporation Imaging apparatus, image correction method, and computer-readable recording medium
US20140002615A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. System and method for correcting binocular photography with homographic transformations

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009097552A1 (fr) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Systemes et procedes de fusion de donnees d’image
KR20120133710A (ko) 2011-05-31 2012-12-11 주식회사 넥서스칩스 비대칭 양안 카메라 모듈을 이용한 입체 3ｄ 영상 생성 장치 및 그 방법
US10285142B2 (en) * 2014-11-05 2019-05-07 Innovative Technology Lab Co., Ltd. Apparatus and method for configuring synchronization signal for D2D communication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028954A (en) * 1988-11-18 2000-02-22 Industrial Science & Technology, Kozo Iizuka, Director-General Of Agency Method and apparatus for three-dimensional position measurement
US20130128009A1 (en) * 2009-03-11 2013-05-23 Fujifilm Corporation Imaging apparatus, image correction method, and computer-readable recording medium
EP2259599A1 (fr) * 2009-05-29 2010-12-08 Telefonaktiebolaget L M Ericsson (Publ) Procédé et agencement pour le traitement d'une image stéréo à partir d'une vue tridimensionnelle
US20120098939A1 (en) * 2010-10-21 2012-04-26 Yasutaka Hirasawa Image processing apparatus and method, and program
US20140002615A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. System and method for correcting binocular photography with homographic transformations

Also Published As

Publication number Publication date
US20190058869A1 (en) 2019-02-21
WO2017149248A1 (fr) 2017-09-08
FR3048515B1 (fr) 2018-06-22

Similar Documents

Publication Publication Date Title
EP3248374B1 (fr) Procédé et appareil pour acquisition et fusion de cartes de profondeur à technologies multiples
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
BE1022488B1 (fr) Systeme d'appareil de prise de vues a temps-de-vol
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
CN110248111B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
US20110234759A1 (en) 3d modeling apparatus, 3d modeling method, and computer readable medium
EP2662833B1 (fr) Dispositif, procédé et programme de traitement de données d'une source lumineuse
EP2795575B1 (fr) Capteur de vision tridimensionnelle integre
CN109565577B (zh) 色彩校正装置、色彩校正***以及色彩校正方法
JP6374849B2 (ja) ユーザ端末、色彩補正システム及び色彩補正方法
GB2545394A (en) Systems and methods for forming three-dimensional models of objects
WO2017149248A1 (fr) Appareil de prise de vue stereoscopique
EP3073441B1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
JP2008128771A (ja) 分光情報および形状情報同時取得装置及び情報取得方法
JP2007071891A (ja) ３次元計測装置
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP6868167B1 (ja) 撮像装置および撮像処理方法
CN109120846A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5555046B2 (ja) 画像入力装置、画像入力方法及び画像入力プログラム
EP1847958B1 (fr) Segmentation d'image numérique d'une zone d'observation en temps réel
JP5499363B2 (ja) 画像入力装置、画像入力方法及び画像入力プログラム
FR2966257A1 (fr) Procede et dispositif de construction d'une image en relief a partir d'images en deux dimensions
JP6868168B1 (ja) 撮像装置および撮像処理方法
EP3688407A1 (fr) Systèmes de projection de lumière
WO2018229358A1 (fr) Procédé et dispositif de construction d'une image tridimensionnelle

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20170908

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9