FR2998126A1 - Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques - Google Patents

Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques Download PDF

Info

Publication number
FR2998126A1
FR2998126A1 FR1260880A FR1260880A FR2998126A1 FR 2998126 A1 FR2998126 A1 FR 2998126A1 FR 1260880 A FR1260880 A FR 1260880A FR 1260880 A FR1260880 A FR 1260880A FR 2998126 A1 FR2998126 A1 FR 2998126A1
Authority
FR
France
Prior art keywords
image
panoramic
capture
stereoscopic
final
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1260880A
Other languages
English (en)
Other versions
FR2998126B1 (fr
Inventor
Richard Ollier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avincel Group Inc Us
Original Assignee
GIROPTIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR1260880A priority Critical patent/FR2998126B1/fr
Application filed by GIROPTIC filed Critical GIROPTIC
Priority to EP13808073.4A priority patent/EP2920956A1/fr
Priority to AU2013346603A priority patent/AU2013346603B2/en
Priority to KR1020157011354A priority patent/KR20150084807A/ko
Priority to JP2015542330A priority patent/JP2016503618A/ja
Priority to MX2015006121A priority patent/MX355297B/es
Priority to PCT/FR2013/052707 priority patent/WO2014076402A1/fr
Priority to CA2889811A priority patent/CA2889811A1/fr
Priority to CN201380059682.7A priority patent/CN104782114B/zh
Priority to BR112015010788A priority patent/BR112015010788A8/pt
Priority to US14/443,097 priority patent/US20150288864A1/en
Priority to TW102141393A priority patent/TWI612495B/zh
Priority to TW106135936A priority patent/TW201804432A/zh
Publication of FR2998126A1 publication Critical patent/FR2998126A1/fr
Priority to FR1460848A priority patent/FR3011968B1/fr
Priority to FR1460844A priority patent/FR3012000B1/fr
Priority to FR1460846A priority patent/FR3012001B1/fr
Publication of FR2998126B1 publication Critical patent/FR2998126B1/fr
Application granted granted Critical
Priority to IL238622A priority patent/IL238622A0/en
Priority to IN3812DEN2015 priority patent/IN2015DN03812A/en
Priority to HK16100452.3A priority patent/HK1212835A1/zh
Priority to JP2018180078A priority patent/JP2019041389A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

Pour capturer et construire un flux d'images panoramiques ou stéréoscopiques d'une scène, on réalise, au moyen d'au moins un dispositif de capture d'images (Ci), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, les opérations successives de capture étant cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives. Pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée. Le traitement numérique (a) de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.

Description

9 9 812 6 1 PROCEDE ET DISPOSITIF DE CAPTURE ET DE CONSTRUCTION D'UN FLUX D'IMAGES PANORAMIQUES OU STEREOSCOPIQUES Domaine technique La présente invention concerne un procédé et un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques. Ce flux d'images panoramiques ou stéréoscopiques peut être enregistré, transmis ou diffusé sous la forme d'un film ou être traité pour extraire du flux une ou plusieurs images panoramiques ou stéréoscopiques statiques.
Art antérieur Dans le domaine de la capture dite « one shot » d'images panoramiques, il est connu d'utiliser plusieurs dispositifs de capture d'images, par exemple de type cameras CCD ou CMOS, chaque dispositif de capture d'images comportant un capteur d'image, par exemple de type CCD ou CMOS, couplé à des moyens optiques (objectif) permettant de projeter l'image d'une scène sur le capteur d'image. Les axes optiques des dispositifs de capture d'images sont orientés dans des directions différentes, et les champs de vision optiques des dispositifs de capture d'images peuvent se chevaucher de manière à couvrir tout le champ de l'image panoramique. La demande de brevet internationale WO 2012/032236 divulgue un exemple de dispositif optique particulièrement peu encombrant, comportant trois dispositifs de capture d'images, désignés « groupes optiques », et permettant la capture « one shot » d'images panoramiques selon un champ de 3600 .
Dans le présent texte, les termes « image panoramique » doivent être pris dans leur acceptation la plus large, et ne se limitent pas à une image capturée selon un champ de 360°, mais couvrent plus généralement une image construite selon un champ étendu supérieur au champ optique couvert par chaque dispositif de capture d'images utilisé pour la capture de l'image panoramique. Dans cette technique de capture d'image panoramique, chaque 2 99 812 6 2 dispositif de capture d'images réalise l'acquisition d'une image d'une scène, sous la forme d'une matrice de pixels, dans un champ optique limité, et les images sont ensuite transmises à des moyens de traitement numérique externes qui permettent de réaliser un recollement (« stitching ») numérique 5 des images au niveau de leurs zones de chevauchement, de manière à produire une image panoramique finale. Chaque matrice de pixels représentant une image capturée par un dispositif de capture d'images résulte d'une projection en deux dimensions de la surface 3D d'une partie de sphère « vue » par le dispositif de capture 10 d'images. Cette projection en deux dimensions dépend de chaque dispositif de capture d'images, et notamment des caractéristiques optiques de l'objectif du dispositif de capture d'images, et de l'orientation spatiale (« Yaw », « Pictch» et « Roll ») du dispositif de capture d'images lors de la capture de l'image. 15 Dans l'art antérieur, le recollement numérique d'images pour former une image panoramique est par exemple effectué en juxtaposant les images délivrées par les capteurs d'image et en effectuant numériquement un recollement numérique (« stitching ») des images au niveau de leur zone de recouvrement de manière à obtenir une image panoramique finale. Dans ce 20 cas, la mise en oeuvre de ce recollement numérique ne modifie pas la projection en deux dimensions des pixels, et les pixels dans l'image panoramique finale conservent la projection en deux dimensions du capteur d'image dont ils sont issus. Ce recollement numérique peut être réalisé de manière 25 automatique, tel que décrit par exemple dans la demande de brevet internationale WO 2011/037964 ou dans la demande de brevet américain US 2009/0058988, ou de manière semi-automatique avec assistance manuelle, tel que décrit par exemple dans la demande de brevet internationale W02010/01476. 30 Dans le domaine de la capture d'images stéréoscopiques, il est par ailleurs connu de réaliser la capture de deux images planes d'une scène 2 99 812 6 3 suivie d'un traitement numérique des deux images planes, de manière à réaliser une image stéréoscopique 3D permettant de restituer à l'oeil une perception du relief et de la profondeur. Les techniques susvisées de capture et de construction d'images 5 panoramiques ou stéréoscopiques présentent l'inconvénient de restituer une image panoramique ou stéréoscopique à partir d'images acquises par des capteurs qui ont des moyens optiques différents et indépendants, ce qui engendre dans l'image numérique finale (panoramique ou stéréoscopique) des problèmes d'homogénéité, notamment en ce qui concerne la 10 colorimétrie, la balance des blancs, le temps d'exposition et le gain automatique. Egalement, le recollement numérique susvisé des images nécessite du temps de calcul qui est préjudiciable à la capture et à la restitution en temps réel d'un flux d'images panoramiques sous la forme d'un film. 15 Dans la demande de brevet US 2009/0058988, afin d'améliorer les temps de traitement et permettre une capture d'image panoramique avec recollement numérique en temps réel, il est par exemple proposé une solution de recollement numérique basée sur un mappage réalisé à partir d'images basse résolution. 20 Objectif de l'invention La présente invention vise d'une manière générale à proposer une nouvelle solution technique de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques au moyen d'un ou plusieurs dispositifs de capture d'images. 25 Plus particulièrement, selon un premier aspect plus particulier, la nouvelle solution de l'invention permet d'accélérer les temps de traitement numérique, et facilite par conséquent la capture et la construction en temps réel d'un flux d'images panoramiques ou stéréoscopiques. Plus particulièrement, selon un autre aspect plus particulier, la 30 nouvelle solution de l'invention permet de pallier l'inconvénient susvisé découlant de la mise en oeuvre de capteurs qui ont des moyens optiques différents et indépendants, et permet notamment d'obtenir plus facilement des images panoramiques ou stéréoscopiques de meilleure qualité. Dans le cadre de l'invention, le flux d'images panoramiques ou stéréoscopiques peut par exemple être enregistré, transmis ou diffusé sous 5 la forme d'un film, ou être traité postérieurement pour extraire de ce flux une ou plusieurs images panoramiques ou stéréoscopiques statiques. Résumé de l'invention Selon un premier aspect, l'invention a ainsi pour premier objet un procédé de capture et de construction d'un flux d'images panoramiques 10 ou stéréoscopiques d'une scène, au cours duquel on réalise, au moyen d'au moins un dispositif de capture d'images (Ci), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, les opérations successives de capture étant cadencées à une fréquence 15 (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives ; pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture 20 (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée ; le traitement numérique (a) de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou 25 plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique. De manière facultative et optionnelle, le procédé de l'invention peut comporter les caractéristiques techniques additionnelles suivantes, 30 prises isolément ou en combinaison les unes avec les autres : - Les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la fréquence de capture (F). - La durée de capture (T) est inférieure ou égale à 1 s, et de préférence inférieure ou égale à 100ms. - On génère successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives. - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives peut être issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t). - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives peut être issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur. - Le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus. - Plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique. - Plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%. - On capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images. - On capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images. - Le dispositif de capture d'images (Ci) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que chaque image finale panoramique ou stéréoscopique est délivrée sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H). - Le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur). - Le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur). - Le traitement numérique des pixels d'une image capturée au moyen d'au moins un dispositif de capture d'images est effectué au moyen d'une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images, la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. L'invention a pour autre objet un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques. Ce 30 dispositif comporte un ou plusieurs dispositifs de capture d'images (Ci), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement qui permettent de construire une image panoramique ou stéréoscopique à partir des images capturées ; les moyens électroniques de traitement permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives ; les moyens électroniques de traitement sont aptes, pour chaque opération de capture, (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée ; le traitement numérique de chaque pixel de chaque image par les moyens électroniques de traitement consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique. De manière facultative et optionnelle, le dispositif de l'invention 25 peut comporter les caractéristiques techniques additionnelles suivantes, prises isolément ou en combinaison les unes avec les autres : - Les moyens électroniques de traitement sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de 30 capture (F). - La durée de capture (T) est inférieure à ou égale à ls, et de préférence inférieure ou égale à 100ms. - Les moyens électroniques de traitement sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives. - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t). - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur. - Les moyens électroniques de traitement sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus. - Les moyens électroniques de traitement sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique. - Les moyens électroniques de traitement sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à 100%. - Il comporte au moins deux dispositifs de capture d'images. - Il comporte au moins trois dispositifs de capture d'images. - Chaque dispositif de capture d'images (Ci) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et les moyens électroniques de traitement sont aptes à délivrer chaque image finale panoramique ou stéréoscopique sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H). - Le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur). - Le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur). - Les moyens électroniques de traitement comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (Ci), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. - Le dispositif est portatif. Selon un deuxième aspect, l'invention a également pour objet un procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, caractérisé en ce qu'on réalise, au moyen d'au moins un dispositif de capture d'images (Ci), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, en ce que pendant les opérations de capture des images, on traite numériquement les pixels des images capturées en sorte de former des images panoramiques ou stéréoscopiques, et on génère un flux d'images panoramiques ou stéréoscopiques, et en ce que le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique. De manière facultative et optionnelle, selon ce deuxième aspect, le procédé de l'invention peut comporter les caractéristiques techniques 10 additionnelles suivantes, prises isolément ou en combinaison les unes avec les autres : - Les opérations successives de capture sont cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives. 15 - Pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une 20 durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée. - Les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la 25 fréquence de capture (F). - La durée de capture (T) est inférieure ou égale à 1s, et de préférence inférieure ou égale à 100ms. - On génère successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) 30 séparant le début de deux opérations de capture successives. - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t). - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur. - Le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus. - Plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique. - Plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%. - On capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images. - On capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images. - Le dispositif de capture d'images (Ci) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et chaque image finale panoramique ou stéréoscopique est délivrée sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H). - Le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur). - Le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur). - Le traitement numérique des pixels d'une image capturée au moyen d'au moins un dispositif de capture d'images est effectué au moyen d'une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images, la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. Selon ce deuxième aspect, l'invention a également pour objet un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, caractérisé en ce qu'il comporte un ou plusieurs dispositifs de capture d'images (Ci), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement qui permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et qui sont aptes, pendant les opérations de capture des images, à traiter numériquement les pixels des images capturées en sorte de former des images panoramiques ou stéréoscopiques, et à générer un flux d'images panoramiques ou stéréoscopiques, et en ce que le traitement numérique de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique De manière facultative et optionnelle, selon ce deuxième aspect, le dispositif de l'invention peut comporter les caractéristiques techniques additionnelles suivantes, prises isolément ou en combinaison les unes avec les autres : - Les moyens électroniques de traitement permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser lesdites opérations successives de capture avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives. - Pour chaque opération de capture, les moyens électroniques de traitement sont aptes (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à génèrer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée. - Les moyens électroniques de traitement sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de capture (F). - La durée de capture (T) est inférieure à ou égale à 1s, et de préférence inférieure ou égale à 100ms. - Les moyens électroniques de traitement sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives. - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t). - L'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur. - Les moyens électroniques de traitement sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus. - Les moyens électroniques de traitement sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique. - Les moyens électroniques de traitement sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à 100%. - Il comporte au moins deux dispositifs de capture d'images. - Il comporte au moins trois dispositifs de capture d'images. - Chaque dispositif de capture d'images (Ci) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et les moyens électroniques de traitement sont aptes à délivrer chaque image finale panoramique ou stéréoscopique sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H). - Le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur). - Le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur). - Les moyens électroniques de traitement comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (Ci), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. - Le dispositif est portatif. Selon un troisième aspect, l'invention a également pour objet un procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, au cours duquel on réalise au moyen d'au moins un dispositif de capture d'images, plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images; chaque dispositif de capture d'images permet la capture d'une image sous la forme d'un ensemble de pixels et délivre en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur). On traite numériquement chaque pixel de chaque image capturée, en sorte de générer une image finale panoramique ou stéréoscopique à partir desdits pixels sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
Selon ce troisième aspect, l'invention a également pour objet un dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, ledit dispositif comportant un ou plusieurs dispositifs de capture d'images qui permettent de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et des moyens électroniques de traitement qui permettent de construire un flux d'images panoramiques ou stéréoscopiques à partir des images capturées. Chaque dispositif de capture d'images est apte à délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur). Les moyens électroniques de traitement sont conçus pour traiter numériquement chaque pixel de chaque image capturée, en sorte générer une image finale panoramique ou stéréoscopique à partir desdits pixels sous la forme d'un flux de pixels synchronisé par au moins un deuxième signal horloge (H). Selon un quatrième aspect, l'invention a également pour objet un procédé de capture et de construction d'au moins une image panoramique ou stéréoscopique d'une scène, au cours duquel on capture au moins deux images différentes de la scène au moyen d'au moins un dispositif de capture d'images (Ci), avec ou sans chevauchement entre les images, chaque dispositif de capture d'images permettant la capture d'une image sous la forme d'un ensemble de pixels et délivrant en sortie pour chaque image capturée un flux de pixels ; on traite numériquement le flux de pixels de chaque image capturée en sorte de former au moins une image finale panoramique ou stéréoscopique à partir desdits pixels, et le traitement numérique de chaque pixel du flux de pixels correspondant à chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
Selon ce quatrième aspect, l'invention a également pour objet un dispositif de capture et de construction d'au moins une image panoramique ou stéréoscopique, ledit dispositif comportant un ou plusieurs dispositifs de captures d'image (Ci) qui permettent la capture d'au moins deux images différentes, avec ou sans chevauchement entre les images, et qui sont aptes à délivrer un flux de pixels pour chaque image capturée, et des moyens électroniques de traitement qui permettent de construire, pendant les opérations de capture d'images, une image panoramique ou stéréoscopique à partir des flux de pixels de chaque image capturée. Les moyens électroniques de traitement sont conçus pour traiter chaque pixel du flux de pixels de chaque image capturée en conservant ou en abandonnant ledit pixel, et dans le cas où le pixel est conservé, en lui affectant une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique. De manière facultative et optionnelle, le procédé et le dispositif selon les troisième et quatrième aspects peuvent comporter des caractéristiques techniques additionnelles qui sont les caractéristiques techniques précédemment énoncées dans le cadre du procédé et du dispositif selon le premier aspect précité ou deuxième aspect précité. Brève description des figures Les caractéristiques et avantages de l'invention ressortiront plus clairement à la lecture de la description détaillée qui suit d'une variante préférée de réalisation, laquelle description est faite, à titre d'exemple non limitatif et non exhaustif de l'invention, et en référence aux dessins annexés parmi lesquels : - La figure 1 est un synoptique d'un exemple d'architecture électronique d'un dispositif de l'invention. - La figure 2 est un exemple de chronogramme des principaux signaux électriques du dispositif de la figure 1. - La figure 3 schématise un exemple de correspondance angle de champ optique/pixels de la zone de capture d'un objectif « fisheye ». - La figure 4 est un exemple de remappage d'une matrice de pixels capturée par un capteur d'image dans une portion d'image panoramique finale. - La figure 5 illustre un exemple de correspondance géométrique entre un pixel Pu de l'image panoramique finale et la matrice de pixels capturée par un capteur d'image. - Les figures 6A à 61 schématisent les différents cas de figures de remappage dans le cas particulier d'une image de type RAW. - Les figures 7A à 7D illustrent différents exemples de remappage d'une ligne d'un capteur sur une image panoramique. - La figure 8 illustre un exemple particulier de résultat de remappage de trois images pour former une image panoramique finale.
Description détaillée On a représenté sur la figure 1, un exemple particulier de dispositif 1 conforme à l'invention, qui permet la capture et la construction d'images panoramiques. Dans cet exemple particulier, ce dispositif 1 comporte trois 20 dispositifs de capture d'images C1, C2, C3, par exemple de type CCD ou CMOS, qui permettent chacun la capture d'une image sous la forme chacun d'une matrice de pixels, et des moyens électroniques de traitement 10, qui permettent de construire une image panoramique à partir des pixels délivrés par les capteurs d'image C1, C2, C3. De manière usuelle, chaque dispositif 25 de capture d'images C1, C2, C3 comporte un capteur d'images, par exemple de type CCD ou CMOS, couplé à des moyens optiques (objectif) comportant une ou plusieurs lentilles alignées avec le capteur d'images, et permettant de focaliser les rayons lumineux sur le capteur d'images. Les axes optiques des dispositifs de capture d'images C1, C2, C3 30 sont orientés dans des directions différentes, et leurs champs optiques couvrent tout le champ de l'image panoramique finale, avec de préférence un chevauchement des champs optiques. Dans le présent texte, les termes « image panoramique » doivent être pris dans leur acceptation la plus large, et ne se limitent pas à une image panoramique construite selon un champ de 3600, mais couvrent plus généralement une image construite selon un champ étendu supérieur au champ optique couvert par chaque dispositif de capture d'images utilisé pour la capture d'images. A titre d'exemple uniquement, ces dispositifs de capture d'images C1, C2, C3 peuvent par exemple constituer les trois groupes optiques du dispositif optique à faible encombrement, qui est décrit dans la demande de brevet internationale WO 2012/032236, et qui permet la capture « one shot » d'images panoramiques. De préférence, mais non nécessairement, le dispositif 1 de l'invention constitue un équipement portatif, de manière à pouvoir facilement 15 être transporté et utilisé dans des lieux divers. En référence à la figure 2, les moyens de traitement numériques 10 délivrent une horloge de base H10, qui est générée par exemple à partir d'un quartz, et qui est utilisée pour cadencer le fonctionnement du capteur d'images de chaque dispositif de capture d'images C1, C2, C3 20 En sortie, le capteur d'image de chaque dispositif de capture d'images C1, C2, C3 délivre pour chaque image capturée un flux de pixels sur un bus de données « Pixels », synchronisé par un premier signal horloge (« H_capteur »), qui est généré par chaque capteur d'images à partir du signal horloge de base H10, et par deux signaux « Line Valid » et « Frame 25 Valid ». Les signaux horloge (« H_capteur ») qui sont générés par chaque dispositif de capture d'images C1, C2, C3 ont plus particulièrement la même fréquence. Les moyens électroniques de traitement 10 permettent de construire une image panoramique à partir des pixels délivrés par les capteurs d'image 30 des dispositifs de capture d'images C1, C2, C3, et de manière comparable aux dispositifs de capture d'images C1, C2, C3, délivrent en sortie sur un bus de données « Pixels », un flux de pixels représentatif de l'image panoramique finale La taille du bus de données « Pixels » des moyens électroniques de traitement 10 peut être identique ou différente de celle des bus de données « Pixels » des dispositifs de capture d'images C1, C2, C3, et est de préférence supérieure. Par exemple, mais de manière non limitative de l'invention, les bus de données « Pixels » des dispositifs de capture d'images C1, C2, C3 sont sur huit bits et le bus de données « Pixels » des moyens électroniques de traitement 10 est sur 16 bits.
Le flux de pixels généré par les moyens électroniques de traitement 10 est synchronisé par un deuxième signal horloge (« H »), qui est généré par les moyens électroniques de traitement 10 à partir du signal horloge de base, et par deux signaux « Line Valid » et « Frame Valid » qui sont générés par les moyens électroniques de traitement 10.
La figure 2 illustre un exemple particulier, et non limitatif de l'invention, de synchronisation des signaux susvisés d'un capteur. Sur cette figure, les données transitant sur les bus de données « Pixels » ne sont pas représentées. En référence à la figure 2, les opérations successives de capture 20 sont cycliques en étant cadencées à une fréquence F qui définit une durée de capture T (T=1/F) égale à la durée de l'intervalle de temps (t) entre le début de deux opérations de captures successives. Plus particulièrement, sur cette figure 2 le front montant du signal « Frame Valid » de chaque dispositif de capture C1, C2, C3 synchronise le 25 début de la transmission, sur le bus de données « Pixels » de chaque dispositif de capture C1, C2, C3, des pixels d'une image capturée par le dispositif de capture C1, C2, C3. Le front descendant du signal « Frame Valid » de chaque dispositif de capture C1, C2, C3 marque la fin de la transmission des pixels, sur le bus de données « Pixels », d'une image 30 capturée par ledit dispositif de capture C1, C2, C3. Ces fronts montants (respectivement descendants) des signaux « Frame Valid » délivrés par les dispositifs de capture C1, C2, C3 sont légèrement décalés temporellement. Le signal « Line Valid » de chaque dispositif de capture C1, C2, C3 est synchronisé sur chaque front montant du signal « Frame Valid » et marque le début de la transmission d'une ligne de pixels de l'image. Chaque front descendant du signal « Line Valid » marque la fin de la transmission d'une ligne de pixels de l'image. Les pixels de chaque image transmis sur chaque bus de données « Pixels » des trois dispositifs de capture d'images C1, C2, C3.sont échantillonnés en parallèle par les moyens électroniques de traitement 10, au moyen respectivement de chaque signal horloge « H_capteur » délivré par chaque dispositif de capture d'images C1, C2, C3. En référence à la figure 2, le front montant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10 synchronise le début de la transmission, sur le bus de données « Pixels » des moyens électroniques de traitement 10, d'une image panoramique finale construite à partir des pixels délivrés par les dispositifs de capture d'images C1, C2, C3 Ce front montant est généré automatiquement, par les moyens électroniques de traitement 10, à partir des fronts montants des signaux Frame Valid » délivrés pas les dispositifs de capture d'images C1, C2, C3, plus particulièrement en étant généré sur détection du front montant généré en dernier, c'est-à-dire dans l'exemple particulier de la figure 2, du front montant du signal « Frame Valid » délivré par le dispositif de capture d'images C1. Le front descendant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10 synchronise la fin de la transmission, sur le bus de données « Pixels » des moyens électroniques de traitement 10, d'une image panoramique finale construite à partir des pixels délivrés par les dispositifs de capture d'images C1, C2, C3 Le signal « Line Valid » délivré par les moyens électroniques de traitement 10 est synchronisé sur chaque front montant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10, et marque le début de la transmission d'une ligne de pixels de l'image panoramique.
Chaque front descendant du signal « Line Valid » délivré par les moyens électroniques de traitement 10 marque la fin de la transmission d'une ligne de pixels de l'image panoramique. L'écriture des pixels de chaque image panoramique sur le bus de données « Pixels » des moyens électroniques de traitement 10 est synchronisée par le signal horloge « H », qui est généré par les moyens électroniques de traitement 10, et qui peut être utilisé par un autre dispositif électronique externe (par exemple le dispositif 11) pour lire ces pixels sur ledit bus de données.
Selon la variante de réalisation, le signal d'horloge « H » délivré par les moyens électroniques de traitement 10 peut être synchrone ou asynchrone avec les signaux horloge « H_capteur » délivrés par les capteurs d'image C1, C2, C3 La fréquence du signal d'horloge « H » peut être égale à ou différente de la fréquence des signaux horloge « H_capteur » délivrés par les capteurs d'image C1, C2, C3 De préférence, la fréquence du signal d'horloge « H » est supérieure à la fréquence les signaux horloge « H_capteur » délivrés par les capteurs d'image C1, C2, C3 tel que cela est illustré sur la figure 2. Dans ce cas particulier de la figure 2, à chaque opération de capture on réalise trois captures d'images en parallèle au moyen des dispositifs de capture d'images C1, C2, C3, et dans ce cas particulier, l'intervalle de temps (t) est l'intervalle de temps séparant deux fronts montant successifs du signal « Frame Valid » du dispositif de capture d'images C1, c'est-à-dire du dispositif de capture d'images qui transmet en premier les pixels sur son bus de données « Pixels ». Pendant ledit intervalle de temps (t) séparant le début de deux opérations de capture successives, les moyens électroniques de traitement 10: (a) traitent numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique à partir desdits pixels ; dans le cas de l'architecture de la figure 1 et des signaux de la figure 2, il s'agit des pixels transmis aux moyens électroniques de traitement 10 sur les bus de données « Pixels » des dispositifs de captures d'images C1, C2, C3, et (b) génèrent une image finale panoramique ; dans le cas de l'architecture de la figure 1 et des signaux de la figure 2, il s'agit des pixels délivrés en sortie par les moyens électroniques de traitement 10 sur leur bus de données « Pixels », les fronts montant et descendant du signal « Frame Valid « délivré par les moyens électroniques de traitement 10 étant générés pendant ledit intervalle temps (t).
Ainsi, le flux des images panoramiques successives est généré en temps réel par les moyens électroniques de traitement à la même cadence que les opérations successives de capture d'images. Par exemple, si les dispositifs de captures d'image C1, C2, C3 sont conçus pour délivrer 25 images par secondes, la durée de capture T de chaque intervalle de temps (t) entre deux opérations successives de capture d'images vaut 40ms, ce qui correspond à une fréquence de capture F de 25Hz, et les moyens électroniques de traitement génèrent également 25 images panoramiques par seconde (une image panoramique toutes les 40ms). La durée de capture T (durée de chaque intervalle de temps (t) entre deux opérations successives de captures d'images) dépendra de la technologie des dispositifs de captures d'images C1, C2, C3. En pratique, la durée de capture T sera de préférence inférieure ou égale à 1s, et plus préférentiellement encore inférieure ou égale à 100ms. De préférence, l'image finale panoramique générée au cours de chaque intervalle de temps (t), qui sépare le début de deux opérations de capture successives, est issue du traitement numérique (a) des pixels réalisé au cours de ce même intervalle de temps (t). Dans ce cas, chaque image panoramique successive est générée en temps réel et sensiblement en même temps que la capture des images qui ont servi à construire cette image panoramique, et avant l'opération de capture suivante des images qui serviront à construire l'image panoramique suivante. Dans une autre variante, l'image finale générée au cours de chaque intervalle de temps (t), qui sépare le début de deux opérations de 5 capture successives, est issue du traitement numérique (a) des pixels réalisé au cours d'un intervalle de temps (t) antérieur, et par exemple de l'intervalle de temps (t) précédent. Dans ce cas, chaque image panoramique successive est générée en temps réel et avec un léger décalage temporel par rapport à la capture des images qui ont servi à 10 construire cette image panoramique. Dans une autre variante, la génération de chaque image panoramique peut démarrer (front montant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10) pendant un cycle de capture (N) donné, et se terminer (front descendant du signal « Frame 15 Valid » délivré par les moyens électroniques de traitement 10) au cours du cycle de capture (N+1) suivant, l'essentiel étant que la durée entre le front montant et le front descendant suivant du signal « Frame Valid » délivré par les moyens électroniques de traitement 10 soit inférieure ou égale à la durée de capture T. 20 Le traitement (a) des pixels réalisé pour chaque opération de capture peut être décalé temporellement par rapport au cycle de capture, l'essentiel étant que la durée de traitement des pixels de toutes les images capturées au cours d'une opération de capture pour former une image panoramique finale soit inférieure ou égale à la durée de capture T. Par 25 exemple, le traitement (a) des pixels réalisé pour former une image panoramique finale à partir d'images capturées au cours d'un cycle de capture N peut être réalisé par les moyens électroniques de traitement 10 pendant un cycle de capture postérieur, par exemple le cycle de capture N+1. 30 Les moyens électroniques de traitement 10 constituent une unité électronique de traitement de données numériques programmée qui peut, indifféremment selon l'invention, être implémentée au moyen de tout type connu de circuit électronique ou d'ensemble de circuits électroniques, tel que par exemple sous la forme d'un ou plusieurs circuits programmables de type FPGA et/ou d'un ou plusieurs circuits spécifiques de type ASIC, ou d'une unité de traitement programmable dont l'architecture électronique met en oeuvre un microcontrôleur ou un microprocesseur. Dans la variante particulière de réalisation illustrée sur la figure 1, le flux d'images panoramiques successives délivré sous la forme d'un ensemble de pixels par les moyens électroniques de traitement 10, est traité par des moyens électroniques de traitement additionnels 11, qui comportent par exemple un circuit de type DSP, et qui permettent par exemple d'enregistrer dans une mémoire et/ou d'afficher en temps réel sur un écran un flux dynamique d'images panoramiques sous la forme d'un film. Egalement dans une autre variante, les moyens électroniques de traitement additionnels 11 peuvent être conçus pour traiter le flux d'images panoramiques successives délivré par les moyens électroniques de traitement 10, en extrayant de ce flux une ou plusieurs images panoramiques. De manière usuelle, dans une variante particulière de réalisation chaque dispositif de capture d'images C1, C2, C3 comporte des moyens optiques de type objectif « fisheye », associés à une matrice de capture, et chaque image capturée est caractérisée par trois informations d'orientation spatiales, qui sont communément appelées « Yaw », « Pitch» et « Roll », et qui sont spécifiques de l'orientation spatiale dudit dispositif de capture d'images lors de la capture de l'image. En référence à la figure 3, un objectif « fisheye » présente une surface de détection centrale utile sphérique (surfaces grisées et surface blanche sur la figure 3), et les pixels utiles de l'image capturée par le capteur d'image résultent de manière connue en soi d'une projection en deux dimensions d'une partie (figure 3 - 864 pixels sur 900 pixels) seulement de la surface de détection du dispositif de capture d'images.
Ainsi, de manière usuelle, chaque matrice de pixels représentant une image capturée par un dispositif de capture d'images C1, C2, OU C3 résulte d'une projection en deux dimensions de la surface 3D d'une partie de sphère « vue » par le dispositif de capture d'images C1, C2, OU C3. Cette projection en deux dimensions dépend de chaque dispositif de capture d'images C1, C2, OU C3, et notamment des moyens optiques du dispositif de capture d'images C1, C2, ou C3, et de l'orientation spatiale (« Yaw », « Pictch» et « Roll ») du dispositif de capture d'images C1, C2, OU C3 lors de la capture de l'image.
A titre d'exemple, on a représenté sur la figure 4, une matrice de pixels correspondant à une image capturée par un dispositif de capture d'images Ci (par exemple dispositif de capture d'images C1, C2 OU C3 de la figure 1). Sur cette figure, les pixels noirs correspondent aux pixels situés en dehors de la partie centrale circulaire utile de l'objectif « fisheye » du dispositif de capture d'images Ci . Chaque pixel de cette image capturée au moyen du dispositif de capture d'images Ci résulte d'une opération dite de « mapping » ou « mappage », qui correspond à la projection en deux dimensions susvisée de la surface 3D d'une partie de sphère « vue » par l'objectif « fisheye » du dispositif de capture d'images Ci, et qui est spécifique de ce capteur d'image C. Antérieurement à l'invention, pour construire une image panoramique à partir des images capturées par chaque dispositif de capture d'images Ci, on juxtapose le plus souvent lesdites images en effectuant numériquement un recollage numérique (« stitching ») des images au niveau de leur zone de recouvrement de manière à avoir une image panoramique finale continue. Il est important de comprendre que ce type de recollage numérique de l'art antérieur ne modifie par la projection en deux dimensions des pixels qui sont conservés dans l'image panoramique finale. A la différence des recollages numériques susvisés de l'art 30 antérieur, dans l'invention, pour construire l'image panoramique finale, les pixels utiles de chaque image capturée par chaque capteur Ci sont remappés dans l'image panoramique finale, avec une partie au moins desdits pixels qui est remappée dans l'image panoramique finale en subissant de préférence une nouvelle projection en deux dimensions, qui est différente de leur projection en deux dimensions dans l'image du dispositif de capture d'images Ci dont ils sont issus. On reconstitue donc numériquement un unique dispositif de capture d'images virtuel panoramique à partir des dispositifs de capture d'images C1, C2, OU C3. Ce remappage des pixels est réalisé automatiquement, par un traitement (a) de chaque pixel de chaque image capturée qui consiste à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique avec un coefficient de pondération prédéfini pour chaque position dans l'image finale panoramique. Sur la figure 4, on a représenté une portion seulement de l'image 15 panoramique finale, ladite portion correspondant à la partie d'image panoramique issue du remappage des pixels d'une image capturée par un seul dispositif de capture d'image Ci En référence à cette figure 4, le pixel P1,8 situé dans la première ligne de l'image capturée par le dispositif de capture d'images Ci est par 20 exemple remappé dans l'image panoramique finale sous la forme de quatre pixels P1,9 , P1,10 , P1,11 , P1,12 dans quatre positions différentes adjacentes dans la première ligne de l'image panoramique finale, ce qui se traduit par un étirement de ce pixel de l'image départ dans l'image panoramique finale. Le mappage de ce pixel P1,8 dans l'image panoramique finale correspond 25 ainsi à une projection en deux dimensions de ce pixel dans l'image panoramique finale qui est différente de la projection en deux dimensions de ce pixel dans l'image de départ capturée par le dispositif de capture d'images. Cet étirement du pixel dans l'image panoramique finale peut par exemple être avantageusement mis en oeuvre pour compenser en tout ou 30 partie les déformations optiques de l'objectif « fisheye » du dispositif de capture d'images au voisinage de son bord supérieur. Le même étirement peut avantageusement être mis en oeuvre pour les pixels au voisinage du bord inférieur. Comparativement, le pixel central 138,8 de l'image capturée par le dispositif de capture d'images Ci est remappé à l'identique dans l'image panoramique finale sous la forme d'un unique pixel P11,11, l'objectif « fisheye » du dispositif de capture d'image n'entraînant pas ou quasiment pas de déformation optique en son centre. Le pixel P10,3 situé dans la partie basse gauche de l'image capturée par le capteur Ci est par exemple remappé dans l'image panoramique finale sous la forme de trois pixels P17,4 , P18,4 , P18,5 , dans trois positions différentes adjacentes sur deux lignes adjacentes de l'image panoramique finale, ce qui se traduit par un élargissement dans les deux directions de ce pixel P10,3 de l'image de départ dans l'image panoramique finale. Le mappage de ce pixel P10,3 dans l'image panoramique finale correspond ainsi à une projection en deux dimensions de ce pixel dans l'image panoramique finale qui est différente de la projection en deux dimensions de ce pixel dans l'image de départ capturée par le dispositif de capture d'images. Lors de cette opération de remappage de chaque pixel de l'image de départ du capteur d'image Ci dans l'image panoramique finale, un pixel peut ne pas être conservé et ne pas être repris dans l'image panoramique finale ; il s'agit par exemple des pixels dans une zone de chevauchement des images d'au moins deux dispositifs de capture d'images. Dans une zone de chevauchement des dispositifs de capture d'images, on conservera par exemple uniquement un pixel de l'un des capteurs, les autres pixels correspondant des autres capteurs n'étant pas conservés. Dans une autre variante, dans une zone de chevauchement d'au moins deux dispositifs de capture d'images, il est possible de construire le pixel de l'image finale à partir d'une moyenne ou d'une combinaison des pixels des images de départ.
Lors de l'opération de remappage d'un pixel, lorsque ce pixel est conservé et qu'on lui affecte une ou plusieurs positions différentes dans l'image finale panoramique, cette affection est de préférence réalisée avec un coefficient de pondération prédéfini compris entre 0 et 100%, pour chaque position dans l'image finale panoramique, c'est-a-dire pour chaque pixel l'image finale panoramique. Cette pondération et les raisons de cette pondération seront mieux comprises à la lumière de la figure 5. En référence à la figure 5, le centre C de chaque pixel Pi j final de l'image panoramique finale ne correspond pas en pratique au centre d'un pixel de l'image capturée par un dispositif de capture d'images Ci, mais correspond géométriquement à une position réelle P particulière dans l'image capturée par un dispositif de capture d'images Ci , qui dans l'exemple particulier schématisé sur la figure 4 est décentrée à proximité du coin bas et gauche du pixel P1 de l'image capturée par le dispositif de capture d'images C. Ainsi, le pixel Pi j sera constitué dans cet exemple particulier non seulement à partir du pixel P2 mais également des pixels voisins P1, P3, P4, en pondérant la contribution de chaque pixel P1, P2, P31 P4, par exemple en tenant compte du barycentre de la position P par rapport au centre de chaque pixel P1, P1, P2, P3, P4. Dans cet exemple particulier, le pixel Pu est par exemple constitué de 25% du pixel P1, de 35% du pixel P2, de 15% du pixel P3 et de 5% du pixel P4.
L'invention s'applique à tout type de format d'image : RAW, YUV et ses dérivées RGB... Dans le cas d'images RGB dont la reconstruction des couleurs a déjà été effectuée (informations R, G, B connues pour chaque pixel de l'image), la pondération susvisée sera effectuée à partir de pixels adjacents.
En revanche dans le cas d'images de type RAW, dans lesquelles chaque pixel ne représente qu'une seule composante colorimétrique, la pondération susvisée sera effectuée à partir de pixels voisins de même couleur que le pixel de l'image panoramique finale. Ce cas particulier de pondération pour un format type RAW sera mieux compris à la lumière des figures 6A à 61. On a représenté sur les figures 6A à 61 les différents cas de figures de correspondance entre un pixel Pi j de l'image panoramique finale et une matrice de pixels de l'image capturée par un dispositif de capture d'images Ci dans le cas d'un codage des pixels de type RAW. Sur ces figures, les lettres R, V, B identifient respectivement un pixel Rouge, Vert, Bleu. West le poids dans l'image finale du pixel R , V; ou Bi de l'image de départ capturée par le dispositif de capture d'images. La figure 6A correspond au cas où le centre d'un pixel Pu rouge de l'image panoramique finale correspond à une position réelle P, dans l'image capturée par un dispositif de capture d'images Ci, qui est sur un pixel bleu (B) de l'image capturée par un dispositif de capture d'images C. Dans ce cas, ledit pixel rouge Pii de l'image panoramique finale sera constitué à partir des pixels rouge R1, R2, R3, R4 voisins dudit pixel bleu B, en appliquant respectivement des coefficients de pondérations W1, W2, W3, W4. Les valeurs de ces coefficients de pondérations W1, W2, W3, W4 dépendront par exemple du barycentre de la position P par rapport au centre de chaque pixel R1, R2, R3, R4. Par exemple, si la position P se trouve située au centre du pixel P, dans ce cas tous les coefficients de pondérations W1, W2, W3, W4 seront égaux à 25%. La figure 6B correspond au cas où le centre d'un pixel Pi j bleu de 20 l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur Ci qui est sur un pixel rouge (R) de l'image capturée par un dispositif de capture d'images C. La figure 6C correspond au cas où le centre d'un pixel Pi j vert de l'image panoramique finale correspond à une position réelle P dans l'image 25 capturée par un capteur Ci qui est sur un pixel bleu (B) de l'image capturée par un dispositif de capture d'images C. La figure 6D correspond au cas où le centre d'un pixel Pi j vert de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur Ci qui est sur un pixel rouge (R) de l'image capturée 30 par un dispositif de capture d'images C. La figure 6E correspond au cas où le centre d'un pixel Pii vert de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur Ci qui est sur un pixel vert (V5) de l'image capturée par un dispositif de capture d'images C. La figure 6F correspond au cas où le centre d'un pixel Pu rouge de 5 l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur Ci qui est sur un pixel vert (V) de l'image capturée par un dispositif de capture d'images C. La figure 6G correspond au cas où le centre d'un pixel Pu bleu de l'image panoramique finale correspond à une position réelle P dans l'image 10 capturée par un capteur Ci qui est sur un pixel vert (V) de l'image capturée par un dispositif de capture d'images C. La figure 6H correspond au cas où le centre d'un pixel Pu rouge de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un dispositif de capture d'images Ci qui est sur un pixel rouge 15 (R5) de l'image capturée par un dispositif de capture d'images C. La figure 61 correspond au cas où le centre d'un pixel Pu bleu de l'image panoramique finale correspond à une position réelle P dans l'image capturée par un capteur Ci qui est sur un pixel bleu (B5) de l'image capturée par un dispositif de capture d'images C. 20 En définitive, quel que soit le format de codage d'une image, le traitement de remappage dans l'image panoramique finale de chaque pixel de l'image capturée par un dispositif de capture d'images Ci consiste à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image 25 finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini pour chaque position (c'est-à-dire pour chaque pixel) dans l'image finale panoramique. Dans le présent texte, la notion de « position » dans l'image finale panoramique se confond avec la notion de « pixel » dans l'image finale panoramique 30 Dans l'invention, en effectuant un remappage judicieux des pixels, on peut par exemple corriger au moins en partie dans l'image finale les distorsions de chaque objectif de chaque le dispositif de capture d'images Ci. Egalement, dans l'invention les dispositifs de capture d'images C1, C2, C3 et les moyens électroniques de traitement 10 sont vus, par exemple par les moyens électroniques additionnels de traitement 11, comme un unique capteur virtuel d'image panoramique. Par conséquent, les moyens électroniques additionnels de traitement 11 peuvent par exemple mettre en oeuvre des algorithmes de traitement d'image connus (notamment algorithmes de balance des blancs, de gestion du temps d'exposition et du gain) sur l'image panoramique finale délivrée par les moyens électroniques de traitement 10, ce qui permet le cas échéant d'obtenir une image panoramique finale plus homogène, notamment en ce qui concerne la colorimétrie, la balance des blancs, le temps d'exposition et le gain, comparativement à une mise en oeuvre de ces algorithmes de traitement d'image sur chaque image issue des dispositifs de capture d'images C1, C2, C3, avant construction de l'image panoramique. A titre uniquement d'exemples non limitatifs de l'invention, on a représenté sur les figures 7A à 7D, des exemples particuliers de remappage des pixels d'une ligne L présente dans l'image de départ d'un objectif « fisheye » afin de tenir compte de la déformation optique de l'objectif « fisheye » et de son orientation dans l'espace (Yaw, Pitch, Roll) . Le remappage dépend de la position de la ligne L par rapport au centre et aux bords inférieur et supérieur de l'objectif « fisheye » (figures 7A, 7B, 7C) ou dépend de l'orientation dans l'espace de l'objectif « fisheye » (Figure 7D).
On a représenté sur la figure 8, un exemple particulier de trois images I, 12, 13 capturées respectivement par trois capteurs d'image C1, C2, C3 et de l'image panoramique finale (1) résultant d'un remappage des pixels des images 11, 12, 13. Dans le cadre de l'invention, on peut utiliser le remappage des 30 pixels pour construire une image panoramique finale en implémentant n'importe quel type de projection en deux dimensions différente de la projection en deux dimensions du dispositifs de capture d'images C1, C2, C3, par exemple dans le but d'incorporer automatiquement des effets spéciaux dans l'image panoramique finale. On peut notamment mettre en oeuvre les projections connues ci-après : - projection plan ou rectilinéaire - projection cylindrique - projection de Mercator - projection sphérique ou équirectangulaire. Afin de permettre l'opération de remappage, il revient à l'homme du métier de prédéfinir au cas par cas le remappage de chaque pixel de chaque dispositif de capture d'images Ci, en définissant pour chaque pixel de chaque dispositif de capture d'images Ci, si ce pixel est conservé, et dans l'affirmative le ou les pixels correspondant dans l'image panoramique finale et le coefficient de pondération de ce pixel de départ pour chaque pixel de l'image panoramique finale. Ce remappage peut par exemple être implémenté sous la forme d'une table de correspondance du type de celle-ci-après, affectant à chaque pixel Pxx de chaque dispositif de capture d'images Ci conservé dans l'image panoramique finale, un ou plusieurs pixels (Pxpano,Ypano) dans l'image panoramique finale avec un coefficient de pondération W du pixel Pxx dans le pixel (Pxpano, Ypano) de l'image panoramique finale. Dans le tableau ci-dessous, par soucis de clarté, on a repris uniquement à titre d'exemple les pixels particuliers de l'exemple de la figure 4. Capteur C1 Pixel image capteur Pixel image panoramique Poids %(W) X Y Xpano Ypano 1 8 1 9 15 1 8 1 10 25 1 8 1 11 35 1 8 1 12 15 8 8 11 11 100 10 3 17 4 25 10 3 18 4 15 10 3 18 5 50 Dans le cas particulier de l'architecture de la figure 1, l'opération de remappage dans l'image panoramique finale de chaque pixel de chaque dispositif de capture d'images C1, C2, C3 est effectuée automatiquement par 5 les moyens électroniques de traitement 10, à partir d'une table de correspondance stockée dans une mémoire. Dans une autre variante, le calcul du remappage dans l'image panoramique finale de chaque pixel de chaque dispositif de capture d'images C1, C2, C3 peut également être effectué automatiquement par les moyens électroniques de traitement 10 au 10 moyen d'un algorithme de calibration et de calcul dynamique stocké en mémoire. Dans l'exemple de la figure 1, chaque pixel (Pxpano, Ypano) de l'image panoramique issu de l'opération remappage est délivré en sortie des moyens électroniques de traitement 10 ( « Pixels »), en étant synchronisé 15 par le signal d'horloge « H » délivré par les moyens de électroniques de traitement 10. Selon la variante de réalisation, le signal d'horloge « H» délivré par les moyens électroniques de traitement 10 peut être synchrone ou asynchrone avec les signaux horloge « H_capteur » délivrés par les capteurs d'image C1, C2, C3 20 Un avantage de l'architecture de la figure 1 est de permettre aux moyens électroniques de traitement additionnels 11 de « voir » les capteurs d'image C1, C2, C3 et les moyens électroniques de traitement 10 comme un unique capteur virtuel panoramique. Le dispositif de la figure 1 peut être avantageusement utilisé pour 25 effectuer un remappage en temps réel des pixels au fur et à mesure de leur acquisition par les moyens électroniques de traitement 10. L'invention n'est pas limitée à la mis en oeuvre de trois dispositifs de capture d'images C1, C2, C3 fixes, mais peut plus généralement être mis en oeuvre avec au moins deux dispositifs de capture d'images C1, C2 fixes. Il est également envisageable dans le cadre de l'invention, d'utiliser un unique dispositif de capture d'images mobile, chaque capture d'image correspondant à une orientation différente et/ou position différente du 5 dispositif de capture d'images C1, C2, C3 mobile. Dans la variante particulière de réalisation qui été décrite, la fréquence de capture F est égale à la fréquence de capture des dispositifs de capture d'images C1, C2, C3. Dans une autre variante, la fréquence de capture F peut être inférieure à la fréquence de capture des dispositifs de 10 capture d'images C1, C2, C3, les moyens électroniques de traitement 10 ne traitant par exemple qu'une image sur m images ( rri2) délivrées par chaque capteur, ce qui correspond à une fréquence des opérations de capture successives plus faible que la fréquence des images délivrés par les des dispositifs de capture d'images C1, C2, C3.
15 L'invention n'est pas limitée à la construction d'images panoramiques, mais peut également s'appliquer à la construction d'images stéréoscopiques.

Claims (17)

  1. REVENDICATIONS1. Procédé de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques d'une scène, caractérisé en ce qu'on réalise, au moyen d'au moins un dispositif de capture d'images (Ci), plusieurs opérations successives de capture d'au moins deux images différentes de la scène, sous la forme de pixels, avec ou sans chevauchement entre les images, les opérations successives de capture étant cadencées à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, en ce que pour chaque opération de capture, (a) on traite numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) on génère, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée, et en ce que le traitement numérique (a) de chaque pixel de chaque image capturée consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
  2. 2. Procédé selon la revendication 1, dans lequel les images finales panoramiques ou stéréoscopiques successives sont générées avec la même fréquence que la fréquence de capture (F).
  3. 3. Procédé selon l'une quelconque des revendications 1 ou 2, dans lequel la durée de capture (T) est inférieure ou égale à 1s, et de préférence inférieure ou égale à 100ms.
  4. 4. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel on génère successivement chaque image finalepanoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives.
  5. 5. Procédé selon la revendication 4, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t).
  6. 6. Procédé selon la revendication 4, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur.
  7. 7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel le traitement numérique de chaque pixel est réalisé de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus.
  8. 8. Procédé selon l'une quelconque des revendications 1 à 7, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.
  9. 9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel plusieurs pixels des images capturées sont traités en leur affectant chacun au moins une position dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération (W) non nul et strictement inférieur à 100%.
  10. 10. Procédé selon l'une quelconque des revendications 1 à 9, dans lequel on capture au moins deux images différentes de la scène au moyen d'au moins deux dispositifs de capture d'images (Ci, C2).
  11. 11 Procédé selon l'une quelconque des revendications 1 à 9, dans lequel on capture au moins trois images différentes de la scène au moyen d'au moins trois dispositifs de capture d'images (C1, C2, C3).
  12. 12. Procédé selon l'une quelconque des revendications 1 à 11, dans lequel le dispositif de capture d'images (Ci) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que chaque image finale panoramique ou stéréoscopique est délivrée sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H).
  13. 13. Procédé selon la revendication 12, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur).
  14. 14. Procédé selon la revendication 12, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur).
  15. 15. Procédé selon l'une quelconque des revendications précédentes dans lequel le traitement numérique des pixels d'une image capturée au moyen d'au moins un dispositif de capture d'images est effectué au moyen d'une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images, la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pour chaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale.
  16. 16. Dispositif de capture et de construction d'un flux d'images panoramiques ou stéréoscopiques, ledit dispositif comportant un ouplusieurs dispositifs de capture d'images (Ci), qui permettent la capture d'au moins deux images différentes sous la forme d'un ensemble de pixels, et des moyens électroniques de traitement (10) qui permettent de construire une image panoramique ou stéréoscopique à partir des images capturées, caractérisé en ce que les moyens électroniques de traitement (10) permettent, au moyen du ou desdits dispositifs de capture d'images, de réaliser plusieurs opérations successives de capture d'au moins deux images différentes d'une scène, sous la forme de pixels, avec ou sans chevauchement entre les images, et avec un cadencement des opérations successives de capture à une fréquence (F) qui définit une durée de capture (T) entre le début de deux opérations de captures successives, en ce que les moyens électroniques de traitement (10) sont aptes, pour chaque opération de capture, (a) à traiter numériquement les pixels de chaque image capturée en sorte de former une image finale panoramique ou stéréoscopique à partir desdits pixels avec une durée de traitement inférieure ou égale à ladite durée de capture (T), et (b) à générer, sur une durée inférieure ou égale à ladite durée de capture (T), une image finale panoramique ou stéréoscopique préalablement formée, et en ce que le traitement numérique de chaque pixel de chaque image par les moyens électroniques de traitement (10) consiste au moins à conserver ou à abandonner ledit pixel, et dans le cas où le pixel est conservé, à lui affecter une ou plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique avec un coefficient de pondération prédéfini (W) pour chaque position dans l'image finale panoramique ou stéréoscopique.
  17. 17. Dispositif selon la revendication 16, dans lequel les moyens électroniques de traitement (10) sont aptes à générer des images finales panoramiques ou stéréoscopiques successives avec la même fréquence que la fréquence de capture (F).18. Dispositif selon la revendication 16 ou 17, dans lequel la durée de capture (T) est inférieure à ou égale à 1s, et de préférence inférieure ou égale à 100ms. 19. Dispositif selon l'une quelconque des revendications 16 à 18, dans lequel les moyens électroniques de traitement sont conçus pour générer successivement chaque image finale panoramique ou stéréoscopique pendant chaque intervalle de temps (t) séparant le début de deux opérations de capture successives. 20. Dispositif selon la revendication 19, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours de ce même intervalle de temps (t). 21. Dispositif selon la revendication 19, dans lequel l'image finale panoramique ou stéréoscopique générée au cours d'un intervalle de temps (t) séparant le début de deux opérations de capture successives est issue du traitement numérique des pixels réalisé au cours d'un intervalle de temps (t) antérieur. 22. Dispositif selon l'une quelconque des revendications 16 à 21, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter chaque pixel de telle sorte qu'une partie au moins des pixels des images capturées est mappée dans l'image finale panoramique ou stéréoscopique en ayant subi une projection en deux dimensions qui est différente de la projection en deux dimensions de ces mêmes pixels dans l'image du dispositif de capture d'images dont ils sont issus. 23. Dispositif selon l'une quelconque des revendications 16 à 22, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun plusieurs positions différentes dans l'image finale panoramique ou stéréoscopique.24. Dispositif selon l'une quelconque des revendications 16 à 23, dans lequel les moyens électroniques de traitement (10) sont conçus pour traiter plusieurs pixels des images capturées en leur affectant chacun au moins une position dans l'image finale avec un coefficient de pondération (W) non nul et strictement inférieur à 100%. 25. Dispositif selon l'une quelconque des revendications 16 à 24, comportant au moins deux dispositifs de capture d'images (Ci, C2). 26. Dispositif selon l'une quelconque des revendications 16 à 24, comportant au moins trois dispositifs de capture d'images (C1, C2, C3). 27. Dispositif selon l'une quelconque des revendications 16 à 25, dans lequel chaque dispositif de capture d'images (Ci) est conçu pour délivrer en sortie pour chaque image capturée un flux de pixels synchronisé au moins par un premier signal horloge (H_capteur), et en ce que les moyens électroniques de traitement sont aptes à délivrer chaque image finale panoramique ou stéréoscopique sous la forme d'un flux de pixels synchronisé au moins par un deuxième signal horloge (H). 28. Dispositif selon la revendication 27, dans lequel le deuxième signal horloge (H) est asynchrone par rapport à chaque premier signal horloge (H_capteur). 29. Procédé selon la revendication 27, dans lequel le deuxième signal horloge (H) est synchrone avec le ou les premiers signaux horloge (H_capteur). 30. Dispositif selon l'une quelconque des revendications 16 à 29, dans lequel les moyens électroniques de traitement (10) comportent une table de correspondance préenregistrée codant, pour chaque pixel d'une image capturée au moyen d'au moins un dispositif de capture d'images (Ci), la ou les positions correspondantes de ce pixel dans l'image panoramique ou stéréoscopique finale, et codant pourchaque position ce pixel dans l'image panoramique ou stéréoscopique finale, le poids (W) de ce pixel dans l'image panoramique ou stéréoscopique finale. 31. Dispositif selon l'une quelconque des revendications 16 à 30 caractérisé en ce qu'il est portatif.
FR1260880A 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques Expired - Fee Related FR2998126B1 (fr)

Priority Applications (20)

Application Number Priority Date Filing Date Title
FR1260880A FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
CN201380059682.7A CN104782114B (zh) 2012-11-15 2013-11-12 用于捕获与构造全景或立体图像流的方法与装置
KR1020157011354A KR20150084807A (ko) 2012-11-15 2013-11-12 파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치
JP2015542330A JP2016503618A (ja) 2012-11-15 2013-11-12 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
MX2015006121A MX355297B (es) 2012-11-15 2013-11-12 Procedimiento y dispositivo para capturar y convertir una corriente panoramica o estereoscopica de imagenes.
PCT/FR2013/052707 WO2014076402A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
CA2889811A CA2889811A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
AU2013346603A AU2013346603B2 (en) 2012-11-15 2013-11-12 Method and device for capturing and constructing a stream of panoramic or stereoscopic images
BR112015010788A BR112015010788A8 (pt) 2012-11-15 2013-11-12 processo de captura e de construção de um fluxo de imagens panorâmicas ou estereoscópicas de uma cena e dispositivo de captura e de construção de um fluxo de imagens panorâmicas ou estereoscópicas
US14/443,097 US20150288864A1 (en) 2012-11-15 2013-11-12 Process and device for capturing and rendering a panoramic or stereoscopic stream of images
EP13808073.4A EP2920956A1 (fr) 2012-11-15 2013-11-12 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
TW102141393A TWI612495B (zh) 2012-11-15 2013-11-14 用於擷取與呈顯全景或立體影像串流之方法與裝置
TW106135936A TW201804432A (zh) 2012-11-15 2013-11-14 用於擷取與呈顯全景或立體影像串流之方法與裝置
FR1460844A FR3012000B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1460848A FR3011968B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'au moins une image panoramique ou stereoscopique
FR1460846A FR3012001B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
IL238622A IL238622A0 (en) 2012-11-15 2015-05-04 Process and apparatus for capturing and processing a panoramic or stereoscopic stream of images
IN3812DEN2015 IN2015DN03812A (fr) 2012-11-15 2015-05-05
HK16100452.3A HK1212835A1 (zh) 2012-11-15 2016-01-15 用於捕獲與構造全景或立體圖像流的方法與裝置
JP2018180078A JP2019041389A (ja) 2012-11-15 2018-09-26 パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1260880A FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques

Publications (2)

Publication Number Publication Date
FR2998126A1 true FR2998126A1 (fr) 2014-05-16
FR2998126B1 FR2998126B1 (fr) 2014-12-26

Family

ID=47754666

Family Applications (4)

Application Number Title Priority Date Filing Date
FR1260880A Expired - Fee Related FR2998126B1 (fr) 2012-11-15 2012-11-15 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1460846A Expired - Fee Related FR3012001B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1460844A Expired - Fee Related FR3012000B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1460848A Expired - Fee Related FR3011968B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'au moins une image panoramique ou stereoscopique

Family Applications After (3)

Application Number Title Priority Date Filing Date
FR1460846A Expired - Fee Related FR3012001B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1460844A Expired - Fee Related FR3012000B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
FR1460848A Expired - Fee Related FR3011968B1 (fr) 2012-11-15 2014-11-10 Procede et dispositif de capture et de construction d'au moins une image panoramique ou stereoscopique

Country Status (15)

Country Link
US (1) US20150288864A1 (fr)
EP (1) EP2920956A1 (fr)
JP (2) JP2016503618A (fr)
KR (1) KR20150084807A (fr)
CN (1) CN104782114B (fr)
AU (1) AU2013346603B2 (fr)
BR (1) BR112015010788A8 (fr)
CA (1) CA2889811A1 (fr)
FR (4) FR2998126B1 (fr)
HK (1) HK1212835A1 (fr)
IL (1) IL238622A0 (fr)
IN (1) IN2015DN03812A (fr)
MX (1) MX355297B (fr)
TW (2) TWI612495B (fr)
WO (1) WO2014076402A1 (fr)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190780A1 (fr) * 2016-01-05 2017-07-12 Giroptic Caméra sphérique à deux lentilles
US10943340B2 (en) 2016-04-18 2021-03-09 Avago Technologies International Sales Pte. Limited Blending images
EP3249929A1 (fr) * 2016-05-25 2017-11-29 Thomson Licensing Procédé et équipement de réseau permettant d'établir un manifeste
US20180018807A1 (en) * 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
KR101925011B1 (ko) * 2017-03-14 2019-02-27 한국과학기술원 워터마크 삽입/검출 방법 및 장치
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
TWI642301B (zh) * 2017-11-07 2018-11-21 宏碁股份有限公司 影像處理方法與電子系統
KR102620783B1 (ko) * 2019-03-10 2024-01-04 구글 엘엘씨 베이스볼 스티치를 갖는 360도 광각 카메라
KR102294071B1 (ko) * 2020-07-21 2021-08-26 금오공과대학교 산학협력단 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법
KR102555534B1 (ko) * 2021-06-28 2023-07-17 한국과학기술원 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
JP4499319B2 (ja) * 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
US20030135675A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Configurable synchronous or asynchronous bus interface
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP2004159014A (ja) * 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
TWI269648B (en) * 2004-03-09 2007-01-01 Chuin-Mu Wang Method and system for examining fitness by photography
ES2633742T3 (es) 2007-03-16 2017-09-25 L-3 Communications Corporation Sistema para procesamiento de imagen panorámica
CN201118859Y (zh) * 2007-07-27 2008-09-17 浙江大学 单体式实时全景无缝无失真视频摄像机
CN101119482B (zh) * 2007-09-28 2011-07-20 北京智安邦科技有限公司 一种全景监控方法及设备
JP5337170B2 (ja) * 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP4555399B2 (ja) 2008-07-04 2010-09-29 清正工業株式会社 医療廃棄物処理装置
JP2010252015A (ja) * 2009-04-15 2010-11-04 Panasonic Corp 画像合成装置、画像合成方法およびプログラム
TWI379245B (en) * 2009-04-27 2012-12-11 Asustek Comp Inc Method for continuously outputting character by video-recording
WO2011037964A1 (fr) 2009-09-22 2011-03-31 Tenebraex Corporation Systèmes et procédés de correction d'image dans un système multicapteur
JP2011119974A (ja) * 2009-12-03 2011-06-16 Sony Corp パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム
FR2964757B1 (fr) 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及***、移动终端
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130321573A1 (en) * 2012-05-30 2013-12-05 Texas Instruments Incorporated Identification and display of time coincident views in video imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SZELISKI RICHARD: "image Alignment and Stitching: A tutorial", INTERNET CITATION, October 2004 (2004-10-01), XP002477627, Retrieved from the Internet <URL:http://robots.stanford.edu/cs223b05/MSR-TR-2004-92-Jan26.pdf> [retrieved on 20080422] *

Also Published As

Publication number Publication date
FR2998126B1 (fr) 2014-12-26
FR3012001A1 (fr) 2015-04-17
TW201435792A (zh) 2014-09-16
CA2889811A1 (fr) 2014-05-22
FR3011968B1 (fr) 2016-05-06
HK1212835A1 (zh) 2016-06-17
FR3011968A1 (fr) 2015-04-17
CN104782114B (zh) 2019-05-07
FR3012000A1 (fr) 2015-04-17
TW201804432A (zh) 2018-02-01
AU2013346603B2 (en) 2017-09-07
IN2015DN03812A (fr) 2015-10-02
MX2015006121A (es) 2015-08-06
BR112015010788A8 (pt) 2019-10-01
US20150288864A1 (en) 2015-10-08
IL238622A0 (en) 2015-06-30
MX355297B (es) 2018-04-12
WO2014076402A1 (fr) 2014-05-22
JP2016503618A (ja) 2016-02-04
JP2019041389A (ja) 2019-03-14
FR3012001B1 (fr) 2016-05-06
AU2013346603A1 (en) 2015-05-14
BR112015010788A2 (pt) 2017-07-11
FR3012000B1 (fr) 2016-05-06
KR20150084807A (ko) 2015-07-22
EP2920956A1 (fr) 2015-09-23
CN104782114A (zh) 2015-07-15
TWI612495B (zh) 2018-01-21

Similar Documents

Publication Publication Date Title
FR2998126A1 (fr) Procede et dispositif de capture et de construction d&#39;un flux d&#39;images panoramiques ou stereoscopiques
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
CA2834883C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d&#39;une image numerique en couleurs
EP3057317B1 (fr) Caméra plénoptique
CN111741281B (zh) 图像处理方法、终端及存储介质
FR2882160A1 (fr) Procede de capture d&#39;images comprenant une mesure de mouvements locaux
TW201019721A (en) Image capture using separate luminance and chrominance sensors
WO2003007238A1 (fr) Procede et systeme pour calculer une image transformee a partir d&#39;une image numerique
FR2523390A1 (fr) Appareil de masquage d&#39;informations d&#39;image
WO2011010040A1 (fr) Procede d&#39;estimation d&#39;un defaut d&#39;un systeme de capture d&#39;images et systemes associes
EP2160904A2 (fr) Capteur d&#39;images numeriques, procede d&#39;acquisition et de reconstruction d&#39;images, et systeme de mise en uvre
FR3027144A1 (fr) Procede et dispositif de determination de mouvement entre des images video successives
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
EP3479561B1 (fr) Caméra plénoptique avec une résolution plus élevée utilisant une couche biréfringente contrôlable
US10931936B2 (en) Plenoptic sub aperture view shuffling for a richer color sampling
TWI504936B (zh) 影像處理裝置
FR2968108A1 (fr) Procede de reduction de la taille d’une image stereoscopique
WO2011033186A1 (fr) Procédé de numérisation tridimensionnelle d&#39;une surface comprenant la projection d&#39;un motif combiné
WO2017149248A1 (fr) Appareil de prise de vue stereoscopique
Seifi et al. On plenoptic sub-aperture view recovery
Hwang et al. Perspective view reconstruction of partially occluded objects by using computational integral imaging
WO2008142235A1 (fr) Procede de traitement d&#39;image pour la synthese d&#39;image autostereoscopique
FR2950139A1 (fr) Procede de numerisation tridimensionnelle comprenant l&#39;acquisition d&#39;un quadruplet d&#39;images stereoscopique

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

TP Transmission of property

Owner name: AVINCEL GROUP INC, US

Effective date: 20210106

PLFP Fee payment

Year of fee payment: 10

ST Notification of lapse

Effective date: 20230705