FR2962871A3 - Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made - Google Patents
Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made Download PDFInfo
- Publication number
- FR2962871A3 FR2962871A3 FR1002969A FR1002969A FR2962871A3 FR 2962871 A3 FR2962871 A3 FR 2962871A3 FR 1002969 A FR1002969 A FR 1002969A FR 1002969 A FR1002969 A FR 1002969A FR 2962871 A3 FR2962871 A3 FR 2962871A3
- Authority
- FR
- France
- Prior art keywords
- image
- acquisition device
- image acquisition
- target
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000009432 framing Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
Acquisition d'image par synthèse progressive Domaine technique La présente invention concerne un dispositif d'acquisition d'images permettant 5 d'obtenir une ou plusieurs images dites "image(s) finale(s)" en faisant une synthèse progressive d'images multiples dites "images primaires" acquises successivement. Le problème à résoudre est d'acquérir une image dite finale aussi nette que possible, même dans des conditions difficiles (par exemple lorsque l'on utilise à la main un appareil photo muni d'un téléobjectif ou lorsque l'on souhaite balayer une 10 partie du panorama plus grande que celle qui peut être saisie d'un seul coup par l'objectif). Le dispositif objet de la présente invention peut aussi remplacer une longue-vue, ou des jumelles de grande qualité, tout en n'utilisant que des composants bon marché et sans qu'il soit nécessaire de stabiliser mécaniquement le dispositif de prise de vue. 15 Art antérieur On connaît de nombreux dispositifs de stabilisation mécanique qui visent à réduire le mouvement du dispositif d'acquisition d'images ou de certains de ses constituants. On connait aussi de nombreuses méthodes de stabilisation numérique d'images, et en particulier celles qui consistent à corriger le cadrage des images 20 d'un film pour limiter les différences d'angle de prise de vue ou de cadrage d'une image à la suivante. On connait aussi de nombreux systèmes de vidéo surveillance qui savent poursuivre un objet mouvant comme une personne ou un véhicule. De tels systèmes peuvent utiliser soit une caméra mobile, soit une caméra fixe à haute définition. On ne 25 conserve qu'une partie de l'image acquise afin de la centrer sur l'objet surveillé. De tels dispositifs sont aussi utilisés pour le cadrage automatique, par exemple pour la vidéo conférence. Avec tous ces dispositifs, l'opérateur - s'il n'est pas remplacé par un robot - voit en temps réel dans son viseur, ou dans l'écran de contrôle qui sert de viseur, l'image 30 vue à travers l'objectif, au besoin recadrée pour représenter la cible visée de façon stabilisée. 1 Exposé de l'invention La présente invention fonctionne de façon tout à fait différente. L'opérateur détermine la partie principale 11 de l'image dite "image finale" 10 qu'il souhaite acquérir. Cette partie principale 11 est dite "cible". L'image finale 10 se construit progressivement par des étapes qui correspondent à autant d'acquisitions successives d'images dites "primaires" 101, 102 et suivantes. Chaque fois que l'objectif 1 du dispositif vise tout ou partie de la cible 11, la partie de l'image dont l'acquisition est recherchée est ajoutée à l'image finale 10. Dans une version préférée, le dispositif comporte un moyen de rechercher à travers toutes lesdites images primaires les meilleurs pixels, ceux qui sont les plus nets, pour ne conserver qu'eux dans la constitution de ladite image finale. Dans une version perfectionnée, l'objectif et/ou le capteur du dispositif sont mobiles pour s'orienter automatiquement au plus près de l'axe dans lequel se trouve la cible, et donc pour corriger la mauvaise position donnée au dispositif par l'opérateur. TECHNICAL FIELD The present invention relates to an image acquisition device for obtaining one or more images called "final image (s)" by making a progressive synthesis of multiple images. say "primary images" acquired successively. The problem to be solved is to acquire a so-called final image as sharp as possible, even in difficult conditions (for example when using a camera with a telephoto lens or when you want to scan a camera. part of the panorama larger than that which can be grasped at once by the lens). The device of the present invention can also replace a spotting scope, or binoculars of high quality, while using only inexpensive components and without the need to mechanically stabilize the camera. PRIOR ART Numerous mechanical stabilization devices are known which aim at reducing the movement of the image acquisition device or of certain of its constituents. Numerous methods of digital image stabilization are also known, and in particular those which consist in correcting the framing of the images of a film in order to limit the differences in angle of view or framing of an image with the image. next. There are also many video surveillance systems that know how to track a moving object like a person or a vehicle. Such systems can use either a mobile camera or a high definition fixed camera. Only part of the acquired image is retained in order to center it on the object being monitored. Such devices are also used for automatic framing, for example for video conferencing. With all these devices, the operator - if not replaced by a robot - sees in real time in his viewfinder, or in the control screen that serves as a viewfinder, the image 30 seen through the objective, if necessary cropped to represent the targeted target in a stabilized way. SUMMARY OF THE INVENTION The present invention operates quite differently. The operator determines the main part 11 of the so-called "final image" image 10 that he wishes to acquire. This main part 11 is called "target". The final image 10 is progressively built up by steps that correspond to as many successive acquisitions of so-called "primary" images 101, 102 and following. Whenever the objective 1 of the device targets all or part of the target 11, the part of the image whose acquisition is sought is added to the final image 10. In a preferred version, the device comprises a means of search through all said primary images the best pixels, those which are the most clear, to keep only them in the constitution of said final image. In an improved version, the objective and / or the sensor of the device are movable to automatically orient closer to the axis in which the target is located, and thus to correct the wrong position given to the device by the operator .
Ce que l'opérateur voit dans son viseur ne correspond pas directement aux mouvements du dispositif et peut même être très différent. L'objectif poursuivi par la présente invention est que l'image vue dans le viseur soit la plus stable possible, et aussi la plus nette possible, même lorsque l'objectif 1 du dispositif est orienté dans une autre direction que celle de la cible 11. La résolution l'image finale 10 peut même être supérieure à celle du capteur 2 du dispositif. La présente invention est un dispositif d'acquisition d'image d'une image 10 dite "image finale", comportant : - un objectif photographique 1 dit "objectif" - un moyen d'acquisition 2 dit "capteur" d'images 101, 102 et suivantes dites 25 "images primaires", vues à travers ledit objectif 1, - un moyen 3 de détermination d'une partie du panorama dite "cible 11", dit "moyen de détermination de la cible" - un écran de contrôle ou viseur électronique dit "écran" 4 affichant tout ou partie des images primaires 101, 102 et suivantes, - un moyen d'analyse desdites images primaires 101, 102 et suivantes permettant : o de comparer deux desdites images primaires 101, 102 et suivantes entre elles, o et d'identifier la présence éventuelle de la cible 11 et le cas échéant sa position dans une image primaire 100, caractérisé par le fait : - que lesdites images primaires 101, 102 et suivantes sont positionnées sur ledit écran 4 de contrôle de telle sorte que les parties sensiblement identiques des images primaires 101, 102 et suivantes sont placées sensiblement aux mêmes emplacements dudit écran 4, et en particulier que ladite cible 11 est sensiblement immobile par rapport audit écran 4, - et que ladite cible 11 est déterminée par l'analyse de la position de l'axe de visée dudit dispositif d'acquisition d'image pendant une période déterminée, étant précisé que l'on entend ci-avant : - par "panorama" l'ensemble des éléments du paysage susceptibles d'être vus depuis ledit dispositif d'acquisition, - et par "axe de visée dudit dispositif d'acquisition d'image" l'axe optique dudit objectif 1 lorsqu'aucune correction n'est apportée à sa position par rapport audit dispositif d'acquisition. La présente invention est aussi le procédé décrit comme celui mis en oeuvre par le présent dispositif, dans ses différentes versions décrites. Description sommaire des dessins L'invention sera bien comprise, et d'autres buts, avantages et caractéristiques de 25 celle-ci apparaîtront plus clairement à la lecture de la description qui va suivre, laquelle est illustrée par les figures 1 et 2 annexées. La figure 1 est une vue en perspective d'un dispositif selon l'invention selon un premier mode de mise en oeuvre de l'invention. Elle permet de voir l'objectif 1 et l'écran de contrôle 4 qui sert de viseur. Le moyen 3 de détermination de la cible est 30 constitué par le dispositif de pointage 3 qui est affiché sur l'écran 4, lequel est ici tactile. Ce dispositif de pointage et permet de modifier la position sur l'écran 4 du symbole 12 de représentation de la cible 11. Un curseur 6 permet de déterminer le cadrage 13 de ladite image finale 10, ce cadrage étant représenté par le symbole 14. La dernière image acquise par le dispositif est entourée par un rectangle 15 qui permet d'identifier sa position par rapport à celle du cadrage 13 de ladite image finale 10. La figure 2 est un schéma décrivant ce qui apparaît sur l'écran 4 dans un second mode de mise en oeuvre de l'invention, plus simple et donc plus ergonomique, mais aussi performant. Le cadrage 13 de l'image final est confondu avec le périmètre de l'écran 4. Le rectangle 15 identifie la position de l'image ci après dénommée "image visée", qui est l'image qui serait acquise par le dispositif selon l'axe de visée dudit dispositif d'acquisition d'image et le coefficient de zoom utilisé. Le curseur 6 permet de déterminer la surface sur l'écran 4 de ladite image visée du cadrage 13 par rapport à celle de l'image finale et donc de l'écran 4. La partie hachurée indique la partie de l'image finale qui n'a pas encore été acquise par le dispositif. What the operator sees in his viewfinder does not correspond directly to the movements of the device and may even be very different. The objective of the present invention is that the image seen in the viewfinder is as stable as possible, and as clear as possible, even when the objective 1 of the device is oriented in a direction other than that of the target 11 The resolution of the final image 10 may even be greater than that of the sensor 2 of the device. The present invention is an image acquisition device of a so-called "final image" image, comprising: a photographic lens 1 called "objective" - a means of acquisition 2 called "sensor" of images 101, 102 and following so-called "primary images", seen through said lens 1, - means 3 for determining a portion of the so-called "target 11" panorama, called "means of determining the target" - a control screen or electronic viewfinder said "screen" 4 displaying all or part of the primary images 101, 102 and following, - a means for analyzing said primary images 101, 102 and following to: o compare two of said primary images 101, 102 and following them , o and to identify the possible presence of the target 11 and, if appropriate, its position in a primary image 100, characterized by the fact that: - said primary images 101, 102 and following are positioned on said control screen 4 of such so that the parts substantially i identical to the primary images 101, 102 and following are placed substantially at the same locations of said screen 4, and in particular that said target 11 is substantially immobile with respect to said screen 4, and that said target 11 is determined by the analysis of the position of the axis of view of said image acquisition device for a given period, it being specified that it is understood above: - by "panorama" all the elements of the landscape likely to be seen from said device acquisition, - and "axis of view of said image acquisition device" the optical axis of said lens 1 when no correction is made to its position with respect to said acquisition device. The present invention is also the method described as that implemented by the present device, in its various versions described. BRIEF DESCRIPTION OF THE DRAWINGS The invention will be well understood, and other objects, advantages and features thereof will become more apparent upon reading the following description, which is illustrated by the accompanying Figures 1 and 2. Figure 1 is a perspective view of a device according to the invention according to a first embodiment of the invention. It allows to see the objective 1 and the control screen 4 which serves as a viewfinder. The means 3 for determining the target is constituted by the pointing device 3 which is displayed on the screen 4, which is here tactile. This pointing device makes it possible to modify the position on the screen 4 of the representation symbol 12 of the target 11. A slider 6 makes it possible to determine the framing 13 of said final image 10, this framing being represented by the symbol 14. last image acquired by the device is surrounded by a rectangle 15 which identifies its position relative to that of the frame 13 of said final image 10. Figure 2 is a diagram describing what appears on the screen 4 in a second mode of implementation of the invention, simpler and therefore more ergonomic, but also powerful. The framing 13 of the final image coincides with the perimeter of the screen 4. The rectangle 15 identifies the position of the image hereinafter referred to as "target image", which is the image that would be acquired by the device according to FIG. the axis of view of said image acquisition device and the zoom coefficient used. The cursor 6 makes it possible to determine the surface on the screen 4 of said target image of the frame 13 with respect to that of the final image and thus of the screen 4. The hatched part indicates the part of the final image which has not yet been acquired by the device.
Description détaillée de modes particuliers de réalisation de l'invention La méthode mise en oeuvre par le dispositif selon l'invention comporte une analyse des images primaires 101, 102 et suivantes avant leur affichage sur l'écran 4, de façon à - si nécessaire - les déplacer, les recadrer, modifier leur orientation par rapport à la verticale, les agrandir ou les rétrécir. DETAILED DESCRIPTION OF PARTICULAR EMBODIMENTS OF THE INVENTION The method implemented by the device according to the invention comprises an analysis of the primary images 101, 102 and following before their display on the screen 4, so as - if necessary - move them, crop them, change their orientation relative to the vertical, enlarge or shrink them.
Le but principal recherché lors de cette analyse est de pouvoir superposer deux images primaires 101 et 102 le plus exactement possible, malgré le mouvement possible du dispositif d'acquisition dans l'espace entre les deux prises de vues correspondantes. Chaque image acquise est déplacée sur l'écran 4 en fonction du vecteur du déplacement de la caméra entre deux images successives. The main goal sought during this analysis is to superimpose two primary images 101 and 102 as accurately as possible, despite the possible movement of the acquisition device in the space between the two corresponding shots. Each acquired image is moved on the screen 4 according to the vector of the displacement of the camera between two successive images.
Le vecteur du déplacement de la caméra entre deux images primaires successives peut être déduit de l'analyse comparative des images acquises successivement. Il peut aussi être calculé à partir des informations fournies par un moyen connu de mesure du mouvement du dispositif d'acquisition d'image ou de l'un de ses composants comme l'objectif 1 ou le capteur 2. De tels dispositifs de mesure du mouvement peuvent comporter un gyroscope et/ou une boussole et/ou un accéléromètre. Un dispositif d'acquisition d'image selon l'invention comporte ainsi avantageusement un moyen connu de mesure du mouvement d'un au moins un des composants du dispositif d'acquisition d'image. Les deux méthodes de calcul du vecteur de déplacement de la caméra entre deux images successives décrites au paragraphe précédent - l'analyse comparative des images et la mesure du mouvement d'un composant du dispositif d'acquisition d'images - sont avantageusement combinées pour améliorer la précision de calcul dudit vecteur. On peut par exemple prendre en compte la moyenne, pondérée ou non, du résultat obtenu par chacune des deux méthodes. Cette analyse permet aussi de supprimer les images de mauvaise qualité, par exemple celles rendues floues par le mouvement du dispositif. Une bonne façon de savoir si une image est floue est de comparer les caractéristiques (luminosité et couleur) d'un de ses pixels avec celles des pixels voisins. Plus l'image est nette, plus la différence est importante. On peut ainsi comparer plusieurs images primaires comportant la même partie du panorama pour savoir quelle est la plus nette. The vector of the displacement of the camera between two successive primary images can be deduced from the comparative analysis of the images acquired successively. It can also be calculated from the information provided by a known means of measuring the movement of the image acquisition device or one of its components such as lens 1 or sensor 2. Such measuring devices of movement may comprise a gyroscope and / or a compass and / or an accelerometer. An image acquisition device according to the invention thus advantageously comprises a known means for measuring the movement of at least one of the components of the image acquisition device. The two methods of calculating the vector for moving the camera between two successive images described in the preceding paragraph - the comparative analysis of the images and the measurement of the movement of a component of the image acquisition device - are advantageously combined to improve the calculation precision of said vector. One can for example take into account the average, weighted or not, of the result obtained by each of the two methods. This analysis also makes it possible to suppress poor quality images, for example those rendered fuzzy by the movement of the device. A good way to know if an image is blurred is to compare the characteristics (brightness and color) of one of its pixels with those of neighboring pixels. The clearer the image, the more important the difference. We can compare several primary images with the same part of the panorama to see which is the clearest.
Les images de la meilleure qualité peuvent aussi être sélectionnées en mesurant la vitesse du déplacement du dispositif avec ledit moyen de mesure du mouvement d'un composant du dispositif d'acquisition d'images, pour ne retenir dans la composition de l'image finale que celles qui ont été acquises lorsque le dispositif avait un mouvement faible. The images of the best quality can also be selected by measuring the speed of movement of the device with said means for measuring the movement of a component of the image acquisition device, to retain in the composition of the final image that those that were acquired when the device had a weak movement.
Le calcul de la moyenne entre deux pixels correspondant au même emplacement de ladite image finale dans plusieurs images dites primaires permet aussi d'identifier et de supprimer le bruit des images acquises par le capteur 2. On peut aussi profiter de cette analyse pour corriger lesdites images primaires avec l'un des nombreux logiciels de correction ou d'amélioration d'image connus. Calculating the average between two pixels corresponding to the same location of said final image in several so-called primary images also makes it possible to identify and eliminate the noise of the images acquired by the sensor 2. It is also possible to take advantage of this analysis to correct said images. with one of the many known image correction or enhancement software.
Dans un mode de mise en oeuvre basique, ledit écran 4 de contrôle affiche un empilement des images prises successivement, la dernière image 109 cachant tout ou partie des précédentes. L'image finale 10 apparait ainsi sous la forme de la combinaison de parties d'images primaires 101, 102 et suivantes. Avantageusement, cette dernière image est entourée d'un cadre coloré 15 visible sur l'écran 4, pour inciter l'opérateur à centrer ce cadre coloré 15 autour de la cible 11, en modifiant l'orientation du dispositif d'acquisition. In a basic embodiment, said control screen 4 displays a stack of images taken successively, the last image 109 hiding all or part of the previous ones. The final image 10 thus appears in the form of the combination of primary image portions 101, 102 and following. Advantageously, the latter image is surrounded by a colored frame 15 visible on the screen 4, to encourage the operator to center the colored frame 15 around the target 11, by changing the orientation of the acquisition device.
Le dispositif selon l'invention peut être utilisé en temps réel et/ou comporter un moyen d'enregistrement des images primaires 101, 102 et suivantes, et/ou de l'image finale 10 et/ou de l'ensemble des images affichées successivement sur l'écran 4. The device according to the invention can be used in real time and / or comprise means for recording the primary images 101, 102 and following, and / or the final image 10 and / or all the images displayed successively. on the screen 4.
Une procédure d'utilisation du dispositif peut comporter la saisie successive de plusieurs images dites finales pour constituer un film. Dans ce cas, il est recommandé d'acquérir lesdites images primaires à un rythme plus rapide que le rythme prévu pour la diffusion du film. Cela permet d'utiliser plusieurs images primaires pour réaliser une desdites images finales. Il est également recommandé d'utiliser un capteur d'une surface en pixels supérieure à la surface en pixels du format de sortie vidéo, pour pouvoir recadrer sans dommage lesdites images primaires. Une étape essentielle est la détermination de la cible 11. Dans un premier mode de mise en oeuvre de l'invention, ledit moyen 3 de détermination de la cible 11 est un dispositif de pointage connu, comme par exemple une souris, un pavé tactile, une manette de jeu, mais on préfère utiliser comme écran 4 un écran tactile sur lequel il suffit de faire figurer un ensemble 3 de flèches permettant de modifier la position de la cible avec le doigt, comme cela est représenté à la figure 1. Dans une version automatisée, ladite cible 11 est déterminée par la position moyenne de l'axe de visée dudit dispositif d'acquisition d'image au cours de la dernière période. Cette position moyenne est avantageusement pondérée pour que les positions les plus récentes du dispositif aient plus d'influence que des positions plus anciennes. Cette position moyenne peut être calculée en utilisant un moyen connu de mesure du mouvement d'un au moins un des composants du dispositif d'acquisition d'image, ce qui est une raison supplémentaire pour doter le dispositif d'acquisition d'un tel moyen. On entend ci-après par "image visée" l'image vue par le capteur 2 à travers l'objectif 1 lorsqu'aucune correction n'est apportée au capteur 2 ou à l'objectif 1. On verra plus loin que dans une version perfectionnée, une telle correction est possible. A procedure for using the device may comprise the successive capture of several so-called final images to constitute a film. In this case, it is recommended to acquire said primary images at a faster rate than the rate expected for the diffusion of the film. This makes it possible to use several primary images to produce one of said final images. It is also recommended to use a sensor with a surface in pixels greater than the area in pixels of the video output format, in order to be able to crop these primary images without damage. An essential step is the determination of the target 11. In a first embodiment of the invention, said means 3 for determining the target 11 is a known pointing device, such as a mouse, a touchpad, a joystick, but it is preferred to use as a screen 4 a touch screen on which it is sufficient to include a set of arrows 3 for changing the position of the target with the finger, as shown in Figure 1. In a automated version, said target 11 is determined by the average position of the axis of view of said image acquisition device during the last period. This average position is advantageously weighted so that the most recent positions of the device have more influence than older positions. This average position can be calculated using a known means for measuring the movement of at least one of the components of the image acquisition device, which is an additional reason for providing the acquisition device with such a means. . Hereinafter referred to as "target image" the image seen by the sensor 2 through the lens 1 when no correction is made to the sensor 2 or the objective 1. We will see later than in a version perfected, such a correction is possible.
Avantageusement, ladite cible 11 est centrée sur le barycentre pondéré de tout ou partie des pixels desdites images visées par le dispositif depuis une période déterminée, étant précisé que l'on entend ci-avant par "barycentre pondéré" le barycentre de tous les pixels de l'ensemble desdites images visées considérées, chaque pixel de chaque image étant affecté d'une masse déterminée en fonction d'un paramètre quelconque. Ce paramètre peut être librement choisi par l'utilisateur. Un pixel provenant d'une image primaire 100 plus récente peut par exemple être affecté d'une masse supérieure. La cible 11 est ainsi déterminée automatiquement sans intervention de l'utilisateur, et il suffit que cet opérateur modifie brièvement l'orientation du dispositif dans une direction choisie pour déplacer légèrement la cible 11 dans cette direction. La cible 11 peut ainsi être modifiée automatiquement pendant la prise de vue, mais son déplacement est amorti par rapport à celui du dispositif d'acquisition. Il existe des logiciels permettant de détecter et même de reconnaître des visages. Les pixels d'une image visée représentant un visage peuvent par exemple être affectés d'une masse supérieure. Le fait de viser un certain temps ce visage peut aussi suffire à le déterminer comme étant une partie significativement importante de la cible 11. Avantageusement, ladite cible 11 est indiquée par un symbole 12 en surimpression de l'image affichée par ledit écran 4. Dans le cas où on utilise comme écran 4 un écran tactile, l'opérateur peut déplacer ce symbole 12 avec le doigt pour déplacer la cible. Le symbole 12 de la cible 11 peut être un cercle de couleur autour de la cible 11 comme représenté à la figure 1. On peut aussi utiliser une couleur ou une luminosité différente pour permettre à l'opérateur de repérer facilement l'emplacement de la cible qu'il doit s'efforcer de viser. Advantageously, said target 11 is centered on the weighted barycentre of all or part of the pixels of said images targeted by the device for a given period, it being specified that the term "weighted barycentre" above means the center of gravity of all the pixels of all of said target images considered, each pixel of each image being assigned a mass determined according to any parameter. This parameter can be freely chosen by the user. For example, a pixel from a newer primary image 100 may be assigned a higher mass. The target 11 is thus automatically determined without user intervention, and it is sufficient for this operator to modify briefly the orientation of the device in a direction chosen to slightly move the target 11 in this direction. The target 11 can thus be modified automatically during the shooting, but its displacement is damped compared to that of the acquisition device. There is software to detect and even recognize faces. The pixels of a target image representing a face may for example be assigned a higher mass. The fact of aiming for a certain time this face can also suffice to determine it as being a significant part of the target 11. Advantageously, said target 11 is indicated by a symbol 12 superimposed on the image displayed by said screen. the case where a touch screen is used as screen 4, the operator can move this symbol 12 with the finger to move the target. The symbol 12 of the target 11 may be a circle of color around the target 11 as shown in FIG. 1. It is also possible to use a different color or brightness to enable the operator to easily locate the target's location. that he must strive to aim.
Dans un mode perfectionné, le dispositif selon l'invention comporte un moyen de détermination du cadrage 13 de ladite image finale 10. Ce moyen de détermination du cadrage peut être un dispositif de pointage connu comme par exemple une souris, une zone tactile, ou une manette de jeu. Lorsque l'écran 4 comporte une surface tactile utilisée comme dispositif de pointage, on peut utiliser des moyens connus pour déterminer le cadrage avec un ou deux doigts. In an improved mode, the device according to the invention comprises a means for determining the framing 13 of said final image 10. This framing determining means may be a known pointing device such as a mouse, a touch zone, or a joystick. When the screen 4 has a touch surface used as pointing device, it is possible to use known means for determining the framing with one or two fingers.
Un symbole 14 dudit cadrage 13 peut être affiché en surimpression sur ledit écran 4. Le cadrage 13 peut par exemple être vu sur l'écran sous forme d'un encadrement 14 coloré. La partie du panorama n'appartenant pas au cadrage 13 peut être affichée de façon floue ou plus sombre. La partie centrale du cadrage 13 peut aussi être représentée sous une forme symbolique pour permettre la comparaison de sa position avec le symbole 12 de la cible 11. Il est possible de convenir que la cible est au centre du cadrage 13. Dans ce cas, le symbole 12 de la cible 11 et celui 14 du cadrage 13 peuvent représentés par un symbole unique. Ce symbole n'est pas obligatoirement un dessin apparaissant sur l'écran 4. Avantageusement, le cadrage 13 de ladite image finale 10 est confondu avec le périmètre de l'écran 4 comme représenté à la figure 2. L'appréciation par l'opérateur de l'écart entre l'axe de visée dudit dispositif d'acquisition d'image et la direction dans laquelle se trouve la cible 11 peut être l'affichage d'un élément graphique quelconque, comme par exemple un rectangle 15 qui donne une indication de la position de l'image qui serait acquise par le dispositif selon l'axe de visée dudit dispositif d'acquisition d'image. Ce rectangle peut par exemple être le périmètre de cette image. On peut aussi afficher avec une luminosité ou une couleur légèrement différente la partie de l'écran 4 correspondant à l'axe de visée du dispositif d'acquisition d'image, ou utiliser tout autre mode d'information par exemple visuel et/ou sonore sans sortir du cadre de la présente invention. Un perfectionnement de la présente invention consiste à ce que ledit écran 4 affiche d'une façon particulière les zones appartenant au cadrage 13 qui ne sont pas encore acquises de façon satisfaisante. Une partie saisie de façon floue peut par exemple être considérée comme saisie de façon non satisfaisante. Ces parties peuvent par exemple être colorées de façon particulière pour inciter l'opérateur à les viser pour éliminer cette coloration particulière. Cette méthode permet de faire des images panoramiques comportant beaucoup 30 plus de pixels que n'en comporte le capteur 2, par balayage d'une large partie d'un panorama avec un dispositif selon l'invention. A symbol 14 of said frame 13 may be superimposed on said screen 4. The frame 13 may for example be seen on the screen in the form of a colored frame 14. The part of the panorama that does not belong to the frame 13 can be displayed blurry or darker. The central portion of the frame 13 may also be represented in a symbolic form to allow comparison of its position with the symbol 12 of the target 11. It is possible to agree that the target is in the center of the frame 13. In this case, the symbol 12 of the target 11 and that 14 of the frame 13 may be represented by a single symbol. This symbol is not necessarily a drawing appearing on the screen 4. Advantageously, the framing 13 of said final image 10 coincides with the perimeter of the screen 4 as shown in FIG. 2. The assessment by the operator the difference between the axis of view of said image acquisition device and the direction in which the target 11 is located may be the display of any graphic element, such as for example a rectangle 15 which gives an indication the position of the image that would be acquired by the device along the line of sight of said image acquisition device. This rectangle may for example be the perimeter of this image. It is also possible to display with a brightness or a slightly different color the portion of the screen 4 corresponding to the axis of view of the image acquisition device, or to use any other information mode, for example visual and / or sound without departing from the scope of the present invention. An improvement of the present invention is that said screen 4 displays in a particular way the areas belonging to the frame 13 which are not yet acquired satisfactorily. For example, a fuzzy input can be considered unsatisfactorily entered. These parts may for example be colored in a particular way to encourage the operator to aim to eliminate this particular coloration. This method makes it possible to make panoramic images comprising many more pixels than the sensor 2 comprises, by scanning a large part of a panorama with a device according to the invention.
Dans un mode de mise en oeuvre perfectionné, ledit écran 4 de contrôle représente une image composite consistant en l'association de pixels provenant de différentes images primaires 101, 102 et suivantes, l'origine de chaque pixel affiché sur ledit écran 4 étant choisie en fonction d'une règle prédéterminée. Cette règle prédéterminée peut consister par exemple à afficher de préférence les pixels les plus nets, ou provenant d'images primaires plus nettes que les autres. On peut aussi donner la préférence en fonction de toute autre règle par exemple privilégier les pixels n'ayant pas varié entre deux images primaires successives, pour éliminer des objets en mouvement se situant dans le panorama. In an improved embodiment, said control screen 4 represents a composite image consisting of the association of pixels originating from different primary images 101, 102 and following, the origin of each pixel displayed on said screen 4 being chosen in accordance with FIG. function of a predetermined rule. This predetermined rule may for example be to display preferably the sharpest pixels, or from primary images sharper than the others. One can also give the preference according to any other rule for example to privilege the pixels having not varied between two successive primary images, to eliminate objects moving in the panorama.
Un dispositif selon l'invention peut être utilisé pour produire des images finales d'une résolution supérieure à celle du capteur 2. Ledit écran 4 de contrôle a dans ce cas avantageusement une résolution supérieure à celle de la partie de l'image primaire 100 qu'il affiche. Le dispositif peut comporter un logiciel calculant la valeur des pixels intermédiaires entre les pixels des images primaires acquises par ledit capteur 2. Un dispositif selon l'invention est en particulier compatible avec un zoom numérique, et permet ainsi d'obtenir des images plus nettes que celles qui seraient obtenues par la simple utilisation d'une telle fonction. Un dispositif selon l'invention peut bien évidemment être muni de deux objectifs la et lb associés respectivement à deux capteurs 2a et 2b pour produire des images stéréoscopiques. Il peut aussi être muni d'un nombre plus important de ces ensembles objectif/capteur pour produire des images auto-stéréoscopiques. Dans un mode de mise en oeuvre perfectionné, le dispositif comporte un moyen 7 de correction physique de cadrage. On entend par "correction physique du cadrage" une modification de la géométrie du dispositif d'acquisition d'image ayant pour effet de modifier l'axe effectif de la prise de vue par rapport audit axe de visée dudit dispositif d'acquisition d'image. Il peut par exemple s'agir d'un moyen de modifier l'orientation de l'ensemble constitué par ledit objectif 1 et ledit capteur 2 par rapport au dispositif d'acquisition d'image. Il peut aussi s'agir d'un moyen de modifier la position d'un seul de ces deux éléments que sont l'objectif 1 et le capteur 2. Dans une version 10 préférée, l'objectif 1 est fixe par rapport au dispositif d'acquisition, tandis que le capteur 2 est mobile dans le plan focal dudit objectif 1, et sa position est déterminée par des actionneurs à effet piézoélectrique inverse. De nombreux dispositifs physique de stabilisation d'image comportent de tels 5 moyens. L'objectif poursuivi est de modifier le cadrage pour que les images primaires acquises soient le plus possible centrées sur la cible 11 et alignées avec l'image finale 10. On tient alors compte des caractéristiques de la correction de cadrage obtenue par ledit moyen 7 de correction physique de cadrage, pour déterminer une 10 nouvelle cible 11 par l'analyse de la partie desdites images primaires correspondant audit axe de visée dudit dispositif d'acquisition d'image. Sans sortir du cadre de l'invention, l'opérateur peut être remplacé par un robot qui modifie la position et/ou l'orientation du dispositif en fonction des informations fournies par le dispositif (présence éventuelle de la cible 11 sur une image primaire 15 et le cas échéant sa position dans une image primaire 100 - zones non acquises ou de mauvaise qualité qu'il convient d'acquérir à nouveau, etc.) . L'utilisation d'un dispositif selon l'invention peut être avantageusement complété par une séquence de postproduction, consistant par exemple à recomposer l'image finale 1 avec d'autres images primaires que celles sélectionnées automatiquement, 20 par exemple pour choisir une expression d'un portrait, ou un moment particulier d'un événement sportif. Les logiciels correspondants sont avantageusement mis en oeuvre par le dispositif selon l'invention lui-même. Les applications de la présente invention se situent d'une façon générale dans le domaine de la photo et du cinéma en 2D et 3D, en particulier de la prise de vues 25 fixes ou animées dans des conditions difficiles (chirurgie et exploration fonctionnelle par exemple), du cadrage automatique (vidéoconférences, entretiens etc.), etc., mais aussi dans les domaines de la vision à distance (jumelles et télescopes avec ou sans enregistrement des images acquises ou finales). A device according to the invention can be used to produce final images with a resolution greater than that of the sensor 2. In this case, said control screen 4 advantageously has a resolution greater than that of the part of the primary image 100 that 'it displays. The device may comprise software calculating the value of the intermediate pixels between the pixels of the primary images acquired by said sensor 2. A device according to the invention is in particular compatible with a digital zoom, and thus makes it possible to obtain sharper images than those which would be obtained by the simple use of such a function. A device according to the invention may of course be provided with two lenses 1a and 1b respectively associated with two sensors 2a and 2b to produce stereoscopic images. It can also be provided with a larger number of these lens / sensor assemblies to produce auto-stereoscopic images. In an improved embodiment, the device comprises a physical correction means 7 for framing. "Physical correction of the framing" is understood to mean a modification of the geometry of the image acquisition device having the effect of modifying the effective axis of the shooting relative to said axis of view of said image acquisition device . For example, it may be a means of modifying the orientation of the assembly constituted by said objective 1 and said sensor 2 with respect to the image acquisition device. It can also be a means of modifying the position of only one of these two elements, which are objective 1 and sensor 2. In a preferred version, objective 1 is fixed relative to the device of FIG. acquisition, while the sensor 2 is movable in the focal plane of said lens 1, and its position is determined by inverse piezoelectric effect actuators. Many physical image stabilization devices include such means. The objective pursued is to modify the frame so that the primary images acquired are as much as possible centered on the target 11 and aligned with the final image 10. The characteristics of the registration correction obtained by said means 7 of physical correction of framing, to determine a new target 11 by analyzing the portion of said primary images corresponding to said line of sight of said image acquisition device. Without departing from the scope of the invention, the operator can be replaced by a robot that changes the position and / or orientation of the device according to the information provided by the device (possible presence of the target 11 on a primary image 15 and where appropriate its position in a primary image 100 - unvested or poor quality areas that need to be acquired again, etc.). The use of a device according to the invention may be advantageously completed by a postproduction sequence, consisting for example of recomposing the final image 1 with other primary images than those selected automatically, for example to choose an expression of a portrait, or a particular moment of a sporting event. The corresponding software is advantageously implemented by the device according to the invention itself. The applications of the present invention are generally in the field of photo and cinema in 2D and 3D, in particular of the fixed or animated shooting in difficult conditions (surgery and functional exploration for example) , automatic framing (videoconferences, interviews, etc.), etc., but also in the fields of remote viewing (binoculars and telescopes with or without recording of acquired or final images).
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1002969A FR2962871A3 (en) | 2010-07-15 | 2010-07-15 | Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1002969A FR2962871A3 (en) | 2010-07-15 | 2010-07-15 | Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made |
Publications (1)
Publication Number | Publication Date |
---|---|
FR2962871A3 true FR2962871A3 (en) | 2012-01-20 |
Family
ID=45419673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1002969A Withdrawn FR2962871A3 (en) | 2010-07-15 | 2010-07-15 | Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2962871A3 (en) |
-
2010
- 2010-07-15 FR FR1002969A patent/FR2962871A3/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0661671B1 (en) | Picture processing process and device for building a target image from a source image with perspective change | |
EP0661672B1 (en) | Picture processing process and device for building a target image from a source image with perspective change | |
EP0511101B1 (en) | Modelling process for image pick-up system and process and system for making combinations between real pictures and artifical pictures | |
EP1466210B1 (en) | Digital camera with viewfinder designed for improved depth of field photographing | |
FR2827461A1 (en) | Selection of region interest for wide panoramic area imager, has image processor identifying regions of interest and results user presented with user maneuvering image/selecting interest region | |
FR2821167A1 (en) | PHOTOGRAPHIC SUPPORT DEVICE | |
EP2780763B1 (en) | Method and system for capturing image sequences with compensation for variations in magnification | |
EP2791914A1 (en) | System for filming a video movie | |
FR2821156A1 (en) | METHOD AND DEVICE FOR OBTAINING A DIGITAL PANORAMIC IMAGE WITH CONSTANT TINT | |
EP3473000B1 (en) | Image capture method and system using a virtual sensor | |
EP0898249B1 (en) | System, especially for timing races, containing a photosensor and method for adjusting the alignment of such a system on a finish line | |
CA2914360A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
EP3602253B1 (en) | Transparency system for commonplace camera | |
FR2962871A3 (en) | Image acquisition device for e.g. camera in video-conferencing, has scenery elements seen from device, and photographic objective with optical axis made positioned with respect to device when no correction by line of sight of device is made | |
FR2964203A1 (en) | Image acquiring device e.g. camera, for use in photograph field of two-dimensional effects, has target determining unit determining part of panoramic, where viewing axis of device is passed through optical center of lens and sensor | |
EP1526733B1 (en) | Automatic method for controlling the direction of the optical axis and the angle of the field of view of an electronic camera, especially for video surveilance using automatic tracking | |
EP2826017B1 (en) | Method for determining the geometric parameters indicating the movement of a camera | |
EP3072110B1 (en) | Method for estimating the movement of an object | |
WO2018083099A1 (en) | Method for displaying a mixed reality image | |
CA2955368C (en) | Method and device for processing high-frequency movements in an optronic system | |
US11356632B2 (en) | Display-information generating apparatus, information processing apparatus, and imaging system | |
FR2872943A1 (en) | METHOD OF OBTAINING IMAGE SUCCESSION IN THE FORM OF A ROTATING EFFECT | |
FR3048786A1 (en) | DYNAMIC ADJUSTMENT OF THE SHARPNESS OF AT LEAST ONE IMAGE PROJECTED ON AN OBJECT | |
FR3083305A1 (en) | OPTRONIC SIGHT AND ASSOCIATED PLATFORM | |
EP2661731A1 (en) | Method and device for assisting in the shooting of a digital photo using a wide-angle lens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20120330 |