FR2907298A1 - Movable subject's e.g. person, video image e.g. face image, transmitting method for e.g. video game application, involves obtaining synthesis image by applying parameters and transmitting parameters to telephone for reconstituting image - Google Patents
Movable subject's e.g. person, video image e.g. face image, transmitting method for e.g. video game application, involves obtaining synthesis image by applying parameters and transmitting parameters to telephone for reconstituting image Download PDFInfo
- Publication number
- FR2907298A1 FR2907298A1 FR0608989A FR0608989A FR2907298A1 FR 2907298 A1 FR2907298 A1 FR 2907298A1 FR 0608989 A FR0608989 A FR 0608989A FR 0608989 A FR0608989 A FR 0608989A FR 2907298 A1 FR2907298 A1 FR 2907298A1
- Authority
- FR
- France
- Prior art keywords
- image
- parameters
- location
- transmission
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
PROCEDE DE TRANSMISSION D'IMAGES D'UN SUJET, DISPOSITIF DE TRANSMISSIONMETHOD FOR TRANSMITTING IMAGES OF A SUBJECT, TRANSMISSION DEVICE
D'IMAGES POUR LA MISE EN OEUVRE DU PROCEDE, ET DISPOSITIF DE PRODUCTION D'IMAGES COMPATIBLE. IMAGE FOR IMPLEMENTING THE METHOD, AND DEVICE FOR PRODUCING COMPATIBLE IMAGES.
L'invention concerne un procédé de transmission d'images d'un sujet, un dispositif de transmission d'images pour la mise en oeuvre du procédé, et un dispositif de production d'images compatible. Notamment, le procédé et les dispositifs selon l'invention peuvent être utilisés pour la transmission de vidéos d'un sujet. The invention relates to a method for transmitting images of a subject, an image transmission device for implementing the method, and a compatible image production device. In particular, the method and the devices according to the invention can be used for transmitting videos of a subject.
Plus particulièrement, l'invention concerne l'application d'un tel procédé à la reproduction du mouvement d'un sujet, et notamment d'un visage et son application à la visiophonie mobile. On sait actuellement reproduire les mouvements d'un sujet (objet, animal ou personne) en utilisant des capteurs de mouvement placés en différents endroits du sujet. A partir du mouvement enregistré par ces capteurs, des logiciels transposent ce mouvement à des images virtuelles 2D ou 3D. Cette technologie est utilisée pour certains jeux vidéo ou certaines émissions télévisées pour animer des personnages virtuels. More particularly, the invention relates to the application of such a method to the reproduction of the movement of a subject, and in particular a face and its application to mobile video telephony. It is currently known to reproduce the movements of a subject (object, animal or person) by using motion sensors placed in different places of the subject. From the motion recorded by these sensors, software transposes this movement to 2D or 3D virtual images. This technology is used for some video games or TV shows to animate virtual characters.
Toutefois, le matériel mis en oeuvre est complexe, encombrant en raison du nombre de capteurs et fils nécessaires, long à installer. De plus, l'information de mouvement restituée ne permet pas d'obtenir un rendu réel de l'animation du personnage virtuel, en raison du nombre limité de capteurs mis en place. However, the equipment used is complex, cumbersome because of the number of sensors and wires needed, long to install. In addition, the restored motion information does not make it possible to obtain a real rendering of the animation of the virtual character, because of the limited number of sensors set up.
On sait également transmettre les images numérisées d'un sujet mobile ou non au moyen d'un réseau de communication sans fil. Toutefois, les données à transmettre sont particulièrement volumineuses, de sorte que le moyen de transmission utilisé doit permettre des vitesses élevées de transfert de données. Ainsi, la transmission de vidéo, par exemple par la téléphonie mobile, nécessite de modifier les systèmes de transmission actuels afin d'augmenter leur débit. L'invention vise à pallier ces inconvénients en proposant un procédé qui permet d'obtenir des données de paramètres de localisation et, le cas échéant, de paramètres d'animation de l'objet, dont le volume est faible, ce qui permet leur transmission sur des lignes à très faible débit. Il est alors possible de transmettre la vidéo d'un sujet, par 2907298 2 exemple d'un visage, en utilisant les normes de transmission habituellement utilisées en téléphonie mobile (sans fil) classique de première génération. Le procédé selon l'invention permet en outre de déterminer de manière plus simple et efficace le mouvement d'un sujet 5 en vue de sa transmission, puis de son exploitation A cet effet, l'objet de l'invention concerne un procédé de transmission d'image(s) d'un sujet (objet, animal ou personne) comprenant les étapes de : 10 (a) prise d'image du sujet au moyen d'un dispositif de prise d'images, (b) numérisation de l'image prise, (c) mise en mémoire de l'image numérisée, (d) détection de points du sujet de l'image, (e) calcul des paramètres de localisation des points détectés, 15 (f) réalisation d'une image de synthèse en appliquant les paramètres de localisation à un modèle générique du sujet, (g) transmission desdits paramètres de localisation à un dispositif de production d'images numériques afin de reconstituer une image. It is also known to transmit digitized images of a mobile subject or not by means of a wireless communication network. However, the data to be transmitted is particularly large, so that the transmission means used must allow high speeds of data transfer. Thus, the transmission of video, for example by mobile telephony, requires modifying the current transmission systems in order to increase their bit rate. The aim of the invention is to overcome these drawbacks by proposing a method which makes it possible to obtain location parameter data and, where appropriate, animation parameters of the object, the volume of which is small, which enables their transmission. on very low flow lines. It is then possible to transmit the video of a subject, for example by a face, using the transmission standards commonly used in conventional first generation wireless (wireless) telephony. The method according to the invention also makes it possible to more simply and efficiently determine the movement of a subject 5 with a view to its transmission, then its exploitation. To this end, the subject of the invention relates to a transmission method image (s) of a subject (object, animal or person) comprising the steps of: (a) image-taking the subject by means of an image-taking device, (b) digitizing the subject image taken, (c) storing the digitized image, (d) detecting points of the subject of the image, (e) calculating the location parameters of the detected points, (f) making an image synthesis by applying the location parameters to a generic subject model, (g) transmitting said location parameters to a digital image producing device to reconstruct an image.
20 Par sujet on entend un objet, animal ou une personne dont on souhaite retransmettre l'image. Ainsi, selon l'invention, dans le cas d'une seule image à transmettre, seuls les paramètres de localisation sont transmis, de sorte que le volume de données à transmettre est très faible, généralement 25 inférieurs à 100 bits/seconde pour un visage par exemple. Ce faible volume de données autorise l'utilisation de lignes de transmission à très faible débit pour la transmission. L'étape de détection (d) peut exploiter séparément ou conjointement tous les pixels de l'image ou seulement des points 30 caractéristiques porteurs d'informations. Dans un premier mode de réalisation, tous les pixels de l'image sont détectés au cours de l'étape (d). L'étape (e) de calcul des paramètres de localisation comprend alors une étape de calcul de plusieurs images d'un modèle générique du sujet, correspondant à 35 différentes orientations du sujet dans l'espace, puis une étape de comparaison de chacune de ces images à l'image numérisée afin de déterminer l'orientation du modèle la plus proche de l'image 2907298 3 numérisée ; et enfin une étape utilisant cette orientation la plus proche pour déterminer lesdits paramètres. Ces derniers peuvent ensuite être affinés par itération au cours d'étapes ultérieures (c 1) (c2) (décrites plus loin) si nécessaire.By subject we mean an object, animal or a person whose image we wish to retransmit. Thus, according to the invention, in the case of a single image to be transmitted, only the location parameters are transmitted, so that the volume of data to be transmitted is very small, generally less than 100 bits / second for a face. for example. This small amount of data allows the use of very low transmission lines for transmission. The detection step (d) can separately or jointly exploit all the pixels of the image or only characteristic points carrying information. In a first embodiment, all the pixels of the image are detected during step (d). The step (e) of calculating the location parameters then comprises a step of calculating several images of a generic model of the subject, corresponding to different orientations of the subject in the space, then a step of comparison of each of these images in the scanned image to determine the orientation of the model closest to the scanned image; and finally a step using this closest orientation to determine said parameters. These can then be refined by iteration in subsequent steps (c 1) (c 2) (described later) if necessary.
5 Dans un second mode de réalisation, des points caractéristiques de l'image sont détectés au cours de l'étape (d). L'étape (e) de calcul détermine alors les paramètres de localisation en comparant ces points caractéristiques avec les points de maille d'un modèle générique du 10 sujet. De même que précédemment, ces paramètres de localisation peuvent ensuite être affinés par itération au cours d'étapes ultérieures (cl) (c2) si nécessaire. Dans ce dernier cas, dans une première variante, la détection des 15 points caractéristiques au cours de l'étape (d) peut consister en une recherche dans l'image numérisée d'un objet ressemblant à un modèle générique existant du sujet, cette recherche s'affranchissant des transformations de translation, de rotation et d'homothétie dans le plan, 20 Il s'agit par exemple d'une comparaison réalisée par appariement des points du modèle avec des points caractéristiques de l'image ou par une comparaison pixel par pixel du modèle avec l'image. Dans une autre variante, les points caractéristiques de l'image 25 peuvent être extraits directement de l'image numérisée. Les points caractéristiques seront par exemple choisis en fonction de leur singularité (arêtes, coins, variations brusques de couleurs...), afin de permettre la reconstitution de l'image. Dans ce cas, la signature locale (pixels situés à proximité immédiate du point caractéristique) des 30 points caractéristiques est de préférence invariante en translation, rotation, homothétie dans l'espace image. Le procédé selon l'invention ne traite alors que certains points caractéristiques de l'image, appelés indices locaux, et non l'ensemble des points de l'image. Il en résulte une réduction supplémentaire du 35 volume de données à traiter et un gain en temps de calcul.In a second embodiment, characteristic points of the image are detected during step (d). The calculation step (e) then determines the location parameters by comparing these characteristic points with the mesh points of a generic model of the subject. As before, these location parameters can then be refined by iteration in subsequent steps (c1) (c2) if necessary. In the latter case, in a first variant, the detection of the characteristic points during the step (d) may consist of a search in the digitized image of an object resembling an existing generic model of the subject, this search This is, for example, a comparison made by matching the points of the model with characteristic points of the image or by a pixel-by-pixel comparison. pixel of the model with the image. In another variant, the characteristic points of the image can be extracted directly from the digitized image. The characteristic points will for example be chosen according to their singularity (edges, corners, abrupt variations of colors ...), in order to allow the reconstitution of the image. In this case, the local signature (pixels located in the immediate vicinity of the characteristic point) of the characteristic points is preferably invariant in translation, rotation, homothety in the image space. The method according to the invention then only deals with certain characteristic points of the image, called local indices, and not all the points of the image. This results in a further reduction in the volume of data to be processed and a saving in computing time.
2907298 4 De préférence, le procédé de transmission selon l'invention comprend : (A) une phase d'initialisation correspondant à la mise en oeuvre des étapes (a) à (g) précédemment décrites pour une image prise à un 5 instant initial to, (B) une phase d'itérations correspondant à la mise en oeuvre des étapes suivantes à des instants t séparés d'un intervalle de temps dt : (a') prise d'image du sujet au moyen d'un dispositif de prise d'images, (b') numérisation de l'image prise, 10 (c') mise en mémoire de l'image numérisée, (d') détection des changements intervenus dans l'image par rapport à l'instant précédent, (e') calcul des paramètres de localisation et d'animation, (f) réalisation d'une image de synthèse en appliquant les paramètres 15 de localisation et d'animation à un modèle générique, (g') transmission desdits paramètres de localisation et d'animation à un dispositif de production d'images numériques afin de reconstituer une image.Preferably, the transmission method according to the invention comprises: (A) an initialization phase corresponding to the implementation of the steps (a) to (g) previously described for an image taken at an initial instant to (B) an iteration phase corresponding to the implementation of the following steps at times t separated from a time interval dt: (a ') taking an image of the subject by means of a recording device images, (b ') digitizing the image taken, (c') storing the digitized image, (d) detecting changes in the image from the previous moment, (e) computation of the location and animation parameters, (f) realization of a synthesis image by applying the location and animation parameters to a generic model, (g ') transmission of said location and animation parameters. animation to a digital image production device to reconstruct an image.
20 Dans un premier mode de réalisation, l'étape de détection (d') consiste en la détection des changements entre l'image numérisée courante et l'image numérisée à l'étape précédente. Dans ce cas, l'étape de calcul (e') des paramètres de localisation et d'animation consiste à apparier les points correspondants qui ont changés entre les deux 25 images. Ces points correspondants peuvent être constitués soit de l'ensemble des pixels de l'image, soit de points caractéristiques. Comme il est possible d'identifier de manière connue les points rigides (fixes) et élastiques (mobiles) d'une image, les paramètres d'animation pourront par exemple être définis par le déplacement des 30 points élastiques entre deux images prises aux instants t et t+dt. Ces paramètres d'animation peuvent être des paramètres 2D ou 3D, utilisant par exemple un modèle générique corrigé. Dans un second mode de réalisation, l'étape de détection (d') 35 consiste en la détection des changements entre l'image numérisée courante et l'image de synthèse générée à l'aide d'un modèle générique 2907298 5 du sujet. L'étape (e') de calcul consiste alors à apparier les points correspondants qui ont changés entre l'image courante et le modèle. Une fois les paramètres d'animation calculés, ils peuvent être 5 utilisés, par exemple, pour : animer une image, ou un avatar en 2 dimensions (visage d'une personne, personnage de bande dessinée, animal, ou tout autre sujet vivant ou que l'on désire animer). Ces paramètres d'animation peuvent bien entendus également 10 être utilisés pour l'animation d'un avatar en 3 dimensions, - numériser un sujet en trois dimensions, - reproduire l'image du sujet par transformation d'un modèle générique connu, ..., - la reconnaissance et authentification par biométrie.In a first embodiment, the detection step (d ') consists of detecting changes between the current digitized image and the digitized image in the previous step. In this case, the calculation step (e ') of the location and animation parameters consists in matching the corresponding points that have changed between the two images. These corresponding points may consist of either all the pixels of the image, or characteristic points. Since it is possible to identify in a known manner the rigid (fixed) and elastic (moving) points of an image, the animation parameters may for example be defined by the displacement of the elastic points between two images taken at times t and t + dt. These animation parameters can be 2D or 3D parameters, for example using a corrected generic model. In a second embodiment, the detection step (s) consists of detecting changes between the current digitized image and the synthesis image generated using a generic model of the subject. The calculation step (e ') then consists of matching the corresponding points that have changed between the current image and the model. Once the animation parameters have been calculated, they can be used, for example, to: animate an image, or a 2-dimensional avatar (face of a person, cartoon character, animal, or any other living or which one wishes to animate). These animation parameters can of course also be used for the animation of a 3-dimensional avatar, digitize a subject in three dimensions, reproduce the image of the subject by transforming a known generic model, etc. ., - recognition and authentication by biometrics.
15 Avantageusement, le procédé de transmission selon l'invention comprend entre les étapes (f) et (g) et/ou entre les étapes (f') et (g'), les étapes de : (c 1) correction desdits paramètres de localisation et/ ou 20 animation par comparaison de l'image de synthèse avec l'image mémorisée à l'étape (c), respectivement (cl, (c2) réitération des étapes (e),(f), (cl), respectivement des étapes (el, (f') (cl), selon un nombre d'itérations N, N étant un entier supérieur ou égal à zéro déterminé en fonction de la qualité de perception 25 souhaitée. Les paramètres de localisation et/ou d'animation peuvent ainsi être affinés permettant d'améliorer la qualité de l'image reproduite. Avantageusement, la reconstitution de l'image à l'étape (g, g') 30 comprend l'application des paramètres de localisation et/ou d'animation à un modèle générique préenregistré ou transmis. Avantageusement, l'étape (g, g') de transmission est réalisée via un canal dédié à la transmission d'autres données. Avantageusement, l'étape (g, g') de transmission est réalisée via un canal audio, de préférence un canal utilisé en téléphonie mobile.Advantageously, the transmission method according to the invention comprises between steps (f) and (g) and / or between steps (f ') and (g'), the steps of: (c 1) correction of said parameters of localization and / or animation by comparison of the synthesis image with the image stored in step (c), respectively (cl, (c2) reiteration of steps (e), (f), (cl), respectively steps (el, (f ') (cl), according to a number of iterations N, N being an integer greater than or equal to zero determined as a function of the desired perception quality. Thus, the reconstruction of the image in step (g, g ') 30 includes the application of the location and / or animation parameters. to a generic model prerecorded or transmitted Advantageously, the step (g, g ') of transmission is performed via a channel dedicated to the transmission of other data Advantageously, the step (g, g ') of transmission is performed via an audio channel, preferably a channel used in mobile telephony.
35 2907298 6 La transmission d'un son de qualité moyenne en téléphonie mobile, par exemple par la norme GSM, nécessite environ 15kbits par seconde. Le surcoût de données à transmettre en utilisant le procédé selon l'invention est alors quasiment négligeable (< à 10%), ce qui 5 correspond à une dégradation très minime du son, à bande passante constante. Les différentes normes utilisées actuellement en téléphonie mobile pour la transmission du son peuvent ainsi être utilisées pour la transmission de ce type de données.The transmission of medium quality mobile telephony, for example by the GSM standard, requires about 15 kbits per second. The extra cost of data to be transmitted using the method according to the invention is then practically negligible (<10%), which corresponds to a very minimal degradation of the sound, with a constant bandwidth. The various standards currently used in mobile telephony for the transmission of sound can thus be used for the transmission of this type of data.
10 Avantageusement, au cours de l'étape (g, g') de transmission, les informations sont transmises par paquets introduits dans des paquets de données auxquelles le canal est dédié. Les données sont ainsi transmises de manière furtive.Advantageously, during the transmission step (g, g '), the information is transmitted in packets inserted into data packets to which the channel is dedicated. The data is transmitted furtively.
15 De préférence, chaque paquet de données d'information est crypté, pour plus de sécurité. Plus particulièrement, les informations transmises peuvent être cryptées de la manière suivante : 20 (1) on transmet une première clé de cryptage au dispositif de production d'images à un emplacement prédéterminé d'un paquet de données auxquelles le canal est dédié, cet emplacement étant prédéterminé par une clé publique suivant un algorithme dépendant de la clé publique, (2) le dispositif de production d'images transmet en retour une 25 deuxième clé de cryptage à un emplacement prédéterminé d'un paquet de données auxquelles le canal est dédié, cet emplacement étant prédéterminé par la clé publique suivant un algorithme dépendant de cette clé publique, (3) chaque paquet d'informations est crypté dans un paquet de données 30 auxquelles le canal est dédié au moyen de ces deux clés, de la clé publique et de l'algorithme. Avantageusement, l'étape (g, g')) de transmission comprend l'envoi d'un signal d'identification et/ou d'authentification de l'image du sujet.Preferably, each information data packet is encrypted, for added security. More particularly, the transmitted information may be encrypted as follows: (1) transmitting a first encryption key to the image producing device at a predetermined location of a data packet to which the channel is dedicated, that location being predetermined by a public key according to a public key dependent algorithm, (2) the image producing device transmits back a second encryption key to a predetermined location of a data packet to which the channel is dedicated, this location being predetermined by the public key according to an algorithm dependent on this public key, (3) each information packet is encrypted in a data packet to which the channel is dedicated by means of these two keys, the public key and of the algorithm. Advantageously, the transmission step (g, g ') comprises sending an identification signal and / or authenticating the image of the subject.
35 Un dispositif, par exemple un téléphone mobile, comportant une banque d'images dans laquelle chaque image est identifiable, pourra ainsi aller chercher l'image et/ou le modèle correspondant au signal 2907298 7 d'identification et/ou d'authentification dans sa banque d'images et lui appliquer les paramètres d'animation afin de l'animer. On obtient ainsi une vidéo de l'interlocuteur avec un nombre très réduit d'informations transmises, et sans perturbation du son. Bien entendu, d'autres dispositifs peuvent utiliser cette technique, tels que par exemple les dispositifs de visioconférence. L'invention concerne également un dispositif de transmission 10 d'images comportant un module de mémorisation de données, un dispositif de prise d'images et un émetteur destiné à la transmission de données, commandés par un module de gestion programmable, caractérisé en ce que le module de gestion est programmé de manière à mettre en oeuvre le procédé de transmission d'images selon l'invention.A device, for example a mobile phone, comprising a bank of images in which each image is identifiable, can thus fetch the image and / or the model corresponding to the identification and / or authentication signal in his image bank and apply the animation settings to animate it. This gives a video of the interlocutor with a very small number of transmitted information, and without disturbing the sound. Of course, other devices can use this technique, such as for example videoconferencing devices. The invention also relates to an image transmission device 10 comprising a data storage module, an image pickup device and a transmitter for data transmission, controlled by a programmable management module, characterized in that the management module is programmed to implement the image transmission method according to the invention.
15 Avantageusement, le dispositif de transmission d'images est un téléphone mobile. Un tel téléphone pourra ainsi transmettre via le canal audio les paramètres d'animation du visage d'un interlocuteur à un autre 20 téléphone. Si le téléphone récepteur n'est pas un dispositif de production d'images selon l'invention tel que décrit ci-après, les données transmises seront noyées dans les données audio, et ne perturberont pas la communication entre les deux interlocuteurs.Advantageously, the image transmission device is a mobile phone. Such a telephone may thus transmit via the audio channel the animation parameters of the face of a speaker to another telephone. If the receiving telephone is not an image producing device according to the invention as described below, the transmitted data will be embedded in the audio data, and will not interfere with the communication between the two interlocutors.
25 L'invention concerne également un dispositif de production d'images compatible avec un dispositif de transmission d'images et vidéos selon l'invention, comportant un module de gestion programmable, un module de mémorisation de données et un dispositif de visualisation d'images numériques, caractérisé en ce qu'il comprend 30 un récepteur apte à. recevoir les données transmises par un dispositif de transmission d'images selon l'invention, et en ce que le module de gestion est programmé de manière à utiliser les paramètres de localisation et/ou d'animation reçus par le récepteur pour reproduire, animer ou transformer une image, et à afficher l'image reproduite, 35 animée ou transformée au moyen du dispositif de visualisation d'images.The invention also relates to an image production device compatible with an image and video transmission device according to the invention, comprising a programmable management module, a data storage module and an image display device. digital, characterized in that it comprises a receiver capable of. receiving the data transmitted by an image transmission device according to the invention, and in that the management module is programmed to use the location and / or animation parameters received by the receiver to reproduce, animate or transforming an image, and displaying the reproduced, animated or transformed image by the image display device.
5 2907298 8 Ce dispositif de visualisation d'images peut être un écran d'ordinateur ou une paire de lunettes de réalité virtuelle augmentée permettant de superposer à la vision naturelle du récepteur l'image du sujet (objet, animal ou personne), ou encore une paire de lunettes de 5 réalité virtuelle réalisant ainsi une immersion complète. Avantageusement, ces lunettes peuvent être équipées de deux caméras placées tête-bêche. La première visualisant le visage de l'émetteur et la seconde visualisant son environnement. L'axe de ces deux caméras coupera l'angle formé par les deux axes de visée oculaire 10 de l'émetteur en deux angles identiques. Ainsi, l'émetteur aura l'impression de voir son interlocuteur en face de lui dans son propre environnement (réalité augmentée). Avantageusement, il sera possible de créer un lieu de réunion virtuel dans lequel se réuniront tous les participants de la conférence 15 (immersion totale). Avantageusement, le module de gestion est programmé de manière à reproduire l'image à partir des paramètres de localisation et/ou d'animation reçus par le récepteur. Avantageusement, le module de gestion est programmé de manière à choisir l'image à animer ou à transformer parmi une banque d'images contenue dans le module de mémorisation de données.This image display device may be a computer screen or an augmented virtual reality pair of glasses allowing the image of the subject (object, animal or person) to be superimposed on the receiver's natural vision, or else a pair of virtual reality glasses thus achieving complete immersion. Advantageously, these glasses can be equipped with two cameras placed head to tail. The first visualizing the face of the transmitter and the second visualizing its environment. The axis of these two cameras will cut the angle formed by the two eyesight axes 10 of the transmitter in two identical angles. Thus, the transmitter will have the impression of seeing his interlocutor in front of him in his own environment (augmented reality). Advantageously, it will be possible to create a virtual meeting place in which all participants of the conference 15 (total immersion) will meet. Advantageously, the management module is programmed to reproduce the image from the location and / or animation parameters received by the receiver. Advantageously, the management module is programmed so as to choose the image to be animated or transformed among a bank of images contained in the data storage module.
25 Avantageusement, le dispositif comprend un module d'enregistrement conçu de manière à permettre l'enregistrement de l'image reproduite, animée ou transformée, ou de paramètres de localisation et/ou d'animation. Il est ainsi possible de modifier une séquence d'images existante 30 et de l'enregistrer. Cela permet par exemple de modifier les mouvements des lèvres d'un acteur d'un film pour qu'ils correspondent aux mouvements des lèvres d'une autre personne parlant dans une autre langue. Une telle application permet de supprimer les problèmes de synchronisation du mouvement des films lors de leur doublage dans 35 d'autres langues que la langue originale du tournage.Advantageously, the device comprises a recording module designed to allow the recording of the reproduced, animated or transformed image, or location and / or animation parameters. It is thus possible to modify an existing sequence of images 30 and to record it. This allows for example to change the movements of the lips of a film actor to match the movements of the lips of another person speaking in another language. Such an application makes it possible to eliminate the synchronization problems of the motion of the films when they are dubbed in other languages than the original language of the shooting.
20 2907298 9 Dans une variante, le dispositif de production d'images selon l'invention est un téléphone mobile pourvu d'un écran formant un dispositif de visualisation d'images. Un tel téléphone pourra ainsi recevoir et exploiter les donnés 5 transmises, soit pour animer un avatar 2D ou 3D du visage de l'interlocuteur émetteur stocké en mémoire, soit pour animer une autre image stockée en mémoire (par exemple le visage d'une autre personne ou un personnage virtuel).In a variant, the image production device according to the invention is a mobile telephone provided with a screen forming an image display device. Such a telephone will thus be able to receive and use the transmitted data 5, either to animate a 2D or 3D avatar of the face of the transmitter interlocutor stored in memory, or to animate another image stored in memory (for example the face of another person or virtual character).
10 Dans une autre variante, le module de gestion programmable est un ordinateur, et le dispositif de visualisation d'images est un projecteur commandé par l'ordinateur et apte à projeter les images animées reproduites.In another variant, the programmable management module is a computer, and the image display device is a projector controlled by the computer and capable of projecting the reproduced motion pictures.
15 Bien entendu, un téléphone mobile pourra à la fois être un dispositif de transmission d'images et vidéos, et un dispositif de production d'images et vidéos selon l'invention, par exemple sur un écran portable ou par projection sur l'environnement spatial environnant.Of course, a mobile phone can be both an image and video transmission device, and an image and video production device according to the invention, for example on a portable screen or by projection on the environment. surrounding space.
20 Les images reproduites peuvent être des images d'un visage ou d'un corps humain, ou de tout objet ou animal articulé. L'invention est maintenant décrite en référence aux dessins 25 annexés, non limitatifs, dans lesquels : - la figure 1 est un exemple de représentation schématique de l'utilisation du procédé de transmission selon l'invention pour transmettre l'image du visage d'un dispositif de transmission d'images selon l'invention à un 30 dispositif de production d'images selon l'invention, - la figure 2 est un schéma logique représentant les étapes d'une phase d'initialisation (A) du procédé selon l'invention, - la figure 3 est un schéma logique représentant les étapes 35 d'une itération réalisée au cours de la phase d'itérations (B) du procédé selon l'invention 2907298 10 La figure 1 représente un exemple d'application du procédé de transmission d'images selon l'invention à la transmission d'une vidéo d'un visage humain, tel que décrit ci-après, par exemple en utilisant un téléphone mobile.The reproduced images may be images of a human face or body, or any articulated object or animal. The invention is now described with reference to the appended drawings, in which: FIG. 1 is an example of a schematic representation of the use of the transmission method according to the invention for transmitting the image of the face of an image transmission device according to the invention to an image producing device according to the invention; - FIG. 2 is a logic diagram representing the steps of an initialization phase (A) of the method according to the invention; FIG. 3 is a logic diagram showing the steps of an iteration carried out during the iteration phase (B) of the method according to the invention. FIG. 1 represents an example of application of the method. transmission of images according to the invention to the transmission of a video of a human face, as described below, for example using a mobile phone.
5 Sur la figure 1 sont représentés un dispositif de transmission d'images 1 selon l'invention et un dispositif de production d'images 2 selon l'invention. Dans l'exemple, ces deux dispositifs sont des téléphones mobiles sans fil 1, 2 respectivement. Le dispositif de transmission d'images 1 comporte un module de 10 mémorisation de données 10, un dispositif de prise d'images 11, tel qu'un appareil photo numérique, un émetteur 12 destiné à la transmission de données, ces éléments étant commandés par un module de gestion 13 programmable. Le module de gestion 13 est programmé de manière à mettre en oeuvre le procédé de transmission 15 d'images décrit plus haut. Le dispositif de production d'images 2, compatible avec le dispositif de transmission d'images et vidéos 1, comporte un module de mémorisation de données 20, un dispositif de visualisation d'images numériques 21, tel qu'un écran LCD, un récepteur 22 et un module de 20 gestion programmable 23 relié à ces différents éléments. Le récepteur 22 est conçu de manière à pouvoir recevoir les données transmises par le dispositif de transmission d'images et vidéos 1. Dans l'exemple choisi, l'émetteur 12 et le récepteur 22 sont en fait 25 chacun des émetteurs récepteurs utilisés de manière classique en téléphonie mobile pour la transmission du son entre les deux téléphones mobiles. Le procédé selon l'invention est mis en oeuvre tel que décrit ci-30 après en suivant une phase d'initialisation (A) (figure 2) suivie d'une phase d'itérations (B) (figure 3). La phase d'initialisation selon l'exemple se déroule tel que décrit ci-après. Au cours d'une première étape (a), le dispositif de transmission 35 d'images et vidéos 1 prend une première image d'un visage V au moyen du dispositif de prise d'images 11.FIG. 1 shows an image transmission device 1 according to the invention and an image production device 2 according to the invention. In the example, these two devices are wireless mobile phones 1, 2 respectively. The image transmission device 1 comprises a data storage module 10, an imaging device 11, such as a digital camera, a transmitter 12 for data transmission, these elements being controlled by a programmable management module 13. The management module 13 is programmed to implement the image transmission method described above. The image production device 2, compatible with the image and video transmission device 1, comprises a data storage module 20, a digital image display device 21, such as an LCD screen, a receiver 22 and a programmable management module 23 connected to these different elements. The receiver 22 is designed to be able to receive the data transmitted by the image and video transmission device 1. In the example chosen, the transmitter 12 and the receiver 22 are in fact each of the transceivers used in a particular manner. classic mobile phone for the transmission of sound between the two mobile phones. The method according to the invention is implemented as described hereinafter following an initialization phase (A) (Figure 2) followed by an iteration phase (B) (Figure 3). The initialization phase according to the example proceeds as described below. During a first step (a), the image and video transmission device 1 takes a first image of a face V by means of the image taking device 11.
2907298 11 Ce dispositif de prise d'image peut être un dispositif numérique ou un dispositif analogique. Dans le cas d'un dispositif analogique, l'image analogique doit être numérisée au cours d'une étape (b) avant d'être enregistrée au cours d'une étape (c). Dans le cas d'un dispositif 5 numérique, l'image prise est immédiatement enregistrée à l'étape (c) du procédé, les étapes (a) et (b) étant réalisées simultanément par le dispositif 11. Cette première image numérique du visage est mise en mémoire par le module de gestion 13 dans le module de mémorisation de 10 données 10. Puis, au cours d'une étape d'initialisation (d), le module de gestion 13 recherche dans l'image mémorisée un objet ressemblant à un modèle existant, enregistré dans le module de mémorisation 10. Une image présente des points caractéristiques de par leur 15 contraste, leur forme ou leur couleur, qui peuvent être utilisés pour modéliser le sujet représenté sur l'image. Cette extraction est réalisée par des techniques connues, tels que les détecteurs de Harris ou de Moravec, et caractérisées par une signature locale possédant si possible des caractéristiques d'invariance (en translation, rotation, homothétie), 20 telles que celles obtenues avec les moments de Zernike. On peut également extraire les points caractéristiques en utilisant un modèle générique du sujet, préenregistré dans le module de mémorisation de données 10. Dans le cas d'un visage, on extrait les indices locaux représentant 25 la commissure des lèvres, le coin des yeux, ou tout autre trait caractéristique d'un visage, ride d'expression, sourcil, menton, nez, ... Ensuite, au cours d'une étape (e), le module de gestion 13 calcule les paramètres de localisation dans l'espace de ces points caractéristiques.This image pickup device may be a digital device or an analog device. In the case of an analog device, the analog image must be digitized during a step (b) before being recorded during a step (c). In the case of a digital device, the image taken is immediately recorded in step (c) of the method, steps (a) and (b) being performed simultaneously by the device 11. This first digital image of the face is stored in memory by the management module 13 in the data storage module 10. Then, during an initialization step (d), the management module 13 searches the stored image for an object resembling An existing model, stored in the storage module 10. An image has characteristic points by contrast, shape, or color that can be used to model the subject shown in the image. This extraction is carried out by known techniques, such as the Harris or Moravec detectors, and characterized by a local signature having, if possible, invariance characteristics (in translation, rotation, homothety), such as those obtained with the moments from Zernike. It is also possible to extract the characteristic points by using a generic model of the subject, pre-recorded in the data storage module 10. In the case of a face, the local indices representing the commissure of the lips, the corner of the eyes, are extracted. or any other characteristic feature of a face, expression line, eyebrow, chin, nose, etc. Then, during a step (e), the management module 13 calculates the location parameters in the space of these characteristic points.
30 Ces paramètres de localisation sont ensuite utilisés au cours d'une étape (f) pour reconstituer une image de synthèse. A cet effet, les paramètres de localisation sont appliqués à un modèle générique M du sujet. Si l'on souhaite améliorer la qualité de l'image de synthèse, au 35 cours d'une étape (cl), on corrige les paramètres de localisation en comparant l'image de synthèse à l'image enregistrée à l'étape (c), puis, au cours d'une étape (c2), on réitère des étapes (e),(f), (cl), selon un 2907298 12 nombre d'itérations N, N étant un entier supérieur ou égal à zéro déterminé en fonction de la qualité de perception souhaitée. Ainsi, plus le nombre d'itérations sera élevé, meilleure sera la qualité de l'image.These location parameters are then used during a step (f) to reconstruct a synthesis image. For this purpose, the location parameters are applied to a generic model M of the subject. If it is desired to improve the quality of the synthesis image, during a step (cl), the location parameters are corrected by comparing the synthesis image with the image recorded in step (c). ), then, during a step (c2), steps (e), (f), (cl) are repeated according to a number of iterations N, N being an integer greater than or equal to zero determined according to the desired quality of perception. Thus, the higher the number of iterations, the better the quality of the image.
5 Si l'on définit un paramètre epsilon (E) comme étant l'écart entre l'image de synthèse et l'image numérisée, on peut alors choisir d'effectuer ces itérations tant que le paramètre epsilon est supérieur à une valeur seuil prédéterminée (Es). Cet écart peut être estimé en utilisant par exemple les normes de n m 10 Tchebytchev I ay - (où a et b représentent les pixels des images 1=t i=t numérisées et de synthèse respectivement, et i, j représentent les coordonnées dans l'espace de ces pixels) ou une norme Euclidienne L2 n m telle que 11(agi - b;1) 2 ou encore une norme L1 voir Lac. I=t De préférence, le nombre d'itérations sera choisi afin d'obtenir 15 une qualité de restitution de l'image correspondant à une qualité de perception humaine donnée choisie. Dans la mesure où le système visuel humain consiste également à reconstituer une image sur la rétine de l'oeil à partir d'informations transmises par l'oeil, on peut définir un paramètre epsilon humain (EH) définit comme l'écart entre l'image 20 reconstituée sur la rétine et l'image réelle. On peut alors choisir de poursuivre les itérations tant que le paramètre (E) est supérieur au paramètre Es = EH. Ces paramètres de localisation sont ensuite transmis au dispositif de production d'images numériques 2 au cours d'une étape (g), pour 25 reconstituer une image I du sujet. La transmission est par exemple réalisée au moyen d'un canal audio symbolisé par les traits 30 et 31 sur la figure 1. La reconstitution de l'image I par le dispositif de production d'images 2 est effectuée soit en utilisant uniquement la localisation 30 spatiale des points caractéristiques, soit en utilisant un modèle générique préenregistré dans le module de mémorisation de données 20 du dispositif de production d'images 2.If an epsilon parameter (E) is defined as the difference between the synthesis image and the digitized image, then it is possible to perform these iterations as long as the epsilon parameter is greater than a predetermined threshold value. (Es). This difference can be estimated by using, for example, the standards of Tchebytchev nm I ay - (where a and b represent the pixels of the images 1 = ti = t digitized and of synthesis respectively, and i, j represent the coordinates in space of these pixels) or a Euclidean norm L2 nm such that 11 (agi - b; 1) 2 or a standard L1 see Lac. Preferably, the number of iterations will be chosen in order to obtain a quality of image reproduction corresponding to a given quality of human perception chosen. Since the human visual system also consists of reconstructing an image on the retina of the eye from information transmitted by the eye, it is possible to define a human epsilon parameter (EH) defined as the difference between the image 20 reconstituted on the retina and the real image. We can then choose to continue the iterations as long as the parameter (E) is greater than the parameter Es = EH. These location parameters are then transmitted to the digital image producing device 2 during a step (g), to reconstruct an image I of the subject. The transmission is for example carried out by means of an audio channel symbolized by the lines 30 and 31 in FIG. 1. The reconstruction of the image I by the image production device 2 is carried out either using only the location 30 spatial characteristic points, either by using a generic model prerecorded in the data storage module 20 of the image production device 2.
2907298 13 Les étapes (a) à (g) décrites ci-dessus peuvent ainsi être utilisées pour transmettre afin de la reproduire une seule image d'un sujet (figure 2). Lorsque l'on souhaite transmettre plusieurs images successives 5 d'un même sujet, et en particulier d'un sujet animé, les étapes (a) à (g) ci-dessus pour une image prise à un instant initial to constituent une phase d'initialisation (A) du procédé selon l'invention. Cette phase d'initialisation (A) est suivie d'une phase d'itérations (B) (figure 3) correspondant à la mise en ceuvre des étapes (a') à (g') 10 décrites plus haut à des instants t séparés d'un intervalle de temps dt. Ces étapes sont très proches des étapes (a) à (g) de la phase d'initialisation, à l'exception de l'étape (dl, laquelle consiste à détecter les changements intervenus dans l'image par rapport à l'instant précédent, ce qui permet de déterminer des paramètres d'animation à 15 l'étape suivante (e'), et de les utiliser conjointement avec les paramètres de localisation dans les étapes ultérieures. Au début de chaque itération, une image est prise et enregistrée dans le module de mémorisation de données 10 par le module de gestion 13.The steps (a) to (g) described above can thus be used to transmit to reproduce a single image of a subject (Figure 2). When it is desired to transmit several successive images of the same subject, and in particular of an animated subject, the steps (a) to (g) above for an image taken at an initial moment to constitute a phase of initialization (A) of the process according to the invention. This initialization phase (A) is followed by an iteration phase (B) (FIG. 3) corresponding to the implementation of the steps (a ') to (g') 10 described above at separate times t a time interval dt. These steps are very close to steps (a) to (g) of the initialization phase, with the exception of step (d1, which consists in detecting the changes that have occurred in the image compared to the previous instant , which makes it possible to determine animation parameters at the next step (e '), and to use them together with the location parameters in the subsequent steps At the beginning of each iteration, an image is taken and recorded in the data storage module 10 by the management module 13.
20 Selon la mobilité du sujet, l'intervalle de temps dt entre deux itérations pourra varier, cet intervalle étant réduit pour des sujets très mobiles (par exemple lms), et augmenté (de 100 à 500ms) pour des sujets peu mobiles. Par ailleurs, pour limiter l'encombrement du module de 25 mémorisation de données, à chaque itération, et en fonction de la méthode de détermination des paramètres choisie, l'image peut être enregistrée à la place de l'image enregistrée à l'itération précédente. A chaque itération, le module de gestion 13 détecte au cours de l'étape (d') les changements intervenus dans l'image par rapport à 30 l'instant précédent. Ces changements peuvent être détectés soit par comparaison avec un modèle, soit en comparant l'image numérisée courante et l'image numérisée précédente, puis en appariant des points de l'image courante ayant changés avec ceux de l'image de synthèse précédente. La carte de 35 changement obtenue est alors mémorisée pour être utilisée ultérieurement.Depending on the mobility of the subject, the time interval dt between two iterations may vary, this interval being reduced for very mobile subjects (for example lms), and increased (from 100 to 500 ms) for subjects that are not very mobile. Furthermore, to limit the bulk of the data storage module, at each iteration, and depending on the chosen parameter determination method, the image may be recorded instead of the image recorded at iteration. previous. At each iteration, the management module 13 detects during the step (d ') the changes in the image compared to the previous instant. These changes can be detected either by comparison with a model, or by comparing the current digitized image with the previous digitized image, and then matching points of the current image that have changed with those of the previous synthesis image. The resulting change card is then stored for later use.
2907298 14 Dans ce dernier cas, les étapes (a) à (f) de la phase d'initialisation et (a') à (f') de la phase d'itérations sont suivies respectivement d'une étape (h), (h') d'enregistrement de l'image de synthèse. Dans l'exemple décrit ici, seuls les changements des points 5 caractéristiques entre les deux images sont suivis. Un tel appariement peut se faire en utilisant un ou plusieurs critères habituellement utilisés pour retrouver des points correspondants entre deux images, tels que : - critère de ressemblance de signature d'un point 10 caractéristique déterminé (zone entourant le point) : on choisira par exemple des signatures présentant un caractère invariant en translation, rotation, homothétie et en projection, - critère de vélocité : on utilise la vitesse maximale qu'est 15 susceptible de subir un point en fonction de la nature de l'objet, du déplacement du dispositif de prise de vue, - critère relatif à la nature du dispositif de prise d'images, utilisant par exemple le modèle sténopé d'une caméra, critère relatif à la nature du point : s'il s'agit d'un point 20 fixe (encore appelé point rigide) ou d'un point élastique (mobile). Des techniques de clustering permettent de distinguer ces types de points et de suivre le déplacement des points élastiques. Après l'appariement despoints caractéristiques des images de 25 deux itérations successives, on calcule les paramètres de localisation spatiale et d'animation entre les points caractéristiques des deux images. Ces informations (paramètres de localisation et/ou d'animation) sont ensuite transmises au cours de l'étape (g') au dispositif de 30 production d'images numériques 2 au moyen d'un canal audio symbolisé par les traits 30 et 31 sur la figure 1. De même que pour la phase d'initialisation, ces paramètres peuvent être corrigés par mise en oeuvre des étapes (cl) et (c2) décrites plus haut.In the latter case, the steps (a) to (f) of the initialization phase and (a ') to (f') of the iteration phase are respectively followed by a step (h), ( h ') recording of the computer image. In the example described here, only the changes in characteristic points between the two images are tracked. Such a pairing can be done using one or more criteria usually used to find corresponding points between two images, such as: - signature resemblance criterion of a specific characteristic point (zone surrounding the point): for example, one will choose signatures having an invariant character in translation, rotation, homothety and projection, velocity criterion: the maximum speed that a point can be subjected to depends on the nature of the object, the displacement of the device of shooting, - criterion relating to the nature of the imaging device, using for example the pinhole model of a camera, criterion relating to the nature of the point: if it is a fixed point ( still called rigid point) or an elastic point (mobile). Clustering techniques make it possible to distinguish these types of points and to follow the movement of the elastic points. After the pairing of the characteristic points of the images of two successive iterations, the spatial location and animation parameters between the characteristic points of the two images are calculated. This information (location and / or animation parameters) is then transmitted during step (g ') to the digital image production device 2 by means of an audio channel symbolized by lines 30 and 31. in FIG. 1. As for the initialization phase, these parameters can be corrected by implementing the steps (c1) and (c2) described above.
35 Dans l'exemple, la transmission est effectuée au moyen du canal audio d'une norme de téléphonie mobile, par exemple la norme GSM, 2907298 15 d'un téléphone mobile à l'autre. Bien entendu, d'autres normes peuvent être utilisées. Le téléphone mobile récepteur (dispositif de production d'images) 5 2 est équipé du module de gestion 23 programmé de manière à utiliser les paramètres de localisation, et le cas échéant d'animation, reçus par le récepteur 22 pour reproduire, animer ou transformer une image, puis à afficher l'image reproduite, animée ou transformée au moyen du dispositif de visualisation d'images 21.In the example, the transmission is effected by means of the audio channel of a mobile telephone standard, for example the GSM standard, 2907298 from one mobile telephone to the other. Of course, other standards can be used. The receiving mobile telephone (image producing device) 5 2 is equipped with the management module 23 programmed so as to use the location and, where appropriate, animation parameters received by the receiver 22 to reproduce, animate or transform an image, and then displaying the image reproduced, animated or transformed by means of the image display device 21.
10 Il peut être par exemple programmé pour appliquer ces paramètres aux points caractéristiques d'une image par déformation locale (morphing) afin de l'animer ou de la transformer, ces points étant déterminés par appariement avec les points caractéristiques reçus par 15 le récepteur, et à l'afficher, le sens et l'intensité de la déformation résultant des caractéristiques du vecteur de déplacement entre deux points caractéristiques homologues. L'appariement, entre les points caractéristiques de l'image du 20 sujet et les points caractéristiques de l'image que l'on souhaite animer selon le même mouvement que le sujet, est réalisé en utilisant le même type de critères que ceux décrits plus haut. Selon une première variante, le module de gestion 23 est 25 programmé de manière à reproduire l'image à partir des points caractéristiques reçus par le récepteur. Le module de gestion utilise alors les informations relatives aux points caractéristiques pour reconstituer l'image I du sujet. Une fois reconstituée, cette image peut, le cas échéant, être animée en utilisant les paramètres d'animation 30 transmis. Selon une deuxième variante, le module de gestion 23 est programmé de manière à choisir l'image I à animer ou à transformer parmi une banque d'images contenue dans le module de mémorisation 35 de données 20. Ce choix peut être le résultat de la volonté du propriétaire du dispositif de production d'images, ou résulter d'un 2907298 16 signal provenant du dispositif de transmission d'images indiquant quel type d'image doit être animée ou transformée. De préférence, le dispositif de visualisation 21 d'images comprend 5 un module d'enregistrement conçu de manière à permettre l'enregistrement de l'image animée ou transformée. Il est alors possible d'enregistrer la transformation de l'image, et éventuellement son animation, par exemple pour adapter le doublage d'un film.It may for example be programmed to apply these parameters to the characteristic points of a local deformation (morphing) image in order to animate or transform it, these points being determined by matching with the characteristic points received by the receiver, and displaying it, the direction and the intensity of the deformation resulting from the characteristics of the displacement vector between two homologous characteristic points. The pairing, between the characteristic points of the image of the subject and the characteristic points of the image that is to be animated according to the same movement as the subject, is achieved by using the same type of criteria as those described above. high. According to a first variant, the management module 23 is programmed to reproduce the image from the characteristic points received by the receiver. The management module then uses the information relating to the characteristic points to reconstitute the image I of the subject. Once reconstituted, this image can, if necessary, be animated using the transmitted animation parameters. According to a second variant, the management module 23 is programmed so as to select the image I to be animated or transformed from among an image bank contained in the data storage module 20. This choice may be the result of the the will of the owner of the image producing device, or result from a signal from the image transmission device indicating which type of image is to be animated or transformed. Preferably, the image display 21 comprises a recording module designed to allow the recording of the moving or transformed image. It is then possible to record the transformation of the image, and possibly its animation, for example to adapt the dubbing of a film.
10 L'image d'un sujet nouveau peut alors également être enregistrée par le dispositif de production d'images. Ainsi, dans l'exemple de la téléphonie mobile, si le sujet, par exemple un nouvel interlocuteur, n'est pas connu du téléphone mobile récepteur (dispositif de production d'images) et son visage n'est pas répertorié dans la banque d'images, il 15 est possible d'enregistrer son visage dans cette banque d'images. Alors, au prochain appel de cet interlocuteur, il suffira au dispositif de production d'images de choisir l'image du visage de ce nouvel interlocuteur, puis de l'animer.The image of a new subject can then also be recorded by the image producing device. Thus, in the example of the mobile telephony, if the subject, for example a new interlocutor, is not known to the receiving mobile phone (image production device) and his face is not listed in the database. images, it is possible to record his face in this image bank. Then, at the next call of this interlocutor, it will be sufficient for the image production device to choose the image of the face of this new interlocutor, then to animate it.
20 La transmission des informations est de préférence cryptée afin d'éviter toute intrusion non souhaitée. Toutes les techniques de cryptage de données peuvent être utilisées. Ce cryptage est mis en oeuvre par le dispositif de transmission 1 et plus précisément par son module de gestion 13, le dispositif de production d'image 2 décryptant 25 les informations au moyen de son module de gestion 23. Le cryptage utilisera de préférence une répartition aléatoire afin de limiter les risques d'intrusion.The transmission of information is preferably encrypted to avoid unwanted intrusion. All data encryption techniques can be used. This encryption is implemented by the transmission device 1 and more precisely by its management module 13, the image production device 2 decrypting the information by means of its management module 23. The encryption will preferably use a distribution random to limit the risk of intrusion.
30 Les informations transmises peuvent être cryptées de la manière suivante : (1) une première clé de cryptage est transmise par le dispositif de transmission d'images 1 au dispositif de production d'images 2 à un emplacement prédéterminé d'un paquet de données audio, cet 35 emplacement étant prédéterminé par une clé publique suivant un algorithme dépendant de la clé publique, 2907298 17 (2) en retour, le dispositif de production d'images transmet une deuxième clé de cryptage au dispositif de transmission d'images à un emplacement prédéterminé d'un paquet de données audio, cet emplacement étant prédéterminé par la clé publique suivant un 5 algorithme dépendant de cette clé publique, (3) la clé publique commune prédéterminée étant mémorisée dans les dispositifs de transmission d'images et de production d'images, chaque paquet d'informations est crypté dans un paquet de données auxquelles le canal est dédié au moyen de ces trois clés, 10 (4) le dispositif de production d'images utilise à son tour ces trois clés pour déterminer la position des informations et l'algorithme dans le paquet de données auxquelles le canal est dédié et les décrypter. Ce cryptage peut être renforcé en modifiant les deux premières 15 clés à chaque paquet de données transmis. De même, il est possible de transmettre de façon cryptée la règle de cryptage. Enfin, la transmission des informations relatives à l'image peut comprendre l'envoi d'un signal d'identification de l'image du sujet. Ce 20 signal d'identification peut être utilisé par le dispositif de production d'image pour aller rechercher un modèle déjà enregistré de ce sujet dans une banque d'images du dispositif de production d'images, puis l'animer ou le transformer. De manière similaire, le signal d'identification peut correspondre 25 à un modèle enregistré choisi par le dispositif de transmission d'images mais ne correspondant pas à l'image du sujet ayant servi pour la mise en oeuvre du procédé de transmission. On peut ainsi animer un personnage virtuel ou le visage d'une personne distincte du sujet.The transmitted information may be encrypted as follows: (1) a first encryption key is transmitted by the image transmission device 1 to the image producing device 2 at a predetermined location of a packet of audio data this location being predetermined by a public key according to a public key dependent algorithm, (2) in return, the image producing device transmits a second encryption key to the image transmission device at a location predetermined location of an audio data packet, this location being predetermined by the public key according to an algorithm dependent on that public key, (3) the predetermined common public key being stored in the image transmission and production devices. images, each packet of information is encrypted in a data packet to which the channel is dedicated by means of these three keys, 10 (4) the image-producing device in turn uses these three keys to determine the position of the information and the algorithm in the data packet to which the channel is dedicated and to decrypt them. This encryption can be enhanced by modifying the first two keys to each transmitted data packet. Similarly, it is possible to encrypt the encryption rule. Finally, the transmission of information relating to the image may include sending a signal identifying the image of the subject. This identification signal may be used by the image producing device to search for an already registered template of that subject in an image bank of the image producing device, and then animate or transform it. Similarly, the identification signal may correspond to a registered model chosen by the image transmission device but not corresponding to the image of the subject having used for the implementation of the transmission method. We can animate a virtual character or the face of a person different from the subject.
30 Bien entendu, le procédé selon l'invention peut être utilisé dans tout dispositif dans lequel une production d'images à partir d'un sujet réel est effectuée. Le procédé selon l'invention présente également l'avantage de permettre la production d'une image reconstituée et de l'animer de 35 manière suffisamment précise pour que l'animation soit très proche des mouvements du sujet réel.Of course, the method according to the invention can be used in any device in which production of images from a real subject is performed. The method according to the invention also has the advantage of allowing the production of a reconstructed image and of animating it in a sufficiently precise manner so that the animation is very close to the movements of the real subject.
2907298 18 Le sujet utilisé par le procédé peut être un objet, un animal ou un humain.The subject used by the method may be an object, an animal or a human.
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0608989A FR2907298A1 (en) | 2006-10-13 | 2006-10-13 | Movable subject's e.g. person, video image e.g. face image, transmitting method for e.g. video game application, involves obtaining synthesis image by applying parameters and transmitting parameters to telephone for reconstituting image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0608989A FR2907298A1 (en) | 2006-10-13 | 2006-10-13 | Movable subject's e.g. person, video image e.g. face image, transmitting method for e.g. video game application, involves obtaining synthesis image by applying parameters and transmitting parameters to telephone for reconstituting image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2907298A1 true FR2907298A1 (en) | 2008-04-18 |
Family
ID=38255316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0608989A Pending FR2907298A1 (en) | 2006-10-13 | 2006-10-13 | Movable subject's e.g. person, video image e.g. face image, transmitting method for e.g. video game application, involves obtaining synthesis image by applying parameters and transmitting parameters to telephone for reconstituting image |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2907298A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9325936B2 (en) | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1708466A1 (en) * | 2005-03-31 | 2006-10-04 | Siemens Aktiengesellschaft | Method of displaying on a communication terminal a picture associated to a communication participant |
-
2006
- 2006-10-13 FR FR0608989A patent/FR2907298A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1708466A1 (en) * | 2005-03-31 | 2006-10-04 | Siemens Aktiengesellschaft | Method of displaying on a communication terminal a picture associated to a communication participant |
Non-Patent Citations (4)
| Title |
|---|
| "Crazy Talk - Create talking animated messages from any digital image or photo", INTERNET CITATION, 16 February 2004 (2004-02-16), XP002315557, Retrieved from the Internet <URL:http://web.archive.org/web/200040216102800/http://www.rallusion.com/c razytalk/> [retrieved on 20050128] * |
| KSHIRSAGAR S ET AL IEEE COMPUTER SOCIETY: "Personalized face and speech communication over the internet", PROCEEDINGS IEEE 2001 VIRTUAL REALITY. (VR). YOKOHAMA, JAPAN, MARCH 13, 13 March 2001 (2001-03-13), pages 37 - 44, XP010535482, ISBN: 0-7695-0948-7 * |
| LYONS M ET AL: "AVATAR CREATION USING AUTOMATIC FACE PROCESSING", PROCEEDINGS OF THE ACM MULTIMEDIA 98. MM '98. BRISTOL, SEPT. 12 - 16, 1998, ACM INTERNATIONAL MULTIMEDIA CONFERENCE, NEW YORK, NY : ACM, US, vol. CONF. 6, 12 September 1998 (1998-09-12), pages 427 - 434, XP000977533, ISBN: 1-58113-036-8 * |
| OSTERMANN J: "Animation of synthetic faces in MPEG-4", COMPUTER ANIMATION 98. PROCEEDINGS PHILADELPHIA, PA, USA 8-10 JUNE 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 8 June 1998 (1998-06-08), pages 49 - 55, XP010285085, ISBN: 0-8186-8541-7 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9325936B2 (en) | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4150880A1 (en) | Method and system for virtual 3d communications | |
| KR101348521B1 (en) | Personalizing a video | |
| JP4782797B2 (en) | Video processing | |
| EP2678804B1 (en) | Method for detecting a predefined set of characteristic points of a face | |
| WO2011124830A1 (en) | A method of real-time cropping of a real entity recorded in a video sequence | |
| EP2450852A1 (en) | Method and device for virtual simulation of an image | |
| Isikdogan et al. | Eye contact correction using deep neural networks | |
| Wang et al. | Faithful face image completion for HMD occlusion removal | |
| CN115100707A (en) | Model training method, video information generation method, device and storage medium | |
| CN113538315A (en) | Image processing method and device | |
| FR2873214A1 (en) | METHOD AND DEVICE FOR OBTAINING STEREOSCOPIC SIGNAL | |
| FR2907298A1 (en) | Movable subject's e.g. person, video image e.g. face image, transmitting method for e.g. video game application, involves obtaining synthesis image by applying parameters and transmitting parameters to telephone for reconstituting image | |
| EP1168810B1 (en) | Mobile telephone equipped with a camera | |
| FR3007175A1 (en) | TURNING CAMERA POSITIONING SYSTEMS FOR TURNING VIDEO FILMS | |
| FR3081572A1 (en) | METHOD AND SYSTEM FOR AUTHENTICATING A USER CARRIER OF AN IMMERSION DEVICE | |
| FR3066304A1 (en) | METHOD OF COMPOSING AN IMAGE OF AN IMMERSION USER IN A VIRTUAL SCENE, DEVICE, TERMINAL EQUIPMENT, VIRTUAL REALITY SYSTEM AND COMPUTER PROGRAM | |
| WO2017212130A1 (en) | Individual visual immersion device for a moving person | |
| WO2014170482A1 (en) | Method for generating an output video stream from a wide-field video stream | |
| EP4298592A1 (en) | Photo relighting and background replacement based on machine learning models | |
| WO2020157733A1 (en) | Dynamic three-dimensional imaging method | |
| FR2968436A1 (en) | METHOD FOR DETERMINING THE MOVEMENTS OF AN OBJECT FROM A FLOW OF IMAGES | |
| FR3026534B1 (en) | GENERATING A PERSONALIZED ANIMATION FILM | |
| CN111311549A (en) | Image authentication method, system and storage medium | |
| FR3086831A1 (en) | CODING AND DECODING OF AN OMNIDIRECTIONAL VIDEO | |
| US20230419737A1 (en) | Methods and systems for detecting fraud during biometric identity verification |