FR2880762A1 - Terminal de visiophonie avec reglages intuitifs - Google Patents

Terminal de visiophonie avec reglages intuitifs Download PDF

Info

Publication number
FR2880762A1
FR2880762A1 FR0500180A FR0500180A FR2880762A1 FR 2880762 A1 FR2880762 A1 FR 2880762A1 FR 0500180 A FR0500180 A FR 0500180A FR 0500180 A FR0500180 A FR 0500180A FR 2880762 A1 FR2880762 A1 FR 2880762A1
Authority
FR
France
Prior art keywords
terminal
framing
image
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0500180A
Other languages
English (en)
Inventor
Alexis Martin
Jean Jacques Damlamian
Roland Airiau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Priority to FR0500180A priority Critical patent/FR2880762A1/fr
Priority to PCT/FR2005/003206 priority patent/WO2006075063A1/fr
Priority to EP05850555A priority patent/EP1834475A2/fr
Priority to US11/794,695 priority patent/US8264522B2/en
Publication of FR2880762A1 publication Critical patent/FR2880762A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

L'invention permet un réglage intuitif du cadrage d'un terminal 100 par un correspondant distant utilisant un terminal portable 200 pendant une communication visiophonique. Le terminal 100 comporte une caméra 103, un moyen de cadrage 105, un moyen d'encodage vidéo 106 et un moyen de multiplexage et de communication 113. Le terminal 200 comporte des capteurs de mouvements 208-210, des moyens de mise en forme 211-212 et un moyen de multiplexage et de communication 213. En réponse à un mouvement du terminal 200, celui-ci élabore des données de cadrage Dc à partir d'informations de mouvement Deltax, Deltay et Deltaz provenant des capteurs de mouvement 208-210 et envoie lesdites données de cadrage DC au terminal100. En réponse à des informations de cadrage Ic correspondant aux données de cadrage DC, le moyen de cadrage 105 extrait des portions d'image à partir d'images capturées par la caméra 103.

Description

TERMINAL DE VISIOPHONIE AVEC REGLAGES INTUITIFS
L'invention concerne les téléphones portables à haut débit de données capables de capturer et de visualiser des images pour des communications en visiophonie. Ces téléphones sont égalernent appelés terminaux de visiophonie. Plus particulièrement l'invention se rapporte au réglage des moyens de capture d'images.
L'arrivée du haut débit dans les télécommunications permet de mettre à disposition du grand public des services de visiophonie. Plus particulièrement, les réseaux de radiotéléphonie de troisième génération, tel que par exemple l'UMTS (de l'anglais Universal Mobile Telecommunication System), permettent des applications de visiophonie avec des téléphones ou
terminaux portables.
La visiophonie permet à deux personnes de communiquer à distance tout en se voyant mutuellement. A cet effet, le terminal de chaque personne dispose d'un écran de visualisation et d'une caméra. Les terminaux portables disposent d'un écran de petite dimension ayant une faible résolution, et il est important d'avoir un bon cadrage en gros plan si l'on souhaite voir les traits de son interlocuteur.
Un inconvénient provient du fait qu'un interlocuteur A communicant avec un interlocuteur B ne voit que ce que la caméra de A lui transmet.
L'interlocuteur B n'ayant pas le contrôle du cadrage, c'est l'interlocuteur A qui doit veiller à contrôler la prise de vue de sa caméra. Ce contrôle de prise de vue peut être réalisé à l'aide d'une vignette de contrôle dans un coin de son écran. Chaque interlocuteur doit alors veiller à ce que son image reste bien au centre de la vignette de contrôle.
Un tel système de cadrage n'est pas très pratique pour de nombreuses raisons. II réduit la zone utile de l'écran de visualisation du terminal qui est déjà petite. Chaque interlocuteur doit faire très attention à son propre cadrage. Les mouvements de cadrage ne sont pas des mouvements naturels car la vignette montre une image filmée avec une inversion entre droite et gauche.
Pour les systèmes fixes de visioconférence, il est connu d'avoir recours à une commande à distance de la caméra. Ainsi, l'interlocuteur A peut régler la caméra de B et réciproquement. Chaque utilisateur dispose d'une télécommande lui permettant d'envoyer les différentes commandes de zoom, et de déplacement. Un tel système ne peut pas être mis en place sur un terminal portable car les caméras des terminaux portables ne sont généralement pas mobiles et, en outre, cela nécessiterait d'utiliser les touches du clavier du terminal pendant la communication. Les touches d'un terminal portable sont petites, et il est peu pratique de les utiliser tout en gardant son terminal dans une direction de cadrage donnée.
L'invention propose de remédier aux problèmes de cadrage évoqués précédemment. Chaque terminal portable est muni d'une caméra ayant une résolution supérieure à la résolution de l'image transmise. Le cadrage de l'image transmise se fait à l'aide d'informations de cadrage provenant d'un interlocuteur distant. Des capteurs de mouvements sont placés dans chaque terminal portable pour récupérer des informations de mouvement dudit terminal. Les informations de mouvement sont ensuite transformées en commandes de cadrage à envoyer à l'autre terminal.
Selon un premier aspect, l'invention est un terminal portable de visiophonie comprenant des moyens de communication, des capteurs de mouvements et des moyens de mise en forme. Les moyens de communication permettent de communiquer avec un autre terminal de visiophonie par l'intermédiaire d'un réseau de radiocommunication. Les capteurs de mouvement produisent des informations représentatives de mouvements du terminal. Les moyens de mise en forme permettent de transformer les informations de mouvement en données de cadrage sortantes à destination de l'autre terminal. Les moyens de communication sont agencés pour insérer les données de cadrage sortantes dans des données à émettre sur le réseau de radiocommunication à destination de l'autre terminal.
Les moyens de mise en forme incluent des moyens de filtrage et d'élaboration de commande permettant de comparer les informations de mouvement à un seuil de mouvement minimum et un seuil de mouvement maximum. Les données de cadrage sortantes sont produites en réponse à la détection d'un mouvement compris entre le seuil de mouvement minimum et le seuil de mouvement maximum.
Selon un deuxième aspect, l'invention est un terminal portable de visiophonie comprenant des moyens de communication, une caméra, un moyen de cadrage et un moyen d'encodage vidéo. Les moyens de communication permettent de communiquer avec un autre terminal de visiophonie par l'intermédiaire d'un réseau de radiocommunication. La caméra capture des images ayant une première taille. Le moyen de cadrage extrait une portion d'image à partir d'une image capturée par la caméra. Le moyen de cadrage sélectionne la portion d'image en fonction d'informations de cadrage distantes provenant de l'autre terminal. Ladite portion d'image ayant une deuxième taille inférieure à la première taille. Le moyen d'encodage vidéo transforme un flux de portions d'image provenant du moyen de cadrage en données vidéo sortantes. Les moyens de communication sont agencés pour extraire les informations de cadrage distantes de données reçues du réseau de radiocommunication en provenance de l'autre terminal.
Ainsi, un déplacement intuitif du terminal selon le premier aspect permet à un utilisateur A de recadrer l'image filmée par le terminal selon le deuxième aspect de son correspondant B. Préférentiellement, les deux aspects sont mis en oeuvre sur un même terminal.
Selon un troisième aspect, l'invention est un procédé de recadrage d'une image prise par une caméra d'un premier terminal portable de visiophonie à l'aide d'un deuxième terminal portable de visiophonie muni d'un écran et de capteurs de mouvement au cours d'une communication en visiophonie. Le procédé comprend une étape d'élaboration de données de cadrage, en réponse à un mouvement du deuxième terminal portable, à partir d'informations de mouvement provenant des capteurs de mouvement, et une étape d'envoi desdites données de cadrage au premier terminal portable.
En réponse à des informations de cadrage reçues par le premier terminal et correspondant aux données de cadrage envoyées par le deuxième terminal, le premier terminal portable extrait des portions d'image correspondant auxdites informations de cadrage à partir d'images capturées par sa caméra et produit une séquence vidéo représentative d'une succession de portions d'image.
Selon un dernier aspect, l'invention est un signal transportant un flux de trames de visiophonie entre un premier terminal portable et un deuxième terminal portable. Au moins une trame envoyée par le premier terminal comporte des données audio, des données vidéo et des données de cadrage. Les données de cadrage indiquent la position et/ou le déplacement d'une portion d'image prise par une caméra du deuxième terminal. Ladite portion d'image correspond à une image à envoyer du deuxième terminal au premier terminal.
L'invention sera mieux comprise et d'autres particularités et avantages apparaîtront à la lecture de la description qui va suivre, la description faisant référence aux figures annexées parmi lesquelles: la figure 1 est un schéma fonctionnel représentant deux terminaux portables en communication selon l'invention, la figure 2 illustre des recadrages d'images réalisés selon l'invention, la figure 3 montre une caractéristique de transfert entre une information de mouvement et une commande de cadrage, la figure 4 montre un organigramme de fonctionnement pour le terminal effectuant une capture d'image selon l'invention.
La figure 1 représente deux terminaux portables 100 et 200 communiquant par l'intermédiaire d'un réseau de radiotéléphonie ou radiocommunication 300. Le réseau de radiotéléphonie 300 est un réseau de radiocommunication dit de troisième génération, par exemple conforme à la norme UMTS. Par réseau de radiotéléphonie de troisième génération, il faut comprendre un réseau de radiocommunication à haut débit permettant d'échanger des données audio, vidéo ou autres entre un terminal radio et le réseau.
La présente description s'intéresse à la gestion du cadrage lors d'une communication en visiophonie entre deux terminaux. Seuls les moyens mis en oeuvre pour le cadrage sont détaillés. Les autres éléments constitutifs des terminaux et du réseau sont bien connus de l'homme du métier.
Pour simplifier la description, les deux terminaux 100 et 200 sont identiques. Des références similaires 1xx et 2xx sont utilisées pour décrire des éléments similaires, le chiffre des centaines permettant de différencier le terminal. Ainsi, ce qui est décrit en référence aux éléments du terminal 100 est applicable au terminal 200 et réciproquement.
Le premier terminal 100, de type téléphone portable, comporte: un microphone 101 pour capturer du son, un haut-parleur 102 pour reproduire du son, une caméra 103 pour capturer des images, un écran de visualisation 104 pour reproduire des images, un moyen de cadrage 105 relié à la caméra 103 pour extraire une portion d'image à partir d'une image capturée par la caméra 103, le moyen de cadrage 105 sélectionnant la portion d'image en fonction d'informations de cadrage le provenant d'un autre terminal distant, un moyen d'encodage audio et vidéo 106 relié au microphone 101 et au moyen de cadrage 105 pour transformer du son capturé par le micro 101 en données audio sortantes et un flux de portions d'image provenant des moyens de cadrage 105 en données vidéo sortantes, les données vidéo sortantes étant par exemple une séquence vidéo comprimée selon un algorithme de compression d'image, un moyen de décodage audio et vidéo 107 relié au haut-parleur 102 et à l'écran de visualisation 104 pour transformer des données audio entrantes en signal de pilotage du haut-parleur 102, et des données vidéo entrantes en signal d'image à reproduire sur l'écran de visualisation 104, des capteurs de mouvement 108 à 110 pour produire des informations de mouvements du terminal, un moyen de filtrage 111 relié aux capteurs de mouvement 108 à 110 30 pour filtrer les informations de mouvement, un moyen d'élaboration de commande 112 relié au moyen de filtrage 111 qui transforme les informations filtrées de mouvement en données de cadrage sortantes Dc à destination d'un autre terminal, un moyen de multiplexage et de communication 113 relié aux moyens d'encodage 106, d'élaboration de commande 112, de décodage 107 et de cadrage 105 pour, d'une part, regrouper des données audio, vidéo et de cadrage Dc à émettre en paquets de données à destination du réseau, et pour, d'autre part, recevoir et séparer des paquets de données reçus en données audio, en données vidéo et en informations de cadrage Ic, et une antenne 114 reliée aux moyens de multiplexage et de communication 113 pour échanger avec le réseau 300 des signaux radio représentatifs des paquets de données émis et reçus par le terminal 100.
Classiquement, pour maximiser l'intégration des composants d'un terminal portable, celui-ci comporte principalement un processeur central, un processeur de traitement du signal et éventuellement un processeur de traitement d'image. Ces trois processeurs sont utilisés de manière microprogrammée pour traiter toutes les données et tous les signaux sous forme numérique. Ainsi, les moyens 105-107 et 111-112 décrits de manière fonctionnelle sur la figure 1 peuvent être réalisés en pratique par programmation de ces processeurs. Des convertisseurs analogique/numérique et numérique/analogique réalisent la liaison entre les processeurs et les différents éléments 101-104 et 108-110 auxquels ils sont connectés. Le moyen de multiplexage et de communication 113 est également réalisé à l'aide des processeurs du terminal mais il inclut en outre une interface radio reliée à l'antenne 114.
Lors d'une communication en visiophonie, le moyen de décodage audio et vidéo 107 reçoit les données audio et vidéo provenant du terminal distant 200 et les transforme en signaux de commande du haut- parleur 102 et de l'écran 104 afin de restituer à un utilisateur A du terminal 100 le son capturé par le micro 202 et l'image capturée par la caméra 203 du terminal 200 de son correspondant B. L'écran 104 est par exemple de type LCD (de l'anglais: Liquid Crystal Display) ou de type OLED (de l'anglais: Organic Light-Emitting Diode display) de petite dimension, par exemple d'une diagonale inférieure à deux pouces. La résolution de cet écran 104 est par exemple inférieure à 200 pixels par coté. L'utilisateur A du terminal 100 peut ainsi avoir une image satisfaisante lui permettant de saisir les expressions d'un visage en gros plan. Cependant, une telle résolution ne permet pas de distinguer ces mêmes détails en plan plus large.
La caméra 103 du terminal 100 comporte une lentille grand angle et un capteur d'image, par exemple de type CCD (de l'anglais: Charge Coupled Device). La caméra 103 sert pour la visiophonie mais également pour d'autres applications parmi lesquelles la photographie numérique. Selon une technique connue, les photos prises par le terminal portable 100 peuvent être envoyées à travers le réseau 300 à un ordinateur. Ainsi la caméra 103 dispose généralement d'une résolution supérieure à la résolution de l'écran 104. A titre d'exemple, la résolution de la caméra 103 est d'au moins 640x480 pixels afin d'avoir une qualité minimum de visualisation sur un écran d'ordinateur.
Lors d'une communication en visiophonie, le moyen de cadrage 105 sert à extraire, de chaque image prise par la caméra 103, une portion d'image dont la forme et la résolution correspondent à l'écran 204 du terminal 200. Ces informations de forme et de résolution sont transmises lors de l'initialisation de la communication. Le moyen de cadrage comporte également des moyens pour effectuer un sur-échantillonnage et/ou un sous-échantillonnage de l'image permettant de réaliser une fonction de zoom électronique selon une technique connue. Le zoom électronique permet de transformer une portion d'image choisie de taille quelconque afin de l'adapter à la taille de l'écran 204 du terminal 200 du correspondant B. Le moyen de cadrage 105 comporte un stabilisateur d'image apte à compenser les déplacements de faible amplitude de l'image qui correspondent à d'éventuels tremblements d'un utilisateur. Le stabilisateur d'image, d'un type connu, est par exemple capable de détecter tout mouvement global et uniforme entre deux images provenant de la caméra et d'effectuer une translation correspondante en nombre de pixels dans la direction inverse du déplacement.
La stabilisation de l'image se fait de préférence avant l'extraction de la portion d'image.
Dans l'invention, le moyen de cadrage 105 déplace en outre la portion d'image en fonction d'informations de cadrage le provenant du moyen de multiplexage 113. Les informations de cadrage le reçues par l'un des terminaux 100, respectivement 200, correspondent à des données de cadrage Dc émises par l'autre des terminaux 200, respectivement 100.
Selon l'invention, le cadrage est réalisé à distance par le correspondant qui est le mieux placé pour régler l'image visualisée. L'invention propose un contrôle intuitif du cadrage à distance. Lorsque l'utilisateur A du terminal 100 voit l'utilisateur B du terminal 200 sortir de son écran 104, le geste le plus intuitif est de déplacer son écran 104, tenu à la main, pour suivre le mouvement de l'utilisateur du terminal 200. Egalement, lorsqu'un détail attire particulièrement l'attention et que l'on désire le voir de plus près, un utilisateur rapproche naturellement son écran. Le contrôle intuitif proposé consiste à déplacer le terminal dans une direction naturelle pour déplacer la portion d'image vue sur l'écran.
La figure 2 représente les différentes modifications de cadrage en fonction d'un déplacement du terminal. La figure 2a montre une image 400 capturée par la caméra 203 du terminal 200 et une portion d'image 401 transmise et vue sur l'écran 104 du terminal 100. L'utilisateur du terminal 100 souhaite déplacer le cadrage de la portion d'image 401 pour obtenir une portion d'image 402 cadrée différemment. L'utilisateur déplace son terminal d'un mouvement Am dans la direction souhaitée. Ce mouvement Am peut se décomposer en un mouvement Ax selon un premier axe parallèle à un premier coté de l'écran 104 et en un mouvement Ay selon un axe selon un deuxième axe parallèle à un deuxième coté de l'écran 104. Le mouvement est appliqué proportionnellement à la position du cadre de la portion d'image.
La figure 2b montre une image 400 capturée par la caméra 203 du terminal 200 et une portion d'image 403 transmise et vue sur l'écran 104 du terminal 100. L'utilisateur du terminal 100 souhaite avoir une vision en plan plus large correspondant à la portion d'image 404. L'utilisateur déplace alors son terminal 100 en éloignant l'écran 104 d'un mouvement d'éloignement Az qui provoque un élargissement du cadre. Un souséchantillonnage est ensuite 2880762 -9- réalisé pour adapter la portion d'image à la taille de l'écran 104, ce qui correspond à un zoom arrière.
Les données de cadrage Dc sont élaborées par le moyen d'élaboration de commande 112 en fonction d'informations de mouvement provenant des capteurs de mouvement 108 à 110 après filtrage dans le moyen de filtrage 111. Les capteurs de mouvement 108 à 110 sont par exemple constitués d'accéléromètres, de gyroscopes et/ou de magnétomètres électroniques capables de fournir des informations relatives au déplacement et à l'accélération en translation et en rotation selon trois axes perpendiculaires.
Préférentiellement, deux des trois axes sont respectivement parallèles aux cotés de l'écran 104 et le troisième axe est perpendiculaire à l'écran 104. Les mouvements de translation et de rotation sont combinés entre eux pour obtenir des informations de mouvement Ax, Ay et Az représentatives d'un déplacement relatif de l'écran 104 pendant une durée prédéterminée selon l'un 15 des trois axes.
La durée prédéterminée correspond par exemple à une durée d'échantillonnage des informations de mouvement Ax, Ay et Az. Le moyen de filtrage 111 réalise ensuite un filtrage des informations de mouvement Ax, Ay et Az. Les informations de mouvement Ax, Ay et Az sont représentatives d'une amplitude et d'une vitesse de déplacement. Pour éviter de prendre en compte des mouvements liés à des tremblements (mouvements de faible amplitude) ou à une fatigue (mouvements lents) de l'utilisateur, il convient de ne tenir compte que des informations de mouvement supérieures, en valeur absolue, à un seuil minimum Sm.
Par ailleurs, l'utilisateur peut bouger pendant la conversation en visiophonie sans vouloir modifier le cadrage. A cet effet, il convient de ne pas prendre en compte les informations de mouvement de grande amplitude, c'est-à-dire d'amplitude supérieure, en valeur absolue, à un seuil maximum SM. Le filtre dispose de la fonction de transfert suivante pour les informations de mouvement Ax, Ay et Az: Auf=Au si S,,,<Du < SM, et Auf = 0 si Au S, ou si Au SM, avec u remplaçant x, y ou z, et Axf, Ayf et Azf correspondant aux informations de mouvement filtrées.
Le moyen d'élaboration de commande 112 transforme les informations 5 de mouvement filtrées Axf, Ayf et Azf en données de cadrage Dc. Les données de cadrage Dc peuvent être de différentes formes. A titre d'exemple, deux formes de données sont exposées ci-après.
Une première forme des données de cadrage est une forme correspondant à des commandes de cadrage. Les commandes vont être 10 constituées de trois données représentatives de la modification du cadrage.
Les informations filtrées Axf et Ayf sont quantifiées pour transformer le mouvement en nombre (positif ou négatif) de pixels de déplacement du cadre définissant la portion d'image. L'information filtrée Azf est quantifiée pour indiquer le nombre de pixels augmentant ou diminuant le cadre définissant la 15 portion d'image. La position et la dimension du cadre de la portion d'image sont ensuite gérées par le moyen de cadrage 205 de l'autre terminal 200.
Un exemple de caractéristique de transfert entre une information de mouvement et une donnée de mouvement correspondante est représenté sur la figure 3. L'axe des abscisses correspond aux valeurs possibles d'une information de mouvement, par exemple Ax. Trois zones inopérantes 410 à 411 correspondent à l'annulation de l'information de mouvement réalisée par le moyen de filtrage 111. Deux zones de quantification 413 et 414 correspondent à la commande de déplacement du cadre définissant la portion d'image. A titre d'exemple, il est possible de faire correspondre une valeur de 1 pixel de déplacement lorsque l'information de mouvement correspond au seuil minimum Sm et une valeur de 20 pixels de déplacement lorsque l'information de mouvement correspond au seuil maxirnum SM. Dans une réalisation simple, une extrapolation linéaire est réalisée entre les deux seuils Sm et Sm; mais on notera qu'une courbe différente pourrait être utilisée.
Une deuxième forme des données de cadrage peut consister en une - 11 position et une taille de cadre d'une portion d'image choisie. Dans ce cas, les modifications du cadre sont réalisées par le moyen d'élaboration de commande 112. Le moyen de cadrage 205 n'effectue que la sélection de la portion d'image accompagnée éventuellement d'un effet de zoom.
Quelle que soit la forme des données de cadrage Dc, celles-ci sont fournies au moyen de multiplexage et de communication 113. Le moyen de multiplexage et de communication 113 constitue des trames de données à émettre regroupant un ensemble de données à destination du terminal 200. La trame comporte des données audio et des données vidéo relatives à la communication visiophonique mais aussi les données de cadrage Dc. La trame est ensuite empaquetée avec des données de service destinées à identifier la trame et sa destination. Le paquet de données ainsi constitué est transformé en une salve qui s'insère dans un signal radio constitué d'un flux de trames à destination du réseau 300. Le réseau 300 aiguille ensuite les différentes trames pour les envoyer au terminal 200 sous forme d'un signal radio.
Le moyen de cadrage 105 dispose d'un stabilisateur d'image qui compense les mouvements de la caméra lorsque ceux-ci sont de faible amplitude. Cette compensation permet d'éviter que les déplacements opérés pour recadrer l'image de l'interlocuteur entraîne à son tour un besoin de recadrage réciproque. Si le seuil maximum Sm correspond à un déplacement compensable par le stabilisateur d'image, le mouvement réalisé pour modifier le cadrage de l'autre terminal 200 est automatiquement compensé.
Si le stabilisateur d'image n'a pas la capacité suffisante pour compenser le mouvement lié à un déplacement de recadrage, il est possible de relier le moyen de cadrage 105 au moyen de filtrage 111 afin que le déplacement réel du terminal 100 soit pris en compte pour déplacer sa fenêtre de cadrage. Le recadrage effectué dans le terminal 100 est de même nature mais d'amplitude et de signe différents par rapport au recadrage de l'autre terminal 200.
Avec les moyens précédemment décrits, il est possible de recadrer les images filmées par la caméra 103 du terminal 100 à partir du terminal 200 et réciproquement. Le recadrage se fait intuitivement en réponse à un mouvement du terminal 200 qui entraîne l'élaboration de données de cadrage grâce aux capteurs de mouvement 208 à 210, au moyen de filtrage 211 et au moyen d'élaboration de commande 212. Ainsi la séquence vidéo produite par le terminal 100 est contrôlée par l'utilisateur B du terminal 200 pendant une communication en visiophonie.
Toutefois, un tel recadrage est utile pour un dialogue où les deux utilisateurs sont face à face et/ou quasi-immobiles. Lorsque l'un des utilisateurs déplace de manière conséquente son terminal, par exemple pour montrer quelque chose à son correspondant, le recadrage devient superflu. En outre, si le recadrage est réalisé de manière permanente pendant une longue conversation en visiophonie où des mouvements importants ont été réalisés, le cadre délimitant la portion d'image peut se trouver sur un bord de l'image filmée par la caméra et le recadrage peut devenir impossible dans une direction.
Selon une première amélioration, on recadre l'image filmée à l'aide du moyen de cadrage 105 du terminal 100 si ce terminal 100 est quasi immobile. La détection de la quasi-immobilité du terminal 100 peut se faire à l'aide du stabilisateur d'image qui détecte un mouvement homogène de faible amplitude de l'image. Il est également possible de détecter le mouvement du terminal 100 à l'aide des capteurs de mouvement 108 à 110. Ainsi, si les mouvements sont, par exemple inférieurs au seuil maximum SM, on peut considérer que le terminal est quasi-immobile.
Selon une deuxième amélioration, le moyen de cadrage 105 comporte des moyens de reconnaissance de forme aptes à reconnaître la forme d'un visage. La reconnaissance de forme se fait par exemple à l'aide d'une technique connue pour identifier qu'un visage est présent dans l'image. Ainsi, le terminal 100 peut établir que l'utilisateur est en train de dialoguer si un visage est détecté. Le moyen de cadrage prend alors en compte les informations de cadrage si un visage est détecté. Cela permet de contrôler le cadrage à distance même si l'arrière-plan filmé est mobile ou si le terminal est en mouvement.
De manière préférentielle, les deux améliorations sont combinées.
L'organigramme de la figure 4 illustre la mise en oeuvre de ces deux améliorations dans le moyen de cadrage 105. Lors d'une étape 420 d'initialisation de communication visiophonique, le moyen de cadrage 105 reçoit les caractéristiques de l'écran 204 du terminal 200 du correspondant pour pouvoir déterminer le format de la portion d'image à envoyer.
Une fois la communication initialisée, le moyen de cadrage 105 fonctionne en image libre (étape 421). Au cours de cette étape 421, le moyen de cadrage découpe une portion d'image, par exemple centrée, indépendamment de toute information de cadrage le reçue.
De manière régulière, un test 422 est réalisé pour déterminer si des conditions permettent de passer en mode de contrôle à distance de l'image. Le test 422 consiste par exemple à vérifier si l'image peut être considérée comme immobile ou quasi-immobile ou si un visage est présent dans l'image filmée. Si l'une des deux conditions est réalisée, on passe à l'étape 423. Si aucune des deux conditions n'est réalisée, un test 424 est réalisé.
Le test 424 contrôle si la communication visiophonique est terminée. Si la communication n'est pas terminée, on retourne à l'étape 421 et le moyen de cadrage fonctionne en image libre.
L'étape 423 correspond au fonctionnement du moyen de cadrage 105 avec prise en compte des informations de cadrage Ic. La portion d'image est déplacée, agrandie ou rétrécie en fonction des données de cadrage reçues. Le moyen de cadrage effectue, si besoin est, un sur- échantillonnage ou un sous-échantillonnage de la portion d'image cadrée pour la faire correspondre à la résolution de l'écran.
De manière régulière, un test 425 est réalisé pour déterminer si des conditions permettent de passer en mode de contrôle à distance de l'image. Le test 425 consiste par exemple à vérifier si l'image peut êtreconsidérée comme immobile ou quasi-immobile ou si un visage est présent dans l'image filmée. Si l'une des deux conditions est réalisée, on retourne à l'étape 423. Si aucune des deux conditions n'est réalisée, un test 426 est réalisé.
Le test 426 contrôle si la communication en visiophonie est terminée. Si la communication n'est pas terminée, la portion d'image est réinitialisée et on retourne à l'étape 421 et le moyen de cadrage fonctionne en image libre.
L'invention décrite peut se décliner selon différentes variantes. Dans l'exemple décrit, les terminaux 100 et 200 sont identiques et tous deux capables d'émettre des informations de cadrage et de recevoir et prendre en compte des informations de cadrage. Cependant, l'homme du métier comprendra qu'un terminal pourrait élaborer et émettre des données de cadrage sans recevoir d'informations de cadrage. Réciproquement, un terminal peut prendre en compte des informations de cadrage sans lui-même élaborer de données de cadrage. Les terminaux mettant en oeuvre l'invention peuvent o donc se limiter aux moyens nécessaires à la mise en oeuvre faite de l'invention sans reproduire tous les moyens compris dans les exemples décrits. - 15-

Claims (12)

REVENDICATIONS
1. Terminal portable de visiophonie (100, 200) comprenant: des moyens de communication (113, 213) pour communiquer avec un autre terminal de visiophonie (200, 100) par l'intermédiaire d'un réseau de radiocommunication (300), des capteurs de mouvement (108-110, 208-210) pour produire des informations (Ax, Ay, Oz) représentatives de mouvements du terminal, et des moyens de mise en forme (111, 112, 211, 212) pour transformer les 10 informations de mouvement en données de cadrage (Dc) sortantes à destination de l'autre terminal, les moyens de communication (113, 213) étant agencés pour insérer les données de cadrage (Dc) sortantes dans des données à émettre sur le réseau de radiocommunication à destination de l'autre terminal.
2. Terminal selon la revendication 1, dans lequel les capteurs de mouvement (108-110, 208-210) comprennent des gyroscopes et/ou des accéléromètres et/ou des magnétomètres.
3. Terminal selon la revendication 1 ou 2, dans lequel les moyens de mise en forme (111, 112, 211, 21.2) sont agencés pour comparer les informations de mouvement à un seuil de mouvement minimum (Sm) et un seuil de mouvement maximum (SM), et dans lequel les données de cadrage (Dc) sortantes sont produites en réponse à la détection d'un mouvement compris entre le seuil de mouvement minimum (Sm) et le seuil de mouvement maximum (SM),
4. Terminal selon l'une quelconque des revendications 1 à 3, comportant en outre: une caméra (103, 203) pour capturer des images ayant une première taille, un moyen de cadrage (105, 205) pour extraire une portion d'image 30 (401-404) à partir d'une image capturée (400) par la caméra (103, 203), le moyen de cadrage (105, 205) sélectionnant la portion d'image en fonction d'informations de cadrage (lc) distantes provenant de l'autre terminal, ladite portion d'image ayant une deuxième taille inférieure à la première taille, un moyen d'encodage vidéo (106, 206) pour transformer un flux de portions d'image provenant du moyen de cadrage (105, 205) en données vidéo sortantes, et les moyens de communication (113, 213) étant agencés pour extraire les informations de cadrage (Ic) distantes de données reçues du réseau de radiocommunication (300) en provenance de l'autre terminal (200, 100).
5. Terminal portable de visiophonie (100, 200) comprenant: des moyens de communication (113, 213) pour communiquer avec un autre terminal de visiophonie (200, 100) par l'intermédiaire d'un réseau de radiocommunication (300), une caméra (103, 203) pour capturer des images ayant une première taille, - un moyen de cadrage (105, 205) pour extraire une portion d'image (401-404) à partir d'une image capturée (400) par la caméra (103, 203), le moyen de cadrage (105, 205) sélectionnant la portion d'image en fonction d'informations de cadrage (lc) distantes provenant de l'autre terminal, ladite portion d'image ayant une deuxième taille inférieure à la première taille, un moyen d'encodage vidéo (106, 206) pour transformer un flux de portions d'image provenant du moyen de cadrage (105, 205) en données vidéo sortantes, et les moyens de communication (113, 213) étant agencés pour extraire les informations de cadrage (Ic) distantes de données reçues du réseau de radiocommunication (300) en provenance de l'autre terminal (200, 100).
6. Terminal selon l'une des revendications 4 ou 5, dans lequel le moyen de cadrage (105, 205) est agencé pour prendre en compte les information de cadrage (Ic) distantes si l'image capturée est considérée comme immobile ou quasi-immobile.
7. Terminal portable selon l'une des revendications 4 à 6, dans lequel le moyen de cadrage (105, 205) comporte des moyens de reconnaissance de forme apte à reconnaître un visage, et dans lequel le moyen de cadrage (105, 205) est agencé pour prendre en cornpte les informations de cadrage (Ic) distantes si un visage est détecté.
8. Procédé de recadrage d'une image prise par une caméra (103) d'un premier terminal portable de visiophonie (100) à l'aide d'un deuxième terminal portable de visiophonie (200) muni d'un écran (204) et de capteurs de mouvement (208-210) au cours d'une communication en visiophonie, le procédé comprenant une étape d'élaboration de données de cadrage (Dc), en réponse à un mouvement du deuxième terminal portable (200), à partir d'informations de mouvement (Ax, 4y, Az) provenant des capteurs de mouvement (208-210), et une étape d'envoi desdites données de cadrage (Dc) au premier terminal portable (100).
9. Procédé selon la revendication 8, dans lequel le deuxième terminal portable (200) élabore les données de cadrage (Dc) si les informations de mouvement (Ax, Ay, Az) sont supérieures à un seuil de mouvement minimum (Sm) et si ces informations de mouvement sont inférieures à un seuil de mouvement maximum (SM).
10. Procédé selon l'une des revendications 8 ou 9, dans lequel, en réponse à des informations de cadrage (Ic) reçues par le premier terminal (100) et correspondant aux données de cadrage (Dc) envoyées par le deuxième terminal (200), le premier terminal portable (100) extrait des portions d'image correspondant auxdites informations de cadrage (Ic) à partir d'images capturées par sa caméra (103) et produit une séquence vidéo représentative d'une succession de portions d'image.
11. Procédé selon la revendication 10, dans lequel les informations de cadrage (lc) sont prises en compte si l'image prise par la caméra du premier terminal portable (100) bouge faiblement ou si un visage est détecté dans 30 l'image filmée.
12. Signal transportant un flux de trames de visiophonie entre un premier terminal portable (100) et un deuxième terminal portable (200), caractérisé en ce qu'au moins une trame envoyée par le premier terminal (100) comporte des données audio, des données vidéo et des données de cadrage (Dc), les données de cadrage indiquant la position et/ou le déplacement d'une portion d'image prise par une caméra (203) du deuxième terminal (200), ladite portion d'image correspondant à une image à envoyer du deuxième terminal (200) au premier terminal (100).
FR0500180A 2005-01-07 2005-01-07 Terminal de visiophonie avec reglages intuitifs Pending FR2880762A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR0500180A FR2880762A1 (fr) 2005-01-07 2005-01-07 Terminal de visiophonie avec reglages intuitifs
PCT/FR2005/003206 WO2006075063A1 (fr) 2005-01-07 2005-12-20 Terminal de visiophonie avec reglages intuitifs
EP05850555A EP1834475A2 (fr) 2005-01-07 2005-12-20 Terminal de visiophonie avec reglages intuitifs
US11/794,695 US8264522B2 (en) 2005-01-07 2005-12-20 Videotelephone terminal with intuitive adjustments

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0500180A FR2880762A1 (fr) 2005-01-07 2005-01-07 Terminal de visiophonie avec reglages intuitifs

Publications (1)

Publication Number Publication Date
FR2880762A1 true FR2880762A1 (fr) 2006-07-14

Family

ID=34953229

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0500180A Pending FR2880762A1 (fr) 2005-01-07 2005-01-07 Terminal de visiophonie avec reglages intuitifs

Country Status (4)

Country Link
US (1) US8264522B2 (fr)
EP (1) EP1834475A2 (fr)
FR (1) FR2880762A1 (fr)
WO (1) WO2006075063A1 (fr)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7696888B2 (en) * 2006-04-05 2010-04-13 Graco Children's Products Inc. Portable parent unit for video baby monitor system
US8314716B2 (en) * 2008-03-27 2012-11-20 Siemens Industry, Inc. Use of OLED technology in HVAC sensors
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
KR101659954B1 (ko) * 2009-06-03 2016-09-26 코닌클리케 필립스 엔.브이. 라우드스피커 위치들의 추정
JP2011023886A (ja) * 2009-07-14 2011-02-03 Panasonic Corp テレビ会議装置及び映像表示処理方法
KR101660305B1 (ko) * 2010-03-31 2016-09-27 삼성전자주식회사 이동통신 단말기 간의 원격 제어 방법 및 장치
US9955209B2 (en) * 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US8994838B2 (en) * 2013-04-16 2015-03-31 Nokia Corporation Motion adaptive cropping for video stabilization
KR102156799B1 (ko) * 2013-09-03 2020-09-21 삼성전자 주식회사 화면 제어 방법 및 장치
US20150348325A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Method and system for stabilization and reframing
WO2016151925A1 (fr) * 2015-03-26 2016-09-29 富士フイルム株式会社 Dispositif de commande de suivi, procédé de commande de suivi, programme de commande de suivi et système de capture d'image/de suivi automatique
EP3310043A4 (fr) * 2015-06-10 2019-01-16 Sony Interactive Entertainment Inc. Visiocasque, procédé de commande d'affichage et programme

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1304853A2 (fr) * 2001-10-18 2003-04-23 Nokia Corporation Méthode et appareil à main pour obenir un image d'un objet par la combinaison d'une pluralité des images
EP1377040A1 (fr) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Procédé de stabilisation d'une séquence d'images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
US7333820B2 (en) * 2001-07-17 2008-02-19 Networks In Motion, Inc. System and method for providing routing, mapping, and relative position information to users of a communication network
US7099288B1 (en) * 2001-10-16 2006-08-29 Sprint Communications Company L.P. Telephonic addressing for establishing simultaneous voice and computer network connections
US7933556B2 (en) * 2002-12-19 2011-04-26 Vtech Telecommunications Limited Remote video access capability for a wireless video monitoring/cordless phone system
US7221520B2 (en) * 2003-11-13 2007-05-22 Interdigital Technology Corporation Camera control using wireless technology
US7498951B2 (en) * 2004-10-18 2009-03-03 Ixi Mobile (R &D), Ltd. Motion sensitive illumination system and method for a mobile computing device
US20060099940A1 (en) * 2004-11-10 2006-05-11 Pfleging Gerald W Method for changing the status of a mobile apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1304853A2 (fr) * 2001-10-18 2003-04-23 Nokia Corporation Méthode et appareil à main pour obenir un image d'un objet par la combinaison d'une pluralité des images
EP1377040A1 (fr) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Procédé de stabilisation d'une séquence d'images

Also Published As

Publication number Publication date
US8264522B2 (en) 2012-09-11
US20080246830A1 (en) 2008-10-09
WO2006075063A8 (fr) 2007-01-04
WO2006075063A1 (fr) 2006-07-20
EP1834475A2 (fr) 2007-09-19

Similar Documents

Publication Publication Date Title
FR2880762A1 (fr) Terminal de visiophonie avec reglages intuitifs
CN113422903B (zh) 拍摄模式切换方法、设备、存储介质
JP6803982B2 (ja) 光学撮像方法および装置
JP4575443B2 (ja) 顔画像の補正
KR100908028B1 (ko) 전자 장치들을 위한 멀티 카메라 솔루션
EP1143694A2 (fr) Appareil de capture et traitement d&#39;images
CN110428378A (zh) 图像的处理方法、装置及存储介质
EP1886496B1 (fr) Procede et dispositif de commande d&#39;un deplacement d&#39;une ligne de visee, systeme de visioconference, terminal et programme pour la mise en oeuvre du procede
KR100678209B1 (ko) 휴대단말기의 이미지 제어방법
US20230162323A1 (en) Image frame super-resolution implementation method and apparatus
KR20070117284A (ko) 듀얼 카메라를 구비한 이동 통신 단말기에서 복수의 영상합성방법
KR100689419B1 (ko) 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법
CN104350740A (zh) 利用无线***视频会议装置进行视频会议
CN111696039B (zh) 图像处理方法及装置、存储介质和电子设备
CN113852755A (zh) 拍摄方法、设备、计算机可读存储介质及程序产品
KR20080106668A (ko) 휴대단말기의 영상 촬영 방법
JP4247666B2 (ja) 画像処理方法及び画像処理システム
CN107071293B (zh) 一种拍摄装置、方法和移动终端
KR20050042852A (ko) 터치 스크린을 이용한 휴대용 단말기의 디스플레이방법
KR101386522B1 (ko) 카메라가 구비되지 않은 통신 단말기를 이용하여 화상통화를 수행하는 방법 및 시스템
JP2006140596A (ja) 通信端末
FR2790166A1 (fr) Appareil telephonique muni d&#39;un ecran video
CN115297269B (zh) 曝光参数的确定方法及电子设备
KR100827142B1 (ko) 휴대단말기에서 영상 데이터 추출을 위한 장치 및 방법
KR100498362B1 (ko) 휴대폰의 복원영상 후처리 방법