FR2967545A1 - Systeme et procede de synchronisation d'une application avec un contenu audio - Google Patents

Abstract

Une application est à synchroniser avec un contenu audio destiné à être consommé par un terminal consommateur. Le contenu est fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle. L'application s'exécute selon une seconde référence temporelle. Synchroniser l'application avec le contenu audio comporte des étapes : d'obtention (6.4) de données audio dudit contenu horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; de détermination (6.6) d'informations de corrélation entre les données audio ; de détermination (6.7) d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données ; et de synchronisation de l'application avec ledit contenu, sur la base de cette information de décalage temporel.

Description

La présente invention concerne la synchronisation d'une application, installée sur un terminal, dit terminal d'interactivité, avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle. Les terminaux mobiles tels que les téléphones mobiles, et notamment les téléphones haut de gamme (aussi appelés smartphones en anglais ou téléphones intelligents en français), les assistants personnels numériques PDA (Persona/ Digital Assistant en anglais), les ordinateurs personnels de type tablette (tablet PC ou tablet Persona/ Computer en anglais, aussi appelé Tablette Electronique en français), et plus généralement tous les terminaux mobiles ou portables dotés de capacités multimédia sont des exemples de terminaux d'interactivité. Ces terminaux offrent des fonctionnalités toujours plus nombreuses à leurs utilisateurs. Ces fonctionnalités sont accessibles sous la forme de modules logiciels appelés applications. Grâce à l'étendue des fonctionnalités qu'ils proposent, ces terminaux mobiles d'interactivité deviennent de facto une interface privilégiée pour interagir avec un utilisateur. Bien que ces terminaux mobiles d'interactivité permettent généralement de visualiser des contenus audiovisuels, l'utilisateur préfère d'ordinaire, dans l'environnement domestique, visualiser de tels contenus sur un écran, éventuellement connecté à un boîtier décodeur (set-top box en anglais) permettant de recevoir du contenu diffusé (broadcast en anglais). En effet, les dimensions de l'écran sur lequel sont alors visualisés de tels contenus permettent une meilleure expérience utilisateur (user expérience en anglais). On parle alors de terminal consommateur. Comme exemples de terminaux consommateurs, on peut citer les postes de télévision, comportant un écran et des haut-parleurs, ou encore les haut-parleurs servant à diffuser le son lorsque ceux-ci ne sont pas intégrés avec l'écran, ou tout autre système audio. Afin d'augmenter cette expérience utilisateur, il est envisagé de permettre à l'utilisateur de visualiser de tels contenus audiovisuels sur un écran de taille de l'ordre de celles des postes de télévision actuels, tout en lui donnant la possibilité d'interagir avec ces contenus via un terminal mobile d'interactivité. Dans un tel contexte, étant donné que le terminal mobile d'interactivité, le boîtier décodeur et l'écran, ou le terminal consommateur, ne disposent pas d'une référence temporelle commune, il est nécessaire de synchroniser l'application interactive lancée sur le terminal mobile avec le contenu affiché par l'écran. En effet, pour une bonne expérience utilisateur, il est nécessaire que l'application gère l'interactivité avec l'utilisateur de manière synchronisée avec le contenu affiché. On peut noter qu'il n'apparaît pas souhaitable de réaliser la synchronisation de l'application avec le contenu par (i) asservissement de l'horloge du terminal mobile d'interactivité sur celle du terminal consommateur, puis (ii) synchronisation de l'horloge du terminal consommateur avec celle du flux sous la forme duquel le contenu est fourni. Cet asservissement pourrait par exemple être implémenté par la mise en oeuvre d'un protocole entre le terminal consommateur, par exemple l'écran du téléviseur, et le terminal mobile d'interactivité, ou encore par l'exploitation, à la fois par le terminal mobile d'interactivité et par le terminal consommateur, d'une horloge universelle. Cela aurait toutefois l'inconvénient de nécessiter soit le développement de protocoles à mettre en oeuvre conjointement par le terminal mobile d'interactivité et par le terminal consommateur, ce qui poserait des difficultés d'interopérabilité, soit l'intégration de la fonctionnalité d'horloge universelle dans de nombreux équipements multimédia, ce qui tendrait à augmenter le coût de tels équipements. Dans tous les cas, cela ne permettrait pas d'utiliser comme terminaux consommateurs des écrans déjà présents sur étagère (appelés legacy displays en anglais). Dans le cas où le terminal d'interactivité et le terminal consommateur sont réalisés par le même équipement, par exemple lorsque des données interactives sont présentées à l'utilisateur à même l'écran du poste de télévision et non sur un terminal mobile, on peut noter qu'un problème similaire de synchronisation se pose. La première référence temporelle utilisée pour horodater les données du flux transportant le contenu audiovisuel est en effet inconnue du terminal d'interactivité/consommateur.

Lorsque le flux de données est reçu via le boîtier décodeur, et alors même que la première référence temporelle utilisée pour horodater le flux audio diffusé pourrait être connue de ce boîtier décodeur, le décalage temporel existant entre le décodage du flux par le boîtier décodeur et la consommation effective des données par l'écran nuirait grandement à l'expérience utilisateur. De surcroît, on peut noter que selon certaines architectures, les données interactives ne transiteraient pas par le boîtier décodeur. On peut en outre remarquer que cette problématique de synchronisation se pose également lorsque le contenu est simplement un contenu audio plutôt qu'un contenu audiovisuel, les terminaux utilisés pouvant, à titre d'illustration, prendre la forme d'un terminal mobile pour le terminal d'interactivité et d'un poste de radio pour le terminal consommateur. Il est souhaitable de pallier ces différents inconvénients de l'état de la technique. L'invention concerne un système de synchronisation d'une application avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle. Le système est tel qu'il comporte : des moyens d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; des moyens de détermination d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; des moyens de détermination d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ; et des moyens de synchronisation de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé. Ainsi, il est possible de synchroniser l'application sans avoir à asservir la référence temporelle, sur la base de laquelle elle s'exécute, avec la référence temporelle utilisée pour l'horodatage des données du flux sous la forme duquel le contenu est fourni. Selon un mode de réalisation particulier, l'application s'exécute sur un terminal distinct du terminal consommateur et lesdits moyens d'obtention de données audio dudit contenu comprennent des moyens d'enregistrement d'une partie du contenu audio consommé par le terminal consommateur. Ainsi, bien que l'application soit installée sur un terminal, dit terminal d'interactivité, auquel le contenu n'est pas destiné, il est possible de synchroniser l'application au contenu. Il est alors possible à l'utilisateur d'utiliser un terminal mobile d'interactivité pour interagir de manière synchronisée avec un contenu audiovisuel traité indépendamment par un terminal consommateur fixe, tel qu'un écran muni de haut-parleurs. Selon un mode de réalisation particulier, le terminal consommateur est connecté à un dispositif comportant des moyens de récupération dudit contenu à partir dudit flux de données audio horodatées selon la première référence temporelle, l'application s'exécute sur le terminal consommateur et le terminal consommateur comporte des moyens de génération, à partir dudit contenu audio, d'un flux de données audio horodatées selon la seconde référence temporelle. Ainsi, les données audio obtenues sont non-bruitées, le résultat de la corrélation entre les données audio horodatées selon les deux références temporelles s'en trouvant fiabilisé. De cette manière, il est donc possible de synchroniser avec un risque d'erreur négligeable l'application avec le contenu audio. Selon un mode de réalisation particulier, le système comporte des moyens de ré-échantillonnage des données audio obtenues et/ou des données audio dudit flux vers une fréquence cible. Ainsi, il est possible d'utiliser des dispositifs, que ce soit pour la génération dudit flux ou pour l'obtention des données audio horodatées selon la seconde référence temporelle, qui fonctionnent à des fréquences d'échantillonnage distinctes. Selon un mode de réalisation particulier, lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par ladite application. Ainsi, lorsque plusieurs telles applications sont mises en oeuvre sur des terminaux respectifs, par exemple pour un parc de terminaux mobiles d'interactivité, il est possible de déclencher des fonctionnalités de ces applications en utilisant une même notification générique, commune à tous les terminaux d'interactivité.

Selon un mode de réalisation particulier, lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par un dispositif transmettant à ladite application des événements liés audit contenu. Ainsi, il est possible de mettre en oeuvre une application qui n'a pas conscience du décalage temporel existant entre les références temporelles. Le développement de telles applications s'en trouve simplifié. Selon un mode de réalisation particulier, les moyens de détermination d'informations de corrélation comportent un filtre adapté (matched filter en anglais), basé sur une inversion temporelle desdites données audio obtenues, ou des moyens de génération d'empreintes acoustiques à partir desdites données obtenues et des données dudit flux et de comparaison des empreintes générées. Ainsi, il est possible de réaliser simplement et efficacement la corrélation entre les données audio horodatées selon les deux références temporelles. Selon un mode de réalisation particulier, le système comporte des moyens de modification de l'information de décalage temporel sur détection d'un démarrage de décodage de flux. Ainsi, lorsqu'un nouveau programme audiovisuel est sélectionné par l'utilisateur, les éventuelles désynchronisations temporelles liées à ce changement de contexte sont corrigées par adaptation de l'information de synchronisation temporelle.

Selon un mode de réalisation particulier, ledit contenu audio fait partie d'un contenu audiovisuel. L'invention concerne également un procédé de synchronisation d'une application avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle. Le procédé est tel qu'il comporte des étapes : d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; de détermination d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; de détermination d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ; de synchronisation de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé. L'invention concerne également un dispositif déterminant une information de décalage destinée à synchroniser une application avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle. Le dispositif est tel qu'il comporte : des moyens d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; des moyens de détermination d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; des moyens de détermination de l'information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles. L'invention concerne également un dispositif comportant une application à synchroniser avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle. Le dispositif est tel qu'il comporte : des moyens d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; et, des moyens de transmission, à un dispositif destiné à synchroniser ladite application avec le contenu audio, desdites données audio obtenues et horodatées sur la base de la seconde référence temporelle. Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels : - la Fig. 1 illustre schématiquement un système de synchronisation d'une application à un flux de donnés audio, selon un premier mode de réalisation de 20 l'invention ; - la Fig. 2 illustre schématiquement un système de synchronisation d'une application à un flux de donnés audio, selon un second mode de réalisation de l'invention ; - la Fig. 3 illustre schématiquement une architecture d'équipement du système 25 de synchronisation, tel qu'une plate-forme de service de synchronisation ou un terminal utilisateur, selon un mode de réalisation de l'invention ; - la Fig. 4 illustre schématiquement un algorithme mis en oeuvre par un terminal utilisateur, selon le premier mode de réalisation de l'invention ; - la Fig. 5 illustre schématiquement un algorithme mis en oeuvre par un 30 terminal utilisateur, selon le second mode de réalisation de l'invention ; - la Fig. 6 illustre schématiquement un algorithme mis en oeuvre par une plate- forme de service de synchronisation, selon un mode de réalisation de l'invention. De manière à synchroniser une application, installée sur un terminal, dit terminal d'interactivité, permettant à un utilisateur d'interagir avec un flux de données audio, il est proposé d'effectuer un horodatage des données audio correspondant aux instants où ces données sont consommées par un terminal, dit terminal consommateur, auquel elles sont destinées. Selon un premier exemple, les données audio sont issues d'un contenu audiovisuel et le terminal consommateur est un écran sur lequel est connecté un boîtier décodeur fournissant le flux de données après décodage. Selon un second exemple, les données audio sont issues d'un contenu audio et le terminal consommateur est un amplificateur, par exemple destiné au cinéma à la maison (home theater en anglais). Les informations d'horodatage et les données audio auxquelles elles sont associées, obtenues au niveau du terminal d'interactivité, sont alors transmises à une plate-forme de service de synchronisation, qui dispose du même contenu mais avec un horodatage effectué au niveau du réseau de diffusion, c'est-à-dire en amont du terminal consommateur. La référence temporelle utilisée au niveau du réseau de diffusion constitue la première référence temporelle. La plate-forme de service de synchronisation effectue alors une corrélation entre ces données et celles reçues du terminal d'interactivité, afin de déterminer à quelle portion du flux correspondent les données reçues du terminal d'interactivité. Une fois que cette corrélation est effectuée, les informations d'horodatage permettent de déterminer un décalage temporel entre la référence temporelle utilisée au niveau du réseau de diffusion, c'est-à-dire la première référence temporelle, et celle utilisée au niveau du terminal d'interactivité, c'est-à-dire la seconde référence temporelle. Ce décalage temporel est ensuite exploité pour synchroniser l'application, installée sur le terminal d'interactivité, sur des instants de consommation du flux par le terminal consommateur. La F i g . 1 illustre schématiquement un système de synchronisation de 25 l'application au flux de donnés audio, selon un premier mode de réalisation de l'invention. Un dispositif source 1.1, tel qu'une caméra ou une régie, fournit un contenu comportant des données audio via un lien 1.10, filaire ou sans-fil. Le lien 1.10 est connecté à la plate-forme de service de synchronisation 1.3 et à un équipement de 30 diffusion 1.2, ce qui leur permet de recevoir le flux de données fourni par la source 1.1. L'équipement de diffusion 1.2 encode le flux de données reçu via le lien 1.10, de manière à l'adapter pour être diffusé à des boîtiers décodeurs, typiquement installés dans des habitations. L'encodage effectué par l'équipement de diffusion 1.2 est par exemple conforme à la norme de diffusion de vidéo numérique terrestre DVB-T (Digital Video Broadcasting - Terrestrial en anglais), telle que décrite dans le document de spécification ETSI EN 300 744 V1.6.1 «Digital Video Broadcasting (DVB); Framing Structure, Channel Coding and Modulation for Digital Terrestrial Television ». Le flux ainsi encodé est alors reçu, dans une habitation, via un lien 1.11, par un boîtier décodeur 1.4. Le boîtier décodeur 1.4 est représenté sur la Fig.l de manière intégrée à un écran de télévision 1.16. Le boîtier décodeur 1.4 décode le flux reçu via le lien 1.11, c'est-à-dire qu'il effectue l'opération inverse de celle effectuée par l'équipement de diffusion 1.2. Il récupère ainsi le contenu, les données n'étant alors plus sous la forme du flux horodaté reçu par le boîtier décodeur 1.4. Une fois décodé, le flux est traité de manière à être adapté pour être affiché sur l'écran 1.16, en ce qui concerne les données vidéo, et diffusé sur des haut-parleurs, en ce qui concerne les données audio. L'ensemble constitué par la plate-forme de service de synchronisation 1.3, l'équipement de diffusion 1.2, les boîtiers décodeurs et éventuellement la source 1.1 forme le réseau de diffusion. Chaque dispositif du réseau de diffusion partage la même référence temporelle et leurs horloges internes sont synchronisées sur cette même référence temporelle. La plate-forme de service de synchronisation 1.3 comporte une horloge interne 1.13 qu'elle utilise comme référence temporelle pour l'horodatage et l'analyse des données du flux reçu via le lien 1.10, comme décrit ci-après en relation avec la Fig. 6. Le système de synchronisation comporte, outre la plate-forme de service de synchronisation 1.3, un terminal mobile 1.5 sur lequel peut être lancée l'application 1.15 permettant d'interagir avec un utilisateur en fonction du contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs. Ce terminal mobile 1.5 comporte une horloge interne 1.14 qu'il utilise comme référence temporelle pour horodater les données audio du flux consommées par l'écran 1.16, c'est-à-dire diffusées par les haut-parleurs, comme décrit ci-après en relation avec la Fig. 4. La plate-forme de service de synchronisation 1.3 et le terminal mobile 1.5 échangent des données via un lien 1.12, qui est par exemple une connexion établie via le réseau Internet. Ces données permettent de synchroniser l'application 1.15 avec le contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs, tel que décrit ci-après en relation avec les Figs. 4 et 6. L'application 1.15 permet la mise en oeuvre de services qui peuvent par exemple être classifiés de la façon suivante : - services de type « pousser » (push en anglais), permettant de présenter sur le terminal mobile 1.5 des données interactives en étroite relation avec le contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs ; - services de type « tirer » (pull en anglais), permettant à l'utilisateur de 5 requérir à tout moment, via le terminal mobile 1.5, des données complémentaires au contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs ; et - services de type « divertissement » (entertainment en anglais), permettant à l'utilisateur de répondre, via le terminal mobile 1.5, à des questions posées au fil du contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs, le terminal mobile 10 1.5 contrôlant les temps de réponse de l'utilisateur. D'autres classifications peuvent être utilisées, et notamment des combinaisons des services mentionnés ci-dessus, comme par exemple des services de type « pousser-tirer » (push-pull en anglais) permettant à l'utilisateur de récupérer sur le terminal mobile une information présente à un instant donné dans le contenu affiché 15 sur l'écran 1.16 et/ou diffusé sur les haut-parleurs. Ainsi, les données échangées via le lien 1.12 permettent aussi à l'application 1.15 de gérer l'interactivité avec l'utilisateur. En d'autres termes, ces données peuvent correspondre à des actions utilisateur exécutées via une interface homme-machine du terminal mobile 1.5 ou à des notifications événementielles transmises à l'application 20 1.15. La Fig. 2 illustre schématiquement un système de synchronisation de l'application au flux de donnés audio, selon un second mode de réalisation de l'invention. La Fig. 2 diffère de la Fig. 1 en ce que le boîtier décodeur 2.3 est un dispositif autonome (stand-alone device en anglais), c'est-à-dire qu'il n'est pas intégré 25 dans un écran. Le boîtier décodeur 2.3 est connecté à un écran 2.1 via un lien 2.2, qui permet de transmettre les données audiovisuelles décodées. Le lien 2.2 est par exemple conforme à la norme d'interface multimédia haute définition HDMI (pour High Definition Multimedia Interface en anglais), par exemple selon le document «High Definition Multimedia Interface Specification, Version 1.3, HDMI Licensing 30 LLC, 2006». L'écran 2.1 comporte une horloge interne 2.4, qu'il utilise comme référence temporelle pour horodater les données audio du flux qu'il consomme. L'écran 2.1 comporte aussi l'application 1.15. L'interactivité avec l'utilisateur est alors réalisée par le biais de l'écran 2.1, qui se substitue au terminal mobile 1.5 de la Fig. 1 dans ses relations avec la plate-forme de service de synchronisation 1.3 via le lien 1.12. La plate-forme de service de synchronisation 1.3 et l'écran 2.1 échangent des données via le lien 1.12 pour permettent de synchroniser l'application 1.15 avec le contenu affiché sur l'écran 2.1 et/ou diffusé sur des haut-parleurs, tel que décrit ci-après en relation avec les Figs. 5 et 6. La Fig. 3 illustre schématiquement, au moins partiellement, l'architecture du terminal mobile 1.5, de l'écran 2.1 ou de la plate-forme de service de synchronisation 1.3. Cette architecture schématique comporte, reliés par un bus de communication 3.1 : - un processeur, micro-processeur, microcontrôleur (noté lac) ou CPU (Central Processing Unit en anglais ou Unité Centrale de Traitement en français) 3.2 ; - une mémoire vive RAM (Random Access Memory en anglais ou Mémoire à Accès Aléatoire en français) 3.3 ; - une mémoire morte ROM (Read Only Memory en anglais ou Mémoire à Lecture Seule en français) 3.4 ; - un lecteur 3.5 de medium de stockage, tel qu'un lecteur de carte SD (Secure Digital Card en anglais ou Carte Numérique Sécurisée en français) ou un disque dur HDD (Hard Disk Drive en anglais) ; - des moyens d'interface 3.6 avec un réseau de communication, comme par 20 exemple avec le réseau Internet ; et - des moyens d'interface homme-machine 3.7, permettant notamment, en ce qui concerne le terminal mobile 1.5 et l'écran 2.1, d'interagir avec l'utilisateur. Le microcontrôleur 3.2 est capable d'exécuter des instructions chargées dans la RAM 3.3 à partir de la ROM 3.4, d'une mémoire externe, d'un support de stockage ou 25 d'un réseau de communication. Après mise sous tension, le microcontrôleur 3.2 est capable de lire de la RAM 3.3 des instructions et de les exécuter. Ces instructions forment un programme d'ordinateur. Ce programme d'ordinateur cause la mise en oeuvre, par le microcontrôleur 3.2, de tout ou partie des algorithmes décrits ci-après en relation avec les Figs. 4 à 6. 30 Tout ou partie des algorithmes décrits ci-après en relation avec les Figs. 4 à 6 peut être implémenté sous forme logicielle par exécution d'un ensemble d'instructions par une machine programmable, tel qu'un DSP (Digital Signal Processor en anglais ou Unité de Traitement de Signal Numérique en français) ou un microcontrôleur, tel que le microcontrôleur 3.2, ou être implémenté sous forme matérielle par une machine ou un composant dédié, tel qu'un FPGA (Field-Programmable Gate Array en anglais ou Matrice de Portes Programmable sur Champ en français) ou un ASIC (Application-Specific Integrated Circuit en anglais ou Circuit Intégré Spécifique à une Application en français).

La plate-forme de service de synchronisation 1.3 comporte préférentiellement au moins un disque dur. Les données fournies par la source 1.1 sont stockées sur ce disque dur et sont préférentiellement organisées par mémoire tampon (buffer en anglais) circulaire. La plate-forme de service de synchronisation 1.3 peut ainsi stocker un nombre prédéfini de ces données ou les données correspondant à une durée de consommation prédéfinie, comme par exemple les données correspondant à un nombre N de secondes consécutives d'affichage de données vidéo et de diffusion de données audio associées dans un flux audiovisuel. Comme déjà mentionné, la plate-forme de service de synchronisation 1.3 effectue une étape de corrélation entre des données reçues de la source 1.1 et des données reçues du terminal mobile 1.5 ou de l'écran 2.1. Il convient de noter que la profondeur de mémoire tampon circulaire doit être suffisamment élevée afin que les données reçues de la source 1.1 pendant l'étape de corrélation ne viennent pas écraser les données de la fenêtre de calcul de l'étape de corrélation. La Fig. 4 illustre schématiquement un algorithme mis en oeuvre par le terminal mobile 1.5, selon le premier mode de réalisation de l'invention illustré à la Fig. 1. Dans une étape 4.1, le terminal mobile 1.5 reçoit un signal audio diffusé par les haut-parleurs associés à l'écran 1.16. Dans une étape 4.2 suivante, le terminal mobile 1.5 effectue, grâce à un microphone, un enregistrement d'une durée prédéterminée du signal audio diffusé par les haut-parleurs. Le terminal mobile 1.5 numérise alors le signal audio reçu. Dans une étape 4.3 suivante, le terminal mobile 1.5 détermine, grâce à la référence temporelle fournie par l'horloge 1.14, des informations d'horodatage des données audio numérisées pendant l'enregistrement effectué à l'étape 4.2. Les données audio numérisées sont ainsi marquées temporellement (time stamped en anglais) par référence à l'horloge 1.14, ce marquage représentant pour chaque donnée l'instant auquel cette donnée est consommée par les haut-parleurs associés à l'écran 1.16. Le temps de propagation du signal audio dans l'air est négligé vis-à-vis de la désynchronisation possible entre les références temporelles, du réseau de diffusion d'une part et du terminal mobile 1.5 d'autre part. Dans une variante de réalisation, le terminal mobile 1.5 effectue une correction de l'horodatage en prenant en compte une valeur de temps de propagation du signal audio dans l'air. Dans une étape 4.4 suivante, le terminal mobile 1.5 transmet à la plate-forme de service de synchronisation 1.3 les données numérisées, ainsi que les informations d'horodatage qui leur sont associées. Dans une étape 4.5 suivante, le terminal mobile 1.5 reçoit, en provenance de la plate-forme de service de synchronisation 1.3, une information de synchronisation temporelle. Cette information correspond à un décalage temporel, déterminé par la plate-forme de service de synchronisation 1.3, entre la référence temporelle utilisée par le terminal mobile 1.5 et celle utilisée au niveau du réseau de diffusion. Cette information de synchronisation est fournie à l'application 1.15 de manière à ajuster temporellement ses interactions avec l'utilisateur lors de la mise en oeuvre des services mentionnés en relation avec la Fig. 1. Ces interactions sont alors temporellement synchronisées avec le contenu affiché par l'écran 1.16 et/ou diffusé par les haut-parleurs qui lui sont associés.

La Fig. 5 illustre schématiquement un algorithme mis en oeuvre par l'écran 2.1, selon le second mode de réalisation de l'invention illustré à la Fig. 2. Dans une étape 5.1, l'écran 2.1 reçoit, via le lien 2.2 et en provenance du boîtier décodeur 2.3, un flux de données audiovisuelles décodées, afin de le consommer. L'écran 2.1 sélectionne alors un segment du flux de données consommées, correspondant à une durée de consommation prédéfinie, comme par exemple les données correspondant à un nombre N de secondes consécutives d'affichage de données vidéo et de diffusion de données audio associées dans le flux audiovisuel. Dans une étape 5.2 suivante, l'écran 2.1 détermine, grâce à la référence temporelle fournie par l'horloge 2.4, des informations d'horodatage des données audio consommées. Les données audio consommées sont ainsi marquées temporellement par référence à l'horloge 2.4, ce marquage représentant pour chaque donnée l'instant auquel cette donnée est consommée par l'écran 2.1. De cette manière, l'écran 2.1 génère, à partir du contenu audio, un flux de données audio horodatées selon sa propre référence temporelle.

Dans une étape 5.3 suivante, l'écran 2.1 transmet ces données à la plate-forme de service de synchronisation 1.3, ainsi que les informations d'horodatage qui leur sont associées. Dans une étape 5.4 suivante, l'écran 2.1 reçoit, en provenance de la plate-forme de service de synchronisation 1.3, l'information de synchronisation temporelle déjà mentionnée en relation avec la Fig. 4.

La Fig. 6 illustre schématiquement un algorithme mis en oeuvre par la plate-forme de service de synchronisation 1.3, selon un mode de réalisation de l'invention. Dans une étape 6.1, la plate-forme de service de synchronisation 1.3 reçoit des données d'un flux via le lien 1.10. Dans une étape 6.2 suivante, la plate-forme de service de synchronisation 1.3 obtient des informations d'horodatage du flux. Ces informations d'horodatage sont générées sur la base de la référence temporelle du réseau de diffusion. Ces informations d'horodatage sont par exemple insérées par la source 1.1. Dans une variante de réalisation, ces informations d'horodatage sont générées par la plate-forme de service de synchronisation 1.3, au moyen de son horloge 1.13. Dans ce cas, l'équipement de diffusion 1.2 génère de la même manière des informations d'horodatage sur la base de son horloge interne, avant de les transmettre via le lien 1.11, les horloges internes des dispositifs du réseau de diffusion étant synchronisées sur la même référence temporelle. Dans une étape 6.3 suivante, la plate-forme de service de synchronisation 1.3 stocke les données reçues ainsi que les informations d'horodatage associées. Ces données sont non bruitées et constituent le flux de référence pour mettre en oeuvre l'étape de corrélation déjà mentionnée. Dans une étape 6.4 suivante, la plate-forme de service de synchronisation 1.3 reçoit des données audio et des informations d'horodatage associées, ces informations d'horodatage correspondant au moment où les données audio associées ont été consommées par le terminal auquel elles sont destinées, c'est-à-dire le terminal consommateur. Ces données audio et informations d'horodatage correspondent, dans les modes de réalisation décrits en relation avec les Figs. 4 et 5, respectivement à ce qui est transmis par le terminal mobile 1.5 dans l'étape 4.4 et par l'écran 2.1 dans l'étape 5.3. Dans une étape 6.5 optionnelle suivante, la plate-forme de service de synchronisation 1.3 effectue un ajustement en fréquence des données stockées à l'étape 6.3 et/ou de celles reçues à l'étape 6.4. L'étape de corrélation entre ces données devant être effectuée sur des données audio échantillonnées à la même fréquence, une fréquence cible est choisie. Par exemple, cette fréquence est choisie à 8 kHz. Dans le cas où la fréquence d'échantillonnage des données stockées à l'étape 6.3 et/ou de celles reçues à l'étape 6.4 diffère de la fréquence cible, une étape de ré-échantillonnage vers cette fréquence cible est effectuée.

Dans une étape 6.6 suivante, la plate-forme de service de synchronisation 1.3 effectue l'étape de corrélation, c'est-à-dire qu'elle détermine des informations de corrélation entre les données stockées à l'étape 6.3 et celles reçues à l'étape 6.4. L'étape de corrélation consiste à déterminer à quelle portion du flux reçu de la source 1.1 correspondent les données reçues à l'étape 6.4. Pour ce faire, un filtre adapté (matched filtrr en anglais), aussi appelé filtre de North, peut être appliqué. Le filtre adapté est alors formé sur la base des données audio reçues à l'étape 6.4, temporellement inversées. L'utilisation d'un tel filtre permet avantageusement de maximiser le rapport signal-à-bruit, notamment lorsque les données reçues à l'étape 6.4 proviennent de l'enregistrement effectué par le terminal mobile 1.5 à l'étape 4.2. Il est également possible de mettre en oeuvre des techniques de génération et de comparaison d'empreintes acoustiques (audio fingerprint en anglais). De telles empreintes sont générées pour les données audio reçues à l'étape 6.4 et sont comparées à des empreintes générées de façon similaire pour les données audio reçues à l'étape 6.1, c'est-à-dire horodatées selon la première référence temporelle. La plate-forme de service de synchronisation 1.3 peut en outre mettre en oeuvre une étape de validation des résultats de l'étape de corrélation, de manière à vérifier leur cohérence temporelle. Dans une étape 6.7 suivante, une fois que la plate-forme de service de synchronisation 1.3 a déterminé le positionnement des données audio reçues à l'étape 6.4 parmi les données audio stockées à l'étape 6.3, elle détermine une information de synchronisation temporelle représentative du décalage temporel entre la référence temporelle utilisée par le réseau de diffusion et celle utilisée par le terminal d'interactivité, c'est-à-dire celui sur lequel est lancée l'application 1.15.

Dans une étape 6.8 suivante, la plate-forme de service de synchronisation 1.3 transmet l'information de synchronisation temporelle, déterminée à l'étape 6.7, au terminal d'interactivité. L'information de synchronisation temporelle est alors exploitée, ou prise en compte, au niveau de ce terminal d'interactivité. Ainsi, lorsque la plate-forme de service de synchronisation 1.3 reçoit les données du flux, comme indiqué lors de l'étape 6.1, elle est en mesure de détecter des événements inscrits dans le flux, avec des informations d'horodatage associées à ces événements. La plate-forme de service de synchronisation 1.3 peut ainsi propager cet événement à l'ensemble des applications 1.15 pour lesquelles l'étape de corrélation a été mise en oeuvre et pour lesquelles les informations de synchronisation, issues de l'étape 6.7, sont disponibles. Les applications 1.15 sont alors en mesure d'adapter les horodatages de ces événements grâce aux informations de synchronisation dont elles disposent respectivement. Cela permet à la plate-forme de service de synchronisation 1.3 de transmettre chaque événement sous la forme d'une même notification, identique pour chaque application 1.15. De manière alternative, cela permet de gérer la transmission des événements par un autre dispositif que la plate-forme de service de synchronisation 1.3, comme par exemple l'équipement de diffusion 1.2. La charge de traitement de la plate-forme de service de synchronisation 1.3 est ainsi allégée. Dans une variante de réalisation, l'information de synchronisation temporelle est exploitée, ou prise en compte, au niveau de la plate-forme de service de synchronisation 1.3. Les informations de synchronisation ne sont alors pas transmises aux applications 1.15. Lorsque la plate-forme de service de synchronisation 1.3 détecte un événement dans le flux, elle adapte l'horodatage associé à l'événement en prenant en compte l'information de synchronisation déterminée à l'étape 6.7, et ce, pour chaque application 1.15. La plate-forme de service de synchronisation 1.3 transmet alors à chaque application 1.15 une notification d'événement, dont l'information d'horodatage est adaptée à l'application 1.15 concernée. Les événements sont notifiés aux terminaux d'interactivité par indication de la valeur de la référence temporelle à laquelle cet événement doit avoir lieu dans le terminal d'interactivité, cette valeur temporelle pouvant être déterminée soit par rapport à la première référence temporelle (cas d'une notification générique) soit par rapport à la seconde référence temporelle (cas d'une notification particulière à chaque terminal d'interactivité). Ces notifications peuvent a priori être transmises aux terminaux sous différentes formes, comme par exemple des messages dédiés distincts des trames encapsulant les données audiovisuelles, des champs dédiés inclus directement dans les trames encapsulant les données audiovisuelles, ou tout autre moyen de signalisation. Les événements peuvent être fournis par la source 1.1 ou par un dispositif dédié placé, sur le lien 1.10, en aval de la source 1.1 et en amont de la plate-forme de service de synchronisation 1.3 et de l'équipement de diffusion 1.2.

La correspondance entre références temporelles est établie pour les données audio. Dans le cas où les références temporelles utilisées pour les données audio et vidéo sont distinctes, et que les événements sont liés aux données vidéo, chaque application 1.15 et/ou la plate-forme de service de synchronisation 1.3 sont en mesure de déterminer le décalage entre ces références temporelles. Il suffit de comparer les horodatages d'une donnée vidéo et d'une donnée audio associée dans le flux audiovisuel pour déterminer ce décalage. Ainsi, la différence entre ces références temporelles, combinée avec l'information de synchronisation déterminée à l'étape 6.7, permet de gérer de manière synchronisée des événements liés aux données vidéo.

Une fois déterminé le décalage temporel entre la référence temporelle du réseau de diffusion et celle du terminal sur lequel est lancée l'application 1.15, il peut être mis en oeuvre des mécanismes permettant de corriger une dérive entre les références temporelles. L'exécution d'une nouvelle opération de synchronisation peut alors être initiée : - soit par l'utilisateur du terminal sur lequel est lancée l'application 1.15, par exemple lors d'une détection d'un décalage temporel visible entre les données interactives affichées par ce terminal et le contenu auquel elles se référent ; - soit par la plate-forme de service de synchronisation 1.3, par exemple à intervalles réguliers ou suite à l'expiration d'une temporisation.

En outre, des désynchronisations peuvent apparaître lorsque l'on bascule d'un contenu à un autre, c'est-à-dire, d'un flux à un autre, sur le boîtier décodeur 1.4 ou 2.3. Il est alors possible de réitérer l'opération de synchronisation. Cela peut être effectué sur détection du démarrage d'un flux dans le boîtier décodeur ou du démarrage de la consommation d'un flux par le terminal consommateur. Cette détection d'un démarrage de décodage de flux, par exemple résultant d'un changement de chaînes opéré par l'utilisateur peut provenir : - de notifications générées par le boîtier décodeur 1.4 ou 2.3 ; - de traitements spécifiques effectués par le terminal consommateur, par détection de discontinuité du signal audiovisuel ; - du terminal d'interactivité lui-même, dans le cas où celui-ci fait office de télécommande pour le boîtier décodeur 1.4 ou 2.3. L'information de synchronisation temporelle est alors modifiée en conséquence. Afin de corriger l'information de synchronisation temporelle déterminée à l'étape 6.7, il est possible de déterminer la correspondance entre la référence temporelle utilisée par le réseau de diffusion et une référence temporelle utilisée par le boîtier décodeur, puis de déterminer ultérieurement la dérive d'une telle correspondance lors d'un basculement d'un flux à un autre. Il est alors possible d'ajuster l'information de synchronisation temporelle déterminée à l'étape 6.7 grâce à la dérive déterminée.

Selon une autre mise en oeuvre, le terminal consommateur dipose de deux modes de réception d'un même contenu. Le terminal consommateur est alors adapté pour recevoir deux flux, correspondant à un même contenu, par deux biais différents. Par exemple, un premier flux peut être reçu de manière diffusée, en provenance de l'équipement de diffusion 1.2 et un second flux est reçu, de manière point-à-point, via le réseau Internet. Ces deux flux disposent alors d'horodatages effectués sur la base de références temporelles distinctes. L'opération de corrélation peut alors être mise en oeuvre de manière à déterminer le décalage temporel entre ces deux flux. Des informations de corrélation d'un segment d'un de ces deux flux avec l'autre flux sont déterminées pour déterminer une information de synchronisation temporelle, c'est-à-dire un décalage temporel entre les deux références, de la même manière qu'aux étapes 6.6 et 6.7. Cette information de décalage temporel peut alors être utilisée pour permettre un basculement synchronisé d'un flux à l'autre, c'est-à-dire de manière transparente pour l'utilisateur. Un tel basculement est par exemple utile lorsque le terminal consommateur est un terminal mobile et que l'utilisateur pénètre dans une zone géographique non couverte selon l'un des deux modes de réception.

Claims (12)

1. REVENDICATIONS1) Système de synchronisation d'une application (1.15), avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle (1.13), ladite application s'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte : - des moyens d'obtention (4.2;5.1;6.4) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; - des moyens de détermination (6.6) d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; - des moyens de détermination (6.7) d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ; - des moyens de synchronisation (4.5;5.4;6.8) de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé.
2. 2) Système selon la revendication 1, caractérisé en ce que l'application s'exécute sur un terminal (1.5) distinct du terminal consommateur (1.16) et en ce que lesdits moyens d'obtention de données audio dudit contenu comprennent des moyens d'enregistrement (4.2) d'une partie du contenu audio consommé par le terminal consommateur.
3. 3) Système selon la revendication 1, caractérisé en ce que le terminal consommateur est connecté à un dispositif (2.3) comportant des moyens de récupération dudit contenu à partir dudit flux de données audio horodatées selon la première référence temporelle, en ce que l'application s'exécute sur le terminal consommateur et en ce que le terminal consommateur comporte des moyens de génération (5.2), à partir dudit contenu audio, d'un flux de données audio horodatées selon la seconde référence temporelle.
4. 4) Système selon l'une des revendications 1 à 3, caractérisé en ce qu'il comporte des moyens de ré-échantillonnage (6.5) des données audio obtenues et/ou des données audio dudit flux vers une fréquence cible.
5. 5) Système selon l'une des revendications 1 à 4, caractérisé en ce que lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par ladite application.
6. 6) Système selon l'une des revendications 1 à 4, caractérisé en ce que lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par un dispositif transmettant à ladite application des événements liés audit contenu.
7. 7) Système selon l'une des revendications 1 à 6, caractérisé en ce que les moyens de détermination d'informations de corrélation comportent un filtre adapté, basé sur une inversion temporelle desdites données audio obtenues, ou des moyens de génération d'empreintes acoustiques à partir desdites données obtenues et des données dudit flux et de comparaison des empreintes générées.
8. 8) Système selon l'une des revendications 1 à 7, caractérisé en ce qu'il comporte des moyens de modification de l'information de décalage temporel sur détection d'un démarrage de décodage de flux.
9. 9) Système selon l'une des revendications 1 à 8, caractérisé en ce que ledit contenu audio fait partie d'un contenu audiovisuel.
10. 10) Procédé de synchronisation d'une application (1.15) avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle (1.13), ladite application s'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte des étapes : - d'obtention (4.2;5.1;6.4) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pourindiquer des instants respectifs de consommation par ledit terminal desdites données audio ; - de détermination (6.6) d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; - de détermination (6.7) d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ; - de synchronisation (4.5;5.4;6.8) de l'application avec ledit contenu, sur la 10 base de l'information de décalage temporel déterminé.
11. 11) Dispositif (1.3) déterminant une information de décalage destinée à synchroniser une application (1.15) avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous 15 la forme d'un flux de données audio horodatées selon une première référence temporelle (1.13), ladite application s'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte : - des moyens d'obtention (6.4) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence 20 temporelle, pour indiquer des instants respectifs de consommation par ledit terminal desdites données audio ; - des moyens de détermination (6.6) d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; - des moyens de détermination (6.7) de l'information de décalage temporel 25 entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles.
12. 12) Dispositif (1.5;2.1) comportant une application (1.15) à synchroniser avec 30 un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle (1.13), ladite application s'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte :des moyens d'obtention (4.2;5.1) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal desdites données audio ; - des moyens de transmission, à un dispositif (1.3) destiné à synchroniser ladite application avec le contenu audio, desdites données audio obtenues et horodatées sur la base de la seconde référence temporelle.