FR2864406A1 - Audio or video flow sub-titling method, involves coding control flow containing sub-title part, as resultant flow by production server, such that resultant flow is transmitted to broadcasting and web servers and is called by user terminal - Google Patents
Audio or video flow sub-titling method, involves coding control flow containing sub-title part, as resultant flow by production server, such that resultant flow is transmitted to broadcasting and web servers and is called by user terminal Download PDFInfo
- Publication number
- FR2864406A1 FR2864406A1 FR0314850A FR0314850A FR2864406A1 FR 2864406 A1 FR2864406 A1 FR 2864406A1 FR 0314850 A FR0314850 A FR 0314850A FR 0314850 A FR0314850 A FR 0314850A FR 2864406 A1 FR2864406 A1 FR 2864406A1
- Authority
- FR
- France
- Prior art keywords
- stream
- subtitle
- audio
- resulting
- called
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101000582396 Escherichia phage D108 Repressor c protein Proteins 0.000 description 1
- 101000582397 Escherichia phage Mu Repressor protein c Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
- H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
- H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
- H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
- H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
2864406 12864406 1
Sous-titrage d'un flux audio ou vidéo dans un document multimédia La présente invention concerne un procédé et un système pour sous-titrer en temps réel un flux audio ou vidéo dans un document multimédia. The present invention relates to a method and a system for subtitling in real time an audio or video stream in a multimedia document.
Actuellement le sous-titrage d'une séquence vidéo diffusée dans un document multimédia élaboré à l'aide d'outil Rich Media est incorporé complètement aux images de la vidéo. Par conséquent il est impossible d'agir uniquement sur le sous-titre indépendamment de la vidéo. Currently, the captioning of a video clip broadcast in a rich media rich media document is completely embedded in the video frames. Therefore it is impossible to act only on the subtitle independently of the video.
Le sous-titre de la séquence vidéo est généralement produit par un opérateur de saisie. Un clavier de saisie ultra-rapide, appelé clavier "Velotype", combine les avantages de la sténographie et de la dactylographie en se fondant sur une écriture syllabique. L'opérateur augmente considérablement sa vitesse de saisie grâce à 37 touches réparties en trois groupes consonnes initiales, voyelles et consonnes finales. L'opérateur produit une syllabe en frappant simultanément plusieurs touches. Une partie informatique du clavier place les caractères de la syllabe dans le bon ordre. The subtitle of the video sequence is usually produced by an input operator. A high-speed keyboard, called the "Velotype" keyboard, combines the advantages of shorthand and typing based on syllabic writing. The operator greatly increases the input speed with 37 keys divided into three groups initial consonants, vowels and final consonants. The operator produces a syllable by simultaneously striking several keys. A computer part of the keyboard places the characters of the syllable in the right order.
La présente invention a pour objectif de diffuser en temps réel à partir d'un document multimédia au moins un sous-titre d'un flux continu audio ou vidéo afin que le sous-titre soit un objet multimédia indépendant et ainsi susceptible de traitement spécifique tel qu'une modification de la fonte des caractères du sous-titre. The present invention aims to broadcast in real time from a multimedia document at least one subtitle of a continuous audio or video stream so that the subtitle is an independent multimedia object and thus capable of specific processing as as a modification of the font of the subtitle characters.
Un avantage de l'invention est la génération du sous-titre sur un site géographique distant de celui de l'émetteur du flux audio ou vidéo et de ceux où le sous-titre généré est traité. An advantage of the invention is the generation of the subtitle on a geographical site remote from that of the transmitter of the audio or video stream and those where the generated subtitle is processed.
Pour atteindre cet objectif, un procédé pour sous-titrer en temps réel un flux audio produit par une source dans un document multimédia demandé par un terminal d'usager à travers un réseau depuis un moyen serveur comprenant un appel d'au moins un flux résultant dans le document multimédia est caractérisé en ce qu'il comprend les étapes suivantes: génération de partie de sous-titre du flux audio en temps réel dans un moyen de génération de sous-titre recevant le flux audio de la source; transmission d'au moins une partie de sous- titre générée à un moyen de production; - insertion d'au moins une partie de sous-titre transmise dans un flux de commande dans le moyen de production; et - codage du flux de commande en le flux résultant dans le moyen de production afin que le flux résultant soit transmis au moyen serveur et appelé par le terminal d'usager dans le document multimédia. To achieve this objective, a method for subtitling in real time an audio stream produced by a source in a multimedia document requested by a user terminal through a network from a server means comprising a call of at least one resulting stream in the multimedia document is characterized in that it comprises the following steps: generating a subtitle portion of the audio stream in real time in a subtitle generating means receiving the audio stream of the source; transmitting at least a portion of subtitle generated to a means of production; inserting at least a portion of subtitle transmitted into a control stream in the production means; and coding the control flow into the resulting flow in the production means so that the resulting flow is transmitted to the server means and called by the user terminal in the multimedia document.
L'invention génère ainsi en temps réel un sous-titre d'un flux audio ou vidéo et modifie en temps réel un flux de commande comportant le soustitre généré afin qu'après décodage du flux résultant appelé, le soustitre généré et contenu dans le flux résultant soit lu dans le terminal requérant le document multimédia. The invention thus generates in real time a subtitle of an audio or video stream and modifies in real time a control stream comprising the subtitle generated so that after decoding the resulting stream called, the subtitle generated and contained in the stream resulting in the terminal requesting the multimedia document.
Le procédé de sous-titrage peut comprendre, en outre, un codage et un multiplexage du flux audio et du flux de commande en le flux résultant, ou un multiplexage du flux audio et du flux de commande en le flux résultant qui est codé, dans le moyen de production qui reçoit le flux audio de la source, et un démultiplexage et un décodage de flux résultant en des flux audio et de commande codés qui sont décodés, ou un décodage du flux résultant qui est démultiplexé en le flux audio et le flux de commande, afin de reproduire le flux audio simultanément à la lecture de la partie de sous-titre; ou un codage et un multiplexage d'un flux vidéo incluant le flux audio et un flux d'image et le flux de commande en le flux résultant, ou un multiplexage du flux vidéo et du flux de commande en le flux résultant qui est codé, dans le moyen de production qui reçoit le flux vidéo de la source comprenant le flux audio et le flux image et un démultiplexage et un décodage du flux résultant en des flux vidéo et de commande codés qui sont décodés, ou un décodage du flux résultant qui est démultiplexé en le flux vidéo et le flux de commande, afin de reproduire le flux vidéo simultanément à la lecture de la partie de sous- titre. The subtitling method may further include encoding and multiplexing the audio stream and the control stream into the resulting stream, or multiplexing the audio stream and control stream into the resulting stream that is encoded, in the generating means that receives the audio stream from the source, and demultiplexing and decoding resulting streams into coded audio and control streams that are decoded, or decoding the resulting stream that is demultiplexed into the audio stream and the stream in order to reproduce the audio stream simultaneously with the playback of the subtitle portion; or encoding and multiplexing a video stream including the audio stream and an image stream and the control stream into the resulting stream, or multiplexing the video stream and the control stream into the resulting stream that is encoded, in the production means that receives the video stream from the source comprising the audio stream and the image stream and demultiplexing and decoding the resulting stream into coded video and control streams that are decoded, or decoding the resulting stream which is demultiplexed into the video stream and the control stream, to reproduce the video stream simultaneously with the playback of the subtitle portion.
La génération d'une partie de sous-titre comprend soit un sous-titrage manuel du flux audio à l'aide d'un clavier de saisie ultra-rapide, soit un sous-titrage automatique du flux audio basée sur une reconnaissance vocale du flux audio. The generation of a subtitle portion includes either manual subtitling of the audio stream using a high-speed input keyboard, or automatic audio stream subtitling based on speech recognition of the stream. audio.
La génération d'une partie de sous-titre peut aussi comprendre au moins une traduction de la partie de sous-titre, en une partie de sous-titre traduite transmise au moyen de production pour être insérée dans le flux de commande. Generation of a subtitle portion may also include at least one translation of the subtitle portion, into a translated subtitle portion transmitted to the production means for insertion into the control stream.
La partie de sous-titre transmise au moyen de production peut inclure un identificateur du locuteur d'une partie du flux audio correspondant à la partie de sous-titre. The sub-title portion transmitted to the production means may include a speaker identifier of a portion of the audio stream corresponding to the subtitle portion.
L'invention concerne aussi un système de sous- s titrage en temps réel d'un flux audio produit par une source pour la mise en oeuvre du procédé de l'invention. The invention also relates to a system for subtitling in real time an audio stream produced by a source for carrying out the method of the invention.
Le système est caractérisé en ce qu'il comprend: lo - un moyen recevant le flux audio de la source pour générer au moins une partie de sous-titre du flux audio en temps réel; - un moyen de production pour insérer au moins une partie de sous-titre transmise par le moyen pour 1s générer, dans un flux de commande; et - un moyen pour coder le flux de commande comprenant au moins une partie de sous-titre en le flux résultant transmis au moyen serveur et appelé par le terminal d'usager dans le document multimédia. The system is characterized by comprising: lo - means receiving the audio stream of the source for generating at least a subtitle portion of the audio stream in real time; production means for inserting at least a portion of subtitle transmitted by the means for generating it in a control flow; and - means for encoding the control stream comprising at least a subtitle portion into the resulting stream transmitted to the server means and called by the user terminal in the multimedia document.
Le système peut comprendre en outre un moyen relié au moyen pour coder et au terminal d'usager à travers ledit réseau et pour diffuser au terminal le flux résultant appelé, un moyen dans le terminal pour décoder le flux résultant appelé diffusé et un moyen dans le terminal pour lire au moins la partie de sous-titre insérée dans le flux résultant appelé diffusé dans le document multimédia. The system may further include means connected to the means for encoding and the user terminal through said network and for broadcasting to the terminal the resulting stream called, means in the terminal for decoding the resulting stream called broadcast and means in the terminal to play at least the subtitle portion inserted in the resulting stream called broadcast in the multimedia document.
De plus, au moins deux des éléments suivants sont rassemblés dans un unique élément. la source, le moyen pour générer, le moyen de production associé au moyen pour coder, le moyen serveur. In addition, at least two of the following elements are gathered in a single element. the source, the means for generating, the means of production associated with the means for coding, the server means.
D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la Other features and advantages of the present invention will become more apparent to the
lecture de la description suivante de plusieurs reading the following description of several
réalisations préférées de l'invention, à titre d'exemples non limitatifs, en référence aux dessins annexés correspondants dans lesquels: - la figure 1 est un bloc-diagramme schématique 5 d'un système de sous- titrage selon une réalisation de l'invention; et - la figure 2 est un algorithme schématique du procédé de sous-titrage selon la réalisation de l'invention. preferred embodiments of the invention, by way of nonlimiting examples, with reference to the corresponding appended drawings in which: - Figure 1 is a schematic block diagram of a subtitling system according to an embodiment of the invention ; and FIG. 2 is a schematic algorithm of the subtitling method according to the embodiment of the invention.
On suppose qu'un flux vidéo comporte un flux image et un flux audio multiplexés. It is assumed that a video stream includes a multiplexed image stream and audio stream.
Un terminal d'usager demande classiquement auprès d'un serveur web un document multimédia DM. Comme indiqué ci-dessus, l'objectif de l'invention consiste à incorporer au document multimédia au moins un sous- titre d'un flux audio ou vidéo. A user terminal typically requests from a web server a multimedia document DM. As indicated above, the object of the invention is to incorporate at least one subtitle of an audio or video stream into the multimedia document.
Dans l'invention, le document multimédia DM est par exemple codé selon le langage Javascript et le langage HTML (HyperText Markup Language) ou DHTML (Dynamic HyperText Markup Language). Le document multimédia peut comprendre d'autres éléments que le sous-titre, tels que des images statiques, des animations et des sons. In the invention, the multimedia document DM is for example coded according to the Javascript language and the HTML (HyperText Markup Language) or DHTML (Dynamic HyperText Markup Language) language. The multimedia document may include other elements than the subtitle, such as static images, animations, and sounds.
En référence à la figure 1, le système de sous-titrage mettant en uvre le procédé de sous-titrage selon une réalisation préférée de l'invention comprend principalement une source audio ou vidéo S, au moins un terminal T d'un usager US, au moins un générateur de sous-titre GS, un serveur de production SP, un serveur de diffusion SD et un serveur web SW. With reference to FIG. 1, the subtitling system implementing the subtitling method according to a preferred embodiment of the invention mainly comprises an audio or video source S, at least one terminal T of a US user, at least one GS subtitle generator, an SP production server, an SD broadcast server and a SW web server.
La source S, le terminal T et le générateur GS sont connectés à un réseau d'accès RA à travers des liaisons de télécommunications LT. Pour des raisons de simplicité, la source S, le terminal T et le générateur GS sont supposés être connectés à un réseau d'accès commun, alors qu'en réalité ils peuvent être connectés à des réseaux d'accès différents reliés entre eux par des réseaux de paquets reliés entre eux. Chaque liaison LT et le réseau RA peuvent être classiquement une ligne téléphonique et le réseau téléphonique commuté RTC lui-même connecté à un réseau de transmission de paquets à haut débit RP de type internet. Selon d'autres variantes, la liaison de télécommunications LT est une ligne xDSL (Digital Subscriber Line) ou une ligne RNIS (Réseau Numérique à Intégration de Services) reliée au réseau d'accès correspondant. The source S, the terminal T and the generator GS are connected to an access network RA through telecommunications links LT. For reasons of simplicity, the source S, the terminal T and the generator GS are supposed to be connected to a common access network, whereas in reality they can be connected to different access networks interconnected by interconnected packet networks. Each link LT and the network RA can be conventionally a telephone line and the switched telephone network RTC itself connected to an Internet-based high speed packet transmission network RP. According to other variants, the telecommunications link LT is an xDSL line (Digital Subscriber Line) or an ISDN line (Digital Integrated Services Network) connected to the corresponding access network.
Les serveurs SP, SD et SW sont connectés directement au réseau de paquets RP. The SP, SD and SW servers are connected directly to the RP packet network.
Le terminal d'usager T est par exemple un ordinateur personnel relié directement par modem à la liaison LT. Selon d'autres exemples, le terminal d'usager T comprend un dispositif ou objet électronique de télécommunications personnel à l'usager qui peut être un assistant numérique personnel PDA. Le terminal T peut être tout autre terminal domestique portable ou non tel que micro-ordinateur, téléphone, console de jeux vidéo, etc. Le terminal T est desservi par une ligne téléphonique et le réseau téléphonique commuté, en tant que liaison de télécommunications LT et réseau d'accès RA, pour être connecté au réseau de transmission de paquets. The user terminal T is for example a personal computer connected directly by modem to the link LT. According to other examples, the user terminal T comprises an electronic device or object for personal telecommunications to the user which may be a personal digital assistant PDA. The terminal T may be any other portable or non-portable home terminal such as a microcomputer, telephone, video game console, etc. The terminal T is served by a telephone line and the switched telephone network, as a telecommunications link LT and RA access network, to be connected to the packet transmission network.
Selon un autre exemple, le terminal d'usager T est par exemple du type récepteur de télévision intelligent. Le récepteur de télévision coopère avec une télécommande à afficheur et clavier alphanumérique servant également de souris à travers une liaison infrarouge. En variante, la télécommande est complétée par un clavier plus complet sans fil relié par liaison radioélectrique de proximité au téléviseur. In another example, the user terminal T is for example of the smart TV receiver type. The television receiver cooperates with a remote control display and alphanumeric keyboard also serving as a mouse through an infrared link. Alternatively, the remote control is completed by a more complete wireless keyboard connected by radio to the television.
Selon encore un autre exemple, le terminal T est un terminal de radiocommunications cellulaire mobile, la liaison de télécommunications LT est un canal de radiocommunications, et le réseau d'accès RA est le réseau fixe d'un réseau de radiocommunications, par exemple de type GSM (Global System for Mobile communications) avec un service GPRS (General Packet Radio Service), ou de type UMTS (Universal Mobile Telecommunications System). According to yet another example, the terminal T is a mobile cellular radio terminal, the telecommunications link LT is a radio communication channel, and the access network RA is the fixed network of a radio communication network, for example of the type GSM (Global System for Mobile Communications) with a GPRS service (General Packet Radio Service), or UMTS type (Universal Mobile Telecommunications System).
Pour des raisons de clarté, un seul terminal d'usager est représenté sur la figure 1, alors qu'une multitude de terminaux d'usager peuvent demander le document multimédia DM dans les limites de saturation du système. For the sake of clarity, a single user terminal is shown in Figure 1, while a multitude of user terminals may request the multimedia document DM within the saturation limits of the system.
Les terminaux d'usager et les réseaux d'accès ne sont pas limités aux exemples ci-dessus et peuvent être constitués par d'autres terminaux et réseaux d'accès connus. User terminals and access networks are not limited to the above examples and may be constituted by other known terminals and access networks.
Les terminaux d'usager sont dotés d'un lecteur multimédia LM de document multimédia qui est par exemple le lecteur "Windows Media Player" de Microsoft Corporation. On ne distingue pas un navigateur internet utilisé pour l'appel d'un document multimédia et le lecteur multimédia destiné à la lecture et l'affichage des flux, et on considère ces deux entités confondues dans le lecteur multimédia LM. The user terminals are equipped with a multimedia media player LM which is for example the "Windows Media Player" of Microsoft Corporation. There is no distinction between an internet browser used for the call of a multimedia document and the media player for reading and displaying the streams, and these two entities are considered in the multimedia player LM.
La source audio ou vidéo S délivre en temps réel et en continu un flux audio FA ou vidéo FV analogique ou directement numérique. La source S est composé d'un système d'acquisition de données audio ou vidéo et d'un terminal connecté au réseau d'accès RA et assurant des échanges de données audio ou vidéo. Lorsque le flux audio FA ou vidéo FV délivré est analogique, un convertisseur analogique-numérique convertit le flux analogique en flux numérique. Le flux numérique est ensuite codé afin que la source S envoie le flux codé au générateur de sous-titre GS et au serveur de production SP à travers les réseaux RA et RP. The audio or video source S delivers in real time and continuously a FA or analog or directly digital FV video stream. The source S is composed of an audio or video data acquisition system and a terminal connected to the access network RA and providing audio or video data exchanges. When the delivered FA audio or FV video is analog, an analog-to-digital converter converts the analog stream into a digital stream. The digital stream is then coded so that the source S sends the coded stream to the subtitle generator GS and the production server SP through the networks RA and RP.
Le générateur de sous-titre GS comprend pour la mise en uvre de l'invention notamment un clavier de saisie ultra-rapide Velotype CVE, un opérateur de saisie VE formé à l'utilisation du clavier Velotype, un hautparleur HP ou tout autre moyen de restitution d'un flux audio et un terminal de sous-titrage TS. The subtitle generator GS comprises for the implementation of the invention in particular a high-speed input keypad Velotype CVE, a seizure operator VE trained to use the keyboard Velotype, an HP speaker or any other means of playback of an audio stream and a subtitling terminal TS.
La source S et le générateur GS sont reliés à travers le réseau d'accès RA. Si le flux provenant de la source S est codé, le terminal de soustitrage le décode. Lorsque le flux provenant de la source S est un flux vidéo, le générateur GS extrait un flux audio FA et un flux image FI du flux vidéo FV généralement en démultiplexant le flux vidéo. Le flux image FI extrait du flux vidéo FV est traité pour être affiché à l'écran du terminal TS de l'opérateur de saisie VE. The source S and the generator GS are connected through the access network RA. If the stream coming from the source S is coded, the caption terminal decodes it. When the stream coming from the source S is a video stream, the generator GS extracts an audio stream FA and an image stream F1 from the video stream FV generally by demultiplexing the video stream. The image flow FI extracted from the video stream FV is processed to be displayed on the screen of the terminal TS of the input operator VE.
L'opérateur VE saisit en simultané grâce au clavier Velotype CVE du texte correspondant à la parole ou aux paroles de locuteur incluses dans le flux audio restitué par le haut-parleur HP à travers une interface de saisie du type traitement de texte. Le texte saisi par l'opérateur constitue le sous-titre ST du flux audio ou vidéo. Le terminal TS assure la transmission du sous-titre ST au serveur de production SP à travers les réseaux RA et RP. With the Velotype CVE keypad, the VE operator inputs text corresponding to the speech or speech of the speaker included in the audio stream output by the HP speaker through an input interface of the word processor type. The text entered by the operator is the subtitle ST of the audio or video stream. The terminal TS transmits the subtitle ST to the production server SP through the networks RA and RP.
Dans une variante, le terminal de sous-titrage TS comprend deux terminaux distincts, l'un assurant la réception du flux provenant de la source S et l'autre la transmission du sous-titre ST au serveur de production SP. Les deux terminaux sont par exemple un terminal de radiocommunications cellulaire mobile pour assurer la réception et un ordinateur pour assurer la transmission. In one variant, the subtitling terminal TS comprises two distinct terminals, one ensuring the reception of the stream coming from the source S and the other the transmission of the subtitle ST to the production server SP. The two terminals are, for example, a mobile cellular radio terminal for receiving and a computer for transmitting.
Dans une autre variante, le générateur de sous-titre est un système de génération automatique de sous-titre basée sur une reconnaissance vocale de la parole ou des paroles incluses dans le flux audio FA. In another variant, the subtitle generator is an automatic subtitle generation system based on speech recognition of speech or speech included in the audio stream FA.
Dans une autre variante pouvant être combinée à la variante précédente, le générateur de sous-titre traduit manuellement via l'opérateur, ou automatiquement le sous-titre dans une langue différente de la langue d'une parole ou de paroles dans le flux audio. In another variant that can be combined with the previous variant, the subtitle generator manually translates via the operator, or automatically the subtitle in a language different from the language of a word or words in the audio stream.
Dans une autre variante, le système de sous-titrage comprend plusieurs générateurs de sous-titre GS sous-titrant chacun dans une langue différente, ces générateurs pouvant être manuels ou automatiques. Les générateurs automatiques comportent alors la reconnaissance vocale couplée à une traduction. In another variant, the subtitling system comprises several subtitle generators GS each subtitling in a different language, these generators can be manual or automatic. The automatic generators then include voice recognition coupled with a translation.
Le serveur de production SP comprend notamment une unité de traitement UT et un codeur audio-vidéo EC implémentant un flux de commande. The production server SP comprises in particular a processing unit UT and an audio-video encoder EC implementing a control flow.
Si un flux entrant FA ou FV est déjà codé par la source S, le codeur EC décode ou agit directement sur le flux entrant codé. Lorsqu'il s'agit d'un flux vidéo FV entrant, le codeur EC démultiplexe le flux vidéo en un flux audio FA et un flux image FI. If an incoming stream FA or FV is already coded by the source S, the coder EC decodes or acts directly on the coded incoming stream. In the case of an incoming FV video stream, the EC encoder demultiplexes the video stream into an audio stream FA and an image stream FI.
Le codeur EC selon l'invention met en oeuvre également un flux complémentaire, appelé flux de commande FC, qui inclut des commandes qui sont notamment liées à des caractéristiques temporelles et de contenu du flux audio ou vidéo codé délivré en temps réel. Le flux de commande FC transporte, outre des commandes, des données d'un autre type que des données audio ou vidéo, par exemple des données textuelles. Des commandes synchronisent ces données d'un autre type entre elles et avec les flux audio et/ou vidéo. Dans la présente invention, les données d'un autre type sont le sous-titre généré ST saisi par l'opérateur VE et les flux audio ou vidéo peuvent ne transporter aucune donnée. The EC coder according to the invention also implements a complementary stream, called the FC control stream, which includes commands which are notably related to the temporal and content characteristics of the coded audio or video stream delivered in real time. The control stream FC carries, in addition to commands, data of a type other than audio or video data, for example text data. Commands synchronize this data of another type with each other and with the audio and / or video streams. In the present invention, the data of another type is the generated subtitle ST entered by the operator VE and the audio or video streams can carry no data.
Le codeur audio-vidéo EC code le flux audio FA ou vidéo FV et le flux de commande FC pour une diffusion en temps réel ou non de flux codés selon des paramètres de configuration tels qu'un type de codage, un type de compression, une largeur de bande, un nombre d'image par seconde, une résolution d'image, etc. Le codeur audio-vidéo EC peut être analogue au codeur Windows Media Encoder de Microsoft Corporation implémentant un flux de commande "Script Command", ou au codeur RealNetworks Producer de RealNetworks implémentant un flux de commande "RM Events". The audio-video encoder EC encodes the audio stream FA or video FV and the control stream FC for a real-time or non-real-time broadcast of coded streams according to configuration parameters such as a coding type, a compression type, a bandwidth, frame rate, image resolution, etc. The EC audio-video encoder can be analogous to the Windows Media Encoder from Microsoft Corporation implementing a "Script Command" command stream, or the RealNetworks RealNetworks Producer encoder implementing a "RM Events" command flow.
Le serveur de diffusion SD, dit serveur de "streaming", reçoit du codeur EC dans le serveur de production SP un flux FR résultant du multiplexage du flux audio ou vidéo codé et du flux de commande codé. Le serveur SD est destiné à diffuser en continu un flux résultant diffusé FRD composé des flux audio ou vidéo et de commande codés et multiplexés. Le flux FRD est diffusé en temps réel ou en en différé afin que le terminal de l'usager T télécharge et affiche en continu le contenu des flux composant le flux FRD. The streaming server SD, called streaming server, receives from the coder EC in the production server SP a stream FR resulting from the multiplexing of the coded audio or video stream and the coded control stream. The SD server is intended to broadcast continuously a resulting stream broadcast FRD composed of coded and multiplexed audio or video streams and control. The FRD stream is broadcast in real time or offline so that the terminal of the user T continuously downloads and displays the contents of the streams composing the FRD stream.
Comme vu précédemment, le codage des flux FA ou FV et FC n'est pas réalisé par le serveur de diffusion SD mais par le serveur de production SP. As seen above, the encoding of the FA or FV and FC flows is not performed by the broadcast server SD but by the production server SP.
Le serveur web SW est un serveur web classique répondant aux requêtes des terminaux des usagers par l'envoi du document multimédia DM à travers les réseaux RA et RP. Les autres éléments tels que images statistiques, animations et sons peuvent être mémorisés dans une mémoire du serveur web. The web server SW is a classic web server responding to requests from user terminals by sending the DM multimedia document through the RA and RP networks. Other elements such as statistical images, animations and sounds can be stored in a memory of the web server.
Dans une autre variante, la source S et le serveur de production SP sont à proximité et reliés par une liaison radio sans fil de faible portée de type WiFi ou Bluetooth, ou par une liaison câblée classique. Dans cette variante, le flux audio ou vidéo n'est pas nécessairement soumis au codage/décodage entre la source et le serveur de production. La source S et le serveur de production sont alors considérés comme rassemblés dans un unique élément. In another variant, the source S and the production server SP are nearby and connected by a wireless short-range radio link type WiFi or Bluetooth, or a conventional cable connection. In this variant, the audio or video stream is not necessarily subject to coding / decoding between the source and the production server. The source S and the production server are then considered as gathered in a single element.
Encore dans une autre variante, la source S et le générateur de soustitre GS sont à proximité et reliés par une liaison radio sans fil de faible portée de type WiFi ou Bluetooth, ou par une liaison câblée classique. Dans cette variante, le flux audio ou vidéo n'est pas nécessairement soumis au codage/décodage entre la source et le serveur de production. La source S et le générateur de sous-titre GS sont alors considérés comme rassemblés dans un unique élément. In yet another variant, the source S and the GS subtitle generator are nearby and connected by a wireless short-range radio link type WiFi or Bluetooth, or a conventional cable connection. In this variant, the audio or video stream is not necessarily subject to coding / decoding between the source and the production server. The source S and the subtitle generator GS are then considered as gathered in a single element.
Les deux précédentes variantes peuvent être combinées entre elles. The two previous variants can be combined together.
Le procédé de sous-titrage comprend principalement des étapes EO à E12 montrées à la figure 2. The subtitling method mainly comprises steps E0 to E12 shown in FIG.
A l'étape E0, un administrateur du serveur de production SP initialise les paramètres de configuration du codeur EC. In step E0, an administrator of the production server SP initializes the configuration parameters of the EC encoder.
A l'étape El, le terminal de sous-titrage TS et le serveur de production SP se connectent à la source S. A l'étape E2, la source S transmet en continu et en temps réel le flux audio FA ou vidéo FV au terminal de soustitrage TS et au serveur de production SP. In step E1, the subtitling terminal TS and the production server SP connect to the source S. In step E2, the source S continuously transmits in real time the audio stream FA or video FV. subtitling terminal TS and the production server SP.
Après l'étape E2, l'unité de traitement UT applique à l'étape E31 des requêtes d'état de codeur ReqC toutes les N secondes au codeur EC tant que le site SP est en service afin de déterminer un état courant EtC du codeur. N est un nombre entier prédéterminé, par exemple égal à 1. After step E2, the processing unit UT applies in step E31 coder status requests ReqC every N seconds to the coder EC as long as the site SP is in use to determine a current state EtC of the coder . N is a predetermined integer, for example equal to 1.
Si le codeur EC ne répond pas, alors l'état courant du codeur est dit inactif N. Si le codeur est actif, il répond à une requête ReqC en transmettant l'état courant EtC dans une réponse RepC à l'unité de traitement UT, à l'étape E32. If the encoder EC does not respond, then the current state of the encoder is said to be inactive N. If the encoder is active, it responds to a request ReqC by transmitting the current state EtC in a RepC response to the processing unit UT in step E32.
Les états possibles du codeurs sont: - inactif N, - prêt à coder P, - en cours de codage C. La distinction entre l'état prêt à coder P et l'état en cours de codage C apporte plus de précision à l'opérateur VE qui peut, le cas échéant, avertir l'administrateur du serveur de production SP que le codeur EC est prêt à coder alors qu'il devrait être en cours de codage. Mais cette distinction n'est pas indispensable. The possible states of the encoders are: - inactive N, - ready to code P, - during coding C. The distinction between the state ready to code P and the state being coded C gives more precision to the VE operator who can, if necessary, notify the administrator of the production server SP that the coder EC is ready to code when it should be coding. But this distinction is not indispensable.
Suite à l'étape E2 et parallèlement aux étapes E31 et E32, le terminal de sous-titrage TS se connecte au serveur de production SP à l'étape E41. Following step E2 and in parallel with steps E31 and E32, the subtitling terminal TS connects to the production server SP in step E41.
A l'étape E42, le terminal TS transmet des requêtes d'état de production ReqP au serveur de production SP toutes les M secondes afin de déterminer un état courant de production EtP du serveur de production SP. M est un nombre entier prédéterminé par exemple de l'ordre de dix. In step E42, the terminal TS transmits ReqP production status requests to the production server SP every M seconds to determine a current production state EtP of the production server SP. M is a predetermined integer, for example of the order of ten.
A l'étape E43, l'unité de traitement UT répond à une requête ReqP en transmettant au terminal TS une réponse RepP incluant l'état courant de production EtP équivalent à l'état courant du codeur EtC, déterminé régulièrement aux étapes E31 et E32 toutes les N secondes. In step E43, the processing unit UT responds to a request ReqP by transmitting to the terminal TS a RepP response including the current production state EtP equivalent to the current state of the encoder EtC, determined regularly in steps E31 and E32 every N seconds.
A la suite des étapes cycliques E31-E32 et E42-E43, le terminal de soustitrage TS informe à l'étape E5 l'opérateur VE de l'état courant de production EtP par un message d'alerte affiché sur l'écran du terminal TS. Following the cyclical steps E31-E32 and E42-E43, the subtitling terminal TS informs in step E5 the operator VE of the current state of production EtP by an alert message displayed on the screen of the terminal TS.
Lorsque l'état courant de production est l'état prêt à coder P, l'opérateur VE débute ou continue la saisie du sous-titre ST en simultané, à l'étape E6. Lorsque l'état courant de production est différent de prêt à coder P, l'opérateur VE attend le prochain message à l'étape E51 jusqu'à ce qu'un nouveau message l'informe que l'état courant de production est l'état prêt à coder P. L'opérateur VE décide à l'instant de son choix 35 la transmission d'une dernière partie de sous-titre saisie PST au serveur de production SP par le terminal de sous-titrage TS en actionnant une touche particulière de son clavier environ toutes les X secondes à l'étape E7. La dernière partie de sous- titre saisie PST est la partie saisie de sous-titre depuis le dernier envoi d'une autre partie de sous-titre. Dans une variante, la partie de sous-titre est envoyée à la suite d'une saisie d'un caractère de délimitation par l'opérateur, tel que virgule ou point. Dans une autre variante, le terminal de sous-titrage envoie automatiquement toutes les X secondes une partie de sous-titre PST, X étant un entier prédéterminé par exemple de l'ordre de 5. When the current state of production is the state ready to code P, the operator VE starts or continues to enter the subtitle ST simultaneously, in step E6. When the current state of production is different from ready to code P, the operator VE waits for the next message in step E51 until a new message informs him that the current state of production is the same. ready state to code P. The operator VE decides at the moment of his choice 35 the transmission of a last part of subtitle PST input to the production server SP by the subtitling terminal TS by actuating a particular key from his keyboard approximately every X seconds in step E7. The last part of the PST input subtitle is the subtitle entry part since the last subtitle part was sent. In one variant, the subtitle portion is sent following an entry of a delimiter character by the operator, such as a comma or a point. In another variant, the captioning terminal automatically sends every X seconds a portion of subtitle PST, X being a predetermined integer, for example of the order of 5.
Le terminal de sous-titrage TS mémorise en continu dans une mémoire tampon le sous-titre saisi par l'opérateur VE. Chaque partie de sous- titre PST est transmise par le terminal de sous-titrage TS selon le protocole HTTP (HyperText Transfer Protocol) sous la forme d'un petit fichier basé sur la syntaxe du langage XML (eXtensible Markup Language). Le petit fichier comporte éventuellement une balise "langue" afin de préciser la langue dans laquelle est sous-titré le flux audio FA. The subtitling terminal TS continuously stores in a buffer the subtitle entered by the operator VE. Each part of the subtitle PST is transmitted by the subtitling terminal TS according to the HTTP protocol (HyperText Transfer Protocol) in the form of a small file based on the syntax of the language XML (eXtensible Markup Language). The small file may include a "language" tag to specify the language in which the audio stream FA is subtitled.
Le serveur de production SP reçoit ainsi en temps réel d'une part le flux audio FA ou vidéo FV et d'autre part les parties de sous-titre saisies PST au moins dans une langue. The production server SP thus receives in real time, on the one hand, the audio stream FA or video FV and, on the other hand, the subtitle parts entered PST at least in one language.
A la réception d'une partie de sous-titre PST courante, l'unité de traitement UT mémorise dans une mémoire tampon du serveur de production SP la partie de sous-titre courante éventuellement en fonction de sa langue et applique des commandes nécessaires au codeur EC pour que celui- ci insère dans le flux de commande FC la partie de sous-titre courante à l'étape E8. On receipt of a portion of the current PST subtitle, the processing unit UT stores in a buffer memory of the production server SP the current subtitle part, possibly according to its language, and applies commands necessary to the encoder EC to insert in the FC control stream the current subtitle portion in step E8.
Dans une variante, l'unité de traitement UT réalise un traitement sur au moins une partie de sous-titre PST mémorisée, avant de lui appliquer les commandes. Le traitement est par exemple une reconstitution de phrases complètes à partir d'au moins une partie de sous-titre et/ou une traduction de la partie de sous-titre et/ou une correction orthographique de la partie de sous-titre, etc. Le codeur EC code et multiplexe en continu et en temps réel le flux audio FA, ou le flux audio et le flux image FI inclus dans le flux vidéo FV et le flux de commande FC à l'étape E9, afin que le serveur de production SP mémorise et transmette un flux résultant FR au serveur de diffusion SD, à l'étape E10. Le flux résultant FR ne comporte pas toujours une composante issue du flux de commande. La composante issue du flux de commande est présente dans le flux résultant particulièrement si une partie de sous-titre PST est disponible pour être transmise au terminal T, c'est-à-dire si l'opérateur VE a commandé la transmission d'une partie du sous-titre au serveur SP. In a variant, the processing unit UT performs a processing on at least a portion of the subtitle PST stored before applying the commands. The processing is for example a reconstitution of complete sentences from at least part of a subtitle and / or a translation of the subtitle part and / or an orthographic correction of the subtitle part, etc. The encoder EC continuously codes and multiplexes the audio stream FA, or the audio stream and the image stream FI included in the video stream FV and the control stream FC in step E9, in real time, so that the production server SP stores and transmits a resultant stream FR to the broadcast server SD in step E10. The resulting stream FR does not always include a component from the control stream. The component stemming from the control stream is present in the resulting stream, particularly if a part of subtitle PST is available to be transmitted to the terminal T, that is to say if the operator VE has commanded the transmission of a part of the subtitle to the SP server.
En général, l'insertion du sous-titre dans le flux de commande et de codage et le multiplexage des flux sont réalisés selon cet ordre, mais peuvent être ordonnés différemment selon les caractéristiques du codeur EC. In general, the insertion of the subtitle in the control and coding flow and the multiplexing of the streams are done in this order, but can be ordered differently according to the characteristics of the EC encoder.
Le flux résultant FR est mémorisé dans une base de données du serveur de diffusion SD afin par exemple de le conserver pour un service de vidéo sur demande VOD (Video On Demand). Préalablement, à l'étape E10, le terminal d'usager T appelle classiquement un document multimédia DM dans le serveur web SW en se connectant au serveur web SW et en requérant le document multimédia DM par exemple dans un formulaire adressé par le serveur SW. En réponse à l'appel du flux résultant dans le document DM, le flux résultant à diffuser FRD est transmis en continu et en temps réel par le serveur de diffusion SD au terminal d'usager T à travers les réseaux RP et RA à l'étape E1l. Le serveur de diffusion est susceptible de contenir différents flux résultants contenant des sous-titres du flux audio FA en différentes langues. The resulting stream FR is stored in a database of the broadcast server SD in order, for example, to store it for a video on demand (VOD) video on demand service. Prior to step E10, the user terminal T conventionally calls a multimedia document DM in the web server SW by connecting to the web server SW and requesting the multimedia document DM for example in a form sent by the server SW. In response to the call of the resulting stream in the DM document, the resulting stream to broadcast FRD is transmitted continuously and in real time by the broadcast server SD to the user terminal T through the networks RP and RA to the network. step E1l. The broadcast server may contain different resulting streams containing subtitles of the audio stream FA in different languages.
Le lecteur multimédia LM du terminal d'usager T affichant le document multimédia DM démultiplexe le flux résultant diffusé FRD, décode chaque flux démultiplexé, puis lit chaque flux décodé appelé par le code du document multimédia DM sur le terminal d'usager T à l'étape E12. Le lecteur affiche également éventuellement les autres éléments du document tels que images statiques, animations et sons. Le sous-titre peut être ainsi avantageusement manipuler indépendamment du flux audio ou du flux vidéo. Lorsque le flux de commande comprend le sous-titre, le lecteur affiche le sous-titre grâce à un code spécifique contenu dans le document multimédia. The multimedia player LM of the user terminal T displaying the multimedia document DM demultiplexes the resulting broadcast stream FRD, decodes each demultiplexed stream, then reads each decoded stream called by the code of the multimedia document DM on the user terminal T at the same time. step E12. The player may also display other document elements such as static images, animations, and sounds. The subtitle can thus be advantageously handled independently of the audio stream or the video stream. When the control stream includes the subtitle, the player displays the subtitle with a specific code contained in the multimedia document.
Ce code spécifique est généralement un code en langage Javascript contenu dans le code HTML ou DHTML du document multimédia DM. Le sous-titre est alors affiché dans le document multimédia par le lecteur, en fonction des paramètres de configuration du lecteur choisi par l'usager du terminal T. Dans une variante restreinte, la source S ne transmet le flux audio FA ou le flux vidéo FV qu'au générateur de sous-titre GS sans le transmettre au serveur de production SP qui insère les parties de sous-titre PST dans le flux de commande FC et qui ne transmet que le flux de commande en tant que flux résultant FR, sans flux audio ou vidéo, au serveur de diffusion SD. This specific code is generally a code in Javascript language contained in the HTML or DHTML code of the multimedia document DM. The subtitle is then displayed in the multimedia document by the reader, according to the configuration parameters of the reader chosen by the user of the terminal T. In a restricted variant, the source S transmits the audio stream FA or the video stream FV to the subtitle generator GS without transmitting it to the production server SP which inserts the subtitle portions PST into the control stream FC and which only transmits the control stream as the resultant stream FR, without audio or video stream, to the broadcast server SD.
L'usager US du terminal T lit alors les parties de sous-titre affichées dans le terminal sans aucune reproduction de flux audio ou vidéo. The US user of the terminal T then reads the subtitle parts displayed in the terminal without any reproduction of audio or video streams.
Dans la variante de plusieurs générateurs de sous-titre générant chacun des sous-titres dans des langues différentes, l'usager US du terminal peut choisir la langue de sous-titre indépendamment de la langue du flux audio FA. In the variant of several subtitle generators each generating subtitles in different languages, the US user of the terminal can choose the subtitle language independently of the language of the audio stream FA.
Dans d'autres réalisations, au moins deux des serveurs SP, SD et SW sont rassemblés en un unique serveur. Selon une autre architecture du système de sous-titrage, le serveur de production, le serveur de diffusion et le serveur web sont rassemblés dans un unique serveur. In other embodiments, at least two of the servers SP, SD and SW are combined into a single server. According to another architecture of the subtitling system, the production server, the broadcast server and the web server are gathered in a single server.
Dans une autre réalisation, le générateur de sous-titre introduit, par reconnaissance de locuteur automatique ou par l'opérateur de saisie, dans le fichier XML transmis au serveur de production l'identification du locuteur à l'origine de la partie du flux audio correspondant à une partie de sous-titre respective, c'est-à-dire le nom et/ou le prénom et/ou un quelconque identificateur du locuteur. Ceci permet de préciser à l'usager US du terminal T les locuteurs des parties de sous-titre. In another embodiment, the subtitle generator introduces, by automatic speaker recognition or by the input operator, into the XML file transmitted to the production server the identification of the speaker at the origin of the part of the audio stream. corresponding to a respective subtitle part, ie the name and / or the first name and / or any identifier of the speaker. This makes it possible to specify to the US user of the terminal T the speakers of the subtitle parts.
Dans une autre réalisation, lorsque le flux vidéo ne comporte qu'un flux image, le générateur de sous-titre est alors un générateur de commentaire et l'opérateur VE un commentateur des images du flux vidéo. In another embodiment, when the video stream comprises only one image stream, the subtitle generator is then a comment generator and the operator VE a commentator of the images of the video stream.
Claims (1)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0314850A FR2864406A1 (en) | 2003-12-17 | 2003-12-17 | Audio or video flow sub-titling method, involves coding control flow containing sub-title part, as resultant flow by production server, such that resultant flow is transmitted to broadcasting and web servers and is called by user terminal |
| PCT/FR2004/003094 WO2005069617A1 (en) | 2003-12-17 | 2004-12-01 | Subtitling of an audio or video flow in a multimedia document |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0314850A FR2864406A1 (en) | 2003-12-17 | 2003-12-17 | Audio or video flow sub-titling method, involves coding control flow containing sub-title part, as resultant flow by production server, such that resultant flow is transmitted to broadcasting and web servers and is called by user terminal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2864406A1 true FR2864406A1 (en) | 2005-06-24 |
Family
ID=34630270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0314850A Pending FR2864406A1 (en) | 2003-12-17 | 2003-12-17 | Audio or video flow sub-titling method, involves coding control flow containing sub-title part, as resultant flow by production server, such that resultant flow is transmitted to broadcasting and web servers and is called by user terminal |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR2864406A1 (en) |
| WO (1) | WO2005069617A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018174945A1 (en) * | 2017-03-22 | 2018-09-27 | Google Llc | Caller preview data and call messages based on caller preview data |
| US10122848B2 (en) | 2016-05-12 | 2018-11-06 | Google Llc | Caller preview for video calls |
| US10187522B2 (en) | 2016-05-12 | 2019-01-22 | Google Llc | Caller preview data and call messages based on caller preview data |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2009200990A1 (en) | 2008-03-13 | 2009-10-01 | Aristocrat Technologies Australia Pty Limited | Method and system of distributing progressive gaming related information |
| CN113099282B (en) * | 2021-03-30 | 2022-06-24 | 腾讯科技（深圳）有限公司 | Data processing method, device and equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1158799A1 (en) * | 2000-05-18 | 2001-11-28 | Deutsche Thomson-Brandt Gmbh | Method and receiver for providing subtitle data in several languages on demand |
| US20020044218A1 (en) * | 1999-06-14 | 2002-04-18 | Jeremy Mitts | Method and system for the automatic collection and conditioning of closed caption text originating from multiple geographic locations, and resulting databases produced thereby |
| WO2003027875A1 (en) * | 2001-09-24 | 2003-04-03 | Loudeye Corp. | Systems and methods or enhancing streaming media |
| WO2003081917A1 (en) * | 2002-03-21 | 2003-10-02 | Koninklijke Philips Electronics N.V. | Multi-lingual closed-captioning |
-
2003
- 2003-12-17 FR FR0314850A patent/FR2864406A1/en active Pending
-
2004
- 2004-12-01 WO PCT/FR2004/003094 patent/WO2005069617A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020044218A1 (en) * | 1999-06-14 | 2002-04-18 | Jeremy Mitts | Method and system for the automatic collection and conditioning of closed caption text originating from multiple geographic locations, and resulting databases produced thereby |
| EP1158799A1 (en) * | 2000-05-18 | 2001-11-28 | Deutsche Thomson-Brandt Gmbh | Method and receiver for providing subtitle data in several languages on demand |
| WO2003027875A1 (en) * | 2001-09-24 | 2003-04-03 | Loudeye Corp. | Systems and methods or enhancing streaming media |
| WO2003081917A1 (en) * | 2002-03-21 | 2003-10-02 | Koninklijke Philips Electronics N.V. | Multi-lingual closed-captioning |
Non-Patent Citations (1)
| Title |
|---|
| M. MARKS: "A distributed live subtitling system", 11 September 2003 (2003-09-11), IBC 2003 - AMSTERDAM, pages 1 - 13, XP002298697, Retrieved from the Internet <URL:http://www.bbc.co.uk/rd/pubs/whp/whp-pdf-files/whp070.pdf> [retrieved on 20040927] * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10122848B2 (en) | 2016-05-12 | 2018-11-06 | Google Llc | Caller preview for video calls |
| US10187522B2 (en) | 2016-05-12 | 2019-01-22 | Google Llc | Caller preview data and call messages based on caller preview data |
| US10567574B2 (en) | 2016-05-12 | 2020-02-18 | Google Llc | Caller preview data and call messages based on caller preview data |
| WO2018174945A1 (en) * | 2017-03-22 | 2018-09-27 | Google Llc | Caller preview data and call messages based on caller preview data |
| CN110603805A (en) * | 2017-03-22 | 2019-12-20 | 谷歌有限责任公司 | Caller preview data and call messages based on caller preview data |
| CN110603805B (en) * | 2017-03-22 | 2021-12-03 | 谷歌有限责任公司 | Caller preview data and call messages based on caller preview data |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005069617A1 (en) | 2005-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9414111B2 (en) | Caption data delivery apparatus and methods | |
| US10244291B2 (en) | Authoring system for IPTV network | |
| US6715126B1 (en) | Efficient streaming of synchronized web content from multiple sources | |
| CN102356605B (en) | Smooth, stateless client media streaming | |
| US8391278B2 (en) | Method of providing a service over a hybrid network and system thereof | |
| US20160170940A1 (en) | Font Data Streaming | |
| US20060174315A1 (en) | System and method for providing sign language video data in a broadcasting-communication convergence system | |
| WO2007018726A2 (en) | System and method for providing pre-encoded audio content to a television in a communications network | |
| CN1282429A (en) | Television interactive access system using URLS | |
| CN1298162C (en) | Authoring system and method for supplying tagged media content to portable devices receiving from plural disparate sources | |
| EP1603046B1 (en) | Reception apparatus and information browsing method | |
| US20020157102A1 (en) | Moving picture streaming method in VOD system | |
| WO2000057645A9 (en) | Selectively caching video to improve on-demand response time | |
| US8528040B2 (en) | Aural indication of remote control commands | |
| WO2012131258A1 (en) | Method for accessing a service, in particular a web portal, by a terminal for replaying a multimedia stream | |
| JP4350868B2 (en) | Interactive broadcasting system using multicast data service and broadcast signal markup stream | |
| CN108494792A (en) | A kind of flash player plays the converting system and its working method of hls video flowings | |
| EP1971145A2 (en) | Method and apparatus for displaying interactive data in real time | |
| US20020010924A1 (en) | Push method and system | |
| CN106604077A (en) | Self-adapting streaming media transmission method and self-adapting streaming media transmission device | |
| KR101032744B1 (en) | Devices and processes for transmitting and receiving data, computer program product and carrier signal | |
| US8437690B2 (en) | Transmission of a multimedia content to a radiocommunication terminal | |
| FR2864406A1 (en) | Audio or video flow sub-titling method, involves coding control flow containing sub-title part, as resultant flow by production server, such that resultant flow is transmitted to broadcasting and web servers and is called by user terminal | |
| EP1279267A2 (en) | Method and apparatus for compressing scripting language content | |
| JP2000224255A (en) | Data transmitter and data transmission method |