CN1905645B - 使用可扩展字幕文件提供附加信息的设备和方法 - Google Patents

使用可扩展字幕文件提供附加信息的设备和方法 Download PDF

Info

Publication number
CN1905645B
CN1905645B CN2006100802366A CN200610080236A CN1905645B CN 1905645 B CN1905645 B CN 1905645B CN 2006100802366 A CN2006100802366 A CN 2006100802366A CN 200610080236 A CN200610080236 A CN 200610080236A CN 1905645 B CN1905645 B CN 1905645B
Authority
CN
China
Prior art keywords
data
video
information
additional information
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100802366A
Other languages
English (en)
Other versions
CN1905645A (zh
Inventor
郭起源
朱彰南
姜春云
郑敏宇
朴宰成
李大铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1905645A publication Critical patent/CN1905645A/zh
Application granted granted Critical
Publication of CN1905645B publication Critical patent/CN1905645B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

公开了一种通过使用可扩展字幕文件来提供附加信息的设备，该设备包括：逆多路复用单元，从通过数据输入单元输入的多媒体文件中分离视频和音频数据；XML解析器，解析通过数据输入单元输入的字幕数据文件和附加信息数据文件；视频和音频数据处理单元，对通过逆多路复用单元输入的视频和音频数据进行解码，并将解码的视频和音频数据转换为预定的视频和音频信号；字幕处理单元，处理通过XML解析器解析和输入的字幕数据；附加信息数据处理单元，处理通过XML解析器解析和输入的附加信息数据文件，并基于处理的附加信息产生用户接口信息；和数据输出单元，显示处理的视频、音频、字幕和用户接口信息。

Description

使用可扩展字幕文件提供附加信息的设备和方法
本申请基于于2005年5月26日在韩国知识产权局提交的第10-2005-0044595号韩国专利申请，并要求该申请的优先权，该申请完全公开于此以资参考。
技术领域
本发明涉及一种使用可扩展字幕文件来提供附加信息的设备和方法，更具体地讲，涉及这样一种使用可扩展字幕文件来提供附加信息的设备和方法，该设备和方法可通过将关于图像和字幕的附加信息添加到同步的字幕文件中来向用户提供附加信息。
背景技术
微软公司的同步可访问媒体交换技术(SAMI)和RealNetworks Inc.的real-text技术是传统的基于文本的字幕技术。传统的基于文本的字幕技术具有这样一种结构，该结构基于在其中记录有视频流数据的文件或通过网络提供的视频流数据的同步时间信息来显示字幕。
图1示出使用SAMI格式的一般的字幕文件和解析的字幕信息。由于SAMI容易生成并且便于处理，所以SAMI具有优势。
如所示，所述方法包括：SAMI文件，由以可扩展标记语言(XML)格式的字幕语言构成；和解析器，用于解释所述语言。所述字幕语言包括时间同步和根据语言的字幕内容，并且当必要时，还包括关于字体大小或颜色的信息。
将考虑播放基于文本的字幕的操作。内部的XML解析器从由字幕处理单元读出的字幕文件提取时间同步(帧位置)和文本(语音)，并将其存储在存储器中。检查相关帧位置处的字幕文本，使其与图像数据同步，并且当基于帧显示图像时，显示该字幕文本。
例如，XML解析器从所述字幕文件提取关于位于时间同步“1000”处的英语单词“One”或法语单词“Un”以及关于位于时间同步“2000”处的英语单词“Two”或法语单元“Deux”的信息。接下来，XML解析器使解析的数据与相关时间同步处的图像数据同步，并显示该解析的数据。
图2示出显示通过处理传统字幕语言而同步的图像数据和字幕文本的屏幕。
参考图2，当在读取视频流数据和字幕数据之后播放视频时，用于播放基于文本的字幕的装置在屏幕的预定位置上显示字幕数据预定时间。
然而，由于传统的字幕语言仅包括HTML标签的极小部分，所以传统的字幕语言难以表示除字幕之外的信息(例如，关于字幕的附加信息)。此外，由于在向用户提供信息时仅显示脚本格式，所以传统的字幕语言可提供的各种附加信息是有限的。
第2004-033766号未审查的韩国专利公布(Servicing Method of Summariesand Value Added Information on Videos Using Video Metadata on Internet)公开了这样一种方法，该方法包括：将关于包括在视频中的地点、音乐、角色或物品的各种附加信息，连同概括视频内容的关键帧(代表图像)存储在视频元数据中；当播放视频时，自动地使存储在视频元数据中的各种附加信息与视频播放时间同步，从而显示与视频播放时间对应的附加信息。然而，该方法旨在在通过互联网提供视频点播(VOD)服务的同时播放视频和包括在该视频中的各种附加信息，而没有公开用于显示包括在一般的SAMI文件中的预定附加信息的技术。
发明内容
本发明的一方面通过将关于图像和字幕的附加信息添加同步字幕文件并在使其与图像数据和字幕数据同步之后显示添加的附加信息来向用户提供更多的附加信息。
本发明的另一方面在于通过用于处理包括在可扩展字幕文件中的附加信息数据的附加信息处理单元来提供同步字幕语言的灵活扩展。
从下面的公开，本发明的所述和其它方面、特征和优点将对本领域的技术人员变得清楚。
根据本发明的一方面，提供一种通过使用可扩展字幕文件来提供附加信息的设备，该设备包括：逆多路复用单元，从通过数据输入单元输入的多媒体文件中分离视频和音频数据；XML解析器，解析通过数据输入单元输入的字幕数据文件和附加信息数据文件；视频和音频数据处理单元，对通过逆多路复用单元输入的视频和音频数据进行解码，并将解码的视频和音频数据转换为预定的视频和音频信号；字幕处理单元，处理通过XML解析器解析和输入的字幕数据；附加信息数据处理单元，处理通过XML解析器解析和输入的附加信息数据文件，并基于处理的附加信息产生用户接口信息；和数据输出单元，显示处理的视频、音频和用户接口信息。
根据本发明的另一方面，提供一种通过使用可扩展字幕文件来提供附加信息的方法，该方法包括：解析从已输入多媒体数据、字幕数据和附加信息数据的设备输入的字幕数据和附加信息数据；通过处理解析的附加信息数据来产生用户接口信息；和同步地显示多媒体数据、字幕数据和用户接口信息。
附图说明
通过参考附图详细描述本发明的优选实施例，本发明的以上和其它特征及优点将变得更加清楚，其中：
图1示出使用SAMI格式的一般的字幕文件和解析的字幕信息；
图2示出显示通过处理传统的字幕语言而同步的图像数据和字幕文本的屏幕；
图3是示出根据本发明示例性实施例的通过使用可扩展字幕文件来提供附加信息的设备的框图；
图4示出根据本发明的另一示例性实施例的可扩展字幕文件、解析的字幕信息和附加信息；
图5示出通过根据本发明的另一示例性实施例的使用可扩展字幕文件来提供附加信息的设备而显示的屏幕；和
图6是示出根据本发明的另一示例性实施例的通过使用可扩展字幕文件来提供附加信息的方法的流程图。
具体实施方式
现在将参考附图来更全面地描述本发明，在附图中示出了本发明的示例性实施例。
通过参考下面对优选实施例和附图的详细描述，可更容易地理解本发明的优点和特征以及实现其的方法。然而，本发明可以以许多不同的形式来实施，而不应该被解释为仅限于这里所阐述的实施例。相反，提供这些实施例是为了使本公开充分和完整，并将本发明的构思全面地传达给本领域的技术人员，并且本发明仅由权利要求所限定。贯穿本说明书，相同的标号表示相同的部件。
图3是示出根据本发明示例性实施例的通过使用可扩展字幕文件来提供附加信息的设备的框图，所述设备可以是媒体播放器。
参考图3，所述设备包括数据输入单元100、数据处理单元200和数据输出单元300。这里，所述可扩展字幕文件包括指示帧位置的时间同步、根据语言的字幕内容，当必要时还包括关于字幕字体大小或颜色的信息，并且还包括关于图像和字幕的附加信息。
数据输入单元100输入多媒体文件(视频和音频数据)、字幕数据文件和附加信息数据文件。数据处理单元200包括逆多路复用单元210、视频数据处理单元220、音频数据处理单元230、字幕处理单元240、XML解析器250和附加信息数据处理单元260。数据显示单元300包括视频显示单元310和音频输出单元320。
逆多路复用单元210从通过数据输入单元100输入的多媒体文件中分离视频和音频数据，并将分离的视频和音频数据发送到视频数据处理单元220和音频数据处理单元230。
视频数据处理单元220包括：视频解码器221，用于对从逆多路复用单元210输入的视频数据进行解码；和视频翻译器(renderer)222，用于处理输入到视频解码器221的解码的视频数据并将其转换为预定的视频信号。
音频数据处理单元230包括：音频解码器231，用于对从逆多路复用单元210输入的音频数据进行解码；和音频翻译器232，用于处理解码的音频数据并将其转换为预定的音频信号。
XML解析器250解析从数据输入单元100输入的XML文档(即，字幕数据和附加信息数据)，并将解析的字幕数据和附加信息数据发送到字幕处理单元240和附加信息数据处理单元260。
字幕处理单元240处理解析的字幕数据。当基于帧显示视频时，字幕处理单元240检查与相关帧位置对应的字幕数据，并将其与同步的音频数据一起显示。
附加信息数据处理单元260处理由XML解析器250解析的附加信息数据，然后基于处理的附加信息产生将通过屏幕提供的用户接口信息。这里，所述附加信息数据是指关于视频和字幕的信息，包括根据时间同步的诸如类型、词汇和角色表达的信息、显示时间、音频源以及链接URL。应该注意到，所述用户接口信息是指具有预定形状的表示关于字幕和音频的附加信息的角色。即，同步的角色显示在显示视频和字幕的预定帧位置处，并且以字幕和音频形式提供关于相关视频和字幕的附加解释。
视频显示单元310根据关于帧位置的信息(即，时间同步信息)来显示由视频处理单元220、字幕处理单元240和附加信息数据处理单元260发送的视频、字幕和用户接口信息。
视频显示单元310设置视频数据、字幕文本和用户接口信息的优先级值，然后根据设置的优先级值将它们(即，视频数据、字幕文本和用户接口信息)定位于屏幕的各层中。
例如，视频显示单元310按顺序设置用户接口信息、字幕和视频的优先级。因此，视频显示单元310在屏幕的最下层中显示优先级最低的视频数据，跟在视频数据之后在下一层显示字幕文本，在屏幕的最高层显示用户接口信息，从而显示的附加信息(如，角色)可不被视频数据和字幕文本覆盖。
在使由音频数据处理单元230和附加信息数据处理单元260发送的音频信息与视频同步之后，音频输出单元320输出该音频信息。
所述附加信息提供设备提供详述以微秒(μsec)为单位的时间字段的时间戳，以使由视频数据处理单元220、音频数据处理单元230、字幕处理单元240和附加信息数据处理单元260处理的数据(即，用户接口信息、字幕、视频和音频)同步(即，使所述数据根据设置的时间同步来显示)。所述时间戳可设置在数据显示单元300中。
图4示出根据本发明的示例性实施例的可扩展字幕文件、解析的字幕信息和关于解析的字幕的附加信息。
参考图4，可扩展字幕文件10包括用于指示帧位置的时间同步11、根据语言的字幕内容12以及关于视频和字幕的附加信息13。
当时间同步是“1000”时，显示在屏幕上的字幕信息12(即，英语单词“One”或法语单词“Un”)被记录在可扩展字幕文件10中。
当时间同步是“2000”时，字幕信息12(如，英语单词“Two”或法语单词“Deux”)和附加信息13(比如，诸如男孩的角色信息、关于角色“There isa new arrival”的字幕信息、关于角色的表达信息、当角色从屏幕消失(5秒)时的时间信息、角色的音频信息“hello”、以及与角色链接的信息http://www.samsung.com)被记录在可扩展字幕文件10中。
将描述解析可扩展字幕文件的过程。当通过数据输入单元100输入可扩展字幕文件10时，XML解析器250解析输入的可扩展字幕文件10。即，XML解析器250从可扩展字幕文件10中分离字幕数据和附加信息数据，并对它们进行解释，然后将解释的信息20发送到字幕处理单元240和附加信息数据处理单元260。
附加信息数据处理单元260通过处理通过XML解析器250输入的附加信息来产生用户接口信息，然后将产生的用户接口信息(比如，角色)发送到视频显示单元310以将其显示在屏幕上。
用于解释附加信息的角色与相关帧位置处的视频和字幕一起显示，从而向用户提供更多的信息。
图5示出通过根据本发明的另一示例性实施例的使用可扩展字幕文件的附加信息提供设备而显示的屏幕。
XML解析器250解析从数据输入单元100输入的字幕文件，提取时间同步(即，帧位置)、文本数据和附加信息数据，然后将它们发送到字幕处理单元240和附加信息数据处理单元260。附加信息数据处理单元260基于解析的附加信息来产生用户接口信息(即，角色)。基于附加信息而产生的角色包括角色信息(比如，性别和表达)、字幕信息、角色的音频信息和链接信息。
当基于帧显示视频时，字幕处理单元240检查相关帧位置上的字幕文本，然后使其与视频数据同步来显示它。附加信息数据处理单元260检查相关帧位置上的用户接口信息，然后使其与视频和字幕文本同步来显示它。
参考图5，基本图像(比如，角色1、2和3)显示在屏幕上，并且与视频同步地显示分配给基本图像(即，角色1)的字幕(即，“Two(or Deux)”)和与其对应的音频。
同时，解释附加信息的角色5覆盖在基本视频和字幕文本上。分配给角色5的字幕(“There is a new arrival”)和音频(“Hello”)与角色5同步地显示。这里，根据记录在可扩展字幕文件10中的信息，角色5具有微笑的脸，并还被设置为在5秒之后该脸自动地消失。由于角色5具有与预定站点连接的链接信息，所以当用户选择角色5时，用户可直接进入到相关站点。
图6是示出根据本发明的另一示例性实施例的使用可扩展字幕文件的附加信息提供方法的流程图。
当通过数据输入单元100输入多媒体文件和可扩展字幕文件(S200)时，逆多路复用单元210将输入的多媒体文件分离为视频和音频数据，XML解析器250提取字幕数据和附加信息数据(S210)。这里，所述可扩展字幕文件包括指示帧位置的时间同步、根据语言的字幕内容、如果必要的话还包括将被显示的字幕的字体大小或颜色，并且还包括关于视频和字幕的附加信息。
视频分离数据被输入到视频处理单元220，并被视频解码器221解码(S211)。视频翻译器222将解码的视频数据转换为预定的视频信号(S212)。音频数据被输入到音频处理单元230中，并被音频解码器231解码(S211)。音频翻译器232将解码的音频数据转换为预定的音频信号(S212)。
由XML解析器250提取的字幕数据被输入到字幕处理单元240中并被解析(S213)，和被处理(S214)，解析的附加信息数据被输入到附加信息数据处理单元260中并被处理(S215)。
附加信息数据处理单元260通过处理解析的附加信息数据来产生用户接口信息。应该注意到，所述用户接口信息是指用于基于输入的附加信息数据另外解释视频和字幕的角色。所述角色可以是，例如，词汇、表达、时间、音频或URL链接。
当处理的数据(用户接口信息、字幕数据以及视频和音频数据)被发送到数据显示单元300(S220)时，数据输出单元300的视频显示单元310设置用户接口信息、字幕数据和视频数据的优先级(S230)。所述优先级是指用于在屏幕上显示用户接口信息、字幕视频和视频数据的顺序。这里，较高优先级数据置于屏幕的较上层。
例如，视频显示单元310设置用户接口信息的优先级较高，从而当用户接口信息被显示时，用户接口信息位于屏幕的较上层。
通过时间戳在屏幕上显示与同一时间同步对应的视频、字幕和用户接口信息(即，角色)(S240)。根据设置的优先级在屏幕上显示这些数据。例如，用户接口信息具有第一优先级，字幕和视频优先级次之，从而用户接口信息(即，角色)位于屏幕的最上层中。
因此，提供视频、字幕和附加信息的角色同步地显示在屏幕上。此外，通过预定的音频输出装置同步地输出相关音频。所述角色可以以字幕和/或预定音频形式提供关于视频和字幕的附加信息。由于所述角色具有与预定站点连接的链接信息，所以当用户选择角色时，他/她可直接进入相关站点。
因此，当用户观看预定视频时，由于附加信息可被同步提供，所以可将附加信息提供给用户。
如上所述，根据本发明的使用可扩展字幕文件来提供附加信息的设备和方法产生以下所述的一个或多个效果。
关于视频和字幕的附加信息被添加到一般的同步字幕文件，并且所述信息被同步地提供给用户。
关于视频和字幕的附加信息被添加到一般的同步字幕文件，从而提供字幕语言的灵活扩展和各种用户接口。
虽然已结合本发明的示例性实施例描述了根据本发明的用于管理文件***的设备和方法，但是本领域的技术人员应该理解，在不脱离本发明的范围和精神的情况下，可对其进行各种修改和改变。因此，应该理解，以上实施例在所有方面不是限制性的，而是说明性的。

Claims (10)

1.一种使用可扩展字幕文件来提供附加信息的设备，该设备包括：
逆多路复用单元，从通过数据输入单元输入的多媒体文件中分离视频和音频数据；
XML解析器，解析通过数据输入单元输入的字幕数据文件和附加信息数据文件；
视频和音频数据处理单元，对从逆多路复用单元输入的视频和音频数据进行解码，并将解码的视频和音频数据转换为预定的视频和音频信号；
字幕处理单元，处理通过XML解析器解析和输入的字幕数据以产生处理的字幕信息；
附加信息数据处理单元，处理通过XML解析器解析和输入的附加信息数据文件，并基于处理的附加信息产生用户接口信息；和
数据输出单元，显示处理的视频、音频和用户接口信息，
其中，所述用户接口信息是具有预定形状的表示关于字幕和音频的附加信息的角色，所述角色以字幕和/或预定音频的形式提供关于视频和字幕的附加信息。
2.如权利要求1所述的设备，其中，所述数据输出单元为附加信息数据设置较高的优先级值，以使当附加信息数据被显示时，附加信息位于屏幕的较上层。
3.如权利要求1所述的设备，其中，所述附加信息数据包括视频、音频和字幕信息。
4.一种使用可扩展字幕文件来提供附加信息的方法，该方法包括：
解析从已输入多媒体数据、字幕数据和附加信息数据的设备输入的字幕数据和附加信息数据；
通过处理解析的附加信息数据来产生用户接口信息；和
同步地显示多媒体数据、字幕数据和用户接口信息，
其中，所述用户接口信息是具有预定形状的角色，所述角色以字幕和/或音频的形式提供关于视频和字幕的附加信息。
5.如权利要求4所述的方法，还包括：
设置多媒体数据、字幕数据和用户接口信息的优先级；和
基于设置的优先级显示多媒体数据、字幕数据和用户接口信息。
6.如权利要求5所述的方法，其中，通过为用户接口信息设置较高的优先级值，所述用户接口信息位于屏幕的较上层。
7.如权利要求4所述的方法，其中，所述用户接口信息包括视频、音频和字幕信息。
8.一种设备，包括：
字幕处理单元，被构造为处理与多媒体数据相关的字幕信息；
附加数据处理单元，被构造为处理附加数据，并基于该附加数据产生用户接口信息；和
数据输出单元，被构造为组合多媒体数据的多媒体信息、与多媒体信息相关的字幕信息和用户接口信息以用于显示，
其中，所述用户接口信息是具有预定形状的角色，所述角色以字幕和/或音频的形式提供关于视频和字幕的附加信息。
9.如权利要求8所述的设备，还包括：XML解析器，被构造为解析字幕数据文件以提供字幕信息，并解析附加信息文件以提供附加数据。
10.如权利要求9所述的设备，还包括：
逆多路复用单元，被构造为从多媒体数据中分离视频和音频数据；和
视频和音频处理单元，被构造为分别对从多媒体数据分离的视频和音频数据进行解码，并产生视频和音频信息，其中，所述视频和音频信息是多媒体数据的多媒体信息。
CN2006100802366A 2005-05-26 2006-05-12 使用可扩展字幕文件提供附加信息的设备和方法 Expired - Fee Related CN1905645B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2005-0044595 2005-05-26
KR1020050044595A KR100654455B1 (ko) 2005-05-26 2005-05-26 확장형 자막 파일을 이용하여 부가정보를 제공하는 장치 및방법
KR1020050044595 2005-05-26

Publications (2)

Publication Number Publication Date
CN1905645A CN1905645A (zh) 2007-01-31
CN1905645B true CN1905645B (zh) 2011-04-20

Family

ID=36956561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100802366A Expired - Fee Related CN1905645B (zh) 2005-05-26 2006-05-12 使用可扩展字幕文件提供附加信息的设备和方法

Country Status (5)

Country Link
US (1) US8732783B2 (zh)
EP (1) EP1727368A3 (zh)
JP (1) JP4430036B2 (zh)
KR (1) KR100654455B1 (zh)
CN (1) CN1905645B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356645B2 (ja) * 2005-04-28 2009-11-04 ソニー株式会社 字幕生成装置及び方法
CN101674423B (zh) * 2008-09-10 2013-02-20 新奥特（北京）视频技术有限公司 一种在线节目单驱动的字幕播出列表的生成方法
CN101674456B (zh) * 2008-09-10 2013-03-06 新奥特（北京）视频技术有限公司 总控播出线异构***间基于消息队列的信息交互方法
CN101674455B (zh) * 2008-09-10 2013-03-06 新奥特（北京）视频技术有限公司 总控播出线异构***间基于web服务的信息交互方法
JP4936570B2 (ja) * 2009-09-30 2012-05-23 キヤノン株式会社 デジタル放送受信装置及びその制御方法
CN102065233B (zh) * 2009-11-12 2014-09-17 新奥特（北京）视频技术有限公司 一种字幕机
US8813164B2 (en) 2009-11-30 2014-08-19 Sony Corporation Data tunneling via closed captioning
WO2012131415A1 (en) * 2011-03-31 2012-10-04 Sony Ericsson Mobile Communications Ab System and method for rendering messaging content while contemporaneously rendering multimedia content
US9071815B2 (en) 2011-08-31 2015-06-30 Nokia Technologies Oy Method, apparatus and computer program product for subtitle synchronization in multimedia content
CN102981887B (zh) * 2011-09-06 2016-07-06 联想(北京)有限公司 数据处理方法及电子设备
BR112014026861A2 (pt) * 2012-04-26 2018-05-15 Univ Chicago antígenos de estafilococos coagulase e métodos de seu uso
US8564721B1 (en) * 2012-08-28 2013-10-22 Matthew Berry Timeline alignment and coordination for closed-caption text using speech recognition transcripts
CN103731609B (zh) * 2012-10-11 2019-04-26 百度在线网络技术（北京）有限公司 一种视频播放方法及***
US9589594B2 (en) 2013-02-05 2017-03-07 Alc Holdings, Inc. Generation of layout of videos
CN103491416B (zh) * 2013-09-29 2018-09-04 深圳Tcl新技术有限公司 字幕数据的单图层显示方法和装置
EP3113500B1 (en) * 2014-02-28 2020-04-29 Samsung Electronics Co., Ltd. Method and device for displaying application data in wireless communication system
CN103929653B (zh) * 2014-04-30 2018-01-09 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
CN104918135B (zh) * 2015-06-01 2018-05-08 无锡天脉聚源传媒科技有限公司 一种视频台标生成方法及装置
CN106358092B (zh) * 2015-07-13 2019-11-26 阿里巴巴集团控股有限公司 信息处理方法及装置
US9923860B2 (en) 2015-07-29 2018-03-20 International Business Machines Corporation Annotating content with contextually relevant comments
CN105120324B (zh) * 2015-08-31 2018-08-10 暴风集团股份有限公司 一种分布式播放器实现方法及***
US10237591B2 (en) * 2015-09-09 2019-03-19 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
JP6601971B2 (ja) * 2015-09-18 2019-11-06 ザップル カンパニー リミテッド 多重化特性を用いたザッピング広告システム
CN106851401A (zh) * 2017-03-20 2017-06-13 惠州Tcl移动通信有限公司 一种自动添加字幕的方法及***
US10728568B1 (en) * 2018-03-22 2020-07-28 Amazon Technologies, Inc. Visual element encoding parameter tuning
CN111601142B (zh) * 2020-05-08 2022-03-01 青岛海信传媒网络技术有限公司 一种字幕的显示方法及显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1264876A (zh) * 1998-12-25 2000-08-30 松下电器产业株式会社 数据处理装置和方法和媒体及执行该方法的程序
JP2001350746A (ja) * 2000-06-08 2001-12-21 Koike Shoin:Kk コンピュータを用いたデジタル漫画作成方法と保存及び出力方法
CN1394434A (zh) * 2000-11-02 2003-01-29 有限会社富士山 数字图像内容的发布***,再现数字图像内容的方法,以及记录有用于再现数字图像内容的程序的介质
CN1447596A (zh) * 2002-03-20 2003-10-08 Lg电子株式会社 光盘播放中的多文本显示
KR20040033766A (ko) * 2002-10-15 2004-04-28 케이투아이엠에스 인터넷상에서 비디오 메타 데이터를 이용하여 비디오요약과 동영상 부가정보를 서비스하는 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5486872A (en) * 1993-02-26 1996-01-23 Samsung Electronics Co., Ltd. Method and apparatus for covering and revealing the display of captions
US5774666A (en) * 1996-10-18 1998-06-30 Silicon Graphics, Inc. System and method for displaying uniform network resource locators embedded in time-based medium
US6513160B2 (en) * 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
JP2000341228A (ja) 1999-05-31 2000-12-08 Toshiba Corp ディジタル放送番組送信装置及びディジタル放送番組受信装置
JP2001273520A (ja) * 2000-03-23 2001-10-05 Famotik Ltd マルチメディアドキュメント統合表示システム
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US6931656B1 (en) * 2000-10-11 2005-08-16 Koninklijke Philips Electronics N.V. Virtual creature displayed on a television
JP2002325242A (ja) * 2001-04-26 2002-11-08 Ntt Advanced Technology Corp 議会映像情報提供システム
JP2003067099A (ja) 2001-08-28 2003-03-07 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
KR100429806B1 (ko) * 2002-01-07 2004-05-03 삼성전자주식회사 디지털 ｔｖ 프로그램에 연관된 부가 정보를 표시하는방법 및그 장치
FR2836733B1 (fr) 2002-03-01 2004-05-28 France Telecom Procede et dispositif de traitement informatique d'un contenu audiovisuel avec sous-titres
KR100912984B1 (ko) 2002-04-12 2009-08-20 미쓰비시덴키 가부시키가이샤 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
JP2004349851A (ja) * 2003-05-20 2004-12-09 Ntt Docomo Inc 携帯端末、画像通信プログラム、及び画像通信方法
BRPI0412839A (pt) 2003-07-24 2006-09-26 Lg Electronics Inc mìdia de gravação que tem uma estrutura de dados para gerenciar reprodução de dados de subtìtulo de texto gravado nela e métodos e aparelhos de gravação e reprodução
JP2005124169A (ja) 2003-09-26 2005-05-12 Matsushita Electric Ind Co Ltd 吹き出し字幕付き映像コンテンツ作成装置、送信装置、再生装置、提供システムならびにそれらで用いられるデータ構造および記録媒体
US20050078221A1 (en) * 2003-09-26 2005-04-14 Koji Kobayashi Apparatus for generating video contents with balloon captions, apparatus for transmitting the same, apparatus for playing back the same, system for providing the same, and data structure and recording medium used therein
KR100739682B1 (ko) 2003-10-04 2007-07-13 삼성전자주식회사 텍스트 기반의 서브 타이틀 정보를 기록한 정보저장매체,그 처리장치 및 방법
KR20050035678A (ko) 2003-10-14 2005-04-19 엘지전자 주식회사 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크
JP2005285209A (ja) * 2004-03-29 2005-10-13 Toshiba Corp 動画像のメタデータ
KR20060047930A (ko) * 2004-05-17 2006-05-18 마츠시타 덴끼 산교 가부시키가이샤 화상 합성 출력 장치, 화상 합성 표시 장치, 휴대통신기기,화상 합성 출력 방법 및 화상 합성 출력용 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1264876A (zh) * 1998-12-25 2000-08-30 松下电器产业株式会社 数据处理装置和方法和媒体及执行该方法的程序
JP2001350746A (ja) * 2000-06-08 2001-12-21 Koike Shoin:Kk コンピュータを用いたデジタル漫画作成方法と保存及び出力方法
CN1394434A (zh) * 2000-11-02 2003-01-29 有限会社富士山 数字图像内容的发布***,再现数字图像内容的方法,以及记录有用于再现数字图像内容的程序的介质
CN1447596A (zh) * 2002-03-20 2003-10-08 Lg电子株式会社 光盘播放中的多文本显示
KR20040033766A (ko) * 2002-10-15 2004-04-28 케이투아이엠에스 인터넷상에서 비디오 메타 데이터를 이용하여 비디오요약과 동영상 부가정보를 서비스하는 방법

Also Published As

Publication number Publication date
US8732783B2 (en) 2014-05-20
CN1905645A (zh) 2007-01-31
JP2006333460A (ja) 2006-12-07
KR100654455B1 (ko) 2006-12-06
EP1727368A2 (en) 2006-11-29
US20060272000A1 (en) 2006-11-30
JP4430036B2 (ja) 2010-03-10
EP1727368A3 (en) 2009-07-01
KR20060122265A (ko) 2006-11-30

Similar Documents

Publication Publication Date Title
CN1905645B (zh) 使用可扩展字幕文件提供附加信息的设备和方法
TWI332358B (en) Media player apparatus and method thereof
EP2315201B1 (en) Transmitting and receiving apparatus and method, computer program, and broadcasting system with speech to sign language conversion
US8965916B2 (en) Method and apparatus for providing media content
EP1556782A2 (en) Methods and apparatus to present survey information
US20090083029A1 (en) Retrieving apparatus, retrieving method, and computer program product
CN102073534B (zh) 数据解析方法及装置
KR20040039432A (ko) 다중 언어 필사 시스템
KR20040101235A (ko) 텔레비전 프로그램에 관한 정보를 검색하는 방법 및 시스템
US20200074994A1 (en) Information processing apparatus and information processing method
US8996615B2 (en) Method for synchronizing a Rich Media action with an audiovisual change, corresponding device and computer software, method for generating a Rich Media presentation and corresponding computer software
CN107251560B (zh) 发送装置、发送方法、接收装置、接收方法、信息处理装置和信息处理方法
CN102246225B (zh) 用于合成语音的方法和设备
KR101927965B1 (ko) 광고 동영상 제작 시스템 및 방법
KR101869053B1 (ko) 증강 방송 콘텐츠 수신 방법 및 장치, 증강 콘텐츠 제공 방법 및 장치, 증강 콘텐츠 제공 시스템
US10491934B2 (en) Transmission device, transmission method, reception device, and reception method
JP3998187B2 (ja) コンテンツ解説データ生成装置、その方法及びそのプログラム、並びに、コンテンツ解説データ提示装置、その方法及びそのプログラム
US20090190031A1 (en) Television apparatus and method for subtitle handling
KR101915246B1 (ko) 동영상 플랫폼을 통해 제공되는 동영상 콘텐츠에 부가되는 자막을 이용한 광고 방법
JP4755717B2 (ja) 放送受信端末装置
KR100848187B1 (ko) 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법
JP5010102B2 (ja) 放送受信方式
JP2024069065A (ja) 字幕データ生成装置及び字幕データ生成プログラム
Laverty et al. Extraction of Teletext Subtitles from Broadcast Television for Archival and Analysis
JP2006197353A (ja) 放送受信端末装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110420

Termination date: 20210512