CN107005733B - 发送装置、发送方法、接收装置以及接收方法 - Google Patents

发送装置、发送方法、接收装置以及接收方法 Download PDF

Info

Publication number
CN107005733B
CN107005733B CN201580067243.XA CN201580067243A CN107005733B CN 107005733 B CN107005733 B CN 107005733B CN 201580067243 A CN201580067243 A CN 201580067243A CN 107005733 B CN107005733 B CN 107005733B
Authority
CN
China
Prior art keywords
subtitle
display
stream
information
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580067243.XA
Other languages
English (en)
Other versions
CN107005733A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107005733A publication Critical patent/CN107005733A/zh
Application granted granted Critical
Publication of CN107005733B publication Critical patent/CN107005733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Abstract

本发明使得可以在接收侧上满意地控制字幕的显示定时。在本发明中，生成具有编码的图像数据的视频流。生成具有字幕文本信息和显示定时信息的字幕流。发送包含视频流和字幕流的传输流。例如，字幕显示定时信息具有显示开始定时和显示时段信息。

Description

发送装置、发送方法、接收装置以及接收方法
技术领域
本技术涉及一种发送装置、发送方法、接收装置、以及接收方法，并且更具体地涉及将文本信息连同图像信息一起发送的发送装置等。
背景技术
例如，在数字视频广播(DVB)中，已将关于字幕的信息作为位图数据发送。近来，已提出将关于字幕的信息作为文本字符代码发送，即基于文本发送。在这种情况下，根据接收侧的分辨率放大字体。
此外，已提出当关于字幕的信息基于文本发送时文本信息将具有定时信息。例如，万维网联盟(W3C)提出了定时文本标记语言(TTML)(参见专利文献1)，作为该文本信息。
引用列表
专利文献
专利文献1：日本专利申请公开第2012-169885号
发明内容
本发明要解决的问题
本技术的目的是在接收侧上对字幕优异地执行显示定时控制。
问题的解决方案
本技术的一个概念是发送装置，包括：
视频编码器，生成具有编码的图像数据的视频流；
字幕编码器，生成具有关于字幕的文本信息和显示定时信息的字幕流；以及
发送单元，发送包含视频流和字幕流的传输流。
在本技术中，由视频编码器生成具有编码的图像数据的视频流。由字幕编码器生成具有关于字幕的文本信息和显示定时信息的字幕流。然后，通过发送单元发送包含视频流和字幕流的传输流。
例如，字幕编码器可以基于关于以预定格式的具有显示定时信息的字幕的文本信息，生成字幕流。在这种情况下，例如，关于以预定格式的字幕的文本信息可以是定时文本标记语言(TTML)或是TTML的衍生格式。
此外，例如，关于字幕的显示定时信息可具有至少与显示开始定时和显示持续时间有关的信息。在这种情况下，例如，字幕流可以由PES数据包构成，PES数据包由PES报头和PES有效载荷构成，关于字幕的文本信息和显示定时信息可以布置在PES有效载荷中，并且显示开始定时可以由与***在PES报头中的呈现时间戳(PTS)的显示偏移表示。
在本技术中，具有关于字幕的文本信息和显示定时信息的字幕流连同视频流一起发送。因此，可以在接收侧上对字幕优异地执行显示定时控制。
此外，本技术的另一概念是接收装置，包括：
接收单元，接收传输流，该传输流包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流；
视频解码器，对视频流执行解码处理并获得图像数据；
字幕解码器，对字幕流执行解码处理并获得字幕的位图数据和关于字幕的显示定时信息；以及
显示控制单元，基于显示定时信息控制将字幕的位图数据叠加到图像数据上的定时。
在本技术中，由接收单元接收传输流。传输流包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流。
对视频流执行解码处理并由视频解码器获得图像数据。此外，对字幕流执行解码处理，并且由字幕解码器获得字幕的位图数据和关于字幕的显示定时信息。然后，由显示控制单元基于显示定时控制信息控制将字幕的位图数据叠加到图像数据上的定时。
例如，关于字幕的显示定时信息可具有至少与显示开始定时和显示持续时间有关的信息。在这种情况下，例如，字幕流可以由PES数据包构成，PES数据包由PES报头和PES有效载荷构成，关于字幕的文本信息和显示定时信息可以布置在PES有效载荷中，并且显示开始定时可以由与***在PES报头中的PTS的显示偏移表示。
在本技术中，字幕流具有关于字幕的文本信息和显示定时信息，并且基于显示定时信息控制将字幕的位图数据叠加到图像数据上的定时。因此，可以优异地执行字幕的显示定时控制。
本发明的效果
根据本技术，可以优异地执行字幕的显示定时控制。应当注意，本说明书中所描述的效果仅是示例性的且不受限制，并且可以具有额外的效果。
附图说明
图1是示出了实施方式的收发器***的配置实例的框图。
图2是示出了广播发送***的流生成单元的配置实例的框图。
图3是说明TTML结构的示图。
图4中的(a)至图4中的(c)是示出了TTML结构的头部中的元数据、式样、以及布局中的每个元素的结构的实例。
图5是示出了TTML结构的主体的配置实例的示图。
图6是示出了PES数据包的配置实例的示图。
图7中的(a)和图7中的(b)是示出了文本报头元数据片段(THMS)的结构的实例的示图。
图8中的(a)和图8中的(b)是示出了文本报头式样片段(THSS)的结构的实例的示图。
图9中的(a)和图9中的(b)是示出了文本报头布局片段(THLS)的结构的实例的示图。
图10中的(a)和图10中的(b)是示出了文本主体片段(TBS)的结构的实例的示图。
图11中的(a)和图11中的(b)是示出了文本整体片段(TWS)的结构的实例的示图。
图12是示出了定时控制片段(TCS)的结构的实例的示图。
图13是说明当TTML转换为片段时“PTS”、“显示偏移”、以及“显示持续时间”的设置的示图。
图14是示出了解码器缓冲器模型的配置实例的示图。
图15是示出了解码器缓冲器模型的基本操作的实例的示图。
图16是示出了解码器缓冲器模型的更实际的操作的实例的示图。
图17是示出了解码器缓冲器模型的更实际的操作的另一实例的示图。
图18是示出了解码器缓冲器模型的另一配置实例的示图。
图19是示出了解码器缓冲器模型的基本操作的实例的示图。
图20是示出了解码器缓冲器模型的更实际的操作的实例的示图。
图21是示出了解码器缓冲器模型的更实际的操作的另一实例的示图。
图22是示出了传输流TS的配置实例的示图。
图23是示出了电视接收器的配置实例的示图。
图24是示出了字幕解码器的配置实例的示图。
图25是示出了字幕解码器的另一配置实例的示图。
具体实施方式
在下文中，将描述用于执行本发明的模式(下文中称为“实施方式”)。应当注意，描述按以下顺序进行：
1.实施方式
2.变形例
<1.实施方式>
[收发器***的配置实例]
图1示出了实施方式的收发器***10的配置实例。收发器***10包括广播发送***100和电视接收器200。广播发送***100在广播波上发送传输流TS。传输流TS包含具有编码的图像数据的视频流、具有编码的音频数据的音频流、以及具有关于字幕的文本信息和显示定时信息的字幕流。
广播发送***100基于关于以预定格式的具有显示定时信息的字幕的文本信息，生成字幕流。在这个实施方式中，例如，文本信息是由万维网联盟(W3C)提出的定时文本标记语言(TTML)。
在这个实施方式中，字幕流中包含的关于字幕的显示定时信息具有至少与显示开始定时和显示持续时间有关的信息。在此，字幕流由PES数据包构成，PES数据包由PES报头和PES有效载荷构成，关于字幕的文本信息和显示定时信息布置在PES有效载荷中，并且例如，显示开始定时由与***在PES报头中的PTS的显示偏移表示。
电视接收器200接收从广播发送***100在广播波上发送的传输流TS。如上所述，传输流TS包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流。
电视接收器200从视频流接收图像数据，并从字幕流接收字幕的位图数据和关于字幕的显示定时信息。然后，电视接收器200控制定时以基于显示定时信息将字幕的位图数据叠加到图像数据上，并显示叠加了字幕的图像。
[广播发送***的流生成单元的配置实例]
图2示出了广播发送***100的流生成单元110的配置实例。流生成单元110包括控制单元111、视频编码器112、音频编码器113、文本格式转换单元114、以及字幕编码器115。
控制单元111控制流生成单元110中的部件的操作。视频编码器112接收图像数据DV，对图像数据DV执行编码，并生成具有编码的图像数据的视频流(PES流)。音频编码器113接收音频数据DA，对音频数据DA执行编码，并生成具有编码的音频数据的音频流(PES流)。
文本格式转换单元114接收文本数据(字符代码)DT作为关于字幕的信息，并获得有关以预定格式的具有显示定时信息的字幕的文本信息。在这个实施方式中，文本信息转换为TTML。
图3示出了TTML结构。基于XML描述TTML。在头部中，存在元数据、式样、以及布局的元素。图4中的(a)示出了元数据(TTM：TTML元数据)的结构。元数据包含元数据标题信息和版权信息。
图4中的(b)示出了式样(TTS：TTML式样)的结构的实例。式样包含标识符(id)和关于颜色、字体(fontFamily)、大小(fontSize)、对准(textAlign)等的信息。图4中的(c)示出布局(区域：TTML布局)的结构的实例。布局包含布置有字幕的区域的标识符(id)和关于区域(extent)、偏移(padding)、背景颜色(backgroundColor)、对准(displayAlign)等的信息。
图5示出了主体的结构的实例。在示出的实例中，包含关于字幕1(subtitle1)、字幕2(subtitle2)、以及字幕3(subtitle3)的三个字幕的信息。针对每个字幕描述显示开始定时、显示结束定时、以及文本数据。例如，关于字幕1，显示开始定时是“0.76s”，显示结束定时是“3.45s”，并且文本数据是“这看起来是悖论，不是吗，”。
返回到图2，字幕编码器115将由文本格式转换单元114获得的TTML转换成各种片段，并且生成由PES数据包构成的字幕流，在PES数据包中，片段布置在有效载荷中。
图6示出了PES数据包的配置实例。PES报头包含呈现时间戳(PTS)。此外，PES有效载荷包含定时控制片段(TCS)、文本报头元数据片段(THMS)、文本报头式样片段(THSS)、文本报头布局片段(THLS)、以及文本主体片段(TBS)的片段，或者包含定时控制片段(TCS)和文本整体片段(TWS)的片段。
图7中的(a)示出了文本报头元数据片段(THMS)的结构(句法)的实例。该句法包含关于“sync_byte”、“segment_type”、“page_id”、“segment_length”、以及“segment_payload()”的信息。“segment_type”是表示片段类型的8位数据，并且例如，在该实例中是表示THMS的“0x21”。“segment_length”是表示片段的长度(大小)的8位数据。在图7中的(b)中示出的元数据布置在“segment_payload()”中，作为XML信息。元数据与存在于TTML的头部中的元数据的元素相同(参见图4中的(a))。
图8中的(a)示出了文本报头式样片段(THSS)的结构(句法)的实例。该句法包含关于“sync_byte”、“segment_type”、“page_id”、“segment_length”、以及“segment_payload()”的信息。“segment_type”是表示片段类型的8位数据，并且例如，在该实例中是表示THSS的“0x22”。“segment_length”是表示片段的长度(大小)的8位数据。在图8中的(b)中示出的元数据布置在“segment_payload()”中，作为XML信息。元数据与存在于TTML的头部中的式样的元素相同(参见图4中的(b))。
图9中的(a)示出文本报头布局片段(THLS)的结构(句法)的实例。该句法包含关于“sync_byte”、“segment_type”、“page_id”、“segment_length”、以及“segment_payload()”的信息。“segment_type”是表示片段类型的8位数据，并且例如，在该实例中是表示THLS的“0x23”。“segment_length”是表示片段的长度(大小)的8位数据。在图9中的(b)中示出的元数据布置在“segment_payload()”中，作为XML信息。元数据与存在于TTML的头部中的布局的元素相同(参见图4中的(c))。
图10中的(a)示出了文本主体片段(TBS)的结构(句法)的实例。该句法包含关于“sync_byte”、“segment_type”、“page_id”、“segment_length”、以及“segment_payload()”的信息。“segment_type”是表示片段类型的8位数据，并且例如，在该实例中是表示TBS的“0x24”。在图10中的(b)中示出的元数据布置在“segment_payload()”中，作为XML信息。元数据与TTML的主体相同(参见图5)。
图11中的(a)示出了文本整体片段(TWS)的结构(句法)的实例。该句法包含关于“sync_byte”、“segment_type”、“page_id”、“segment_length”、以及“segment_payload()”的信息。“segment_type”是表示片段类型的8位数据，并且例如，在该实例中是表示TWS的“0x25”。“segment_length”是表示片段的长度(大小)的8位数据。在图11中的(b)中示出的元数据布置在“segment_payload()”中，作为XML信息。元数据是整个TTML(参见图3)。句法是用来维护整个TTML中的兼容性，并将整个TTML放在一个片段中。
图12示出了定时控制片段(TCS)的结构(句法)的实例。该句法包含关于“sync_byte”、“segment_type”、“page_id”、“segment_length”、“format_type”、“number_of_regions”、“region_id”、“number_of_display_set”、“显示偏移”、以及“显示持续时间”的信息。“segment_type”是表示片段类型的8位数据，并且例如，在该实例中是表示TCS的“0x20”。“segment_length”是表示片段的长度(大小)的8位数据。
8位字段的“format_type”表示字幕的发送格式的类型。“1”表示“DVB字幕”，“2”表示“EBU-TT-D”，以及“3”表示“TTML”。在这个实施方式中，8位字段的“format_type”是“2”或“3”。
8位字段的“number_of_regions”表示区域的数目。16位字段的“region_id”表示区域的标识符。8位的“number_of_display_set”表示区域的显示数目。16位字段的“显示偏移”表示与作为区域中的显示开始定时的PTS的偏移值。16位字段的“显示持续时间”表示区域的显示持续时间。
如在图13中示出的，当将TTML转换成片段时，字幕编码器115基于TTML的主体中所包含的每个字幕的显示开始定时(开始)和显示结束定时(结束)的描述，参考***时间信息(视频和音频的PCR和同步时间)设置每个字幕的“PTS”、“显示偏移”、以及“显示持续时间”。这时，字幕片段编码器115在使用解码器缓冲器模型验证正确执行接收侧的操作的同时，设置“PTS”、“显示偏移”、以及“显示持续时间”。
图14示出了解码器缓冲器模型300A的配置实例。解码器缓冲器模型300A包括编码缓冲器301、字幕片段解码器302、字体扩展单元303、以及位图缓冲器304。编码缓冲器301暂时保持所接收的片段数据。
字幕片段解码器302在预定定时对由编码缓冲器301保持的每个区域的片段数据执行解码处理，并获得每个区域的文本数据和控制代码。字体扩展单元303基于字幕片段解码器302获得的每个区域的文本数据和控制代码来扩展字体，并获得每个区域的位图数据。
位图缓冲器304暂时保持由字体扩展单元303获得的每个区域的位图数据和用于显示位图数据的控制信息。从显示开始定时读取由位图缓冲器304保持的每个区域的位图数据，并将位图数据叠加在图像数据上，而且这持续显示持续时间。
图15示出解码器缓冲器模型300A的基本操作的实例。区域1的片段数据在编码缓冲器301中缓冲。然后，在区域1的所有片段数据存储在编码缓冲器301内并且经过一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且获得区域1的位图数据。
伴随解码处理，区域1的片段数据立即从编码缓冲器301消失。由位图缓冲器304保持字体扩展单元303获得的位图数据。区域1的显示开始并持续显示持续时间。在示出的实例中，在解码之后，具有字符“ABC”的区域1立即显示在屏幕上持续显示持续时间。当经过了显示持续时间时，区域1的位图数据立即从位图缓冲器304中消失。
在区域1的所有片段数据存储在编码缓冲器301中之后，区域2的片段数据在编码缓冲器301中缓冲。对于区域2，依次执行与以上区域1类似的处理。
换言之，在区域2的所有片段数据存储在编码缓冲器301中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且区域2的显示开始并持续显示持续时间。在示出的实例中，在解码之后，具有字符“DEFG”的区域2立即显示在屏幕上持续显示持续时间。
此后，继续类似的处理。图16示出解码器缓冲器模型300A的更实际的操作的实例。该实例示出了区域1仅在某一定时显示，区域2从下一个定时同时显示，区域1在某一定时不显示，并且然后，区域3的显示被加到区域2的显示。
区域1的片段数据在编码缓冲器301中缓冲。然后，在区域1的所有片段数据存储在编码缓冲器301中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且在PTS1的定时获得区域1的位图数据。最短的窗口时段是0。这意味着解码所需的所有片段数据需要通过解码定时在编码缓冲器301中缓冲。
伴随解码处理，区域1的片段数据立即从编码缓冲器301消失。由位图缓冲器304保持字体扩展单元303获得的区域1的位图数据。编码缓冲器301在PTS1的定时的数据存储量是CBc_1，并且位图缓冲器304在PTS1的定时的数据存储量是BBc_1。
在此，定义“显示偏移”。这表示从PTS定时到显示开始定时的延迟。在示出的实例中，在PTS1的定时开始区域1的显示，这意味着“显示偏移1＝0”。
此外，在此定义“显示持续时间”。这表示显示持续时间。示出的实例示出了“显示持续时间1＝T1”。在示出的实例中，具有字符“ABC”的区域1显示在屏幕上持续持续时间T1。当经过了显示持续时间时，区域1的位图数据立即从位图缓冲器304中消失。换言之，在显示区域1的同时，区域1的位图数据保持在位图缓冲器304中。
在此，缓冲器模型受限制使得编码缓冲器301的数据存储量CBc_k始终小于其缓冲器大小，并且位图缓冲器304的数据存储量BBc_k始终小于其缓冲器大小。
在区域1的所有片段数据存储在编码缓冲器301中之后，区域2的片段数据在编码缓冲器301中缓冲。然后，在区域2的所有片段数据存储在编码缓冲器301中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且在PTS2的定时获得区域2的位图数据。
伴随解码处理，区域2的片段数据立即从编码缓冲器301消失。由位图缓冲器304保持由字体扩展单元303获得的区域2的位图数据。编码缓冲器301在PTS2的定时的数据存储量是CBc_2，并且位图缓冲器304在PTS2的定时的数据存储量是BBc_2。
在此，区域2的显示在PTS2的定时开始，这意味着“显示偏移2_1＝0”。然后，区域2显示持续持续时间T2_1，这意味着“显示持续时间2_1＝T2_1”。在示出的实例中，具有字符“DEF”的区域2显示在屏幕上持续持续时间T2_1。在这种情况下，从PTS2的定时开始将区域2的显示添加至区域1的显示。应当注意，在PTS2的定时，区域1的显示位置向上移。
此外，对于区域2，在持续时间T2_1的结束定时，区域2的位图数据不从位图缓冲器304消失，而是保持。在从PTS2的定时开始的预定持续时间之后，在PTS3的定时重新开始区域2的显示，这意味着“显示偏移2_1＝！0”。然后，区域2显示持续持续时间T2_2，这意味着“显示持续时间2_2＝T2_2”。
此外，在区域2的所有片段数据存储在编码缓冲器301中之后，区域3的片段数据在编码缓冲器301中缓冲。然后，在区域3的所有片段数据存储在编码缓冲器301中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且在PTS3的定时获得区域3的位图数据。
伴随解码处理，区域3的片段数据立即从编码缓冲器301消失。由位图缓冲器304保持由字体扩展单元303获得的位图数据。编码缓冲器301在PTS3的定时的数据存储量是CBc_3，并且位图缓冲器304在PTS3的定时的数据存储量是BBc_3。
在此，在PTS3的定时开始区域3的显示，这意味着“显示偏移3＝0”。然后，区域3显示持续持续时间T3，这意味着“显示持续时间3＝T3”。在示出的实例中，具有字符“GHJK”的区域3显示在屏幕上持续持续时间T3。在这种情况下，从PTS3的定时开始显示区域2和3。应当注意，在PTS3的定时，区域2的显示位置向上移。
应当注意，实例示出了持续时间T2_1的结束定时与PTS3的定时之间存在时间差，但其可以是相同的定时。
图17示出解码器缓冲器模型300A的更实际的操作的另一实例。与在图16中示出的实例类似，该实例示出了区域1仅在某一定时显示，区域2从下一个定时同时显示，区域1在某一定时不显示，并且然后，将区域3的显示添加至区域2的显示。然而，与图16中示出的实例不同，对区域1和2同时进行解码。
区域1的片段数据和区域2的片段数据在编码缓冲器301中缓冲。然后，在区域1和2的所有片段数据存储在编码缓冲器301中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且在PTS1的定时获得区域1和2的位图数据。
伴随解码处理，区域1和2的片段数据立即从编码缓冲器301消失。由位图缓冲器304保持由字体扩展单元303获得的区域1和2的位图数据。编码缓冲器301在PTS1的定时的数据存储量是CBc_1，并且位图缓冲器304在PTS1的定时的数据存储量是BBc_1。
在此，定义“显示偏移”。这表示从PTS定时到显示开始定时的延迟。在示出的实例中，区域1的显示在PTS1的定时开始，这意味着“显示偏移1＝0”。
此外，在此定义“显示持续时间”。这表示显示持续时间。所示出的实例示出了“显示持续时间1＝T1”。在示出的实例中，具有字符“ABC”的区域1显示在屏幕上持续持续时间T1。当经过了显示持续时间时，区域1的位图数据立即从位图缓冲器304中消失。换言之，在显示区域1的同时，区域1的位图数据保持在位图缓冲器304中。
在此，缓冲器模型受限制使得编码缓冲器301的数据存储量CBc_k始终小于其缓冲器大小，并且位图缓冲器304的数据存储量BBc_k始终小于其缓冲器大小。
此外，区域2的显示在从PTS1的定时开始持续时间T2_0之后的定时开始，这意味着“显示偏移2_1＝T2_0”。然后，区域2显示持续持续时间T2_1，这意味着“显示持续时间2_1＝T2_1”。在示出的实例中，具有字符“DEF”的区域2显示在屏幕上持续持续时间T2_1。在这种情况下，区域2的显示被添加至区域1的显示。应当注意，区域1的显示位置向上移。
此外，对于区域2，在持续时间T2_1的结束定时，区域2的位图数据不从位图缓冲器304消失，而是保持。在从PTS1的定时开始预定持续时间之后，在PTS3的定时重新开始区域2的显示，这意味着“显示偏移2_1＝！0”。然后，区域2显示持续持续时间T2_2，这意味着“显示持续时间2_2＝T2_2”。
此外，在区域1和2的所有片段数据存储在编码缓冲器301中之后，区域3的片段数据在编码缓冲器301中缓冲。然后，在区域3的所有片段数据存储在编码缓冲器301中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器302解码片段数据，由字体扩展单元303扩展字体，并且在PTS3的定时获得区域3的位图数据。
伴随解码处理，区域3的片段数据立即从编码缓冲器301消失。由位图缓冲器304保持由字体扩展单元303获得的位图数据。编码缓冲器301在PTS3的定时的数据存储量是CBc_3，并且位图缓冲器304在PTS3的定时的数据存储量是BBc_3。
在此，区域3的显示在PTS3的定时开始，这意味着“显示偏移3＝0”。然后，区域3显示持续持续时间T3，这意味着“显示持续时间3＝T3”。在示出的实例中，具有字符“GHJK”的区域3显示在屏幕上持续持续时间T3。在这种情况下，从PTS3的定时开始显示区域2和2。应当注意，在PTS3的定时，区域2的显示位置向上移。
应当注意，实例示出了持续时间T2_1的结束定时与PTS3的定时之间存在时间差，但其可以是相同的定时。
图18示出了解码器缓冲器模型300B的配置实例。解码器缓冲器模型300B包括编码缓冲器311、字幕片段解码器312、以及字体扩展单元313。编码缓冲器311暂时保持所接收的片段数据。
字幕片段解码器312对由编码缓冲器311保持的每个区域的片段数据连续执行每个帧的解码处理，并在每个区域的显示持续时间期间获得每个区域的文本数据和控制代码。字体扩展单元313基于由字幕片段解码器312获得的文本数据和控制代码针对每个帧扩展字体，并在每个区域的显示持续时间期间获得每个区域的位图数据。由字体扩展单元313获得的每个区域的位图数据叠加在图像数据上。
图19示出解码器缓冲器模型300B的基本操作的实例。区域1的片段数据在编码缓冲器311中缓冲。然后，在区域1的所有片段数据存储在编码缓冲器311中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器312解码片段数据，由字体扩展单元313扩展字体，并且获得区域1的位图数据。因此，区域1的显示开始并持续显示持续时间。在示出的实例中，具有字符“ABC”的区域1显示在屏幕上持续持续时间。
在字幕片段解码器312和字体扩展单元313中，在显示持续时间期间针对每个帧重复该处理。当经过了区域1的显示持续时间时，字幕片段解码器312和字体扩展单元313的对应于区域1的片段数据的处理停止，并且在那时区域1的片段数据立即从编码缓冲器311消失。
在区域1的所有片段数据存储在编码缓冲器311中之后，区域2的片段数据在编码缓冲器311中缓冲。针对区域2，依次执行与以上区域1类似的处理。
换言之，在区域2的所有片段数据存储在编码缓冲器311中并且经过了一定窗口时段(解码窗口)之后，由字幕片段解码器312解码片段数据，由字体扩展单元313扩展字体，并且获得区域2的位图数据。区域2的显示开始并持续显示持续时间。在示出的实例中，具有字符“DEFG”的区域2显示在屏幕上持续持续时间。
此后，继续类似的处理。
图20示出解码器缓冲器模型300B的更实际的操作的实例。该实例示出了区域1仅在某一定时显示，区域2从下一定时同时显示，区域1在某一定时不显示，并且然后，区域3的显示添加至区域2的显示。
区域1的片段数据在编码缓冲器311中缓冲。然后，在区域1的所有片段数据存储在编码缓冲器311中并经过了一定窗口时段(解码窗口)之后，PTS1的定时到来。
在此，定义“显示偏移”。这表示从PTS定时到显示开始定时的延迟。在示出的实例中，区域1的显示在PTS1的定时开始，这意味着“显示偏移1＝0”。在这种情况下，由字幕片段解码器312解码区域1的片段数据，由字体扩展单元313扩展字体，并且在PTS1的定时获得区域1的位图数据。因此，开始区域1的显示。在示出的实例中，开始具有字符“ABC”的区域1的显示。
此外，在此定义“显示持续时间”。这表示显示持续时间。实例示出“显示持续时间1＝T1”，并且区域1的显示持续持续时间T1。在字幕片段解码器312和字体扩展单元313中，在区域1的显示持续时间期间针对每个帧重复该处理。当经过了区域1的显示持续时间时，字幕片段解码器312和字体扩展单元313的对应于区域1的片段数据的处理停止，并且在那时区域1的片段数据立即从编码缓冲器311中消失。
编码缓冲器311在PTS1的定时的数据存储量是CBc_1。在此，缓冲器模型受限制使得编码缓冲器311的数据存储量CBc_k始终小于其缓冲器大小。
在区域1的所有片段数据存储在编码缓冲器311中之后，区域2的片段数据在编码缓冲器311中缓冲。然后，在区域2的所有片段数据存储在编码缓冲器311中并经过了一定窗口时段(解码窗口)之后，PTS2的定时到来。编码缓冲器311在PTS2的定时的数据存储量是CBc_2。
区域2的显示在PTS2的定时开始，这意味着“显示偏移2-1＝0”。在这种情况下，由字幕片段解码器312解码区域2的片段数据，由字体扩展单元313扩展字体，并且在PTS2的定时获得区域2的位图数据。因此，开始区域2的显示。在示出的实例中，具有字符“DEF”的区域2的显示开始。在这种情况下，从PTS2的定时开始将区域2的显示添加至区域1的显示。应当注意，在PTS2的定时，区域1的显示位置向上移。
然后，区域2显示持续持续时间T2_1，这意味着“显示持续时间2_1＝T2_1”。在示出的实例中，具有字符“DEF”的区域2示在屏幕上持续持续时间T2_1。在字幕片段解码器312和字体扩展单元313中，在区域2的显示持续时间期间针对每个帧重复该处理。
此外，对于区域2，在持续时间T2_1的结束定时，区域2的片段数据不从编码缓冲器311消失，而是保持。在从PTS2的定时开始预定持续时间之后，在PTS3的定时重新开始区域2的显示，这意味着“显示偏移2_1＝！0”。然后，区域2显示持续持续时间T2_2，这意味着“显示持续时间2_2＝T2_2”。当经过了区域2的所有显示持续时间时，区域2的片段数据立即从编码缓冲器311消失。
此外，在区域2的所有片段数据存储在编码缓冲器311中之后，区域3的片段数据在编码缓冲器311中缓冲。然后，在区域3的所有片段数据存储在编码缓冲器311中并且经过了一定窗口时段(解码窗口)之后，PTS3的定时到来。编码缓冲器311在PTS3的定时的数据存储量是CBc_2。
区域3的显示在PTS3的定时开始，这意味着“显示偏移3＝0”。在这种情况下，由字幕片段解码器312解码区域3的片段数据，由字体扩展单元313扩展字体，并且在PTS3的定时获得区域3的位图数据。因此，开始区域3的显示。在示出的实例中，开具有字符“GHJK”的区域3的显示始。在这种情况下，从PTS3的定时开始将区域3的显示添加至区域2的显示。应当注意，在PTS3的定时，区域2的显示位置向上移。
然后，区域3显示持续持续时间T3，这意味着“显示持续时间3＝T3”。在示出的实例中，具有字符“GHJK”的区域3显示在屏幕上持续持续时间T3。在字幕片段解码器312和字体扩展单元313中，在区域3的显示持续时间期间针对每个帧重复该处理。
应当注意，实例示出了持续时间T2_1的结束定时与PTS3的定时之间存在时间差，但其可以是相同的定时。
图21示出解码器缓冲器模型300B的更实际的操作的另一实例。与在图20中示出的实例类似，该实例示出了区域1仅在某一定时显示，区域2从下一定时同时显示，区域1在某一定时不显示，并且然后，区域3的显示添加至区域2的显示。然而，与在图20中示出的实例不同，在区域1和2的所有片段数据存储在编码缓冲器311中之后，区域1的显示开始。
区域1的片段数据和区域2的片段数据在编码缓冲器301中缓冲。然后，在区域1和2的所有片段数据存储在编码缓冲器301中并经过了一定窗口时段(解码窗口)之后，PTS1的定时到来。
在此，定义“显示偏移”。这表示从PTS定时到显示开始定时的延迟。在示出的实例中，区域1的显示在PTS1的定时开始，这意味着“显示偏移1＝0”。在这种情况下，由字幕片段解码器312解码区域1的片段数据，由字体扩展单元313扩展字体，并且在PTS1的定时获得区域1的位图数据。因此，开始区域1的显示。在示出的实例中，具有字符“ABC”的区域1的显示开始。
此外，在此定义“显示持续时间”。这表示显示持续时间。实例示出“显示持续时间1＝T1”，并且区域1的显示持续持续时间T1。在字幕片段解码器312和字体扩展单元313中，在区域1的显示持续时间期间针对每个帧重复该处理。当经过了区域1的显示持续时间时，停止字幕片段解码器312和字体扩展单元313的对应于区域1的片段数据的处理，并且在那时区域1的片段数据立即从编码缓冲器311消失。
编码缓冲器311在PTS1的定时的数据存储量是CBc_1。在此，缓冲器模型受限制使得编码缓冲器311的数据存储量CBc_k始终小于其缓冲器大小。
此外，从PTS1的定时开始持续时间T2_0之后，在那时开始区域2的显示，这意味着“显示偏移2_1＝T2_0”。由字幕片段解码器312解码区域2的片段数据，由字体扩展单元313扩展字体，并且在那时获得区域2的位图数据。因此，开始区域2的显示。在示出的实例中，具有字符“DEF”的区域2的显示开始。在这种情况下，区域2的显示添加至区域1的显示。应当注意，区域1的显示位置向上移。
然后，区域2显示持续持续时间T2_1，这意味着“显示持续时间2_1＝T2_1”。在示出的实例中，具有字符“DEF”的区域2显示在屏幕上持续持续时间T2_1。在字幕片段解码器312和字体扩展单元313中，在区域2的显示持续时间期间针对每个帧重复该处理。
此外，对于区域2，在持续时间T2_1的结束定时，区域2的片段数据不从编码缓冲器311消失，而是保持。在从PTS2的定时开始预定持续时间之后，在PTS3的定时重新开始区域2的显示，这意味着“显示偏移2_1＝！0”。然后，区域2显示持续持续时间T2_2，这意味着“显示持续时间2_2＝T2_2”。当经过了区域2的所有显示持续时间时，区域2的片段数据立即从编码缓冲器311消失。
此外，在区域2的所有片段数据存储在编码缓冲器311中之后，区域3的片段数据在编码缓冲器311中缓冲。然后，在区域3的所有片段数据存储在编码缓冲器311中并经过了一定窗口时段(解码窗口)之后，PTS3的定时到来。编码缓冲器311在PTS3的定时的数据存储量是CBc_3。
区域3的显示在PTS3的定时开始，这意味着“显示偏移3＝0”。在这种情况下，由字幕片段解码器312解码区域3的片段数据，由字体扩展单元313扩展字体，并且在PTS3的定时获得区域3的位图数据。因此，开始区域3的显示。在示出的实例中，具有字符“GHJK”的区域3的显示开始。在这种情况下，从PTS3的定时开始将区域3的显示添加至区域2的显示。应当注意，在PTS3的定时，区域2的显示位置向上移。
然后，区域3显示持续持续时间T3，这意味着“显示持续时间3＝T3”。在示出的实例中，具有字符“GHJK”的区域3显示在屏幕上持续持续时间T3。在字幕片段解码器312和字体扩展单元313中，在区域3的显示持续时间期间针对每个帧重复该处理。
应当注意，实例示出了持续时间T2_1的结束定时与PTS3的定时之间存在时间差，但其可以是相同的定时。
返回到图2，TS格式器116通过对其传输打包，而复用视频编码器112生成的视频流、音频编码器113生成的音频流、以及字幕编码器115生成的字幕流，并获得传输流TS作为复用流。
简要地描述在图3中示出的流生成单元110的操作。图像数据DV被提供至视频编码器112。在视频编码器112中，对图像数据DV执行编码，并且生成具有编码的图像数据的视频流(PES流)。视频流被提供至TS格式器116。此外，将音频数据DA提供至音频编码器113。在音频编码器113中，对音频数据DA执行编码，并且生成具有编码的音频数据的音频流(PES流)。音频流被提供至TS格式器116。
此外，作为字幕信息的文本数据(字符代码)DT被提供至文本格式转换单元114。在文本格式转换单元114中，获得关于以预定格式的具有显示定时信息的字幕的文本信息(这里是TTML)。TTML被提供至字幕编码器115。
在字幕编码器115中，TTML被转换为各种片段，并且生成由PES数据包构成的字幕流，在PES数据包中片段布置在有效载荷中。字幕流被提供至TS格式器116。
PES数据包的有效载荷部分包含TCS、THMS、THSS、THLS、以及TBS的片段，或者包含TCS和TWS的片段。关于字幕(区域)的显示定时信息(具有关于显示开始定时和显示持续时间的信息)由TCS片段发送，并且TTML信息由其他片段发送。
在字幕编码器115中，当将TTML转换为片段时，基于对包含在TTML的主体中的每个字幕的显示开始定时和显示结束定时的描述，参考***时间信息(视频和音频的PCR和同步时间)设置要***到PES报头中的“PTS”以及***到TCS中的“显示偏移”和“显示持续时间”。
在TS格式器116中，通过对其传输打包而复用视频编码器112生成的视频流、音频编码器113生成的音频流、以及字幕编码器115生成的字幕流，并获得传输流TS作为复用流。
图22示出了传输流TS的配置实例。在该配置实例中，存在由PID1识别的视频流的PES数据包“视频PES”。此外，在该配置实例中，存在由PID2识别的音频流的PES数据包“音频PES”。此外，在该配置实例中，存在由PID3识别的字幕流的PES数据包“字幕PES”。
PES数据包由PES报头和PES有效载荷构成。在视频流的PES数据包中，DTS/PTS时间戳***PES报头中，并且编码视频流***在PES有效载荷中。此外，在音频流的PES数据包中，PTS时间戳***在PES报头中，并且编码音频流***在PES有效载荷中。
此外，在字幕流的PES数据包中，PTS时间戳***在PES报头中，并且多个字幕片段***在PES有效载荷中。换言之，字幕片段是TCS、THMS、THSS、THLS、以及TBS的片段，或者是TCS和TWS的片段。
此外，传输流TS包含节目映射表(PMT)作为节目指定信息(PSI)。PSI是据描述包含在传输流中的每个基本流属于哪个节目的信息。此外，传输流TS包含事件信息表(EIT)作为用于在事件单元中执行管理的服务信息(SI)。在EIT中描述了节目单元中的元数据。
在PMT中存在用于描述关于所有节目的信息的节目描述符。此外，在PMT中存在具有有关每个基本流的信息的基本流环。在该配置实例中，存在视频基本流环(视频ES环)、音频基本流环(音频ES环)、以及字幕基本流环(字幕ES环)。在每个环中，布置有关于数据包标识符(PID)等的信息，并且尽管未示出，但还布置有用于描述关于基本流的描述符。
[电视接收器的配置实例]
图23示出了电视接收器200的配置实例。电视接收器200包括接收单元201、TS分析单元202、视频解码器203、视频叠加单元204、面板驱动电路205、以及显示面板206。此外，电视接收器200包括音频解码器207、音频输出电路208、扬声器209、以及字幕解码器210。此外，电视接收器200包括CPU 221、闪存ROM222、DRAM 223、内部总线224、远程控制接收单元225、以及远程控制发送器226。
CPU 221控制电视接收器200中的部件的操作。闪存ROM 222存储控制软件和数据。DRAM 223形成CPU 221的工作区域。CPU 221扩展从DRAM 223中的闪存ROM 222中读取的软件或数据、启动软件、并控制电视接收器200中的部件。
远程控制接收单元225接收从远程控制发送器226发送的远程控制信号(远程控制代码)并将信号提供至CPU 221。CPU 221基于远程控制代码控制电视接收器200中的部件。CPU 221、闪存ROM 222、以及DRAM 223与内部总线224连接。
接收单元201接收从广播发送***100在广播波上发送的传输流TS。如上所述，传输流TS包含视频流、音频流、以及字幕流。TS分析单元202从传输流TS提取视频流、音频流、以及字幕流的数据包。
音频解码器207对由TS分析单元202提取的音频流执行解码处理，并获得音频数据。音频输出电路208对音频数据执行必要的处理，诸如，D/A转换和放大，并将其提供至扬声器209。视频解码器203对由TS分析单元202提取的视频流执行解码处理，并获得图像数据。
字幕解码器210处理由TS分析单元202提取的每个区域的片段数据，并且输出要叠加到图像数据上的每个区域的位图数据。图24和图25示出字幕解码器210的配置实例。
在图24中示出的字幕解码器210具有对应于图14中的解码器缓冲器模型300A的配置。换言之，字幕解码器210包括编码缓冲器231、字幕片段解码器232、字体扩展单元233、以及位图缓冲器234。
编码缓冲器231暂时保持所接收的片段数据。字幕片段解码器232在预定定时对由编码缓冲器231保持的每个区域的片段数据执行解码处理，并获得每个区域的文本数据和控制代码。字体扩展单元233基于由字幕片段解码器232获得的每个区域的文本数据和控制代码来扩展字体，并获得每个区域的位图数据。
位图缓冲器234暂时保持由字体扩展单元233获得的每个区域的位图数据。从显示开始定时开始读取由位图缓冲器234保持的每个区域的位图数据并将其叠加在图像数据上，并且持续显示持续时间。
在此，字幕片段解码器232从PES数据包的PES报头中提取PTS。此外，字幕片段解码器232从TCS片段中提取关于每个区域的“显示偏移”和“显示持续时间”的信息(参见图12)。信息被发送至CPU 221。CPU 221基于该信息控制字幕片段解码器232和字体扩展单元233的处理定时、从位图缓冲器234读取每个区域的位图数据的定时等，使得执行与用图14说明的解码器缓冲器模型300A的操作类似的操作(参见图15至图17)。
此外，在图25中示出的字幕解码器210具有对应于图18中的解码器缓冲器模型300B的配置。换言之，字幕解码器210包括编码缓冲器241、字幕片段解码器242、以及字体扩展单元243。
编码缓冲器241暂时保持所接收的片段数据。字幕片段解码器242对由编码缓冲器241保持的每个区域的片段数据连续执行每个帧的解码处理，并在每个区域的显示持续时间期间获得每个区域的文本数据和控制代码。字体扩展单元243基于由字幕片段解码器242获得的文本数据和控制代码针对每个帧扩展字体，并在每个区域的显示持续时间期间获得每个区域的位图数据。由字体扩展单元243获得的每个区域的位图数据叠加在图像数据上。
在此，字幕片段解码器242从PES数据包的PES报头中提取PTS。此外，字幕片段解码器242从TCS片段中提取关于每个区域的“显示偏移”和“显示持续时间”的信息(参见图12)。该信息被发送至CPU 221。CPU 221基于该信息控制字幕片段解码器232和字体扩展单元233等的处理定时，使得执行与用图18说明的解码器缓冲器模型300B的操作类似的操作(参见图19至图21)。
返回到图23，视频叠加单元204将由字幕解码器210获得的每个区域的位图数据叠加到由视频解码器203获得的图像数据上。面板驱动电路205基于由视频叠加单元204获得的用于显示的图像数据来驱动显示面板206。例如，显示面板206由液晶显示器(LCD)、有机电致发光显示器等构成。
简要地描述了在图23中示出的电视接收器200的操作。在接收单元201中，接收从广播发送***100在广播波上发送的传输流TS。传输流TS包含视频流、音频流、以及字幕流。
传输流TS被提供至TS分析单元202。在TS分析单元202中，从传输流TS中提取视频流、音频流、以及字幕流的数据包。由TS分析单元202提取的视频流(PES流)被提供至视频解码器203。在视频解码器203中，对视频流执行解码处理并获得图像数据。图像数据被提供至视频叠加单元204。
此外，由TS分析单元202提取的字幕流(PES流)被提供至字幕解码器210。在字幕解码器210中，处理每个区域的片段数据，并且输出要叠加到图像数据上的每个区域的位图数据。在这种情况下，在字幕解码器210中，基于有关从PTS中提取的“显示偏移”和“显示持续时间”以及从PES报头中提取的TCS片段的信息，来控制每个区域的位图数据的输出定时。
将从字幕解码器210输出的每个区域的位图数据提供至视频叠加单元204。在视频叠加单元204中，从字幕解码器210输出的每个区域的位图数据被叠加到由视频解码器203获得的图像数据上。由视频叠加单元204获得的用于显示的图像数据被提供至面板驱动电路205。在面板驱动电路205中，基于显示的视频数据驱动显示面板206。因此，在显示面板206上显示叠加了区域的图像。
此外，将由TS分析单元202提取的音频流(PES流)提供至音频解码器207。在音频解码器207中，对音频流执行解码处理，并获得音频数据。音频数据被提供至音频输出电路208。在音频输出电路208中，对音频数据执行必要的处理，诸如，D/A转换和放大。然后，将处理的音频数据提供至扬声器209。因此，从扬声器209输出对应于显示面板206上的显示图像的音频。
如上所述，在图1中示出的收发器***10中，具有关于字幕的文本信息和显示定时信息的字幕流连同视频流一起发送。因此，可以在接收侧上对字幕优异地执行显示定时控制。
此外，在图1中示出的收发器***10中，字幕流包含具有TTML信息的片段和TCS片段，TTML信息具有关于字幕的文本信息和显示定时信息，并且TCS片段具有与TTML的显示定时信息相对应的显示定时信息(与显示开始定时和显示持续时间有关的信息)。因此，可以容易地从TCS片段获得显示定时信息，并且减少接收侧上的处理负荷。
此外，在图1中示出的收发器***10中，当将TTML转换成发送侧上的片段时，基于与包含在TTML的主体中的每个字幕的显示开始定时和显示结束定时有关的描述，参考***时间信息(视频和音频的PCR和同步时间)设置每个字幕的“PTS”、“显示偏移”、以及“显示持续时间”。此时，在验证了使用解码器缓冲器模型正确地执行接收侧的操作时，设置“PTS”、“显示偏移”、以及“显示持续时间”(参见图14和图18)，并且在接收侧上优异地执行字幕的显示定时控制。
<2.变形例>
应当注意，在以上的实施方式中，已举例说明TTML用作关于以预定格式的具有显示定时信息的字幕的文本信息。然而，本技术不限于此，并且可以使用具有与TTML等同的信息的其他定时文本信息。例如，可以使用TTML的衍生格式。
此外，在以上的实施方式中已描述了由广播发送***100和电视接收器200构成的收发器***10，但本技术可应用的收发器***不限于此。例如，电视接收器200的部件可以是机顶盒和由数字接口(诸如，高清晰度多媒体接口(HDMI))连接的监视器。应当注意，“HDMI”是注册商标。
此外，本技术可以是以下配置：
(1)一种发送装置，包括：
视频编码器，生成具有编码的图像数据的视频流；
字幕编码器，生成具有关于字幕的文本信息和显示定时信息的字幕流；以及
发送单元，发送包含视频流和字幕流的传输流。
(2)根据(1)所述的发送装置，其中字幕编码器基于关于以预定格式的具有显示定时信息的字幕的文本信息，生成字幕流。
(3)根据(2)所述的发送装置，其中关于以预定格式的字幕的文本信息是TTML或是TTML的衍生格式。
(4)根据(1)至(3)中任一项所述的发送装置，其中关于字幕的显示定时信息至少具有与显示开始定时和显示持续时间有关的信息。
(5)根据(4)所述的发送装置，其中，
字幕流由PES数据包构成，PES数据包由PES报头和PES有效载荷构成，
关于字幕的文本信息和显示定时信息布置在PES有效载荷中，并且
显示开始定时由与***在PES报头中的PTS的显示偏移表示。
(6)一种发送方法，包括：
视频编码步骤，生成具有编码的图像数据的视频流；
字幕编码步骤，生成具有关于字幕的文本信息和显示定时信息的字幕流；以及
发送步骤，由发送单元发送包含视频流和字幕流的传输流。
(7)一种接收装置，包括：
接收单元，接收传输流，该传输流包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流；
视频解码器，对视频流执行解码处理并获得图像数据；
字幕解码器，对字幕流执行解码处理并获得字幕的位图数据和关于字幕的显示定时信息；以及
显示控制单元，基于显示定时信息控制将字幕的位图数据叠加到图像数据上的定时。
(8)根据(7)所述的接收装置，其中关于字幕的显示定时信息具有至少与显示开始定时和显示持续时间有关的信息。
(9)根据(8)所述的接收装置，其中
字幕流由PES数据包构成，PES数据包由PES报头和PES有效载荷构成，
关于字幕的文本信息和显示定时信息布置在PES有效载荷中，并且
显示开始定时由与***在PES报头中的PTS的显示偏移表示。
(10)一种接收方法，包括：
接收步骤，由接收单元接收传输流，该传输流包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流；
视频解码步骤，对视频流执行解码处理并获得图像数据；
字幕解码步骤，对字幕流执行解码处理并获得字幕的位图数据和关于字幕的显示定时信息；以及
显示控制步骤，基于显示定时信息控制将字幕的位图数据叠加到图像数据上的定时。
本技术的主要特点是通过将具有关于字幕的文本信息和显示定时信息的字幕流连同视频流一起发送而对接收侧上的字幕优异地执行显示定时控制(参见图22)。
参考符号列表
10 收发器***
100 广播发送***
110 流生成单元
111 控制单元
112 视频编码器
113 音频编码器
114 文本格式转换单元
115 字幕编码器
116 TS格式器
200 电视接收器
201 接收单元
202 TS分析单元
203 视频解码器
204 视频叠加单元
205 面板驱动电路
206 显示面板
207 音频解码器
208 音频输出电路
209 扬声器
210 字幕解码器
221 CPU
231、241 编码缓冲器
232、242 字幕片段解码器
233、243 字体扩展单元
234 位图缓冲器
300A、300B 解码器缓冲器模型
301、311 编码缓冲器
302、312 字幕片段解码器
303、313 字体扩展单元
304 位图缓冲器。

Claims (6)

1.一种发送装置，包括：
视频编码器，被配置为生成具有编码的图像数据的视频流；
字幕编码器，被配置为生成具有关于字幕的文本信息和显示定时信息的字幕流；以及
发送单元，被配置为发送包含所述视频流和所述字幕流的传输流，
其中，所述字幕流由打包的基本流数据包构成，所述打包的基本流数据包由打包的基本流报头和打包的基本流有效载荷构成，
关于所述字幕的所述文本信息和所述显示定时信息布置在所述打包的基本流有效载荷中，
关于所述字幕的所述显示定时信息至少具有与显示开始定时和显示持续时间有关的信息，并且
所述显示开始定时由与***在所述打包的基本流报头中的呈现时间戳的显示偏移表示。
2.根据权利要求1所述的发送装置，其中，所述字幕编码器基于关于以预定格式的具有所述显示定时信息的所述字幕的文本信息，生成所述字幕流。
3.根据权利要求2所述的发送装置，其中，关于以预定格式的所述字幕的所述文本信息是定时文本标记语言或是所述定时文本标记语言的衍生格式。
4.一种发送方法，包括：
视频编码步骤，生成具有编码的图像数据的视频流；
字幕编码步骤，生成具有关于字幕的文本信息和显示定时信息的字幕流；以及
发送步骤，由发送单元发送包含所述视频流和所述字幕流的传输流,
其中，所述字幕流由打包的基本流数据包构成，所述打包的基本流数据包由打包的基本流报头和打包的基本流有效载荷构成，
关于所述字幕的所述文本信息和所述显示定时信息布置在所述打包的基本流有效载荷中，
关于所述字幕的所述显示定时信息至少具有与显示开始定时和显示持续时间有关的信息，并且
所述显示开始定时由与***在所述打包的基本流报头中的呈现时间戳的显示偏移表示。
5.一种接收装置，包括：
接收单元，被配置为接收传输流，所述传输流包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流；
视频解码器，被配置为对所述视频流执行解码处理并获得图像数据；
字幕解码器，被配置为对所述字幕流执行解码处理并获得所述字幕的位图数据和关于所述字幕的显示定时信息；以及
显示控制单元，被配置为基于所述显示定时信息控制将所述字幕的所述位图数据叠加到所述图像数据上的定时,
其中，所述字幕流由打包的基本流数据包构成，所述打包的基本流数据包由打包的基本流报头和打包的基本流有效载荷构成，
关于所述字幕的所述文本信息和所述显示定时信息布置在所述打包的基本流有效载荷中，
关于所述字幕的所述显示定时信息至少具有与显示开始定时和显示持续时间有关的信息，并且
所述显示开始定时由与***在所述打包的基本流报头中的呈现时间戳的显示偏移表示。
6.一种接收方法，包括：
接收步骤，由接收单元接收传输流，所述传输流包含具有编码的图像数据的视频流和具有关于字幕的文本信息和显示定时信息的字幕流；
视频解码步骤，对所述视频流执行解码处理并获得图像数据；
字幕解码步骤，对所述字幕流执行解码处理并获得所述字幕的位图数据和关于所述字幕的所述显示定时信息；以及
显示控制步骤，基于所述显示定时信息控制将所述字幕的所述位图数据叠加到所述图像数据上的定时,
其中，所述字幕流由打包的基本流数据包构成，所述打包的基本流数据包由打包的基本流报头和打包的基本流有效载荷构成，
关于所述字幕的所述文本信息和所述显示定时信息布置在所述打包的基本流有效载荷中，
关于所述字幕的所述显示定时信息至少具有与显示开始定时和显示持续时间有关的信息，并且
所述显示开始定时由与***在所述打包的基本流报头中的呈现时间戳的显示偏移表示。
CN201580067243.XA 2014-12-19 2015-12-16 发送装置、发送方法、接收装置以及接收方法 Active CN107005733B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014258054 2014-12-19
JP2014-258054 2014-12-19
PCT/JP2015/085140 WO2016098790A1 (ja) 2014-12-19 2015-12-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN107005733A CN107005733A (zh) 2017-08-01
CN107005733B true CN107005733B (zh) 2020-06-16

Family

ID=56126675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580067243.XA Active CN107005733B (zh) 2014-12-19 2015-12-16 发送装置、发送方法、接收装置以及接收方法

Country Status (6)

Country Link
US (1) US10511867B2 (zh)
EP (1) EP3236659B1 (zh)
JP (1) JP6724791B2 (zh)
CN (1) CN107005733B (zh)
RU (1) RU2701172C2 (zh)
WO (1) WO2016098790A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6943179B2 (ja) * 2015-07-16 2021-09-29 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
KR101789221B1 (ko) * 2015-07-16 2017-10-23 네이버 주식회사 동영상 제공 장치, 동영상 제공 방법, 및 컴퓨터 프로그램
WO2018021107A1 (ja) * 2016-07-26 2018-02-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN108111896B (zh) * 2018-01-16 2020-05-05 北京三体云联科技有限公司 一种字幕同步方法及装置
CN109819343A (zh) * 2019-01-08 2019-05-28 深圳市华曦达科技股份有限公司 一种字幕处理方法、装置及电子设备
CN117714805A (zh) * 2022-09-08 2024-03-15 海信电子科技（深圳）有限公司 一种显示设备及字幕显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1914903A (zh) * 2004-02-10 2007-02-14 Lg电子株式会社 用于解码文本字幕流的文本字幕解码器和方法
CN101478661A (zh) * 2008-11-04 2009-07-08 深圳中兴力维技术有限公司 一种在视频流中提供高质量字幕叠加的***和方法
CN103155574A (zh) * 2011-07-07 2013-06-12 索尼公司 发射机、传送方法和接收机
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法
CN103988520A (zh) * 2011-12-16 2014-08-13 索尼公司 接收装置、控制接收装置的方法、分发装置、分发方法、程序以及分发***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145033B2 (en) * 2003-02-05 2012-03-27 Lg Electronics Inc. Recording medium having data structure for managing reproducton duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
KR20050005074A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20110053159A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
EP2547101A4 (en) * 2010-04-14 2013-12-18 Samsung Electronics Co Ltd METHOD AND DEVICE FOR PRODUCING A BROADCASTING BITSTREAM FOR DIGITAL BROADCASTING WITH SUBTITLES AND METHOD AND DEVICE FOR RECEIVING A BROADBAND RADIO BITSTREAM FOR DIGITAL BROADCASTING WITH SUBTITLES
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
IN2014CN00513A (zh) * 2011-07-29 2015-04-03 Sony Corp
WO2015126117A1 (ko) * 2014-02-23 2015-08-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1914903A (zh) * 2004-02-10 2007-02-14 Lg电子株式会社 用于解码文本字幕流的文本字幕解码器和方法
CN101478661A (zh) * 2008-11-04 2009-07-08 深圳中兴力维技术有限公司 一种在视频流中提供高质量字幕叠加的***和方法
CN103155574A (zh) * 2011-07-07 2013-06-12 索尼公司 发射机、传送方法和接收机
CN103988520A (zh) * 2011-12-16 2014-08-13 索尼公司 接收装置、控制接收装置的方法、分发装置、分发方法、程序以及分发***
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法

Also Published As

Publication number Publication date
JP6724791B2 (ja) 2020-07-15
JPWO2016098790A1 (ja) 2017-09-28
RU2701172C2 (ru) 2019-09-25
EP3236659A1 (en) 2017-10-25
RU2017120055A (ru) 2018-12-10
US10511867B2 (en) 2019-12-17
WO2016098790A1 (ja) 2016-06-23
US20170347137A1 (en) 2017-11-30
CN107005733A (zh) 2017-08-01
EP3236659B1 (en) 2020-11-04
RU2017120055A3 (zh) 2019-03-15
EP3236659A4 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
CN107005733B (zh) 发送装置、发送方法、接收装置以及接收方法
JP7176598B2 (ja) 送信方法
CN107431835B (zh) 发送装置、发送方法、再现装置以及再现方法
CN108028949B (zh) 传输装置、传输方法、再现装置和再现方法
US20200068247A1 (en) Reception apparatus, reception method, and transmission apparatus
US11765330B2 (en) Transmitter, transmission method, receiver, and reception method
US11290785B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting subtitle text information
CN109479154B (zh) 发送装置、发送方法、接收装置和接收方法
JP6868776B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant