CN107431835B - 发送装置、发送方法、再现装置以及再现方法 - Google Patents

发送装置、发送方法、再现装置以及再现方法 Download PDF

Info

Publication number
CN107431835B
CN107431835B CN201680020531.4A CN201680020531A CN107431835B CN 107431835 B CN107431835 B CN 107431835B CN 201680020531 A CN201680020531 A CN 201680020531A CN 107431835 B CN107431835 B CN 107431835B
Authority
CN
China
Prior art keywords
subtitle
stream
display
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680020531.4A
Other languages
English (en)
Other versions
CN107431835A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107431835A publication Critical patent/CN107431835A/zh
Application granted granted Critical
Publication of CN107431835B publication Critical patent/CN107431835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明使得能够在可变速再现过程中执行令人满意的字幕显示。生成视频流，该视频流由在有效载荷中具有编码图像数据的视频包组成。生成字幕流，该字幕流由在有效载荷中具有字幕信息的字幕包组成，并且通过字幕信息将关于字幕播放的优先级信息***到字幕流中。生成并且发送包括视频流和字幕流的多路复用流。在可变速再现模式(N倍于正常速度(N>1))并且多个字幕的显示周期彼此重叠的情况下，通过参考优先级信息便于选择待显示的字幕，并且在反映生产方的意图情况下，还可以实现令人满意的字幕显示。

Description

发送装置、发送方法、再现装置以及再现方法
技术领域
本技术涉及一种发送装置、发送方法、再现装置以及再现方法，具体地，涉及一种与图像数据一起发送字幕信息的发送装置等。
背景技术
按照惯例，例如，在数字视频广播(DVB)的广播中，已经执行将字幕信息作为位图传输的操作。最近，设想将字幕信息作为文本字符代码传输，即，基于文本的传输。在这种情况下，在接收端执行根据分辨率的字体开发。
此外，在基于文本传输字幕信息的情况下，已设想使得文本信息具有时序信息。例如，万维网联盟(W3C)提倡定时文本标记语言(TTML)作为文本信息(参见专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利申请特开公开号2012-169885
发明内容
发明解决的问题
本技术的目的是使得可以在可变速再现处理过程中令人满意地执行字幕显示。
问题的解决方案
本技术的构思是一种传输装置，包括：
视频编码部，生成由视频包构成的视频流，视频包在有效载荷中具有编码图像数据；
字幕编码部，生成由字幕包构成的字幕流，字幕包在有效载荷中具有字幕信息，并且字幕显示优先级信息根据字幕信息被***到字幕包中；
多路复用流生成部，生成包括视频流和字幕流的多路复用流；以及
发送部，发送多路复用流。
在本技术中，通过视频编码部生成由视频包构成的视频流，该视频包在有效载荷中具有编码图像数据。通过字幕编码部生成由字幕包构成的字幕流，该字幕包在有效载荷中具有字幕信息，并且根据字幕信息将字幕显示优先级信息***到字幕包中。
例如，字幕信息可以是具有显示时序(timing，定时)信息的预定格式的字幕的文本信息。例如，字幕编码部可以将优先级信息***到字幕包的报头或有效载荷中。
通过多路复用流生成部生成包括视频流和字幕流的多路复用流。例如，视频包和字幕包可以是PES包，并且多路复用流可以是MPEG2传输流。通过发送部发送多路复用流。
如上所述，在本技术中，根据字幕包中包括的字幕信息将字幕显示优先级信息***到字幕包中。出于此原因，在可变速再现处理时，在多个字幕的显示周期内发生重叠周期的情况下，通过参考优先级信息可以便于选择待显示的字幕，并且可以实现反映生产方意图的令人满意字幕显示。
顺便提及，在本技术中，例如，多路复用流生成部可以将指示优先级信息被***到字幕包中的识别信息***到多路复用流中。在这种情况下，例如，可以将指示***位置的信息添加到识别信息中。通过***识别信息，能够容易地确定优先级信息已被***到字幕包中。此外，通过添加指示***位置的信息，能够从字幕包容易地获取优先级信息。
此外，在本技术中，例如，多路复用流生成部可以将字幕包布置在随机访问位置。在这种情况下，当从多路复用流中取出随机访问位置处的视频包时，能够一起取出字幕包，并且能够简化可变速再现时的字幕显示处理。
此外，本技术的另一构思是再现装置，包括：
可变速度再现处理部，对包括视频流和字幕流的多路复用流执行可变速度再现处理，视频流由在有效载荷中具有编码图像数据的视频包构成，并且字幕流由在有效载荷中具有字幕信息的字幕包构成，且根据字幕信息将字幕显示优先级信息***到字幕包中；和
字幕显示控制部，当通过可变速度再现处理部对多路复用流执行可变速再现处理时，字幕显示控制部基于优先级信息根据每个字幕包中包括的字幕信息控制字幕的显示。
在本技术中，通过可变速度再现处理部对包括视频流和字幕流的多路复用流执行可变速再现处理。此处，视频流由在有效载荷中具有编码图像数据的视频包构成。此外，字幕流由字幕包构成，字幕包在有效载荷中具有字幕信息，并且根据字幕信息将字幕显示优先级信息***到字幕包中。
当通过可变速再现处理部对多路复用流执行可变速再现处理时，通过字幕显示控制部基于优先级信息根据每个字幕包中包括的字幕信息控制字幕的显示。例如，在根据多条字幕信息在字幕的显示周期内出现重叠周期时，显示控制部可以执行控制，使得仅显示具有最高优先级的字幕。
如上所述，在本技术中，当对多路复用流执行可变速再现处理时，基于优先级信息根据每个字幕包中包括的字幕信息控制字幕的显示。出于此原因，在可变速再现处理过程中，当在多个字幕的显示周期内发生重叠周期时，能够便于选择待显示的字幕，并且可以实现反应生产方意图的令人满意字幕显示。
发明效果
通过此计算，能够在可变速再现处理过程中令人满意地执行字幕显示。顺便提及，该说明书中描述的有利效果仅是实施例，并且本技术的有利效果并不局限于此并且可以包括附加效果。
附图说明
图1是示出作为实施方式的发送/接收***的示例性配置的框图。
图2是示出广播发送***的流生成部的示例性配置的框图。
图3是用于说明TTML结构的图表。
图4是分别示出TTML结构的报头(头部)中存在的元数据(metadata)、样式(styling)、以及布局(layout)的元素的示例性结构的图表。
图5是示出TTML结构的主体(body)的示例性结构的图表。
图6是示意性示出控制部中的时序管理部的示例性配置的图表。
图7是用于说明字幕显示时序管理部的细节配置的图表。
图8是示出PES包的示例性配置的图表。
图9是示出PES扩展“PES extension”的示例性配置(1/3)的图表。
图10是示出PES扩展“PES extension”的示例性配置(2/3)的图表。
图11是示出PES扩展“PES extension”的示例性配置(3/3)的图表。
图12是示出布置在“PES包数据字节”区域中的PES有效载荷(PES_payload)的示例性配置(1/2)的图表。
图13是示出布置在“PES包数据字节”区域中的PES有效载荷(PES_payload)的示例性配置(2/2)的图表。
图14是示出PES扩展和PES有效载荷的示例性配置中的新元素的内容的图表。
图15是示出字幕rap描述符的示例性结构和示例性结构中的主要信息的内容的图表。
图16是示出传输流TS的示例性配置的图表。
图17是示出电视接收器的示例性配置的图表。
图18是示意性示出在随机访问点(RAP)位置读取的字幕PES包的解码和输出的处理时序的图表。
图19是示出可变速再现模式下字幕显示序列的实施例的图表。
图20是示出从正常再现至N倍速度转变时在应用再现初期所显示字幕的选择实例的图表。
图21是用于说明常规多路复用的图表。
图22是用于说明本技术的多路复用的图表。
具体实施方式
下面是用于完成本发明的模式的描述(以下将模式称之为“实施方式”)。顺便提及，将按照下列顺序进行说明。
1.实施方式
2.变型例
<1.实施方式>
【发送/接收***的示例性配置】
图1示出了作为实施方式的发送/接收***10的示例性配置。通过广播发送***100和电视接收器200配置发送/接收***10。广播发送***100通过将传输流TS加载到广播波上而传输作为多路复用流的传输流TS。传输流TS包括视频流和字幕流。顺便提及，传输流TS可以包括音频流。视频流由具有有效载荷中的图像数据的视频PES包构成。字幕流由具有有效载荷中的字幕信息的字幕PES包构成。
在字幕PES包的报头的时间戳***位置处，***其值等于或接近在随机访问位置的视频PES包的报头的时间戳***位置***的时间戳的时间戳。此外，在字幕PES包的报头或有效载荷中，***指示字幕的显示时间的初始时间戳，并且根据字幕信息***字幕显示优先级信息。
当将字幕流与视频流等进行多路复用时，包括字幕PES包的TS包(以下简称为PES包)布置在随机访问位置。在这种情况下，例如，如上所述，将***在报头的时间戳***位置处的时间戳参照接近随机访问位置的视频PES包位置的位置，并且字幕PES包布置在随机访问位置，即，接近随机访问位置的视频PES包位置的位置。
在传输流TS中，将指示***初始时间戳的识别信息***到字幕PES包中，并且将字幕显示优先级信息***到字幕PES包中。例如，识别信息***节目映射表下。如上所述，在字幕PES包中，***初始时间戳，并且根据字幕信息将字幕显示优先级信息***到报头或有效载荷中。将指示***位置的信息添加到识别信息中。
电视接收器200从广播发送***100接收通过广播波传输的传输流TS。如上所述，传输流TS至少包括视频流和字幕流。视频流由在有效载荷中具有图像数据的视频PES包构成。
字幕流由字幕PES包构成，字幕PES包在有效载荷中具有字幕信息，并且将指示字幕的显示时间的初始时间戳以及根据字幕信息将字幕显示优先级信息***到字幕PES包中。此外，在传输流TS进行多路复用时，将字幕PES包布置在随机访问位置。
电视接收器200在随机访问位置连同视频PES包从传输流TS取出字幕PES包，并且执行字幕显示处理。例如，在可变速再现模式下，即时处理从传输流TS的随机访问位置取出的字幕PES包，并且显示字幕。
此外，在可变速再现模式下，在N倍速度的情况下(N>1)，多个字幕的显示周期出现重叠周期。在多个字幕的显示周期内出现重叠周期的情况下，电视接收器200基于字幕显示优先级信息控制选择待显示的字幕。例如，执行控制，以使得仅显示具有最高优先级的字幕。在这种情况下，电视接收器200基于传输流TS中***的识别信息从字幕PES包中提取字幕显示优先级信息，并且使用优先级信息。
此外，例如，在正常再现模式下，电视接收器200基于指示字幕显示时间的初始时间戳处理从传输流TS的随机访问位置取出的字幕PES包并且在显示时间显示字幕。在这种情况下，电视接收器200基于传输流TS中***的识别信息从字幕PES包中提取初始时间戳，并且使用初始时间戳。
【广播发送***的流生成部的示例性配置】
图2示出了广播发送***100的流生成部110的示例性配置。流生成部110包括控制部111、视频编码器112、音频编码器113、文本格式转换部114、字幕编码器115、以及TS格式器(多路复用器)116。
控制部111具有包括例如中央处理器(CPU)的配置并且控制流生成部110中的每个单元的操作。视频编码器112输入图像数据DV并且对图像数据DV执行编码，以生成视频流(PES流)，该视频流由在有效载荷中具有编码图像数据的视频PES包构成。音频编码器113输入音频数据DA并且对音频数据DA执行编码，以生成音频流(PES流)，该音频流由具有编码音频数据的音频PES包构成。
文本格式转换部114输入文本数据(字符代码)DT作为字幕信息，以获得具有显示时序信息的预定格式的字幕的文本信息。例如，作为文本信息，可以考虑TTML或TTML的派生格式；然而，在该实施方式中，假设为TTML。
图3示出了TTML结构。基于XML描述TTML。元数据(metadata)、样式(styling)、以及布局(layout)等各个元素存在于报头(头部)中。图4中的(a)示出了元数据(TTML Metadata(TTM))的示例性结构。元数据包括元数据的标题信息和版权信息。
图4中的(b)示出了样式(TTML Styling(TTS))的示例性结构。除标识符(id)之外，样式包括诸如颜色(color)、字体(fontFamily)、大小(fontSize)、以及对准(textAlign)等信息。图4中的(c)示出了布局(TTML布局(区))的示例性结构。除布置有字幕的区的标识符(id)之外，布局包括诸如范围(extent)、偏置(padding)、背景颜色(backgroundColor)、以及对准(displayAlign)等信息。
图5示出了主体(body)的示例性结构。在示出的实施例中，包括三条字幕信息：字幕1(subtitle 1)、字幕2(subtitle 2)、以及字幕3(subtitle 3)。关于每个字幕，描述了显示开始时序和显示结束时序，并且描述了文本数据。例如，关于字幕1(subtitle 1)，显示开始时序为“0.76s”，显示结束时序为“3.45s”，并且文本数据为“看似矛盾，其实不然，”。
返回图2，字幕编码器115将通过文本格式转换部114获得的TTML转换成各个片段并且生成由字幕PES包构成的字幕流(PES流)，其中，这些片段(字幕信息)布置在有效载荷中。
在控制部111的控制下，字幕编码器115将等于或接近在随机访问位置的视频PES包(即，视频PES包是随机访问点(RAP)目标)的报头的时间戳***位置中***的时间戳的值的时间戳(第一时间戳)***到字幕PES包的报头的时间戳***位置中。
此处，指RAP目标视频PES包的头部部分是例如具有有效载荷中的内部图片(I图片)的编码图像数据的视频PES包的头部部分。在所谓的RAP再现中，仅从传输流TS解码RAP目标视频PES包中包括的内部图像的编码图像数据并且执行图像显示。此外，在另一可变速再现中，编码图像数据是根据RAP目标视频PES包包括的多路复用速度对一些间歇视频PES包中包括的图片的解码，并且执行图像显示。
此外，在控制部111的控制下，字幕编码器115将指示字幕的显示时间(显示开始时间、显示结束时间)的初始时间戳(第二时间戳)***到字幕PES包的报头或有效载荷中，并且根据字幕信息将字幕显示优先级信息***到字幕PES包的报头或有效载荷中。
图6示意性地示出了控制部111中的时序管理部120的示例性配置。时序管理部120包括视频时序管理部121、音频时序管理部122、RAP时序管理部123、以及字幕显示时序管理部124。
视频时序管理部121管理***到每个视频PES包的时间戳***位置中的时间戳(视频访问部的时间戳)。在视频编码器112中，基于视频时序管理部121的管理信息，时间戳被***到每个视频PES包的时间戳***位置中。
音频时序管理部122管理***到每个音频PES包的时间戳***位置中的时间戳(音频访问部的时间戳)。在音频编码器113中，基于音频时序管理部122的管理信息，时间戳被***到每个音频PES包的时间戳***位置中。
RAP时序管理部123管理RAP目标视频PES包的时间戳并且管理音频PES包之中成为RAP目标的音频PES包。在这种情况下，将具有接近RAP目标视频PES包的时间戳的时间戳的音频PES包作为RAP情况下的再现目标处理。
如后面所述，在TS格式器116中，基于关于成为RAP目标的音频PES包的管理信息，将成为RAP目标的音频PES包布置在随机访问位置处，即，接近RAP目标视频PES包的位置的位置。
字幕显示时序管理部124管理字幕PES包的第一时间戳(***到报头的时间戳***区域中的时间戳)和第二时间戳(指示***到报头或有效载荷中的字幕的显示时间的初始时间戳)。在字幕编码器115中，基于字幕显示时序管理部124的管理信息，将第一时间戳和第二时间戳***到字幕PES包中。
图7示出了字幕显示时序管理部124的细节配置。字幕显示时序管理部124基于来自RAP时序管理部123的RAP时序信息获得第一时间戳(字幕流的时间戳)。此外，字幕显示时序管理部124执行TTML主体中包括的相对开始时间“起始”与相对结束时间“结束”的时间戳准确转换，并且获得第二时间戳(显示开始时间戳、显示结束时间戳)。
顺便提及，如图5所示，在多个区(regions)的显示时序改变的情况下，利用最早时序对区的相对开始时间“起始”和相对结束时间“结束”执行时间戳准确转换，并且获得显示开始时间戳和显示结束时间戳作为第二时间戳。
在这种情况下，在接收端，关于最早区中的显示控制，使用显示开始时间戳和显示结束时间戳作为第二时间戳。此外，关于后续区的显示控制，基于通过TTML主体供应的最早区的相对时间之差，生成并且使用经过时间戳准确转换的显示时间戳(显示开始时间戳、显示结束时间戳)。
“第二时间戳的***位置(字幕初始显示时间戳)及字幕显示优先级信息”
此处，具体实施例描述了第二时间戳(字幕初始显示时间戳)的***位置及字幕优先级信息。图8示出了PES包的示例性配置(Syntax)。第一时间戳***到33位的区域中，即，由箭头P指示的报头的时间戳***区域。根据配置报头的“可选PES HEADER”，时间戳***区域存在于“可选字段”中。
如上所述，将第二时间戳和字幕优先级信息***到报头或有效载荷中。在***报头中的情况下，例如，***到由箭头Q指示的“PES扩展字段数据”区域中。根据“PES扩展”，“PES扩展字段数据”存在于“可选字段”中。顺便提及，根据配置报头的“可选PES HEADER”，“PES扩展”存在于“可选字段”中。另一方面，在***有效载荷中的情况下，第二时间戳和字幕优先级信息***到由箭头R指示的“PES包数据字节”区域中。
图9至图11示出了“PES扩展”的示例性配置(Syntax)。图12和图13示出了布置在“PES包数据字节”区域中的PES有效载荷(PES_payload)的示例性配置(Syntax)。图14示出了各个示例性配置中的新元素的内容(Semantics)。
首先，描述了图9至图11中所示的PES扩展(PES extension)的示例性配置。作为标记信息，重新限定了“PES_extension_negflag_new”的标记信息。标记信息指示新限定的数据布置在PES报头扩展区域中(PES extension)。“0”指示新限定的数据布置在PES报头扩展区域中。“1”指示新限定的数据未布置在PES报头扩展区域中。
当“PES_extension_negflag_new”是“0”时，存在“extension_type”的8位字段。字段指示新限定数据的类型。“1”指示设置了代表字母显示开始与结束的时间戳(字幕初始显示时间戳)。“2”指示设置了字幕显示优先级信息。“3”指示一起设置了字幕显示优先级信息以及代表字幕的显示开始与结束的时间戳。
当“extension_type”是“1”时，存在33位字段的“subtitle_start_time”和33位字段的“subtitle_end_time”。“subtitle_start_time”指示代表具有***时钟准确度的字幕显示开始时间(显示开始时间戳)的值。“subtitle_end_time”指示代表具有***时钟准确度的字幕显示结束时间(显示结束时间戳)的值。
当“extension_type”是“2”时，存在8位字段的“优先级”。“优先级”指示字幕的显示优先级。“0”指在字幕显示模式下完全显示的字幕。“1”具有最高显示优先级，但“0”除外。随后，随着值的增加，显示优先级降低。“255”具有最低显示优先级。
当“extension_type”是“3”时，存在33位字段的“subtitle_start_time”和33位字段的“subtitle_end_time”，并且进一步地，存在8位字段的“优先级”。
接着，描述了图12和图13中所示的PES有效载荷(PES_payload)的示例性配置。将字幕PES包限定为私有PES包。在私有PES包的情况下，因为能够自由地限定“PES包数据字节”，所以将代表显示开始和结束的时间戳、以及字幕显示优先级信息***到“PES包数据字节”的部分中。
8位字段的“private_type”指示私有PES包的类型。“EC”指示具有字幕初始显示时间戳和字幕显示优先级信息的字幕流。“timestamp_insertion_flag”的标记(flag)信息指示时间戳布置在包有效载荷的起始处。“1”指示布置有字幕初始显示时间戳。“0”指示未布置字幕初始显示时间戳。当“timestamp_insertion_flag”是“1”时，存在33位字段的“subtitle_start_time”和33位字段的“subtitle_end_time”。
“subtitle_priority_insertion_flag”的标记信息指示将字幕显示优先级信息设置在包有效载荷的起始处。“1”指示设置有字幕显示优先级信息。“0”指示未设置字幕显示优先级信息。当“subtitle_priority_insertion_flag”是“1”时，存在8位字段的“优先级”。
返回图2，TS格式器116使得通过视频编码器112生成的视频流、通过音频编码器113生成的音频流、以及通过字幕编码器115生成的字幕流组成传输包，以进行多路复用，并且获得传输流TS作为多路复用流。
当按照该方式对流进行多路复用时，TS格式器116基于第一时间戳(***到报头的时间戳***位置处的时间戳)将字幕PES包设置在随机访问位置处，即，接近RAP目标视频PES包的位置的位置。此外，此时，TS格式器116基于关于作为RAP目标的音频PES包的管理信息将成为RAP目标的音频PES包设置在随机访问位置，即，接近RAP目标视频PES包的位置的位置。
此外，TS格式器116将指示第二时间戳(字幕初始显示时间戳)和字幕显示优先级信息***到字幕PES包中的识别信息***到传输流TS中。在该实施方式中，TS格式器116根据节目映射表(Program Map Table(PMT))将字幕rap描述符(Subtitle_rap_descriptor)***到与字幕流对应的字幕基本流环路中。
图15中的(a)示出了字幕rap描述符的示例性结构(Syntax)。图15中的(b)示出了示例性结构中的主要信息的内容(Semantics)。8位字段“descriptor_tag”指示描述符类型，并且此处指示字幕rap描述符。8位字段“descriptor_length”指示描述符的长度(大小)，并且指示作为描述符长度的后续字节数。
“subtitle_presentation_time_flag”的标记信息指示是否存在字幕初始显示时间戳。“0”指示不存在字幕初始显示时间戳。“1”指示存在字幕初始显示时间戳。“priority_information_flag”的标记信息指示是否存在字幕显示优先级信息。“0”指示不存在字幕显示优先级信息。“1”指示存在字幕显示优先级信息。
当“subtitle_presentation_time_flag”是“1”时，或当“priority_information_flag”是“1”时，存在2位字段的“time_insertion_type”。字段指示字幕初始显示时间戳的***类型，即，在***有时间戳的情况下。“01”指示***到PES报头扩展(PES headerextension)部分中。“10”指示***到PES私有流的有效载荷(PES private streampayload)中。
图16示出了传输流TS的示例性配置。在示例性配置中，存在视频PES包“VideoPES”，即，通过PID1识别的视频流的PES包。此外，在示例性配置中，存在音频PES包“AudioPES”，即，通过PID2识别的音频流的PES包。此外，在示例性配置中，存在“Subtitle PES”的字幕PES包，即，通过PID3识别的字幕流的PES包。
由PES报头(PES header)和PES有效载荷(PES payload)构成PES包。在视频PES包中，将DTS/PTS的时间戳***到PES报头中，并且将视频编码流(编码图像数据)***到PES有效载荷中。此外，在音频PES包中，将PTS的时间戳***到PES报头中，并且将音频编码流(编码音频数据)***到PES有效载荷中。
此外，在字幕PES包中，将PTS的时间戳(第一时间戳)***到PES报头中，并且将字幕编码流(作为字幕信息的多个字幕流)***到PES有效载荷中。此外，在PES报头或PES有效载荷中，存在作为第二时间戳(字幕初始显示时间戳)的显示开始时间戳“subtitle_start_time”和显示结束时间戳“subtitle_end_time”，并且存在字幕显示优先级信息“优先级”。
此外，传输流TS包括作为节目具体信息(PSI)的节目映射表(PMT)。PSI是描述传输流TS中包括的各个基本流所属的程序的信息。此外，在传输流TS中，包括事件信息表(EIT)作为针对各个事件执行管理的服务信息(SI)。在EIT中，描述了关于各个程序的元数据。
在PMT中，存在描述与整个程序有关的信息的程序描述符(Program Descriptor)。此外，在PMT中，存在具有与各个基本流有关的信息的基本流环路。在示例性配置中，存在视频基本流环路(Video ES loop)、音频基本流环路(Audio ES loop)、以及字幕基本流环路(Subtitle ES loop)。
在各个环路中，设置了诸如包标识符(PID)等信息，并且还设置了描述与基本流有关的信息的描述符。在字幕基本流环路中，设置了上述所述字幕rap描述符(Subtitle_rap_descriptor)作为描述符中的一种。在字幕rap描述符中，存在指示将第二时间戳(字幕初始显示时间戳)和字幕优先级信息***到字幕PES包中的识别信息。
简要描述了图2中所示的流生成部110的操作。将图像数据DV供应至视频编码器112。在视频编码器112中，对图像数据DV执行编码，并且生成由具有有效载荷中的编码图像数据的视频PES包配置的视频流(PES流)。将视频流供应至TS格式器116。
此外，将音频数据DA供应至音频编码器113。在音频编码器113中，对音频数据DA执行编码，并且生成由具有编码音频数据的音频PES包构成的音频流(PES流)。将音频流供应至TS格式器116。
此外，将作为字幕信息的文本数据(字符代码)DT供应至文本格式转换部114。在文本格式转换部114中，获得具有显示时序信息的预定格式的字幕的文本信息，此处为TTML。将TTML供应至字幕编码器115。
在字幕编码器115中，将TTML转换成各个片段，并且生成由字幕PES包构成的字幕流，其中，这些片段布置在有效载荷中。将字幕流供应至TS格式器116。
在字幕编码器115中，在字幕流的生成过程中，在控制部111的控制下，将等于或接近***到RAP目标视频PES包的报头的时间戳***位置中的时间戳的值的时间戳(第一时间戳)***到字幕PES包的报头的时间戳***位置中。
此外，在字幕编码器115中，在字幕流的生成过程中，在控制部111的控制下，将指示字幕显示时间(显示开始时间、显示结束时间)的字幕初始显示时间戳(第二时间戳)以及字幕显示优先级信息***到字幕PES包的报头或有效载荷中(参见图9至图13)。
在TS格式器116中，将通过视频编码器112生成的视频流、通过音频编码器113生成的音频流、以及通过字幕编码器115生成的字幕流组成传输包进行多路复用，并且生成传输流TS作为多路复用流。
当按照此方式对流进行多路复用时，在控制部111的控制下，基于第一时间戳(***到报头的时间戳***位置中的时间戳)将字幕PES包布置在随机访问位置处，即，接近RAP目标视频PES包的位置的位置。
此外，此时，在控制部111的控制下，基于关于成为RAP目标的音频PES包的管理信息，将成为RAP目标的音频PES包布置在随机访问位置处，即，接近RAP目标视频PES包的位置的位置。
此外，在TS格式器116中，将识别信息***到传输流TS中。识别信息指示将第二时间戳(字幕初始显示时间戳)和字幕优先级信息***到字幕PES包中。即，在TS格式器116中，根据节目映射表(Program Map Table(PMT))将描述识别信息的字幕rap描述符(Subtitle_rap_descriptor)设置在与字幕流对应的字幕基本流环路中(参见图15)。
【电视接收器的示例性配置】
图17示出了电视接收器200的示例性配置。电视接收器200包括接收部201、TS分析部(解多路复用器)202、视频解码器203、视频叠加部204、面板驱动电路205以及显示面板206。此外，电视接收器200包括音频解码器207、音频输出电路208、扬声器209以及字幕解码器210。此外，电视接收器200包括CPU 221、闪存ROM 222、DRAM 223、内部总线224、远程控制接收部225以及远程控制发送器226。
CPU 221控制电视接收器200中各个单元的操作。闪存ROM 222储存控制软件并且保留数据。DRAM 223配置CPU 221的工作区。CPU 221将从闪存ROM 222读取的软件和数据部署在DRAM 223上，以启动软件，并且控制电视接收器200的各个单元。
远程控制接收部225接收从远程控制发送器226发送的远程控制信号(远程控制代码)并且将信号供应至CPU 221。CPU 221基于远程控制代码控制电视接收器200的各个单元。CPU 221、闪存ROM 222、以及DRAM223连接至内部总线224。
接收部201接收加载在广播波上并且从广播发送***100发送的传输流TS。如上所述，传输流TS包括视频流、音频流以及字幕流。TS分析部202从传输流TS中提取视频、音频以及字幕流各自的PES包。
此处，将通过接收部201接收的传输流TS临时储存在储存介质(缓冲器或储存器)201a中，并且取出与再现模式对应的部分且发送至TS分析部202。例如，在正常再现模式下，将全部累积部分发送至TS分析部202。另一方面，在可变速再现模式下，根据倍增速度将根据包括RAP位置(随机访问位置)的部分的一些间歇部分发送至TS分析部202。具体地，在RAP再现模式下，仅将RAP位置(随机访问位置)的一部分传输至TS分析部202。
此外，TS分析部202提取***到传输流TS中的各种类型信息并且将信息传输至CPU221。信息还包括关于字幕rap描述符(Subtitle_rap_descriptor)的信息。利用此配置，CPU221能够容易辨别已将第二时间戳(字幕初始显示时间戳)和字幕显示优先级信息被***在字幕PES包中并且能够容易辨别器***位置，并且能够针对字幕解码器210的控制有效使用第二时间戳及其***地方。
音频解码器207对通过TS分析部202提取的音频PES包执行解码处理并且获得音频数据。音频输出电路208对音频数据执行诸如D/A转换或放大等必要处理并且将数据供应至扬声器209。视频解码器203对通过TS分析部202提取的音频PES包执行解码处理，以获得图像数据。
根据在正常再现模式下***到报头中的时间戳控制关于音频解码器207和视频解码器203中的PES包的解码处理和输出处理，而非根据在可变速度再现模式下的时间戳在从TS分析部202供应之后立即执行控制。
字幕解码器210对通过TS分析部202提取的字幕PES包执行解码处理，以获得被叠加在图像数据上的各个区的位图数据。根据正常再现模式下***到报头或有效载荷中的第二时间戳(字幕初始显示时间戳)控制关于字幕解码器210中的字幕PES包的解码处理和输出处理，而非根据在可变速度再现模式下的第二时间戳从TS分析部202供应之后立即执行控制。
例如，图18示意性地示出了关于在RAP位置处读取的字幕PES包的解码和输出处理时序。在正常再现模式情况下，在由显示开始时间戳指示的时间完成解码，并且从此时间开始输出位图数据作为解码结果，并且继续直至由显示结束时间戳指示的时间。在这种情况下，从由显示开始时间戳指示的时间至由显示结束时间戳指示的时间是字幕显示周期。
另一方面，在可变速度再现模式情况下，在从储存介质201a读取之后，立即执行解码，并且开始输出位图数据作为解码结果。输出的持续时间为字幕显示周期。例如，输出的持续时间是从TTML问题中包括的相对开始时间“起始”至相对结束时间“结束”的时间(与上述所述从由显示开始时间戳指示的时间至由显示结束时间戳指示的时间的时间相同)。
在可变速度再现模式下，在N倍速度的情况下(N>1)，多个字幕的显示周期内出现重叠周期。出现重叠周期的概率随着倍增速度的增加而增加。CPU 221基于根据倍增速度获得的各个字幕的开始时间间隔等信息确定各个字幕显示周期内是否出现重叠周期并且确定各个字幕的显示周期。
然后，当多个字幕的显示周期内出现重叠周期时，CPU 221基于字幕显示优先级信息执行选择待显示的字幕并且控制字幕解码器210仅输出所选择字幕的解码结果(位图数据)。
图19各自示出了可变速度再现模式下的字幕显示序列的实施例。图19中的(a)示出了正常再现情况的实施例。字幕1、2以及3的显示周期分别是DU1、DU2以及DU3。字幕1与字幕2的开始时间之间的间隔为DS12并且比字幕1的显示周期DU1更长。此外，字幕2与字幕3的开始时间之间的间隔为DS23并且比字幕2的显示周期DU2更长。在正常再现的情况下，显示全部字幕1、2以及3。
图19中的(b)示出了双倍速度再现情况的实施例。字幕1与字幕2的开始时间之间的间隔为DS12*1/2。出于此原因，字幕1与字幕2的显示周期内出现重叠周期DP。此外，字幕2与字幕3的开始时间之间的间隔为DS23*1/2。出于此原因，字幕2与字幕3的显示周期内出现重叠周期DP。此处，假设字幕1、2以及3的显示优先级PR分别为“1”、“3”、以及“2”。
在这种情况下，在字幕1与字幕2之间，选择具有更高优先级的字幕1作为待显示的字幕，并且进一步地，选择字幕3作为待显示的字幕。即，在双倍速度再现的情况下，显示字幕1和3，并且不显示字幕2。
图19中的(c)示出了四倍速度再现情况的实施例。字幕1与字幕2的开始时间之间的间隔为DS12*1/4。此外，字幕2与字幕3的开始时间之间的间隔为DS23*1/4。出于此原因，字幕1与字幕2的显示周期内出现重叠周期DP，并且进一步地，字幕1与3的显示周期内出现重叠周期DP。在这种情况下，在字幕1、2以及3之中，选择具有最高优先级的字幕1作为待显示的字幕。即，在四倍速度再现的情况下，显示字幕1，并且不显示字幕2和3。
图20示出了在从正常再现至N倍速度转变时所应用的再现初期所显示字幕的选择实施例。图20(a)示出了正常再现情况的实施例。字幕1、2以及3的显示周期分别为DU1、DU2以及DU3。字幕1与字幕2的开始时间之间的间隔为DS12并且比字幕1的显示周期DU1更长。此外，字幕2与字幕3的开始时间之间的间隔为DS23并且比字幕2的显示周期DU2更长。在正常再现的情况下，显示全部字幕1、2以及3。
图20中的(b)示出了从正常再现至双倍速度再现的转变时的情况的实施例。字幕1与字幕2的开始时间之间的间隔为DS12*1/2。出于此原因，字幕1与字幕2的显示周期内出现重叠周期DP。此外，字幕2与字幕3的开始时间之间的间隔为DS23*1/2。出于此原因，字幕2与3的显示周期内出现重叠周期DP。此处，假设字幕1、2以及3的显示优先级PR分别为“3”、“2”以及“1”。
在这种情况下，在字幕1与字幕2之间，选择具有第一开始时间的字幕1作为待显示的字幕，而非具有更高优先级的字幕2，并且进一步地，选择字幕3作为待显示的字幕。即，在从正常再现至双倍速度再现的转变过程情况下，显示字幕1，并且然后，不显示字幕2并且显示字幕3。顺便提及，在显示字幕3之后，根据上述所述图19中所示的可变速再现模式的字幕显示序列选择待显示的字幕。
图20中的(c)示出了从正常再现至四倍速度再现的转变过程的情况的实施例。字幕1与字幕2的开始时间之间的间隔为DS12*1/4。此外，字幕2与字幕3的开始时间之间的间隔为DS23*1/4。出于此原因，字幕1与2的显示周期内出现重叠周期DP，并且进一步地，字幕1与3的显示周期内出现重叠周期DP。
在这种情况下，选择具有第一开始时间的字幕1作为待显示的字幕，而非字幕1、2以及3之中具有最高优先级的字幕3。顺便提及，在显示字幕1之后，根据上述所述图19中所示的可变速度再现模式的字幕显示序列选择待显示的字幕。
返回图17，视频叠加部204将从字幕解码器210获得的各个区的位图数据叠加在通过视频解码器203获得的图像数据上。面板驱动电路205基于关于通过视频叠加部204获得的显示的图像数据驱动显示面板206。例如，通过液晶显示器(LCD)、有机电致发光(EL)显示器配置显示面板206。
简要描述了图17中所示的电视接收器200的操作。在接收部201中，接收加载在广播波上的传输流TS并且从广播发送***100发送传输流TS。传输流TS包括视频流、音频流以及字幕流。
通过储存介质201a将传输流TS供应至TS分析部202。在这种情况下，取出与再现模式对应的被传输至TS分析部202的部分。例如，在正常再现模式下，将全部累积部分发送至TS分析部202。另一方面，在可变速度再现模式下，根据倍增速度将包括RAP位置(随机访问位置)的一部分的一些间歇部分发送至TS分析部202。具体地，在RAP再现模式下，仅将RAP位置(随机访问位置)的一部分发送至TS分析部202。
将通过TS分析部202提取的视频PES包供应至视频解码器203。在视频解码器203中，对通过TS分析部202提取的视频PES包执行解码处理，并且获得图像数据。根据正常再现模式下***到报头中的时间戳控制对各个视频PES包的解码处理和输出处理，而非根据在可变速度再现模式下的时间戳从TS分析部202供应之后立即执行控制。将图像数据供应至视频叠加部204。
此外，将通过TS分析部202提取的字幕流(PES流)供应至字幕解码器210。在字幕解码器210中，处理各个区的片段数据，并且获得被叠加在图像数据上的各个区的位图数据。根据正常再现模式下***到报头或有效载荷中的第二时间戳(初始时间戳)控制对各个字幕PES包的解码处理和输出处理，而非根据在可变速度再现模式下的第二时间戳从TS分析部202供应之后立即执行控制(参见图18)。
此外，在可变速度再现模式下，在N倍速度的情况下(N>1)，多个字幕的显示周期内出现重叠周期。在CPU 221中，基于诸如根据倍增速度获得的各个字幕的开始时间的间隔等信息确定各个字幕的显示周期内是否出现重叠周期并且确定各个字幕的显示周期。因此，在CPU 221中，当多个字幕的显示周期内出现重叠周期时，基于字幕显示优先级信息执行选择待显示的字幕，并且控制字幕解码器210，以仅输出所选择字幕的解码结果(位图数据)(参见图19、图20)。
将从字幕解码器210输出的各个区的位图数据供应至视频叠加部204。在视频叠加部204中，将从字幕解码器210输出的各个区的位图数据叠加在通过视频解码器203获得的图像数据上。
将关于通过视频叠加部204获得的显示的图像数据供应至面板驱动电路205。在面板驱动电路205中，基于用于显示的视频数据驱动显示面板206。通过此配置，将叠加字幕的图像显示在显示面板206上。在这种情况下，在正常再现模式下以正常速度显示正常再现图像，并且在可变速再现模式下根据倍增速度显示可变速再现图像。
此外，将通过TS分析部202提取的音频PES包供应至音频解码器207。在音频解码器207中，对音频PES包执行解码处理并且获得音频数据。根据正常再现模式下***到报头中的时间戳控制关于各个音频PES包的解码处理和输出处理，而非在可变速再现模式下根据时间戳从TS分析部202供应之后立即执行控制。
将音频数据供应至音频输出电路208。在音频输出电路208中，对音频数据执行诸如D/A转换或放大等必要处理。然后，将处理之后的音频数据供应至扬声器209。通过该配置，从扬声器209获得与显示面板206上的显示图像对应的音频输出。
如上所述，在图1中所示的发送/接收***10中，将字幕显示优先级信息***到字幕PES包的报头或有效载荷中。出于此原因，在可变速再现模式下(在N倍速度(N>1)的情况下)，在多个字幕的显示周期内出现重叠周期的情况下，通过参考优先级信息便于选择待显示的字幕，并且可以实现反映生产方意图的令人满意字幕显示。
此外，在图1所示的发送/接收***10中，在传输流TS中，将指示***了字幕显示优先级信息的识别信息***到字幕PES包中。出于此原因，在接收端中，基于识别信息能够容易辨别***了字幕显示优先级信息并且能够有效提取字幕显示优先级信息。
此外，在图1所示的发送/接收***10中，在发送端生成作为多路复用流的传输流TS时，将字幕PES包布置在随机访问位置处。出于此原因，在接收端中，当从多路复用流取出随机访问位置处的视频PES包时，能够一起取出字幕PES包，并且简化在可变速再现模式下处理的字幕显示。
例如，图21示出了常规多路复用。图21中的(a)示出了配置视频流的视频PES包行。“V_TS00”、“V_TS10”、“V_TS20”、“V_TS30”、…、各自示出了***到报头中的时间戳，并且“V0”、“V10”、“V20”、“V30”、…、各自示出了布置在有效载荷中的编码图像数据。
图21中的(b)示出了配置音频流的音频PES包行。“A_TS00”、“A_TS10”、“A_TS20”、“A_TS30”、…、各自示出了***到报头中的时间戳，并且“A0”、“A10”、“A20”、“A30”、…、各自示出了布置在有效载荷中的编码音频数据。
图21中的(c)示出了配置字幕流的字幕PES包行。“S_TS15”、“S_TS19”、“S_TS35”、“A_TS39”、…、各自示出了***到报头中的时间戳，并且“S15”、“S19”、“S35”、“S39”、…、各自示出了布置在有效载荷中的字幕信息。无论***到视频PES包或音频PES包的报头中的时间戳如何，均将时间戳***到字幕PES包的报头中。
图21中的(d)示出了多路复用流(传输流TS)中的各个PES包的布置的实施例。在进行多路复用时，参考***到各个PES包的报头中的时间戳并且确定各个PES包的布置。在这种情况下，无论RAP位置(随机访问位置)如何，均将字幕PES包布置在略微靠显示周期之前的位置处。
如图21中的(e)的再现方法1中所示，例如，在RAP再现时，读取具有一定长度的PES包并且对每个RAP位置执行解码处理，并且执行图像显示和音频输出。在这种情况下，因为字幕PES包不一定必须布置在RAP位置处，所以不执行字幕显示。
顺便提及，如图21中的(f)的再现方法2中所示，还是在RAP再现时，为了执行字幕显示，考虑到除了读取RAP位置之外，还执行字幕PES包的读取。在这种情况下，除了用于读取RAP位置的跳转之外，必须重复用于读取字幕PES包的跳转，并且再现处理变得复杂。此外，因为还导致等待图像显示和音频输出，直至读取字幕PES包，所以图像显示和音频输出发生延迟。
图22示出了本技术的多路复用。图22中的(a)示出了配置视频流的视频PES包行。“V_TS00”、“V_TS10”、“V_TS20”、“V_TS30”、…、各自示出了***到报头中的时间戳，并且“V0”、“V10”、“V20”、“V30”、…、各自示出了布置在有效载荷中的编码图像数据。
图22中的(b)示出了配置音频流的音频PES包行。“A_TS00”、“A_TS10”、“A_TS20”、“A_TS30”、…、各自示出了***到报头中的时间戳，并且“A0”、“A10”、“A20”、“A30”、…、各自示出了布置在有效载荷中的编码图像数据。
图22中的(c)示出了配置字幕流的字幕PES包行。“S_TS10”、“S_TS30”、…、各自示出了***到报头中的时间戳，并且“S10”、“S130”、…、各自示出了布置在有效载荷中的字幕信息。在字幕PES包的报头中，***等于或接近***到RAP目标视频PES包的报头中的时间戳的值的时间戳(第一时间戳)。
图22中的(d)示出了多路复用流(传输流TS)中的各个PES包的布置的实施例。在进行多路复用时，参考***到各个PES包的报头中的时间戳，并且确定各个PES包的布置。在这种情况下，与RAP目标视频PES包和音频PES包相似，将字幕PES包布置在RAP位置(随机访问位置)处。
例如，如图22中(e)的再现方法3中所示，在RAP再现时，读取具有一定长度的PES包并且对各个RAP位置执行解码处理。在这种情况下，还与视频PES包和音频PES包一起读取经过解码处理的字幕PES包，因此，还与图像显示和音频输出一起执行令人满意的字幕显示。
按照本技术中的方式执行多路复用，因此，除图21中(f)中所示的再现方法2中用于读取RAP位置的跳转之外，不一定必须重复用于读取字幕PES包的跳转，并且简化接收端中支持字幕显示的可变速再现处理。
此外，在图1所示的发送/接收***10中，将指示字幕显示时间的第二时间戳(字幕初始显示时间戳)***到字幕PES包的报头或有效载荷中。出于此原因，在接收端中，基于字幕初始显示时间戳能够容易控制字幕的显示时序。
此外，在图1所示的发送/接收***10中，将指示字幕初始显示时间戳***到字幕PES包中的识别信息***到传输流TS中。出于此原因，在接收端中，基于识别信息能够容易辨别***了字幕初始显示时间戳，并且能够有效提取字幕初始显示时间戳。
<2.变型例>
顺便提及，在上述实施方式中，在发送端生成作为多路复用流的传输流TS时，已经示出了将字幕PES包布置在随机访问位置处的实施例。然而，即使在未按照此方式将字幕PES包布置在随机访问位置处的情况下，也能够应用将字幕显示优先级信息***到字幕PES包的报头或有效载荷中的技术。此外，在这种情况下，在可变速再现模式下(在N倍速度的情况下(N>1))，在多个字幕的显示周期内出现重叠周期的情况下，通过参考优先级信息便于选择待显示的字幕，并且可以实现反映生产方意图的令人满意字幕显示。
此外，在上述实施方式中，以及示出了使用TTML作为具有显示时序信息的预定格式的字幕的文本信息的实施例。然而，本技术并不局限于此，并且能够考虑使用具有与TTML等同的信息的另一时序文本信息。例如，可以使用TTML的派生格式。此外，显而易见，即使在字幕格式是常规类型位图***的情况下，也能够同样应用本技术。
此外，在上述实施方式中，已经示出了通过广播发送***100和电视接收器200配置的发送/接收***10；然而，能够应用本技术的发送/接收***的配置并不局限于此。例如，电视接收器200可以具有经由诸如高清晰度多媒体接口(HDMI)等数字接口连接在一起的机顶盒和监测器的配置。顺便提及，“HDMI”是注册商标。
此外，本技术还可涵盖下述所述配置。
(1)一种发送装置，包括：
视频编码部，生成由视频包构成的视频流，视频包在有效载荷中具有编码图像数据；
字幕编码部，生成由字幕包构成的字幕流，字幕包在有效载荷中具有字幕信息，并且根据字幕信息将字幕显示优先级信息***到字幕包中；
多路复用流生成部，生成包括视频流和字幕流的多路复用流；以及
发送部，发送多路复用流。
(2)根据(1)所述的发送装置，其中，
字幕编码部
将优先级信息***到字幕包的报头或有效载荷中。
(3)根据(1)或(2)所述的发送装置，其中，
多路复用流生成部
将指示优先级信息被***到字幕包中的识别信息***到多路复用流中。
(4)根据(3)所述的发送装置，其中，
将指示***位置的信息被添加到识别信息中。
(5)根据(1)至(4)中任一项所述的发送装置，其中，
多路复用流生成部
将字幕包布置在随机访问位置。
(6)根据(1)至(5)中任一项所述的发送装置，其中，
视频包和字幕包是PES包，并且
多路复用流是MPEG2传输流。
(7)根据(1)至(6)中任一项所述的发送装置，其中，
字幕信息是具有显示时序信息的预定格式的字幕的文本信息。
(8)一种发送方法，包括：
视频编码步骤：生成由视频包构成的视频流，视频包在有效载荷中具有编码图像数据；
字幕编码步骤：生成由字幕包构成的字幕流，字幕包在有效载荷中具有字幕信息，并且根据字幕信息将字幕显示优先级信息***到字幕包中；
多路复用流生成步骤：生成包括视频流和字幕流的多路复用流；以及
发送步骤：通过发送部发送多路复用流。
(9)一种再现装置，包括：
可变速再现处理部，对包括视频流和字幕流的多路复用流执行可变速再现处理，视频流由在有效载荷中具有编码图像数据的视频包构成，并且字幕流由在有效载荷中具有字幕信息的字幕包构成，并且根据字幕信息将字幕显示优先级信息***到字幕包中；和
字幕显示控制部，当通过可变速再现处理部对多路复用流执行可变速再现处理时，字幕显示控制部基于优先级信息根据每个字幕包中包括的字幕信息控制字幕的显示。
(10)根据(9)所述的再现装置，其中，
显示控制部执行控制，使得当根据多条字幕信息在字幕的显示周期内出现重叠周期时，仅显示具有最高优先级的字幕。
(11)一种再现方法，包括：
可变速再现处理步骤：对包括视频流和字幕流的多路复用流执行可变速再现处理，视频流由在有效载荷中具有编码图像数据的视频包构成，并且字幕流由在有效载荷中具有字幕信息的字幕包构成，并且根据字幕信息将字幕显示优先级信息***到字幕包中；和
字幕显示控制步骤：通过显示控制部，基于优先级信息，根据字幕流中包括的每个字幕包的有效载荷中包括的字幕信息，控制在字幕的可变速再现过程中的显示。
本技术的主要特征在于将字幕显示优先级信息***到字幕PES包的报头或有效载荷中，因此，在可变速度再现模式(在N倍速度的情况下(N>1))，在多个字幕的显示周期内出现重叠周期的情况下，通过参考优先级信息便于选择待显示的字幕，并且可以实现反映生产方意图的令人满意字幕显示(参见图19)。
参考标识列表
10 发送/接收***
100 广播发送***
110 流生成部
111 控制部
112 视频编码器
113 音频编码器
114 文本格式转换部
115 字幕编码器
116 TS格式器
120 时序管理部
121 视频时序管理部
122 音频时序管理部
123 RAP时序管理部
124 字幕显示时序管理部
200 电视接收器
201 接收部
201a 储存介质
202 TS分析部
203 视频解码器
204 视频叠加部
205 面板驱动电路
206 显示面板
207 音频解码器
208 音频输出电路
209 扬声器
210 字幕解码器
221 CPU。

Claims (9)

1.一种发送装置，包括：
视频编码部，生成由视频包构成的视频流，所述视频包在有效载荷中具有编码图像数据；
字幕编码部，生成由字幕包构成的字幕流，所述字幕包在有效载荷中具有字幕信息，并且根据所述字幕信息将字幕显示优先级信息和字幕的显示开始时间和显示结束时间***到所述字幕包中；
多路复用流生成部，生成包括所述视频流和所述字幕流的多路复用流，其中，所述多路复用流生成部将所述字幕包布置在随机访问位置；以及
发送部，发送所述多路复用流，
其中，当对所述多路复用流执行可变速度再现处理时，所述字幕信息允许确定第一字幕与至少一个随后的第二字幕的开始时间之间的间隔(DS12)是否小于所述第一字幕的显示期(DU1)，从而导致所述第一字幕与所述至少一个随后的第二字幕之间的重叠周期(DP)，如果出现重叠周期(DP)，则在所述第一字幕和所述至少一个随后的第二字幕间选择具有最高显示优先级的字幕作为待显示的字幕。
2.根据权利要求1所述的发送装置，其中，
所述字幕编码部将所述优先级信息***到所述字幕包的报头或有效载荷中。
3.根据权利要求1所述的发送装置，其中，
所述多路复用流生成部将指示所述优先级信息被***到所述字幕包中的识别信息***到所述多路复用流中。
4.根据权利要求3所述的发送装置，其中，
将指示***位置的信息被添加到所述识别信息中。
5.根据权利要求1所述的发送装置，其中，
所述视频包和所述字幕包是PES包，并且
所述多路复用流是MPEG2传输流。
6.根据权利要求1所述的发送装置，其中，
所述字幕信息是具有显示时序信息的预定格式的字幕的文本信息。
7.一种发送方法，包括：
视频编码步骤：生成由视频包构成的视频流，所述视频包在有效载荷中具有编码图像数据；
字幕编码步骤：生成由字幕包构成的字幕流，所述字幕包在有效载荷中具有字幕信息，并且根据所述字幕信息将字幕显示优先级信息和字幕的显示开始时间和显示结束时间***到所述字幕包中；
多路复用流生成步骤：生成包括所述视频流和所述字幕流的多路复用流，其中，所述多路复用流生成部将所述字幕包布置在随机访问位置；以及
发送步骤：通过发送部发送所述多路复用流，
其中，当对所述多路复用流执行可变速度再现处理时，所述字幕信息允许确定第一字幕与至少一个随后的第二字幕的开始时间之间的间隔(DS12)是否比所述第一字幕的显示期(DU1)更长，导致所述第一字幕与所述至少一个随后的第二字幕之间的重叠周期(DP)，如果出现重叠周期(DP)，则从所述第一字幕和所述至少一个随后的第二字幕中选择具有最高显示优先级的字幕作为待显示的字幕。
8.一种再现装置，包括：
可变速再现处理部，对包括视频流和字幕流的多路复用流执行可变速再现处理，所述视频流由在有效载荷中具有编码图像数据的视频包构成，并且所述字幕流由在有效载荷中具有字幕信息的所述字幕包构成，并且根据所述字幕信息将字幕显示优先级信息和字幕的显示开始时间和显示结束时间***到所述字幕包中；以及
字幕显示控制部，当通过所述可变速再现处理部对所述多路复用流执行可变速再现处理时，所述字幕显示控制部基于所述优先级信息根据每个字幕包中包括的字幕信息控制字幕的显示，
其中，所述字幕显示控制部被配置为确定第一字幕和至少一个随后的第二字幕的开始时间之间的间隔是否小于所述第一字幕的显示周期，从而导致所述第一字幕和所述至少一个随后的第二字幕之间的重叠周期，如果出现重叠周期，则在所述第一字幕和所述至少一个随后的第二字幕间选择具有最高显示优先级的字幕作为待显示的字幕。
9.一种再现方法，包括：
可变速再现处理步骤：对包括视频流和字幕流的多路复用流执行可变速再现处理，所述视频流由在有效载荷中具有编码图像数据的视频包构成，并且所述字幕流由在有效载荷中具有字幕信息的所述字幕包构成，并且根据所述字幕信息将字幕显示优先级信息和字幕的显示开始时间和显示结束时间***到所述字幕包中；以及
字幕显示控制步骤：通过显示控制部，基于所述优先级信息，根据所述字幕流中包括的每个字幕包的有效载荷中包括的字幕信息，控制在字幕的所述可变速再现过程中的显示，
其中，所述字幕显示控制步骤包括：
确定第一字幕和至少一个随后的第二字幕的开始时间之间的间隔是否小于所述第一字幕的显示周期，从而导致所述第一字幕和所述至少一个随后的第二字幕之间的重叠周期，以及
如果出现重叠周期，则在所述第一字幕和所述至少一个随后的第二字幕间选择具有最高显示优先级的字幕作为要待显示的字幕。
CN201680020531.4A 2015-04-13 2016-04-08 发送装置、发送方法、再现装置以及再现方法 Active CN107431835B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-082099 2015-04-13
JP2015082099 2015-04-13
PCT/JP2016/061481 WO2016167187A1 (ja) 2015-04-13 2016-04-08 送信装置、送信方法、再生装置および再生方法

Publications (2)

Publication Number Publication Date
CN107431835A CN107431835A (zh) 2017-12-01
CN107431835B true CN107431835B (zh) 2020-09-11

Family

ID=57126456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680020531.4A Active CN107431835B (zh) 2015-04-13 2016-04-08 发送装置、发送方法、再现装置以及再现方法

Country Status (5)

Country Link
US (1) US10225600B2 (zh)
EP (1) EP3285492B1 (zh)
JP (1) JP6825558B2 (zh)
CN (1) CN107431835B (zh)
WO (1) WO2016167187A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338394B (zh) * 2014-06-19 2018-11-30 阿里巴巴集团控股有限公司 字幕数据的处理方法及***
WO2018123719A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN108111872B (zh) * 2018-01-09 2021-01-01 武汉斗鱼网络科技有限公司 一种音频直播***
CN108111896B (zh) * 2018-01-16 2020-05-05 北京三体云联科技有限公司 一种字幕同步方法及装置
JP7434762B2 (ja) * 2019-09-10 2024-02-21 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
CN114339300B (zh) * 2021-12-28 2024-04-19 Oppo广东移动通信有限公司 字幕处理方法、装置、电子设备及计算机可读介质及产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102172033A (zh) * 2009-06-17 2011-08-31 松下电器产业株式会社 用于再生3d影像的信息记录媒体及再生装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434653B2 (ja) * 1996-12-05 2003-08-11 富士通株式会社 マルチメディアデータ蓄積伝送方法及び装置
JP3844877B2 (ja) * 1998-04-08 2006-11-15 パイオニア株式会社 ストリーム変換装置
JP3651326B2 (ja) * 1999-09-06 2005-05-25 松下電器産業株式会社 データ送信装置およびデータ受信装置
JP3906795B2 (ja) * 2002-12-18 2007-04-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
KR20060022235A (ko) * 2003-04-30 2006-03-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자 프로파일에 기초한 비디오 언어 필터링
KR100532997B1 (ko) * 2003-05-23 2005-12-02 엘지전자 주식회사 디지털 티브이의 클로즈 캡션 운용 장치
EP1728251A1 (en) 2004-03-17 2006-12-06 LG Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams
KR100782835B1 (ko) * 2005-01-29 2007-12-06 삼성전자주식회사 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
JP2009510822A (ja) 2005-09-26 2009-03-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置
CN100389606C (zh) * 2006-02-13 2008-05-21 华为技术有限公司 一种控制字幕显示方式的实现方法和装置
CN101390388B (zh) * 2006-02-27 2010-09-15 松下电器产业株式会社 再现装置、携带式电话机和再现方法
KR100902329B1 (ko) * 2007-01-30 2009-06-12 주식회사 디엠테크놀로지 시청제한 기능이 포함된 영상기기 및 그 방법
JP4779981B2 (ja) * 2007-02-01 2011-09-28 三菱電機株式会社 デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法
KR20080092097A (ko) * 2007-04-11 2008-10-15 주식회사 대우일렉트로닉스 디지털 텔레비전의 캡션 표시 방법
JP4518194B2 (ja) * 2008-06-10 2010-08-04 ソニー株式会社 生成装置、生成方法、及び、プログラム
JP5132504B2 (ja) * 2008-09-25 2013-01-30 株式会社東芝 情報記録再生装置及び情報記録再生方法
CN102939748B (zh) * 2010-04-14 2015-12-16 三星电子株式会社 用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备
CN102158666A (zh) * 2010-04-21 2011-08-17 青岛海信传媒网络技术有限公司 滚动字幕的显示方法和装置
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
JP2013012265A (ja) * 2011-06-28 2013-01-17 Sony Computer Entertainment Inc 再生装置および再生方法
EP2549482B1 (en) * 2011-07-22 2018-05-23 SanDisk Technologies LLC Apparatus, system and method for determining a configuration parameter for solid-state storage media
US10225589B2 (en) * 2015-02-20 2019-03-05 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102172033A (zh) * 2009-06-17 2011-08-31 松下电器产业株式会社 用于再生3d影像的信息记录媒体及再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数字机顶盒字幕解码显示***的设计与实现;李碧月;《有线电视技术》;20111120;第67-74页 *

Also Published As

Publication number Publication date
US20180084298A1 (en) 2018-03-22
CN107431835A (zh) 2017-12-01
WO2016167187A1 (ja) 2016-10-20
EP3285492A4 (en) 2018-08-29
JP6825558B2 (ja) 2021-02-03
EP3285492B1 (en) 2021-06-02
EP3285492A1 (en) 2018-02-21
US10225600B2 (en) 2019-03-05
JPWO2016167187A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107431835B (zh) 发送装置、发送方法、再现装置以及再现方法
JP7176598B2 (ja) 送信方法
CN108028949B (zh) 传输装置、传输方法、再现装置和再现方法
RU2701172C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
US11470296B2 (en) Transmitter, transmission method, receiver, and reception method
US20170055024A1 (en) Receiving apparatus, receiving method, transmission apparatus, and transmission method
US11290785B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting subtitle text information
CN109479154B (zh) 发送装置、发送方法、接收装置和接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant