CN108293142B - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN108293142B
CN108293142B CN201780003882.9A CN201780003882A CN108293142B CN 108293142 B CN108293142 B CN 108293142B CN 201780003882 A CN201780003882 A CN 201780003882A CN 108293142 B CN108293142 B CN 108293142B
Authority
CN
China
Prior art keywords
data
subtitle
progressive
bitmap data
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780003882.9A
Other languages
English (en)
Other versions
CN108293142A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108293142A publication Critical patent/CN108293142A/zh
Application granted granted Critical
Publication of CN108293142B publication Critical patent/CN108293142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的目的是为了使字幕位图数据可以有利地叠加到接收侧的视频数据上。生成具有渐进的视频数据的视频流。生成具有渐进的字幕位图数据的字幕流。发送包括视频流和字幕流的预定格式的容器。例如，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据或未划分的状态存在。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本技术涉及一种发送装置、一种发送方法、一种接收装置以及一种接收方法，并且更具体地，涉及例如一种发送装置，其发送字幕位图数据以及视频数据。
背景技术
通常，例如，已经在诸如数字视频广播(DVB)等广播中执行在位图数据中发送字幕数据的管理(例如，参考专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利申请公开No.2011-030180
发明内容
本发明要解决的问题
本技术的目的是允许将字幕位图数据有利地叠加到接收侧的视频数据上。
问题的解决方案
根据本技术的构思，一种发送装置包括：视频编码单元，被配置为生成具有渐进的视频数据的视频流；字幕编码单元，被配置为生成具有渐进的字幕位图数据的字幕流；以及发送单元，被配置为发送包括视频流和字幕流的预定格式的容器。
根据本技术，视频编码单元生成具有渐进的视频数据的视频流。字幕编码单元生成具有渐进的字幕位图数据的字幕流。然后，发送单元发送包括视频流和字幕流的预定格式的容器。
例如，在字幕流中，渐进的字幕位图数据可以以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。在这种情况下，例如，在字幕流中可以存在顶部字段用数据块和底部字段用数据块，并且顶部字段字幕位图数据可以设置在顶部字段用数据块中，并且底部字段字幕位图数据可以设置在底部字段用数据块中。
另外，例如，在字幕流中，渐进的字幕位图数据可以以未划分状态存在。在这种情况下，例如，在字幕流中可以存在顶部字段用数据块和底部字段用数据块，并且未划分状态的渐进的字幕位图数据可以设置在顶部字段用数据块或底部字段用数据块中。另外，在这种情况下，例如，可以在字幕流中存在渐进用数据块，并且未划分状态的渐进的字幕位图数据可以设置在渐进用数据块中。
以这种方式，根据本技术，沿着渐进的视频数据的发送，发送渐进的字幕位图数据。因此，字幕位图数据有利地叠加到接收侧的视频数据上。
注意，根据本技术，例如，可以进一步提供识别信息***单元，被配置为在字幕流的层内***识别信息，识别信息指示在对具有第二分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有比第二分辨率高的第一分辨率的视频数据上。在这种情况下，在接收侧，基于识别信息，字幕位图数据将有利地叠加到视频数据上，在对字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到视频数据上。
另外，根据本技术的不同构思，一种接收装置包括：接收单元，被配置为接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；以及控制单元，被配置为控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
根据本技术，接收单元接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器。然后，控制单元控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
例如，在字幕流中，渐进的字幕位图数据可以以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且在获取渐进的字幕位图数据的处理中，可以利用通过解码字幕流而获取的顶部字段字幕位图数据和底部字段字幕位图数据的组合来获取渐进的字幕位图数据。
另外，例如，在字幕流中可以存在顶部字段用数据块和底部字段用数据块，并且在获取渐进的字幕位图数据的处理中，可以获取***在顶部字段用数据块或底部字段用数据块中的未划分状态的渐进的字幕位图数据。
另外，例如，在字幕流中可以存在渐进用数据块，并且在获取渐进的字幕位图数据的处理中，可以获取***在渐进用数据块中的未划分状态的渐进的字幕位图数据。
以这种方式，根据本技术，通过将通过解码字幕流而获取的渐进的字幕位图数据叠加到渐进的视频数据上，获取显示用视频数据。因此，字幕位图数据有利地叠加到视频数据上。
另外，根据本技术的不同构思，一种发送装置包括：视频编码单元，被配置为生成具有第一分辨率的视频数据的视频流；字幕编码单元，被配置为生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流；发送单元，被配置为发送包括视频流和字幕流的预定格式的容器；以及识别信息***单元，被配置为在字幕流的层内***识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
根据本技术，视频编码单元生成具有第一分辨率的视频数据的视频流。字幕编码单元生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流。然后，发送单元发送包括视频流和字幕流的预定格式的容器。例如，第一分辨率可以是UHD分辨率，并且第二分辨率可以是HD分辨率。
识别信息***单元在字幕流的层内***识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。例如，可以进一步提供分辨率信息***单元，被配置为在容器的层内***关于包括在字幕位图数据要叠加在其上的视频数据内的第一分辨率的信息。另外，例如，识别信息***单元可以将识别信息***到显示定义段内。另外，例如，识别信息***单元可以将作为识别信息的片段***到字幕流内。在这种情况下，例如，作为识别信息的片段可以包括关于变换倍率的信息。
以这种方式，根据本技术，在字幕流的层内***识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。因此，在接收侧，基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上，使得字幕位图数据有利地叠加到视频数据上。
另外，根据本技术的不同构思，一种接收装置包括：接收单元，被配置为接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，在字幕流的层内***有识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上；以及控制单元，被配置为控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
根据本技术，接收单元接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器。在字幕流的层内***识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
控制单元控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
以此方式，根据本技术，在对具有第二分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有第一分辨率的视频数据上，以获取显示用视频数据。因此，字幕位图数据有利地叠加到视频数据上。
本发明的效果
根据本技术，允许字幕位图数据有利地叠加到接收侧的视频数据上。注意，本说明书中描述的效果是但不仅限于例证，因此可以提供额外效果。
附图说明
图1是根据实施例的发送和接收***的示例性配置的方框图；
图2是用于传送渐进的字幕位图数据的方法1和2的说明性示意图；
图3是用于传送渐进的字幕位图数据的方法3和4的说明性示意图；
图4是用于描述要对叠加到具有UHD分辨率的视频数据上的具有HD分辨率的字幕位图数据执行的坐标变换和分辨率变换的示图；
图5是发送装置的示例性配置的方框图；
图6是对象数据段的示例性结构的图表；
图7示出了示例性结构中的对象数据段的示例性结构和主要信息的描述的相应图表；
图8示出了示例性结构中的显示定义段的示例性结构和主要信息的描述的相应图表；
图9是作为部件描述符的重要因素的“component_type”的值与用相应值识别的字幕位图数据之间的对应关系的图表；
图10是传输流TS的示例性配置的示图；
图11是接收装置的示例性配置的方框图；
图12是坐标和分辨率变换单元中的示例性处理的流程图；
图13示出了示例性结构中的渲染指南片段的示例性结构和主要信息的描述的相应图表。
具体实施方式
下面将描述用于执行本发明的模式(在下文中，称为“实施例”)。注意，将按以下顺序给出描述。
1、实施例
2、修改
<1、实施例>
【发送和接收***的示例性配置】
图1示出了根据该实施例的发送和接收***10的示例性配置。发送和接收***10包括发送装置100和接收装置200。
发送装置100生成MPEG2的传输流TS，作为容器，并且将传输流TS设置到广播波或者网的分组上，以发送该传输流TS。传输流TS包括具有UHD分辨率的渐进的视频数据(图像数据)的视频流。在此处，UHD分辨率超过了HD分辨率，包括4K分辨率或8K分辨率。
另外，传输流TS包括具有HD分辨率的渐进的字幕位图数据(字幕数据)的字幕流。根据该实施例，通过方法1、2、3和4中的任何一种来传送渐进的字幕位图数据。
【方法1的描述】
将描述方法1。对于方法1，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。
图2的(a)示意性地示出了方法1的传输。在这种情况下，在字幕流中，顶部字段用数据块和底部字段用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将顶部字段字幕位图数据设置在顶部字段用数据块中，并且将底部字段字幕位图数据设置在底部字段用数据块中。
在这种情况下，由于字幕位图数据设置在顶部字段用数据块和底部字段用数据块中，所以认识到在这两个块中的字幕位图数据段的组合允许在接收侧形成渐进的字幕位图数据。
在接收侧，从相应块中提取顶部字段字幕位图数据和底部字段字幕位图数据，然后组合，从而获取用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
【方法2的描述】
将描述方法2。对于方法2，在字幕流中，渐进的字幕位图数据以完整的(即，未划分的)状态存在。
图2的(b)示意性地示出了方法2的传输。在这种情况下，在字幕流中，顶部字段用数据块和底部字段用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将未划分状态的渐进的字幕位图数据设置在顶部字段用数据块中。在这种情况下，在底部字段用数据块中不设置字幕位图数据。
在这种情况下，由于字幕位图数据仅设置在顶部字段用数据块中并且在底部字段用数据块中不设置字幕位图数据，所以认识到仅设置在顶部字段用数据块中的字幕位图数据允许在接收侧形成渐进的字幕位图数据。
在接收侧，从顶部字段用数据块中提取未划分状态的渐进的字幕位图数据，然后，允许保持完整的未划分状态的渐进的字幕位图数据成为用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
【方法3的描述】
将描述方法3。对于方法3，在字幕流中，渐进的字幕位图数据以完整的(即，未划分的)状态存在。
图3的(c)示意性地示出了方法3的传输。在这种情况下，在字幕流中，顶部字段用数据块和底部字段用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将未划分状态的渐进的字幕位图数据设置在底部字段用数据块中。在这种情况下，在顶部字段用数据块中不设置字幕位图数据。
在这种情况下，由于字幕位图数据仅设置在底部字段用数据块中并且在顶部字段用数据块中不设置字幕位图数据，所以认识到仅设置在底部字段用数据块中的字幕位图数据允许在接收侧形成渐进的字幕位图数据。
在接收侧，从底部字段用数据块中提取未划分状态的渐进的字幕位图数据，然后，允许保持完整的未划分状态的渐进的字幕位图数据成为用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
【方法4的描述】
将描述方法4。对于方法4，在字幕流中，渐进的字幕位图数据以完整的(即，未划分的)状态存在。
图3的(d)示意性地示出了方法4的传输。在这种情况下，在字幕流中，渐进用数据块在作为编码字幕传输格式的ODS(Object_data_segment)中存在。然后，将未划分状态的渐进的字幕位图数据设置在渐进用数据块中。
在这种情况下，由于存在渐进用数据块并且字幕位图数据设置在块中，所以认识到仅在渐进用数据块中设置的字幕位图数据允许在接收侧形成渐进的字幕位图数据。
在接收侧，从渐进用数据块中提取未划分状态的渐进的字幕位图数据，然后，允许保持完整的未划分状态的渐进的字幕位图数据成为用于显示字幕(字幕)的渐进的字幕位图数据。将渐进的字幕位图数据叠加到渐进的视频数据上，以便获取显示用视频数据。
返回参考图1，识别信息被***到字幕流的层中，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据要叠加到具有UHD分辨率的视频数据上。以这种方式，对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换，使得能够在具有UHD分辨率的视频屏幕上的适当位置处显示字幕(字幕)。
接收装置200接收从发送装置100发送的传输流TS。接收装置200解码视频流，以获取具有UHD分辨率的渐进的视频数据。另外，接收装置200解码字幕流，以获取具有HD分辨率的渐进的字幕位图数据。在这种情况下，解码处理根据渐进的字幕位图数据的传输方法而变化。
对于方法1，由于字幕位图数据设置在顶部字段用数据块和底部字段用数据块中，所以接收装置200认识到在这两个块中的字幕位图数据片的组合允许形成渐进的字幕位图数据。
在这种情况下，解码字幕流，使得从顶部字段用数据块中提取顶部字段字幕位图数据，另外，从底部字段用数据块中提取底部字段字幕位图数据。然后，顶部字段字幕位图数据和底部字段字幕位图数据组合，以获取渐进的字幕位图数据。
对于方法2，由于字幕位图数据仅设置在顶部字段用数据块中，所以接收装置200认识到仅设置在顶部字段用数据块中的字幕位图数据允许形成渐进的字幕位图数据。在这种情况下，解码字幕流，然后，从顶部字段用数据块中提取字幕位图数据，从而获取渐进的字幕位图数据。
对于方法3，由于字幕位图数据仅设置在底部字段用数据块中，所以接收装置200认识到仅设置在顶部字段用数据块中的字幕位图数据允许形成渐进的字幕位图数据。在这种情况下，解码字幕流，然后，从底部字段用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。
对于方法4，接收装置200认识到仅设置在渐进用数据块中的字幕位图数据允许形成渐进的字幕位图数据。在这种情况下，解码字幕流，然后，从渐进用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。
如上所述，将识别信息***在字幕流的层中，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据叠加到具有UHD分辨率的视频数据上。接收装置200基于识别信息对如上所述获取的渐进的字幕位图数据执行坐标变换和分辨率变换，然后，将渐进的字幕位图数据叠加到渐进的视频数据上，以获取显示用视频数据。
图4的(a)示出了在没有执行坐标变换和分辨率变换的情况下保持完整的字幕位图数据的使用。在这种情况下，具有HD分辨率的字幕(字幕)叠加(覆盖)到具有UHD分辨率的视频屏幕上的HD显示位置处，使得字幕(字幕)由于在UHD和HD之间的坐标宽度的差异而不显示在适当的位置。注意，“R”表示参考点(原点)。另外，“p0”表示作为该区域的起点的左上点。“q0”表示作为该地区的终点的右下点。
图4的(b)示出了经过坐标变换和分辨率变换的字幕位图数据的使用。在这种情况下，具有UHD分辨率的字幕(字幕)叠加(覆盖)到具有UHD分辨率的视频屏幕上的UHD显示位置处，使得在适当的位置显示字幕(字幕)。
在这种情况下，由于坐标变换，通过以下变换获取该区域的起点“p1”的坐标：p1(x，y)＝p0(x，y)*N，并且通过以下变换获取该区域的终点“q1”的坐标：q1(x，y)＝q0(x，y)*N。在此处，“N”表示UHD分辨率和HD分辨率之间的比率。在UHD分辨率是4K分辨率的情况下，满足以下表达式：N＝2。
另外，在这种情况下，对具有“N”的值的字幕位图数据水平和垂直进行缩放处理，使得具有HD分辨率的字幕位图数据变换为具有UHD分辨率的字幕位图数据。
【发送装置的示例性配置】
图5示出了发送装置100的示例性配置。发送装置100包括控制单元101、相机102、视频光电转换单元103、RGB/YCbCr转换单元104、视频编码器105、字幕生成单元106、位图数据生成单元107、字幕编码器108、***编码器109和发送单元110。
控制单元101包括中央处理单元(CPU)，并且基于控制程序来控制发送装置100的每个单元的操作。相机102捕捉主体，以输出具有UHD分辨率的渐进的视频数据(图像数据)。视频光电转换单元103对相机102获取的视频数据执行光电转换，以获取视频数据V1。
RGB/YCbCr转换单元104将视频数据V1从RGB域转换成YCbCr(亮度/色度)域。视频编码器105例如对转换到YCbCr域的视频数据V1执行诸如MPEG4-AVC或HEVC等编码，以生成包括编码视频数据的视频流(PES流)VS。
字幕生成单元106生成作为字幕信息的文本数据(字符码)DT。位图数据生成单元107接收由字幕生成单元106生成的文本数据DT，以生成具有HD分辨率的渐进的字幕位图数据。字幕编码器108将字幕位图数据和显示控制信息转换成各种片段，以生成包括PES分组的字幕流SS，该PES分组包括设置在有效载荷中的片段。
通过方法1至4中的任何一种将渐进的字幕位图数据与对象数据段(Object_data_segment)一起传输。图6和图7的(a)示出了对象数据段的示例性结构(语法)。图7的(b)示出了示例性结构中的主要信息的描述(语义)。
“object_coding_method”的2位字段基于对象的类型指示存在位图数据还是文本数据。“00”表示位图数据，“01”表示文本数据。另外，根据本实施例，除了交错视频的“00”之外，为作为位图数据的另一表示的“渐进的视频”重新定义“11”。
当“object_coding_method”是“00”时，存在“top_field_data_block_length”的16位字段。然后，以“top_field_data_block_length”指示的数字，重复出现“pixel-data_sub-block()”块，即，顶部字段用数据块。
另外，当“object_coding_method”是“00”时，存在“bottom_field_data_block_length”的16位字段。然后，以“bottom_field_data_block_length”表示的数字，重复出现“pixel-data_sub-block()”块，即，底部字段用数据块。
“8_stuff_bits”的8位字段是用于在未进行8位字节对齐的情况下添加填充位以实现8位的字段。
对于方法1至3中的任何一种的传输，“object_coding_method”设置为“00”，并且在顶部字段用数据块和/或底部字段用数据块中设置渐进的字幕位图数据。
即，对于方法1的传输，将渐进的字幕位图数据划分为顶部字段字幕位图数据和底部字段字幕位图数据，然后，将顶部字段字幕位图数据设置在顶部字段用数据块中，并且将底部字段字幕位图数据设置在底部字段用数据块中。
另外，对于方法2的传输，不划分渐进的字幕位图数据，并且整个未划分状态的渐进的字幕位图数据设置在顶部字段用数据块中。在这种情况下，“bottom_field_data_block_length”被设置为0，因此，指示在底部字段用数据块中不设置字幕位图数据。
另外，对于方法3的传输，不划分渐进的字幕位图数据，并且整个未划分状态的渐进的字幕位图数据设置在底部字段用数据块中。在这种情况下，“top_field_data_block_length”被设置为0，因此，指示在顶部字段用数据块中不设置字幕位图数据。
另外，当“object_coding_method”是“11”时，存在“progressive_frame_data_block_length”的16位字段。然后，以“progressive_frame_data_block_length”表示的数字，重复出现“pixel-data_sub-block()”块，即，渐进用数据块。“8_stuff_bits”的8位字段是用于在未进行8位字节对齐的情况下添加填充位以实现8位的字段。
对于方法4的传输，“object_coding_method”被设置为11，并且渐进的字幕位图数据设置在渐进用数据块中。即，未划分渐进的字幕位图数据，并且整个未划分状态的渐进的字幕位图数据设置在渐进用数据块中。
显示定义段“display_difinition_segment”包括识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上。
图8的(a)示出了显示定义段的示例性结构(语法)。图8的(b)示出了示例性结构中的主要信息的描述(语义)。“display_window_flag”的1位字段指示是否存在窗口的定义。“1”表示存在窗口的定义。“0”表示不存在窗口的定义。
当“display_rendering_type”的2位字段是“11”时，指示将根据要对其执行覆盖显示的对象的视频坐标来变换字幕(字幕)的显示位置。即，“display_rendering_type”的“11”是识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上。
“display_width”的16位字段和“display_height”的16位字段表示字幕位图数据的分辨率。例如，“display_width”表示HD分辨率为1920，表示包括在UHD分辨率中的4K分辨率为3820。另外，例如，“display_height”表示HD分辨率为1080，并且表示包括在UHD分辨率中的4K分辨率为2160。
当“display_window_flag”是“1”时，存在指示窗口的区域的字段。即，存在“display_window_horizontal_position_minimum”的16位字段、“display_window_horizontal_position_maximum”的16位字段、“display_window_vertical_position_minimum”的16位字段以及“display_window_vertical_position_maximum”的16位字段。
字段“display_window_horizontal_position_minimum”和“display_window_vertical_position_minimum”表示窗口起点的坐标。字段“display_window_horizontal_position_maximum”和“display_window_vertical_position_maximum”表示窗口的终点的坐标。
返回参考图5，***编码器109生成传输流TS，传输流TS包括由视频编码器105生成的视频流VS和由字幕编码器108生成的字幕流SS。发送单元110将传输流TS设置到广播波或网络的分组上，以将传输流TS发送到接收装置200。
此时，***编码器109将关于在其上要叠加字幕位图数据的视频数据的分辨率信息***作为容器的传输流TS的层中。具体地，***编码器109将分辨率信息***到事件信息表(EIT)中的部件描述符“Component_descriptor”中。
存在“stream_content”和“component_type”，作为部件描述符的重要因素。图9示出了“component_type”的值和用相应值识别的字幕位图数据之间的对应关系。注意，当“stream_content”是“0x03”时，表示字幕用于DVB。
然后，例如，当“component_type”是“0x16”时，表示DVB字幕用于超高清(UHD)显示器。另外，例如，当“component_type”是“0x26”时，表示DVB字幕(用于具有听力障碍的人)用于超高分辨率(UHD)显示器。根据该实施例，“component_type”是“0x16”或“0x26”，因此，指示DVB字幕用于UHD分辨率显示器。这表明要在其上叠加字幕位图数据的视频数据的分辨率是UHD分辨率。
【传输流TS的示例性配置】
图10示出了传输流TS的示例性配置。在示例性配置中存在用PID1识别的视频流的PES分组“视频PES1”。另外，在示例性配置中存在用PID2识别的字幕流的PES分组“字幕PES2”。
将视频编码流***到视频流的PES分组中。另外，包括字幕位图数据和显示控制信息的各种片段***到字幕流的PES分组中。
在包括字幕位图数据的对象数据段(ODS)中存在“object_coding_method”的字段，并且指示要对其执行对象编码的对象。另外，存在“display_rendering_type”的字段，并且在显示定义段(DDS)中具有“11”，因此，具有识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有UHD分辨率的视频数据上。
另外，在页面组合片段(PCS)中存在字段“region_horizontal_address”和“region_vertical_address”，并且指示该区域的起点的坐标。另外，在区域组合片段(RCS)中存在字段“region_width”和“resion_height”，并且指示该区域的水平和垂直尺寸。
另外，传输流TS包括作为节目特定信息(PSI)的节目映射表(PMT)。PSI是描述在传输流中包括的每个基本流属于哪个节目的信息。在PMT中存在描述与整个节目相关的信息的节目循环(节目循环)。
另外，均具有与基本流有关的信息的基本流循环存在于PMT中。在示例性配置中存在与视频流对应的视频基本流循环(视频ES1循环)和与字幕流对应的字幕基本流循环(字幕ES2循环)。
在视频基本流循环(视频ES1循环)中，设置了与视频流对应的诸如流类型和分组标识符(PID)等信息，另外，设置了描述与视频流相关的信息的描述符。视频流的“Stream_type”的值例如被设置为指示HEVC视频流的“0x24”的值，并且PID信息指示提供给视频流的PES分组“视频PES1”的PID1。
在字幕基本流循环(字幕ES2循环)中，设置了与字幕流对应的诸如流类型和分组标识符(PID)等信息，另外，设置了描述与字幕流相关的信息的描述符。字幕流的“Stream_type”的值例如被设置为指示专用流的值，PID信息表示提供给字幕流的PES分组“字幕PES2”的PID2。
另外，传输流TS包括作为用于执行每个事件的管理的服务信息(SI)的事件信息表(EIT)。在EIT中描述了每个节目的元数据。具有作为关于视频数据的分辨率信息(参考图9)的因子“component_type”的部件描述符(Component_descriptor)***在EIT下面。根据该实施例，“component_type”是“0x16”或“0x26”，并且表明DVB字幕用于UHD分辨率的显示器。因此，表明字幕位图数据要叠加在其上的视频数据的分辨率是UHD分辨率。
注意，流标识符描述符(Stream_identifier_descriptor)***到字幕基本流循环(字幕ES2loop)中。描述符将字幕基本流循环与EIT下面的部件描述符相关联，具有部件标签“Component_tag”。
将简单描述图5中所示的发送装置100的操作。由相机102拍摄并获取的具有UHD分辨率的渐进的视频数据(图像数据)提供给视频光电转换单元103。视频光电转换单元103对视频数据执行光电转换，以获取视频数据V1。
RGB/YCbCr转换单元104将由视频光电转换单元103获取的视频数据V1从RGB域转换为YCbCr(亮度/色度)域，然后，将视频数据V1提供给视频编码器105。视频编码器105例如对视频数据V1执行诸如MPEG4-AVC或HEVC等编码处理，以生成包括编码视频数据的视频流(PES流)VS。
字幕生成单元106生成文本数据(字符码)DT，作为字幕信息。文本数据DT提供给位图数据生成单元107。位图数据生成单元107基于文本数据DT生成具有HD分辨率的渐进的字幕位图数据。
字幕位图数据提供给字幕编码器108。字幕编码器108将字幕位图数据和显示控制信息转换为各种片段，以生成包括PES分组的字幕流SS，所述PES分组包括设置在有效载荷中的片段。
通过方法1至4中的任何一种，将渐进的字幕位图数据与对象数据段(ODS)一起传输(参考图6和7)。另外，识别信息***到显示定义段(DDS)(参考图8)，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。
由视频编码器105生成的视频流VS提供给***编码器109。由字幕编码器108生成的字幕流SS提供给***编码器109。***编码器109生成包括视频流VS和字幕流SS的传输流TS。
此时，***编码器109将具有关于要在其上叠加字幕位图数据的视频数据(“component_type”的因子)的分辨率信息的部件描述符***到事件信息表中。
发送单元110将由***编码器109生成的传输流TS设置到广播波或网络的分组上，以将传输流TS发送到接收装置200。
【接收装置的示例性配置】
图11示出接收装置200的示例性配置。接收装置200包括控制单元201、接收单元202、***解码器203、视频解码器204、字幕解码器205以及坐标和分辨率变换单元206。另外，接收装置200包括视频叠加单元208、YCbCr/RGB转换单元209、电光转换单元210、显示映射单元211、CE显示器212和用户操作单元213。
控制单元201包括中央处理单元(CPU)，并且基于控制程序来控制接收装置200的每个单元的操作。用户操作单元213例如包括用于允许诸如观看者等用户执行各种操作的开关、触摸面板和遥控器发送单元。
接收单元202接收从发送装置100发送的传输流TS，该传输流TS设置在广播波或网络的分组上。***解码器203从传输流TS中提取视频流VS和字幕流SS。
另外，***解码器203提取***在传输流TS(容器)中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括具有关于字幕位图数据将叠加在其上的视频数据的分辨率信息的部件描述符。这种设置允许控制单元201识别视频数据的分辨率。注意，也可以从视频解码器204提取的信息中识别视频数据的分辨率。
视频解码器204对由***解码器203提取的视频流VS执行解码处理，以输出具有UHD分辨率的渐进传输的视频数据V1。如上所述，UHD分辨率超过了HD分辨率，并且包括4K分辨率或8K分辨率。
另外，视频解码器204提取***在包括在视频流VS中的每个访问单元中的各种类型的信息，例如，参数集和SEI消息，以将各种类型的信息发送到控制单元201。
字幕解码器205对字幕流SS执行解码处理，以获取具有HD分辨率的渐进的字幕位图数据。在这种情况下，解码处理基于针对渐进的字幕位图数据的传输方法采用方法1至4中的哪一种方法而变化。
例如，对于方法1，从顶部字段用数据块中提取顶部字段字幕位图数据，另外，从底部字段用数据块中提取底部字段字幕位图数据。然后，顶部字段字幕位图数据和底部字段字幕位图数据组合，以获取渐进的字幕位图数据。
对于方法2，从顶部字段用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。对于方法3，从底部字段用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。对于方法4，从渐进用数据块中提取字幕位图数据，以便获取渐进的字幕位图数据。
另外，字幕解码器205提取***在字幕流SS中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。另外，所提取的信息包括诸如该区域的起点的坐标以及该区域的水平和垂直尺寸等信息。
坐标和分辨率变换单元206在控制单元201的控制下基于识别信息对由字幕解码器205获取的渐进的字幕位图数据执行坐标变换和分辨率变换处理(识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上)。
在这种情况下，如图4的(b)所示，通过以下变换获取该区域的起点“p1”的坐标：p1(x，y)＝p0(x，y)*N，并且通过以下变换获取该区域的终点“q1”的坐标：q1(x，y)＝q0(x，y)*N。在此处，“N”表示UHD分辨率和HD分辨率之间的比率。在UHD分辨率是4K分辨率的情况下，满足以下表达式：N＝2。
另外，在这种情况下，对具有“N”的值的字幕位图数据水平和垂直进行缩放处理，使得具有HD分辨率的字幕位图数据变换为具有UHD分辨率的字幕位图数据。
图12的流程图示出了坐标和分辨率变换单元206中的示例性处理。注意，在此处，控制单元201中的相关处理也将被描述为坐标和分辨率变换单元206的处理。
坐标和分辨率变换单元206在步骤ST1开始处理。接下来，坐标和分辨率变换单元206在步骤ST2检测视频图像帧，即，视频数据的分辨率。可以从视频流的参数集(SPS)中检测关于视频数据的分辨率信息。或者，可以从部件描述符中的“component_type”的因子来检测关于视频数据的分辨率信息。根据该实施例，检测到UHD分辨率。
接下来，坐标和分辨率变换单元206在步骤ST3检测字幕位图数据的分辨率，即，字幕的显示区域。可以从显示定义段(DDS)中检测字幕的显示区域(display_width、display_height)。根据该实施例，检测到HD分辨率。
接下来，在步骤ST4，坐标和分辨率变换单元206确定视频数据的分辨率是否是UHD分辨率。当确定视频数据的分辨率不是UHD分辨率时，坐标和分辨率变换单元206在步骤ST5结束处理。
当确定视频数据的分辨率是UHD分辨率时，坐标和分辨率变换单元206在步骤ST6检测“display_rendering_type”。然后，坐标和分辨率变换单元206在步骤ST7确定“display_rendering_type”是否为“11”。当确定“display_rendering_type”不是“11”时，坐标和分辨率变换单元206在步骤ST5结束处理。
当确定“display_rendering_type”是“11”时，坐标和分辨率变换单元206在步骤ST8将视频图像帧中的区域的位置坐标值设置为坐标值，该坐标值使来自HD显示区域原点R的HD坐标值乘以N(参考图4的(b))。另外，分辨率从HD变换为UHD，同时变换该区域的位置坐标值。注意，在位图数据的CLUT输出之后的字幕数据中，处理在视频叠加中的表示混合比的值，以甚至在分辨率变换之后，也保持CLUT中指定的值。
在步骤ST8的处理之后，坐标和分辨率变换单元206在步骤ST5结束处理。
返回参考图11，视频叠加单元208将通过坐标和分辨率变换单元206获取的具有UHD分辨率的渐进的字幕位图数据叠加到由视频解码器204获取的具有UHD分辨率的渐进的视频数据V1上。
YCbCr/RGB转换单元209将具有UHD分辨率的包括叠加在其上的字幕位图数据的渐进的视频数据V1'从YCbCr(亮度/色度)域转换为RGB域。电光转换单元210通过应用与应用于所传输的视频数据V1'的光电转换特性对应的电光转换特性，来对转换成RGB域的传输的视频数据V1'执行电光转换，从而获取用于显示图像的显示用视频数据。
显示映射单元211对显示用视频数据执行与例如CE显示器212的最大亮度显示性能对应的显示亮度调整。CE显示器212基于显示用视频数据显示图像。CE显示器212包括例如液晶显示器(LCD)、有机电致发光(EL)显示器等。
将简单描述图11中所示的接收装置200的操作。接收单元202接收从发送装置100发送的传输流TS，该传输流TS设置在广播波或网络的分组上。传输流TS提供给***解码器203。***解码器203从传输流TS中提取视频流VS和字幕流SS。
另外，***解码器203提取***在传输流TS(容器)中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括具有关于将在其上叠加字幕位图数据的视频数据的分辨率信息的部件描述符。
由***解码器203提取的视频流VS提供给视频解码器204。视频解码器204对视频流VS执行解码处理，以获取具有UHD分辨率的渐进的视频数据V1。另外，视频解码器204提取***到包括在视频流VS中的每个访问单元中的参数集和SEI消息，以将参数集和SEI消息发送到控制单元201。
由***解码器203提取的字幕流SS提供给字幕解码器205。字幕解码器205对字幕流SS执行与(方法1至4的)任何传输方法对应的解码处理，以获取具有HD分辨率的渐进的字幕位图数据。
另外，字幕解码器205提取***在字幕流SS中的各种类型的信息，以将各种类型的信息发送到控制单元201。所提取的信息包括识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。另外，所提取的信息包括诸如该区域的起点的坐标以及该区域的水平和垂直尺寸等信息。
由字幕解码器205获取的具有HD分辨率的渐进的字幕位图数据提供给坐标和分辨率变换单元206。坐标和分辨率变换单元206对要适当地叠加在UHD分辨率的视频数据上的字幕位图数据执行坐标变换和分辨率变换。基于识别信息的指示(“display_rendering_type”＝“11”)，在控制单元201的控制下，执行坐标和分辨率变换单元206中的处理。
由视频解码器204获取的具有UHD分辨率的渐进的视频数据V1提供给视频叠加单元208。另外，由坐标和分辨率变换单元206获取的具有通过坐标变换校正的显示位置的具有UHD分辨率的渐进的字幕位图数据提供给视频叠加单元208。视频叠加单元208将字幕位图数据叠加到视频数据V1上。
包括叠加在其上的位图数据的视频数据V1'提供给YCbCr/RGB转换单元209。YCbCr/RGB转换单元209将视频数据V1'从YCbCr(亮度/色度)域转换到RGB域，以将视频数据V1'提供给电光转换单元210。电光转换单元210通过应用与应用于视频数据V1'的光电转换特性对应的电光转换特性，来对视频数据V1'执行电光转换，从而获取用于显示图像的显示用视频数据。
将显示用视频数据提供给显示映射单元211。显示映射单元211对显示用视频数据执行与例如CE显示器212的最大亮度显示性能对应的显示亮度调整。以这种方式进行了显示亮度调整的显示用视频数据提供给CE显示器212。CE显示器212基于显示用视频数据显示图像。
如上所述，图1所示的发送和接收***10通过方法1至4中的任何传输方法来发送渐进的字幕位图数据，并且发送渐进的视频数据。因此，允许字幕位图数据有利地叠加到接收侧的视频数据上。
另外，图1所示的发送和接收***10将识别信息***到字幕流的层内，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有UHD分辨率的视频数据上。因此，在接收侧，基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到视频数据上，以便可以在适当的位置执行将字幕位图数据叠加到具有UHD分辨率的视频数据上。
<2、修改>
注意，根据该实施例，提供了将识别信息***到显示定义段(DDS)(参考图8)中的示例，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到具有UHD分辨率的视频数据上(“display_rendering_type”＝“11”)。
然而，新定义的片段的传输能够实现与识别信息的效果类似的效果。在这种情况下，传统的接收机会忽略新定义的片段，因此，传统的接收机可以有效地避免发生故障。
图13的(a)示出了作为新定义的片段的渲染指南片段(Rendering_guide_segment)的示例性结构(语法)，并且图13的(b)示出该示例性结构中的主要信息的描述(语义)。
“pixel_rendering_conversion_ratio”的2位字段指示变换倍率，变换倍率用于使作为用于显示在显示定义段(DDS)中描述的字幕(字幕)(图像显示区域)的粘贴位置的窗口区域与要对其执行叠加的对象的视频分辨率的像素坐标对应。在此处，字幕的分辨率用DDS中的“display_height”和“display_width”的因子来指示。另外，倍率计算的原点被设置为粘贴位置(窗口区域)的左上位置。
“00”表示统一倍率(保持原始位置的字幕将叠加到视频上)。“01”表示两倍(字幕粘贴位置将水平和垂直地双倍放大，然后叠加到视频上)。“10”表示四倍(字幕粘贴位置将水平和垂直地四倍放大，然后叠加到视频上)。例如，在字幕的分辨率具有HD(1920×1080)图像帧并且要对其执行叠加的视频的分辨率具有UHD(3840×2160)图像帧的情况下，“pixel_rendering_conversion_ratio”是“01”，因此，执行双倍放大。
另外，根据本实施例，已经提供了作为视频数据的分辨率的第一分辨率是UHD分辨率并且作为字幕位图数据的分辨率的第二分辨率是HD分辨率的示例。然而，本技术不限于此。例如，可以考虑第一分辨率是8K分辨率并且第二分辨率是4K分辨率的情况或其他情况。
另外，根据该实施例，已经提供了视频数据的分辨率是UHD分辨率并且字幕位图数据的分辨率是HD分辨率的示例。在具有分辨率的字幕位图数据的分辨率为UHD分辨率的情况下，在接收侧不需要坐标变换和分辨率变换的处理。在这种情况下，“display_rendering_type”具有与“11”不同的值。
另外，根据本实施例，已经提供了容器是MPEG-2TS的示例。然而，本技术不限于作为容器的MPEG-2TS，因此，可以类似地应用于其他分组，例如，在ISOBMFF、MMT等中。
另外，本技术可以具有以下配置。
(1)一种发送装置，包括：
视频编码单元，被配置为生成具有渐进的视频数据的视频流；
字幕编码单元，被配置为生成具有渐进的字幕位图数据的字幕流；以及
发送单元，被配置为发送包括视频流和字幕流的预定格式的容器。
(2)根据以上(1)所述的发送装置，其中，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。
(3)根据以上(2)所述的发送装置，其中，在字幕流中存在顶部字段用数据块和底部字段用数据块，并且
顶部字段字幕位图数据设置在顶部字段用数据块中，并且底部字段字幕位图数据设置在底部字段用数据块中。
(4)根据以上(1)所述的发送装置，其中，在字幕流中，渐进的字幕位图数据以未划分状态存在。
(5)根据以上(4)所述的发送装置，其中，在字幕流中存在顶部字段用数据块和底部字段用数据块，并且
未划分状态的渐进的字幕位图数据设置在顶部字段用数据块或底部字段用数据块中。
(6)根据以上(4)所述的发送装置，其中，在字幕流中存在渐进用数据块，并且
未划分状态的渐进的字幕位图数据设置在渐进用数据块中。
(7)根据(1)至(6)中任一项所述的发送装置，视频数据具有第一分辨率，字幕位图数据具有比第一分辨率低的第二分辨率，发送装置还包括：识别信息***单元，被配置为在字幕流的层内***识别信息，识别信息指示在对的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
(8)一种发送方法，包括以下步骤：
由视频编码单元生成具有视频数据的视频流；
由字幕编码单元生成具有渐进的字幕位图数据的字幕流；并且
由发送单元以发送包括视频流和字幕流的预定格式的容器。
(9)一种接收装置，包括：
接收单元，被配置为接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；以及
控制单元，被配置为控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
(10)根据以上(9)所述的接收装置，其中，在字幕流中，渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且
在获取渐进的字幕位图数据的处理中，利用通过解码字幕流而获取的顶部字段字幕位图数据和底部字段字幕位图数据的组合来获取渐进的字幕位图数据。
(11)根据以上(9)所述的接收装置，其中，在字幕流中存在顶部字段用数据块和底部字段用数据块，并且
在获取渐进的字幕位图数据的处理中，获取***在顶部字段用数据块或底部字段用数据块中的未划分状态的渐进的字幕位图数据。
(12)根据以上(9)所述的接收装置，其中，在字幕流中存在渐进用数据块，并且
在获取渐进的字幕位图数据的处理中，获取***在渐进用数据块中的未划分状态的渐进的字幕位图数据。
(13)一种接收方法，包括以下步骤：
由接收单元接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器；并且
由控制单元控制通过解码视频流而获取渐进的视频数据的处理、通过解码字幕流而获取渐进的字幕位图数据的处理以及通过将渐进的字幕位图数据叠加到渐进的视频数据上而获取显示用视频数据的处理。
(14)一种发送装置，包括：
视频编码单元，被配置为生成具有第一分辨率的视频数据的视频流；
字幕编码单元，被配置为生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流；
发送单元，被配置为发送包括视频流和字幕流的预定格式的容器；以及
识别信息***单元，被配置为在字幕流的层内***识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
(15)根据以上(14)所述的发送装置，还包括分辨率信息***单元，被配置为在容器的层内***关于包括在字幕位图数据要叠加在其上的视频数据内的第一分辨率的信息。
(16)根据以上(14)或(15)所述的发送装置，其中，第一分辨率是UHD分辨率，并且第二分辨率是HD分辨率。
(17)根据以上(14)至(16)中任一项所述的发送装置，其中，识别信息***单元将识别信息***到显示定义段内。
(18)根据以上(14)至(16)中任一项所述的发送装置，其中，识别信息***单元将作为识别信息的片段***到字幕流内。
(19)根据以上(18)所述的发送装置，其中，作为识别信息的片段包括关于变换倍率的信息。
(20)一种发送方法，包括以下步骤：
由视频编码单元生成具有第一分辨率的视频数据的视频流；
由字幕编码单元生成具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流；
由发送单元发送包括视频流和字幕流的预定格式的容器；以及
由识别信息***单元在字幕流的层内***识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上。
(21)一种接收装置，包括：
接收单元，被配置为接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，
其中，在字幕流的层内***有识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上，
接收装置还包括：
控制单元，被配置为控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
(22)一种接收方法，包括以下步骤：
由接收单元接收包括具有第一分辨率的视频数据的视频流和具有比第一分辨率低的第二分辨率的字幕位图数据的字幕流的预定格式的容器，
其中，在字幕流的层内***有识别信息，识别信息指示在对字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到视频数据上，
接收方法还包括以下步骤：
由控制单元控制通过解码视频流而获取视频数据的处理、通过解码字幕流而获取字幕位图数据的处理以及基于识别信息，在对字幕位图数据执行坐标变换和分辨率变换之后，通过将字幕位图数据叠加到视频数据上而获取显示用视频数据的处理。
根据本技术的主要特征，通过各种发送方法发送渐进的字幕位图数据并且发送渐进的视频数据，允许字幕位图数据有利地叠加到接收侧的视频数据上(参考图2和3)。
另外，根据本技术的另一特征，基于识别信息，在字幕流的层内***识别信息，识别信息指示在对具有HD分辨率的字幕位图数据执行坐标变换和分辨率变换之后，字幕位图数据将叠加到具有UHD分辨率的视频数据上，允许在接收侧的具有UHD分辨率的视频数据上的适当位置处叠加字幕位图数据，在对字幕位图数据执行坐标变换和分辨率变换之后，将字幕位图数据叠加到视频数据上(参考图4)。
附图标记列表
10 发送和接收***
100 发送装置
101 控制单元
102 相机
103 视频光电转换单元
104 RGB/YCbCr转换单元
105 视频编码器
106 字幕生成单元
107 位图数据生成单元
108 字幕编码器
109 ***编码器
110 发送单元
200 接收装置
201 控制单元
202 接收单元
203 ***解码器
204 视频解码器
205 字幕解码器
206 坐标和分辨率变换单元
208 视频叠加单元
209 YCbCr/RGB转换单元
210 电光转换单元
211 显示映射单元
212 CE显示器
213 用户操作单元

Claims (10)

1.一种发送装置，包括：
视频编码单元，被配置为生成具有渐进的视频数据的视频流；
字幕编码单元，被配置为生成具有渐进的字幕位图数据的字幕流，其中，指示是否存在渐进的数据块或存在顶部字段用数据块和底部字段用数据块的信息被***到所述字幕流中，当所述信息指示存在所述渐进的数据块时，未划分的所述渐进的字幕位图数据被布置在所述渐进的数据块中；
识别信息***单元，被配置为在所述字幕流的层内***识别信息，所述识别信息指示所述渐进的字幕位图数据的显示渲染类型，其中，所述识别信息指示在对具有第二分辨率的所述渐进的字幕位图数据执行坐标变换和分辨率变换之后，所述渐进的字幕位图数据将被叠加到具有高于所述第二分辨率的第一分辨率的所述渐进的视频数据上；以及
发送单元，被配置为发送包括所述视频流和所述字幕流的预定格式的容器，
其中，具有指示视频数据的分辨率的分辨率信息的部件描述符被***所述容器的层中，所述渐进的字幕位图数据将被叠加在所述视频数据上。
2.根据权利要求1所述的发送装置，其中，在所述字幕流中，所述渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在。
3.根据权利要求2所述的发送装置，其中，当信息指示存在所述顶部字段用数据块和所述底部字段用数据块时，所述顶部字段字幕位图数据设置在所述顶部字段用数据块中，并且所述底部字段字幕位图数据设置在所述底部字段用数据块中。
4.根据权利要求1所述的发送装置，其中，当信息指示存在所述顶部字段用数据块和所述底部字段用数据块时，未划分的所述渐进的字幕位图数据设置在所述顶部字段用数据块或所述底部字段用数据块中。
5.一种接收装置，包括：
接收单元，被配置为接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器，其中，指示是否存在渐进的数据块或存在顶部字段用数据块和底部字段用数据块的信息被***到所述字幕流中，当所述信息指示存在所述渐进的数据块时，未划分的所述渐进的字幕位图数据被布置在所述渐进的数据块中，识别信息被***在所述字幕流内，所述识别信息指示所述渐进的字幕位图数据的显示渲染类型，并且，具有指示视频数据的分辨率的分辨率信息的部件描述符被***所述容器的层中，所述渐进的字幕位图数据将被叠加在所述视频数据上；以及
控制单元，被配置为控制通过解码所述视频流而获取所述渐进的视频数据的处理、通过解码所述字幕流而获取所述渐进的字幕位图数据的处理以及基于所述分辨率信息和所述识别信息对所述渐进的字幕位图数据执行坐标变换和分辨率变换之后通过将具有第二分辨率的渐进的字幕位图数据叠加到具有高于所述第二分辨率的第一分辨率的所述渐进的视频数据上而获取显示用视频数据的处理。
6.根据权利要求5所述的接收装置，其中，在所述字幕流中，所述渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且
在获取所述渐进的字幕位图数据的处理中，利用通过解码字幕流而获取的所述顶部字段字幕位图数据和所述底部字段字幕位图数据的组合来获取所述渐进的字幕位图数据。
7.根据权利要求5所述的接收装置，其中，当信息指示存在所述顶部字段用数据块和所述底部字段用数据块时，在获取所述渐进的字幕位图数据的处理中，获取***在所述顶部字段用数据块或所述底部字段用数据块中的未划分的所述渐进的字幕位图数据。
8.一种接收方法，包括：
由接收单元接收包括具有渐进的视频数据的视频流和具有渐进的字幕位图数据的字幕流的预定格式的容器，其中，指示是否存在渐进的数据块或存在顶部字段用数据块和底部字段用数据块的信息被***到所述字幕流中，当所述信息指示存在所述渐进的数据块时，未划分的所述渐进的字幕位图数据被布置在所述渐进的数据块中，识别信息被进一步***在所述字幕流内，所述识别信息指示所述渐进的字幕位图数据的显示渲染类型，并且，具有指示视频数据的分辨率的分辨率信息的部件描述符被***所述容器的层中，所述渐进的字幕位图数据将被叠加在所述视频数据上；并且
由控制单元控制通过解码所述视频流而获取所述渐进的视频数据的处理、通过解码所述字幕流而获取所述渐进的字幕位图数据的处理以及基于所述分辨率信息和所述识别信息对所述渐进的字幕位图数据执行坐标变换和分辨率变换之后通过将具有第二分辨率的所述渐进的字幕位图数据叠加到具有高于所述第二分辨率的第一分辨率的所述渐进的视频数据上而获取显示用视频数据的处理。
9.根据权利要求8所述的接收方法，其中，在所述字幕流中，所述渐进的字幕位图数据以划分为顶部字段字幕位图数据和底部字段字幕位图数据的状态存在，并且
在获取所述渐进的字幕位图数据的处理中，利用通过解码字幕流而获取的所述顶部字段字幕位图数据和所述底部字段字幕位图数据的组合来获取所述渐进的字幕位图数据。
10.根据权利要求8所述的接收方法，其中，当信息指示存在所述顶部字段用数据块和所述底部字段用数据块时，在获取所述渐进的字幕位图数据的处理中，获取***在所述顶部字段用数据块或所述底部字段用数据块中的未划分的所述渐进的字幕位图数据。
CN201780003882.9A 2016-09-14 2017-09-13 发送装置、发送方法、接收装置和接收方法 Active CN108293142B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-180019 2016-09-14
JP2016180019 2016-09-14
JP2016-200289 2016-10-11
JP2016200289 2016-10-11
PCT/JP2017/033028 WO2018052021A1 (ja) 2016-09-14 2017-09-13 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108293142A CN108293142A (zh) 2018-07-17
CN108293142B true CN108293142B (zh) 2021-11-02

Family

ID=61618830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003882.9A Active CN108293142B (zh) 2016-09-14 2017-09-13 发送装置、发送方法、接收装置和接收方法

Country Status (5)

Country Link
US (1) US10924785B2 (zh)
EP (2) EP3364660B1 (zh)
JP (4) JP6942695B2 (zh)
CN (1) CN108293142B (zh)
WO (1) WO2018052021A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996020B (zh) * 2019-12-13 2022-07-19 浙江宇视科技有限公司 Osd叠加方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000002452A (ko) * 1998-06-19 2000-01-15 윤종용 순차주사방식의 tv에 있어서의 캡션 신호 처리장치
CN102959952A (zh) * 2010-06-27 2013-03-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法
EP2717566A2 (en) * 2012-10-04 2014-04-09 Samsung Electronics Co., Ltd. Content processing apparatus for processing high resolution content and method thereof

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0745307B3 (en) 1994-12-14 2010-06-23 Philips Electronics N.V. Subtitling transmission system
JP2977513B2 (ja) * 1995-02-03 1999-11-15 株式会社東芝 画像情報のエンコード／デコードシステム
EP1265439B1 (en) * 2001-06-06 2009-07-08 Thomson Licensing Video signal processing system with auxiliary information processing capability
WO2005076601A1 (en) * 2004-02-10 2005-08-18 Lg Electronic Inc. Text subtitle decoder and method for decoding text subtitle streams
JP5001584B2 (ja) * 2006-06-06 2012-08-15 ソニー株式会社 オーサリング装置、オーサリング方法、オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
JP2008141373A (ja) * 2006-11-30 2008-06-19 Matsushita Electric Ind Co Ltd 復号化装置、移動体受信装置、メディア再生装置
JP2008010147A (ja) 2007-09-03 2008-01-17 Toshiba Corp 情報記録媒体と情報記録方法と情報再生方法
JP2011030180A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011249945A (ja) 2010-05-24 2011-12-08 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012044625A (ja) 2010-08-23 2012-03-01 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US9148620B2 (en) * 2011-04-11 2015-09-29 Intel Corporation Detecting video formats
CN104509122B (zh) 2012-11-19 2018-10-16 Lg 电子株式会社 信号收发装置和信号收发方法
JP6366070B2 (ja) * 2014-07-10 2018-08-01 日本放送協会 テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。
JP6891492B2 (ja) 2015-02-03 2021-06-18 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
WO2016163603A1 (ko) * 2015-04-05 2016-10-13 엘지전자 주식회사 Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000002452A (ko) * 1998-06-19 2000-01-15 윤종용 순차주사방식의 tv에 있어서의 캡션 신호 처리장치
CN102959952A (zh) * 2010-06-27 2013-03-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法
EP2717566A2 (en) * 2012-10-04 2014-04-09 Samsung Electronics Co., Ltd. Content processing apparatus for processing high resolution content and method thereof

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multimedia Coding Specification For Digital Broadcasting(Second Generation);未知;《ARIB STD-B62 Version 1.2》;20150703;第3-16页 *
Subtitling systems.《ETSI EN 300 743 V1.3.1》.2006, *
未知.Digital Video Broadcasting (DVB) *

Also Published As

Publication number Publication date
JPWO2018052021A1 (ja) 2019-06-24
WO2018052021A1 (ja) 2018-03-22
EP3364660A1 (en) 2018-08-22
EP3771214A1 (en) 2021-01-27
JP2022171984A (ja) 2022-11-11
JP2021185715A (ja) 2021-12-09
CN108293142A (zh) 2018-07-17
JP7397938B2 (ja) 2023-12-13
US10924785B2 (en) 2021-02-16
JP7148691B2 (ja) 2022-10-05
JP6942695B2 (ja) 2021-09-29
EP3364660B1 (en) 2020-12-23
EP3364660A4 (en) 2018-10-24
US20180332322A1 (en) 2018-11-15
JP2024015131A (ja) 2024-02-01

Similar Documents

Publication Publication Date Title
US11627367B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
EP3833033B1 (en) Transmission apparatus, reception apparatus, and reception method
US10735771B2 (en) Transmission device, transmission method, reception device, and reception method
US10575062B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
JP2023076613A (ja) 送信方法および送信装置
JP2021093772A (ja) 送信方法および送信装置
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
US10904592B2 (en) Transmission apparatus, transmission method, image processing apparatus, image processing method, reception apparatus, and reception method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant