CN108370451B - 发送装置、发送方法、接收装置以及接收方法 - Google Patents

发送装置、发送方法、接收装置以及接收方法 Download PDF

Info

Publication number
CN108370451B
CN108370451B CN201780004323.XA CN201780004323A CN108370451B CN 108370451 B CN108370451 B CN 108370451B CN 201780004323 A CN201780004323 A CN 201780004323A CN 108370451 B CN108370451 B CN 108370451B
Authority
CN
China
Prior art keywords
data
bitmap
subtitle
conversion
color gamut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780004323.XA
Other languages
English (en)
Other versions
CN108370451A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108370451A publication Critical patent/CN108370451A/zh
Application granted granted Critical
Publication of CN108370451B publication Critical patent/CN108370451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)

Abstract

本发明减少了在视频数据上叠加字幕图形数据时的接收侧上的处理负荷。根据本发明，生成包括视频数据的视频流。生成具有位图数据的字幕流，该位图数据通过转换字幕图形数据而获得。发送包含视频流和字幕流的预定格式的容器。字幕流具有其中包括色域和/或亮度的转换信息的位图转换表。通过使用位图转换表仅将位图数据转换为字幕图形数据，接收侧能够容易地获得具有与要对其执行叠加的目标视频数据的特性兼容的特性的字幕图形数据。

Description

发送装置、发送方法、接收装置以及接收方法
技术领域
本技术涉及发送装置、发送方法、接收装置以及接收方法，并且更具体地，涉及发送位图数据中的字幕信息的发送装置等。
背景技术
例如，在过去，在诸如数字视频广播(DVB)的广播中，已经执行了将字幕图形数据转换为位图数据并然后进行发送的操作(例如，参见专利文献1)。
参考文献列表
专利文献
专利文献1：日本专利申请公开第2011-030180号
发明内容
技术问题
在过去，当视频数据和字幕图形数据在不同流中发送时，在它们之间关于色域和亮度没有显著差异。因此，在叠加时，执行合成而不用特殊考虑。
例如，在视频数据的色域宽(例如，按照ITU-R Rec Bt.2020)并且字幕图形数据的色域窄(例如，sRGB)的情况下，为了保持视频的高图像质量，在执行叠加之前将字幕图形数据的色域调节为视频数据的色域变成是必需的。
进一步地，例如，在制作具有高动态范围(HDR)的视频数据并且制作具有标准水平的动态范围(SDR)的字幕图形数据的情况下，为了保持视频的高图像质量，在执行叠加之前将字幕图形数据与视频数据的动态范围区域匹配变成是必需的。
本技术的目标是当字幕图形数据叠加在视频数据上时减轻接收侧上的处理负荷。
问题的解决方案
本技术的概念在于，一种发送装置，包括：视频编码器部，生成包括视频数据的视频流；字幕编码器部，生成包括位图数据的字幕流，位图数据通过转换字幕图形数据而获得；以及发送部，发送包含视频流和字幕流的具有预定格式的容器，字幕流包括包含色域和/或亮度的转换信息的位图转换表。
在本技术中，由视频编码器部生成包括视频数据的视频流。由字幕编码器部生成包括位图数据的字幕流，该位图数据通过转换字幕图形数据而获得。由发送部发送包含视频流和字幕流的具有预定格式的容器。
字幕流适合于包括包含色域和/或亮度的转换信息的位图转换表。例如，字幕流可适合于包括多个位图转换表，每个位图转换表包含彼此不同的转换信息。在这种情况下，例如，多个位图转换表中的每一个可适合于另外包含字幕图形数据和目标视频数据的匹配特性信息。
以这种方式，在本技术中，字幕流包括包含色域和/或亮度的转换信息的位图转换表。因此，接收侧可以通过使用位图转换表仅将位图数据转换为字幕图形数据而容易地获得具有与叠加目的地的目标视频数据的特性相匹配的特性的字幕图形数据。这使能够减轻接收侧上的处理负荷。
应注意，在本技术中，例如，发送装置可进一步包括将转换为位图数据之前的字幕图形数据的特性信息***到字幕流中的信息***部。因此，在接收侧上，可以容易地掌握转换为位图数据之前的字幕图形数据的特性。
进一步地，本技术的另一概念在于接收装置，该接收装置包括：接收部，接收包含视频流和字幕流的具有预定格式的容器，视频流包括视频数据，字幕流包括通过转换字幕图形数据获得的位图数据，字幕流包括包含色域和/或亮度的转换信息的位图转换表；以及控制部，控制解码视频流的处理以获得目标视频数据，控制解码字幕流的处理以获得位图数据和位图转换表，控制通过使用位图转换表将位图数据转换为字幕图形数据的处理，以及控制在目标视频数据上叠加字幕图形数据的处理。
在本技术中，通过接收部接收包含视频流和字幕流的具有预定格式的容器，视频流包括视频数据，字幕流包括通过转换字幕图形数据获得的位图数据。字幕流包括包含色域和/或亮度的转换信息的位图转换表。
执行解码视频流以获得目标视频数据的处理以及解码字幕流以获得位图数据和位图转换表的处理。执行通过使用位图转换表将位图数据转换为字幕图形数据的处理以及在目标视频数据上叠加字幕图形数据的处理。
例如，字幕流可适合于包括多个位图转换表，每个位图转换表包含彼此不同的转换信息，并且在将位图数据转换为字幕图形数据的处理中，可适合于使用多个位图转换表中的与目标视频数据和转换为位图数据之前的字幕图形数据的特性匹配的位图转换表。
在这种情况下，例如，转换为位图数据之前的字幕图形数据的特性信息可适合于***到字幕流中，并且在将位图数据转换为字幕图形数据的处理中，可以适合于基于***到字幕流中的特性信息确定转换为位图数据之前的字幕图形数据的特性。
以此方式，在本技术中，在将位图数据转换为字幕图形数据的处理中，使用包含被***到字幕流中的色域和/或亮度的转换信息的位图转换表。因此，可以容易地获得具有与叠加目的地的目标视频数据的特性匹配的特性的字幕图形数据。这使能够减轻处理负荷。
应注意，在本技术中，例如，在将位图数据转换为字幕图形数据的处理中，当位图转换表与目标视频数据和转换为位图数据之前的字幕图形数据的特性不匹配时，位图数据可适合于转换为与该特性匹配的字幕图形数据，而在接收装置的处理中不使用位图转换表。在这种情况下，可以获得具有与叠加目的地的目标视频数据的特性匹配的特性的字幕图形数据，并且因此可以抑制视频的图像质量降低。
本发明的有利效果
根据本技术，当字幕图形数据在视频数据上叠加时可以减轻接收侧上的处理负荷。应注意，本说明书中描述的效果仅是实例而不是限制性的，并且可提供额外的效果。
附图说明
图1是示出了作为一个实施方式的发送和接收***的配置实例的框图。
图2是示出了发送装置的配置实例的框图。
图3是示出了位图转换表中的除了从位图数据转换为字幕图形数据(Y/CbCr)之外的另一个转换对象实例的示图。
图4是用于描述位图转换表的信息的示图。
图5是用于描述接收侧上必需的转换功能(位图转换表的转换功能)的详情的示图。
图6是用于描述从SDR至HDR的亮度级转换的示图。
图7是用于描述从HDR至SDR的亮度级转换的示图。
图8是示出了WC片段的结构实例的示图(1/2)。
图9是示出了WC片段的结构实例的示图(2/2)。
图10是示出了WC片段的结构实例中的主要信息的内容的示图。
图11是在列表中示出了“CLUT_entry_id”、“entry_CLUT_type”和“output_depth”的值以及匹配特性信息的值的实例的示图。
图12是示出了渲染引导片段的结构实例以及该结构实例中的主要信息的内容的示图。
图13是示出了传输流的配置实例的示图。
图14是示出了接收装置的配置实例的框图。
图15是示出了位图转换表(CLUT)的选择实例的示图。
具体实施方式
在下文中，将描述用于执行本发明的模式(在下文中，称为“实施方式”)。应注意，将按照以下顺序进行描述。
1.实施方式
2.变形例
<1.实施方式>
[发送和接收***的配置实例]
图1示出了作为实施方式的发送和接收***10的配置实例。这个发送和接收***10包括发送装置100和接收装置200。发送装置100生成MPEG2传输流TS作为容器并且通过广播波或者网络数据包发送该传输流TS。这个传输流TS包含包括视频数据(图像数据)的视频流。
进一步地，这个传输流TS包含包括位图数据的字幕流，位图数据通过转换字幕图形数据作为字幕数据而获得。这个字幕流被认为包括包含色域和/或亮度(在这个实施方式中，是这两者)的转换信息的位图转换表。
字幕流被认为包括预定数量的位图转换表，即，一个或两个或更多个位图转换表。在这种情况下，每个位图转换表另外设置有字幕图形数据和目标视频数据的匹配特性信息。在此，该特性是色域和/或动态范围，在这个实施方式中，是这两者特性。因此，在接收侧上，可以容易地确定要使用哪个位图转换表。
进一步地，在这个实施方式中，转换为位图数据之前的字幕图形数据的特性信息被***到字幕流中。因此，在接收侧上，可以容易地掌握转换为位图数据之前的字幕图形数据的特性。
接收装置200接收从发送装置100发送的传输流TS。接收装置200对视频流执行解码处理并且获得目标视频数据。在这种情况下，至于目标视频数据，视情况而定，设想了不仅从发送侧发送的视频数据而且还有通过在其上执行色域或动态范围的转换处理而获得的视频数据。
进一步地，接收装置200对字幕流执行解码处理，获得位图数据和位图转换表，并且通过使用位图转换表将位图数据转换为字幕图形数据。在此，在获得了各自包含不同的转换信息的多个位图转换表的情况下，使用与转换为位图数据之前的字幕图形数据和目标视频数据的特性匹配的位图转换表。在这种情况下，例如，从***到字幕流中的特性信息掌握转换为位图数据之前的字幕图形数据的特性。
接收装置200然后在目标视频数据上叠加字幕图形数据，该字幕图形数据通过转换位图数据而获得。利用以此方式在其上叠加字幕图形数据的视频数据，在监视器上显示具有字幕的图像。
“发送装置的配置实例”
图2示出了发送装置100的配置实例。这个发送装置100包括控制部101、视频编码器102、转换部103、字幕编码器104、***编码器105和发送部106。
控制部101包括中央处理单元(CPU)并且基于控制程序控制发送装置100的各个部分的操作。视频编码器102对视频数据执行诸如MPEG4-AVC或HEVC的编码并且生成包含解码的视频数据的视频流(PES流)VS。
在此，视频数据是标准动态范围(SDR)或高动态范围(HDR)数据并且设置有SDR或HDR光电转换特性。视频编码器102将视频数据的特性信息，即，诸如色域或动态范围的信息的元信息***到访问单元(AU)的SPS NAL单元的视频可用性信息(VUI)的区域中。
转换部103将字幕图形数据转换为位图数据。在此，字幕图形数据是SDR或HDR数据并且设置有SDR或HDR光电转换特性。转换部103参考假设接收侧上必需的HDR或SDR水平，因此以连同位图数据一起输出一个或两个或更多个位图转换表的信息。
在此，位图转换表是包含色域和/或亮度的转换信息的位图转换表。换言之，位图转换表不是简单地将位图数据转换为字幕图形数据而是将色域或亮度一起转换，以被调节为作为叠加目的地的视频数据的目标视频数据的色域或者动态范围。
图3示出了位图转换表中的除了从位图数据转换为字幕图形数据(Y/CbCr)之外的转换对象实例。在转换为位图数据之前的字幕图形数据是SDR并且目标视频数据是SDR的情况下，色域可以是另一个转换目标。例如，当字幕图形数据的色域是BT.709并且目标视频数据的色域是BT.2020时，色域变为转换目标。
进一步地，在转换为位图数据之前的字幕图形数据是SDR并且目标视频数据是HDR的情况下，色域和亮度可以是转换目标。进一步地，在转换为位图数据之前的字幕图形数据是HDR并且目标视频数据是SDR的情况下，色域和亮度可以是转换目标。应注意，在转换为位图数据之前的字幕图形数据是HDR并且目标视频数据是HDR的情况下，色域和动态范围是共同的，并且因此没有什么可以是转换目标。
在这个实施方式中，转换部103输出在图4的情况(1)至(5)的每一个中使用的位图转换表的信息。情况(1)是转换为位图数据之前的字幕图形数据是SDR并且目标视频数据是SDR的情况(色域相同的情况)。情况(2)是转换为位图数据之前的字幕图形数据是SDR并且目标视频数据是SDR的情况(色域不同的情况)。
情况(3)是转换为位图数据之前的字幕图形数据是SDR并且目标视频数据是HDR的情况。情况(4)是转换为位图数据之前的字幕图形数据是HDR并且目标视频数据是SDR的情况。情况(5)是转换为位图数据之前的字幕图形数据是HDR并且目标视频数据是HDR的情况。
参考图5将详细描述在情况(1)至(5)下的接收侧上必需的转换功能，并且因此描述位图转换表的转换功能。接收侧上最必需的转换功能包括以下第一至第七转换功能。这些转换功能中的处理基本是基于逐个像素独立的。
第一转换功能301是将位图数据转换为字幕图形数据的功能。第二转换功能302是将从位图数据转换的字幕图形数据的域从YCbCr转换为RGB1的功能。第三转换功能303是通过应用电光转换特性执行电光转换以便将从位图数据转换来的字幕图形数据改变为亮度线性空间的功能。
第四转换功能304是转换亮度级以便消除由于从位图数据转换的字幕图形数据与目标视频数据之间的动态范围的差异而导致的不方便的功能。第五转换功能305是执行色域转换(RGB1转换为RGB2)以用于将从位图数据转换的字幕图形数据的色域调节为目标视频数据的色域的功能。
第六转换功能306是通过将与目标视频数据的转换特性相同的光电转换特性应用于亮度线性空间中的字幕图形数据来执行光电转换的功能。第七转换功能307是将字幕图形数据的域从RGB2转换为YCbCr的功能。
情况(1)仅需要第一转换功能301。在这种情况下，位图数据通过第一转换功能301转换为字幕图形数据，并且这个图形数据照原样变成输出图形数据。在这种情况下，目标视频数据和转换为位图数据之前的字幕图形数据中的每一个都是SDR，并且它们的色域是相同的，并且因此绕过第二转换功能302至第七转换功能307。这个转换处理与作为传统遗留的广播中执行的处理完全相同。
情况(2)需要第一转换功能301、第二转换功能302、第五转换功能305和第七转换功能307。在这种情况下，位图数据通过第一转换功能301转换为字幕图形数据。这个字幕图形数据通过第二转换功能302从YCbCr域转换为RGB1域。
转换为RGB1域的字幕图形数据的色域被转换以便通过第五转换功能305调节为目标视频数据的色域。例如，字幕图形数据的BT.709的色域被转换以便调节为作为目标视频数据的色域的BT.2020。
已经转换其色域的字幕图形数据通过第七转换功能307从RGB2域转换为YCbCr，并且这个图形数据变成输出图形数据。在这种情况下，目标视频数据和转换为位图数据之前的字幕图形数据中的每一个是SDR，并且因此绕过第三转换功能303、第四转换功能304和第六转换功能306。
情况(3)需要全部的第一转换功能301至第七转换功能307。在这种情况下，位图数据通过第一转换功能301转换为字幕图形数据。这个字幕图形数据通过第二转换功能302从YCbCr域转换为RGB1域。
转换为RGB1域的字幕图形数据经受通过由第三转换功能303应用SDR电光转换特性而进行的电光转换，以因此改变为亮度线性空间。改变为亮度线性空间的字幕图形数据经受由第四转换功能304进行的亮度级转换。在这种情况下，执行转换使得预定SDR亮度级变成HDR映射参考级。
图6示出了这个亮度级转换的状态。在图6中，实线a表示SDR转换曲线。实线b表示HDR转换曲线。虚线c表示映射在HDR转换曲线上的SDR数据范围。
在这种情况下，SDR字幕图形数据的亮度值“m”被视为与HDR视频数据的亮度值“m”一致的映射参考值。假设表示SDR字幕图形数据的亮度值“m”的编码代码值是Q％并且表示HDR视频数据的亮度值“m”的编码代码值是P％，则SDR字幕图形数据被转换使得表示Q％的数字代码与表示P％的数字代码一致。
以此方式，SDR字幕图形数据的[0··a]落入HDR视频数据的[0··a']的范围内。因此，防止字幕的亮度太亮。应注意，在附图中，在SDR和HDR这两者中，编码位空间N相同。进一步地，0<P≤100并且0<Q≤100。
如上所述，已经受由第四转换功能304进行的亮度级转换的字幕图形数据被转换以便由第五转换功能305调节为目标视频数据的色域。例如，字幕图形数据的BT.709的色域被转换以便调节为作为目标视频数据的色域的BT.2020。
其色域已被转换的字幕图形数据经受通过由第六转换功能306应用HDR光电转换特性而进行的光电转换。因此，与目标视频数据一样，字幕图形数据设置有HDR光电转换特性。这个字幕图形数据通过第七转换功能307从RGB2域转换为YCbCr，并且这个图形数据变成输出图形数据。
如同以上描述的情况(3)，情况(4)需要全部的第一转换功能301至第七转换功能307。在这种情况下，位图数据通过第一转换功能301转换为字幕图形数据。这个字幕图形数据通过第二转换功能302从YCbCr域转换为RGB1域。
转换为RGB1域的字幕图形数据经受通过由第三转换功能303应用HDR电光转换特性进行的电光转换，以因此改变为亮度线性空间。改变为亮度线性空间的字幕图形数据经受由第四转换功能304进行的亮度级转换。在这种情况下，执行转换使得预定SDR亮度级变成HDR映射参考级。
图7示出了这个亮度级转换的状态。在图7中，实线a表示SDR转换曲线。实线b表示HDR转换曲线。虚线c表示旨在将HDR转换曲线映射在SDR上的转换曲线。
在这种情况下，HDR字幕图形数据的亮度值“m”被视为与SDR视频数据的亮度值“m”一致的映射参考值。假设表示HDR字幕图形数据的亮度值“m”的编码代码值是P％并且表示SDR视频数据的亮度值“m”的编码代码值是Q％，则利用具有与虚线c一样的色调映射特性的转换曲线转换HDR字幕图形数据使得表示P％的数字代码与表示Q％的数字代码一致。
以此方式，HDR字幕图形数据的[0··b]变成[0··a']并且落入SDR视频数据的[0··a]的范围内而不执行削减。应注意，在附图中，在SDR和HDR这两者中，编码位空间N相同。进一步地，0<P≤100并且0<Q≤100。
如上所述，已经受由第四转换功能304进行的亮度级转换的字幕图形数据被转换以通过第五转换功能305调节为目标视频数据的色域。例如，字幕图形数据的BT.2020的色域被转换以便调节为作为目标视频数据的色域的BT.709。
其色域已被转换的字幕图形数据经受通过由第六转换功能306应用SDR光电转换特性而进行的光电转换。因此，与目标视频数据一样，字幕图形数据设置有SDR光电转换特性。这个字幕图形数据通过第七转换功能307从RGB2域转换为YCbCr，并且这个图形数据变成输出图形数据。
情况(5)仅需要第一转换功能301。在这种情况下，位图数据通过第一转换功能301转换为字幕图形数据，并且这个图形数据照原样变成输出图形数据。在这种情况下，目标视频数据和转换为位图数据之前的字幕图形数据中的每一个都是HDR，并且它们的色域是相同的，并且因此绕过第二转换功能302至第七转换功能307。
应注意，附图的实例示出了目标视频数据和转换为位图数据之前的字幕图形数据的HDR特性相同的情况。在这两者的数据的HDR特性彼此不同的情况下，亮度级转换也变得如情况(3)和(4)一样必要。这两者的数据的HDR特性彼此不同的情况例如是字幕图形数据的HDR特性是PQ并且视频数据的HDR特性是HLG的情况。
参考图2，字幕编码器104将从转换部103输出的显示控制信息和位图数据转换为各个片段并且生成包括PES数据包的字幕流SS，在PES数据包中，这些片段布置在其中的有效载荷中。除了诸如DDS、PCS、RCS、ODS和EDS的通常众所周知的片段之外，各个片段还包括新限定的WC片段和渲染引导片段(Rendering_guide_segment)。
WC片段包含从转换部103输出的预定数量的位图转换表的信息。进一步地，渲染引导片段包含转换为位图数据之前的字幕图形数据的特性信息，即，诸如色域或动态范围的信息的元信息。
图8和图9示出了WC片段的结构实例(语法)，并且图10示出了该结构实例中的主要信息的内容(语义)。8位字段的“CLUT_entry_id”表示单个CLUT(位图转换表)的ID。4位字段的“entry_CLUT_type”表示entry_CLUT的类型，即，显示颜色的变化并且对应于输入位图数据的范围。例如，“0x1”表示2位条目，“0x2”表示4位条目，并且“0x4”表示8位条目。
2位字段的“output_depth”表示作为输出图形数据的YCrCb和T的每个元素的位深度。例如，“1”表示8个位，“2”表示10位，并且“3”表示12位。
2位字段的“subtitle_dynamic_range_type”表示与转换为位图数据之前的字幕图形数据的动态范围匹配的动态范围的信息。例如，“1”表示“通过伽马(gamma)的SDR”，“2”表示“通过PQ的HDR”，并且“3”表示“通过HLG的HDR”。2位字段的“subtitle_color_gamut”表示与转换为位图数据之前的字幕图形数据的色域匹配的色域的信息。例如，“1”表示“BT.709”，并且“2”表示“BT.2020”。
2位字段的“target_video_dynamic_range_type”表示与目标视频数据的动态范围匹配的动态范围的信息。例如，“1”表示“通过伽马的SDR”，“2”表示“通过PQ的HDR”，并且“3”表示“通过HLG的HDR”。2位字段的“target_video_color_gamut”表示与目标视频数据的色域匹配的色域的信息。例如，“1”表示“BT.709”，并且“2”表示“BT.2020”。
在这个WC片段中，“CLUT_entry_id”、“entry_CLUT_type”、“output_depth”、“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”和“target_video_color_gamut”的字段存在于每个位图转换表中，并且作为对应于输入位图数据的可能值的转换数据的YCrCb和T的元素呈现以下字段。
图11在列表中示出了“CLUT_entry_id”、“entry_CLUT_type”和“output_depth”的值以及匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)的值的实例。
在附图中示出的实例中，“entry_CLUT_type”的值被设定为“0x4”，其表示8位条目，即，指示输入位图数据的范围是8位。进一步地，在附图中示出的实例中，“output_depth”的值被设定为“2”，指示作为输出图形数据的YCrCb和T的元素的位深度是10位。
进一步地，在附图中示出的实例中，具有“1”的“CLUT_entry_id”的位图转换表(CLUT)的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)是(1，1，1，1)，表示对应于以上描述的情况(1)的位图转换表。
换言之，这个位图转换表(CLUT)可以在转换为位图数据之前的字幕图形数据的动态范围是“通过伽马的SDR”并且色域是“BT.709”的情况下、并且还在目标视频数据的动态范围是“通过伽马的SDR”并且色域是“BT.709”的情况下使用。
进一步地，在附图中示出的实例中，具有“2”的“CLUT_entry_id”的位图转换表(CLUT)的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)是(1，1，1，2)，表示对应于以上描述的情况(2)的位图转换表。
换言之，这个位图转换表(CLUT)可以在转换为位图数据之前的字幕图形数据的动态范围是“通过伽马的SDR”并且色域是“BT.709”的情况下、并且还在目标视频数据的动态范围是“通过伽马的SDR”并且色域是“BT.2020”的情况下使用。
进一步地，在附图中示出的实例中，具有“3”的“CLUT_entry_id”的位图转换表(CLUT)的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)是(1，1，3，2)，表示对应于以上描述的情况(3)的位图转换表。
换言之，这个位图转换表(CLUT)可以在转换为位图数据之前的字幕图形数据的动态范围是“通过伽马的SDR”并且色域是“BT.709”的情况下、并且还在目标视频数据的动态范围是“通过HLG的HDR”并且色域是“BT.2020”的情况下使用。
进一步地，在附图中示出的实例中，具有“4”的“CLUT_entry_id”的位图转换表(CLUT)的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)是(2，2，1，2)，表示对应于以上描述的情况(4)的位图转换表。
换言之，这个位图转换表(CLUT)可以在转换为位图数据之前的字幕图形数据的动态范围是“通过PQ的HDR”并且色域是“BT.2020”的情况下、并且还在目标视频数据的动态范围是“通过伽马的SDR”并且色域是“BT.2020”的情况下使用。
进一步地，在附图中示出的实例中，具有“5”的“CLUT_entry_id”的位图转换表(CLUT)的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)是(2，2，3，2)，表示对应于以上描述的情况(5)(HDR特性是不同的情况)的位图转换表。
换言之，这个位图转换表(CLUT)可以在转换为位图数据之前的字幕图形数据的动态范围是“通过PQ的HDR”并且色域是“BT.2020”的情况下、并且还在目标视频数据的动态范围是“通过HLG的HDR”并且色域是“BT.2020”的情况下使用。
图12的(a)示出了渲染引导片段的结构实例(语法)，并且图12的(b)示出了该结构实例中的主要信息的内容(语义)。1位字段的“rendering_conversion_guide”表示在字幕图形数据叠加在目标视频数据上的渲染时需要对视频调节色域或动态范围。例如，“1”指示通过从多个位图转换表中选择匹配的位图转换表可以进行转换，并且“0”表示其他。
8位字段的“bitmap_data_color_gamut_information”是表示转换为位图数据之前的字幕图形数据的色域并且具有由HEVC标准定义的语义的信息。8位字段的“bitmap_data_dynamic range_information”是表示转换为位图数据之前的字幕图形数据的动态范围并且具有由HEVC标准定义的语义的信息。
返回参考图2，***编码器105生成传输流TS，该传输流TS包含在视频编码器102中生成的视频流VS以及在字幕编码器104中生成的字幕流SS。发送部106通过广播波或网络数据包将这个传输流TS发送至接收装置200。
“传输流TS的配置实例”
图13示出了传输流TS的配置实例。在这个配置实例中，存在“视频PES1”，“视频PES1”是视频流的PES数据包并且由PID1标识。进一步地，在这个配置实例中，存在“字幕PES2”，“字幕PES2”是字幕流的PES数据包并且由PID2标识。
PES数据包包括PES报头和PES有效载荷。在视频流的PES数据包中，视频编码流被***PES有效载荷中。发送的视频数据的色域识别信息(color_primaries)和动态范围信息(transfer_characteristics)被***访问单元的SPS NAL单元的VUI的区域中。进一步地，除了诸如DDS、PCS、RCS、ODS和EDS等通常众所周知的片段之外，新限定的WC片段(WCS)和渲染引导片段(RGS)被***字幕流的PES数据包中。
进一步地，传输流TS包含节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述传输流中包含的每个基本流属于哪个节目的信息。描述与整个节目相关的信息的节目循环(Program loop)存在于PMT中。
进一步地，在PMT中，存在包括与每个基本流相关的信息的基本流循环。在这个配置实例中，存在对应于视频流的视频基本流循环(video ES loop)和对应于字幕流的字幕基本流循环(Subtitle ES loop)。
在视频基本流循环(video ES loop)中，为了对应于视频流，布置诸如流类型和数据包标识符(PID)的信息，并且还布置描述与该视频流相关的信息的描述符。例如，假设视频流的“Stream_type”的值被设定为表示HEVC视频流的值，并且PID信息表示赋予视频流的PES数据包“视频PES1”的PID1。
在字幕基本流循环(Subtitle ES loop)中，为了对应于字幕流，布置诸如流类型和数据包标识符(PID)的信息，并且还布置描述与该字幕流相关的信息的描述符。例如，假设字幕流的“Stream_type”的值被设定为表示专用流的值，并且PID信息表示赋予视频流的PES数据包“字幕PES2”的PID2。
将简单描述图2中示出的发送装置100的操作。视频数据SV被供应至视频编码器102。这个视频数据是SDR或HDR数据并且设置有SDR或HDR光电转换特性。
在视频编码器102中，对视频数据执行诸如MPEG4-AVC或HEVC的编码，并且生成包含编码的视频数据的视频流(PES流)VS。此时，诸如表示对应于视频数据的光电转换特性的光电转换特性的信息(transfer_function)或者表示视频数据的色域的信息(color_primaries)的元信息被***访问单元(AU)的SPS NAL单元的VUI的区域中。
进一步地，字幕图形数据被供应至转换部103。这个字幕图形数据是SDR或HDR数据并且设置有SDR或HDR光电转换特性。在转换部103中，字幕图形数据转换为位图数据。假设在接收侧上必要的一个或两个或更多个位图转换表的信息连同位图数据一起从转换部103输出。
在此，位图转换表是包含色域和/或亮度的转换信息的位图转换表。换言之，这个位图转换表不是简单地将位图数据转换为字幕图形数据而是将色域或亮度一起转换，以便与作为叠加目的地的视频数据的目标视频数据匹配。
已经从转换部103输出的位图数据和位图转换表信息被供应至字幕编码器104。在字幕编码器104中，位图数据和显示控制信息被转换为各个片段，并且生成包括PES数据包的字幕流SS，在PES数据包中，那些片段布置在其有效载荷中。
除了诸如DDS、PCS、RCS、ODS和EDS的通常众所周知的片段之外，各个片段还包括新限定的WC片段(参见图8至图10)和渲染引导片段(参见图12)。WC片段包含位图转换表的信息。进一步地，渲染引导片段包含转换为位图数据之前的字幕图形数据的特性信息，即，诸如色域或动态范围的信息的元信息。
在视频编码器105中生成的视频流VS被供应至***编码器105。在字幕编码器104中生成的字幕流SS被供应至***编码器105。在***编码器105中，生成包含视频流VS和字幕流SS的传输流TS。这个传输流TS通过广播波或网络数据包通过发送部106发送至接收装置200。
“接收装置的配置实例”
图14示出了接收装置200的配置实例。接收装置200包括控制部201、接收部202、***解码器203、视频解码器204、字幕解码器205、转换部206和视频叠加部207。进一步地，接收装置200包括YCbCr/RGB转换部212、电光转换部213、显示映射部214和CE监视器215。
控制部201包括中央处理单元(CPU)并且基于控制程序控制接收装置200的各个部分的操作。接收部202接收从发送装置100通过广播波或网络数据包发送的传输流TS。***解码器203从传输流TS提取视频流VS和字幕流SS。
视频解码器204对在***解码器203中提取的视频流VS执行解码处理并且获得目标视频数据。在这种情况下，至于目标视频数据，视情况而定，设想了不仅从发送侧发送的视频数据而且还有通过在其上执行色域或动态范围的转换处理而获得的视频数据。进一步地，视频解码器204提取被***形成视频流VS的每个访问单元中的参数集和SEI消息，并且将它们发送至控制部201。
字幕解码器205对在***解码器203中提取的字幕流SS执行解码处理并且获得位图数据以及预定数量(即一个或两个或更多个)的位图转换表的信息。在此，从以上描述的WC片段(参见图8至图10)获得预定数量的位图转换表的信息。进一步地，此时，转换为位图数据之前的字幕图形数据的特性信息，即，诸如色域或动态范围的信息的元信息从渲染引导片段(参见图12)提取并被发送至控制部201。
转换部206通过使用来自预定数量的位图转换表中的匹配的位图转换表将位图数据转换为字幕图形数据。在这种情况下，转换部206基于添加至每个位图转换表的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)(参见图8)确定匹配的位图转换表。
转换部206将以下位图转换表视为匹配的位图转换表，在匹配的位图转换表中，由“subtitle_dynamic_range_type”和“subtitle_color_gamut”表示的动态范围和色域与转换为位图数据之前的字幕图形数据的动态范围和色域一致，并且由“target_video_dynamic_range_type”和“target_video_color_gamut”表示的动态范围和色域与目标视频数据的动态范围和色域一致。
在这种情况下，从转换为位图数据之前的字幕图形数据的特性信息(色域或动态范围的信息)掌握转换为位图数据之前的字幕图形数据的动态范围和色域，如上所述，该特性信息从渲染引导片段(参见图12)提取。
图15示出了位图转换表的选择实例。附图中示出的实例是WC片段包含分别具有以上描述的图11的实例中示出的1至5的“CLUT_entry_id”的五个位图转换表(CLUT 1至5)的信息的情况的实例。进一步地，附图中示出的实例是在转换为位图数据之前的字幕图形数据的动态范围和色域分别是“通过伽马的SDR”和“BT.709”、以及目标视频数据的动态范围和色域分别是“通过HLG的HDR”和“BT.2020”的情况下的实例。在这种情况下，如图所示，CLUT 3被选定为匹配的位图转换表。
应注意，转换部206假设具有以上描述的图5中示出的第一转换功能301至第七转换功能307。当在WC片段中包含的位图转换表中不存在匹配的位图转换表时，转换部206通过使用来自第一转换功能301至第七转换功能307中的必要转换功能而不使用位图转换表，从位图数据生成具有与叠加目的地的目标视频数据的特性相匹配的特性的字幕图形数据。
返回参考图14，视频叠加部207在从视频解码器204输出的目标视频数据上叠加从转换部206输出的字幕图形数据。YCbCr/RGB转换部212将其上叠加了字幕图形数据的视频数据V1'从YCbCr(亮度/色差)域转换为RGB域。在这种情况下，YCbCr/RGB转换部212基于色域识别信息通过使用对应于色域的转换公式执行转换。
电光转换部213通过应用电光转换特性对转换为RGB域的视频数据V1'执行电光转换，并且获得用于显示图像的显示视频数据，该电光转换特性对应于应用至视频数据V1'的光电转换特性。显示映射部214对显示视频数据执行显示亮度调节，显示亮度调节对应于CE监视器215的最大亮度显示能力等。CE监视器215基于对其执行显示亮度调节的显示视频数据来显示图像。例如，CE监视器215包括液晶显示器(LCD)或者有机场致发光显示器(有机EL显示器)。
将简单描述图14中示出的接收装置200的操作。在接收部202中，接收从发送装置100通过广播波或网络数据包发送的传输流TS。传输流TS被供应至***解码器203。在***解码器203中，从传输流TS中提取视频流VS和字幕流SS。
在***解码器203中提取的视频流VS被供应至视频解码器204。在视频解码器204中，视频流VS经受解码处理，并且获得目标视频数据。在这种情况下，至于目标视频数据，视情况而定，设想了不仅从发送侧发送的视频数据而且还有通过在其上执行色域或动态范围的转换处理而获得的视频数据。
在***解码器203中提取的字幕流SS被供应至字幕解码器205。在字幕解码器205中，对字幕流SS执行解码处理，并且获得位图数据以及预定数量的位图转换表的信息。从WC片段获得预定数量的位图转换表的信息(参见图8至图10)。
进一步地，此时，转换为位图数据之前的字幕图形数据的特性信息(即，诸如色域或动态范围的信息的元信息)从渲染引导片段(参见图12)提取并被发送至控制部201。
在字幕解码器205中获得的位图数据以及预定数量的位图转换表的信息被供应至转换部206。在转换部206中，在控制部201的控制下，从预定数量的位图转换表中选择匹配的位图转换表。在转换部206中，基于添加至每个位图转换表的匹配特性信息(“subtitle_dynamic_range_type”、“subtitle_color_gamut”、“target_video_dynamic_range_type”、“target_video_color_gamut”)(参见图8)确定匹配的位图转换表。
在转换部206中，匹配的位图转换表然后用于将位图数据转换为字幕图形数据。因此转换的字幕图形数据的色域和动态范围与在视频解码器204中获得的目标视频数据的色域和动态范围匹配。
应注意，在转换部206中，当发送的位图转换表中不存在匹配的位图转换表时，通过接收侧的确定使用来自提供的第一转换功能301至第七转换功能307(参见图5)中的必要的转换功能，并且从位图数据生成具有与叠加目的地的目标视频数据的特性相匹配的特性的字幕图形数据。
在视频解码器204中获得的目标视频数据被供应至视频叠加部207。进一步地，在转换部206中获得的字幕图形数据被供应至视频叠加部207。在视频叠加部207中，在目标视频数据上叠加字幕图形数据。在这种情况下，字幕图形数据以预定比率与视频数据混合。本文中，混合比率基于T值。
在视频叠加部207中获得并且在其上叠加字幕图形数据的视频数据V1'在YCbCr/RGB转换部212中从YCbCr(亮度/色差)域转换为RGB域，并且被供应至电光转换部213。在电光转换部213中，通过应用电光转换特性对视频数据V1'执行电光转换并且获得用于显示图像的显示视频数据，该电光转换特性对应于应用至视频数据V1'的光电转换特性。
显示视频数据被供应至显示映射部214。在这个显示映射部214中，对显示视频数据执行显示亮度调节，显示亮度调节对应于CE监视器215的最大亮度显示能力等。因此对其执行了显示亮度调节的显示视频数据被供应至CE监视器215。在CE监视器215上，基于显示视频数据显示图像。
如上所述，在图1中示出的发送和接收***10中，从发送侧发送至接收侧的字幕流包括包含色域和/或亮度的转换信息的位图转换表。因此，接收侧可以通过使用位图转换表仅将位图数据转换为字幕图形数据而容易地获得具有与叠加目的地的目标视频数据的特性相匹配的特性的字幕图形数据。这使能够减轻接收侧上的处理负荷。
进一步地，在图1中示出的发送和接收***10中，转换为位图数据之前的字幕图形数据的特性信息被***从发送侧发送至接收侧的字幕流中。因此，接收侧可以容易地掌握转换为位图数据之前的字幕图形数据的特性。
<2.变形例>
应注意，在上述实施方式中，已经描述了其中容器是传输流(MPEG-2TS)的实例。然而，在本技术中，该传输不限于TS，并且也可以在例如ISOBMFF或MMT的另一个数据包的情况下通过相同的方法实现视频层。
进一步地，本技术可以具有以下配置。
(1)一种发送装置，包括：
视频编码器部，生成包括视频数据的视频流；
字幕编码器部，生成包括位图数据的字幕流，该位图数据通过转换字幕图形数据而获得；以及
发送部，发送包含视频流和字幕流的具有预定格式的容器，字幕流包括包含色域和/或亮度的转换信息的位图转换表。
(2)根据项(1)所述的发送装置，其中
字幕流包括各自包含彼此不同的转换信息的多个位图转换表。
(3)根据项(2)所述的发送装置，其中
多个位图转换表中的每一个另外包含字幕图形数据和目标视频数据的匹配特性信息。
(4)根据项(1)至(3)中任一项所述的发送装置，进一步包括
信息***部，将转换为位图数据之前的字幕图形数据的特性信息***到字幕流中。
(5)一种发送方法，包括：
视频编码步骤，通过视频编码器部生成包括视频数据的视频流；
字幕编码步骤，通过字幕编码器部生成包括位图数据的字幕流，该位图数据通过转换字幕图形数据而获得；以及
发送步骤，通过发送部发送包含视频流和字幕流的具有预定格式的容器，该字幕流包括包含色域和/或亮度的转换信息的位图转换表。
(6)一种接收装置，包括：
接收部，接收包含视频流和字幕流的具有预定格式的容器，该视频流包括视频数据，字幕流包括通过转换字幕图形数据获得的位图数据，字幕流包括包含色域和/或亮度的转换信息的位图转换表；以及
控制部，控制：解码视频流以获得目标视频数据的处理，解码字幕流以获得位图数据和位图转换表的处理，通过使用位图转换表将位图数据转换为字幕图形数据的处理，以及在目标视频数据上叠加字幕图形数据的处理。
(7)根据项(6)所述的接收装置，其中
字幕流包括各自包含彼此不同的转换信息的多个位图转换表，并且
在将位图数据转换为字幕图形数据的处理中，使用多个位图转换表中的与目标视频数据和转换为位图数据之前的字幕图形数据的特性匹配的位图转换表。
(8)根据项(7)所述的接收装置，其中
转换为位图数据之前的字幕图形数据的特性信息被***到字幕流中，并且
在将位图数据转换为字幕图形数据的处理中，基于被***到字幕流中的特性信息确定转换为位图数据之前的字幕图形数据的特性。
(9)根据项(6)至(8)中任一项所述的接收装置，其中
在将位图数据转换为字幕图形数据的处理中，当位图转换表与目标视频数据和转换为位图数据之前的字幕图形数据的特性不匹配时，在不使用位图转换表的情况下，位图数据被转换为具有与目标视频数据的特性匹配的特性的字幕图形数据。
(10)一种接收方法，包括：
接收步骤，通过接收部接收包含视频流和字幕流的具有预定格式的容器，该视频流包括视频数据，字幕流包括通过转换字幕图形数据而获得的位图数据，字幕流包括包含色域和/或亮度的转换信息的位图转换表；以及
控制步骤，由控制部控制：解码视频流以获得目标视频数据的处理，解码字幕流以获得位图数据和位图转换表的处理，通过使用位图转换表将位图数据转换为字幕图形数据的处理，以及在目标视频数据上叠加字幕图形数据的处理。
本技术的主要特征如下：从发送侧发送至接收侧的字幕流包括包含色域和/或亮度的转换信息的位图转换表，使得接收侧可以通过使用位图转换表仅将位图数据转换为字幕图形数据而容易地获得具有与叠加目的地的目标视频数据的特性匹配的特性的字幕图形数据，并且这使能够减轻接收侧上的处理负荷(参见图2、图8和图9)。
参考符号列表
10 发送和接收***
100 发送装置
101 控制部
102 视频编码器
103 转换部
104 字幕编码器
105 ***编码器
106 发送部
200 接收装置
201 控制部
202 接收部
203 ***解码器
204 视频解码器
205 字幕解码器
206 转换部
207 视频叠加部
212YCbCr/RGB转换部
213 电光转换部
214 显示映射部
215CE监视器。

Claims (9)

1.一种发送装置，包括：
视频编码器部，被配置为生成包括视频数据的视频流；
字幕编码器部，被配置为生成包括位图数据的字幕流，所述位图数据通过转换字幕图形数据而获得；以及
发送部，被配置为发送包含所述视频流和所述字幕流的具有预定格式的容器，所述字幕流包括位图转换表，所述位图转换表包含用于将所述字幕图形数据的色域和/或亮度转换成目标视频数据的色域和/或亮度的转换信息，以使接收装置能够将所述字幕图形数据的色域和/或亮度与所述目标视频数据的色域和/或亮度进行匹配，
其中，所述字幕流包括各自包含彼此不同的转换信息的多个位图转换表，
其中，多个所述位图转换表中的每一个另外包含所述字幕图形数据和所述目标视频数据的匹配特性信息，所述匹配特性信息指示转换为所述位图数据之前的所述字幕图形数据的色域和/或亮度以及所述目标视频数据的色域和/或亮度。
2.一种发送方法，包括：
视频编码步骤，通过视频编码器部生成包括视频数据的视频流；
字幕编码步骤，通过字幕编码器部生成包括位图数据的字幕流，所述位图数据通过转换字幕图形数据而获得；以及
发送步骤，通过发送部发送包含所述视频流和所述字幕流的具有预定格式的容器，所述字幕流包括位图转换表，所述位图转换表包含用于将所述字幕图形数据的色域和/或亮度转换成目标视频数据的色域和/或亮度的转换信息，以使接收装置能够将所述字幕图形数据的色域和/或亮度与所述目标视频数据的色域和/或亮度进行匹配，
其中，所述字幕流包括各自包含彼此不同的转换信息的多个位图转换表，
其中，多个所述位图转换表中的每一个另外包含所述字幕图形数据和所述目标视频数据的匹配特性信息，所述匹配特性信息指示转换为所述位图数据之前的所述字幕图形数据的色域和/或亮度以及所述目标视频数据的色域和/或亮度。
3.一种接收装置，包括：
接收部，接收包含视频流和字幕流的具有预定格式的容器，所述视频流包括视频数据，所述字幕流包括通过转换字幕图形数据而获得的位图数据，所述字幕流包括位图转换表，所述位图转换表包含用于将所述字幕图形数据的色域和/或亮度转换成目标视频数据的色域和/或亮度的转换信息；以及
控制部，控制：解码所述视频流以获得所述目标视频数据的处理，解码所述字幕流以获得所述位图数据和所述位图转换表的处理，通过使用所述位图转换表将所述位图数据转换为所述字幕图形数据，以用于使所述字幕图形数据的色域和/或亮度与所述目标视频数据的色域和/或亮度匹配的处理，以及在所述目标视频数据上叠加所述字幕图形数据的处理，
其中，所述字幕流包括各自包含彼此不同的转换信息的多个位图转换表，
其中，多个所述位图转换表中的每一个另外包含所述字幕图形数据和所述目标视频数据的匹配特性信息，所述匹配特性信息指示转换为所述位图数据之前的所述字幕图形数据的色域和/或亮度以及所述目标视频数据的色域和/或亮度，并且
其中，在将所述位图数据转换为所述字幕图形数据的处理中，使用所述多个位图转换表中展现与转换为所述位图数据之前的所述字幕图形数据的特性和所述目标视频数据的特性匹配的匹配特性信息的位图转换表，转换为所述位图数据之前的所述字幕图形数据的特性和所述目标视频数据的特性指示转换为所述位图数据之前的所述字幕图形数据的色域和/或亮度和所述目标视频数据的色域和/或亮度。
4.根据权利要求3所述的接收装置，其中，
在将所述位图数据转换为所述字幕图形数据的处理中，当所述位图转换表与所述目标视频数据和转换为所述位图数据之前的所述字幕图形数据的特性不匹配时，在不使用所述位图转换表的情况下，所述位图数据被转换为具有与所述目标视频数据的特性匹配的特性的字幕图形数据。
5.根据权利要求3或4所述的接收装置，其中，所述接收装置包括监视器。
6.根据权利要求5所述的接收装置，其中，所述接收装置被配置为在所述监视器上显示基于所述目标视频数据的图像。
7.一种接收方法，包括：
接收步骤，由接收部接收包含视频流和字幕流的具有预定格式的容器，所述视频流包括视频数据，所述字幕流包括通过转换字幕图形数据而获得的位图数据，所述字幕流包括位图转换表，所述位图转换表包含用于将所述字幕图形数据的色域和/或亮度转换成目标视频数据的色域和/或亮度的转换信息；以及
控制步骤，由控制部控制：解码所述视频流以获得所述目标视频数据的处理，解码所述字幕流以获得所述位图数据和所述位图转换表的处理，通过使用所述位图转换表将所述位图数据转换为所述字幕图形数据，以用于使所述字幕图形数据的色域和/或亮度与所述目标视频数据的色域和/或亮度匹配的处理，以及在所述目标视频数据上叠加所述字幕图形数据的处理，
其中，所述字幕流包括各自包含彼此不同的转换信息的多个位图转换表，
其中，多个所述位图转换表中的每一个另外包含所述字幕图形数据和所述目标视频数据的匹配特性信息，所述匹配特性信息指示转换为所述位图数据之前的所述字幕图形数据的色域和/或亮度以及所述目标视频数据的色域和/或亮度，并且
其中，在将所述位图数据转换为所述字幕图形数据的控制处理的控制步骤中，使用所述多个位图转换表中展现与转换为所述位图数据之前的所述字幕图形数据的特性和所述目标视频数据的特性匹配的匹配特性信息的位图转换表，转换为所述位图数据之前的所述字幕图形数据的特性和所述目标视频数据的特性指示转换为所述位图数据之前的所述字幕图形数据的色域和/或亮度和所述目标视频数据的色域和/或亮度。
8.根据权利要求7所述的接收方法，其中，
在将所述位图数据转换为所述字幕图形数据的处理中，当所述位图转换表与所述目标视频数据和转换为所述位图数据之前的所述字幕图形数据的特性不匹配时，在不使用所述位图转换表的情况下，所述位图数据被转换为具有与所述目标视频数据的特性匹配的特性的字幕图形数据。
9.根据权利要求7或8所述的接收方法，其中，所述方法包括显示基于所述目标视频数据的图像。
CN201780004323.XA 2016-10-11 2017-09-28 发送装置、发送方法、接收装置以及接收方法 Active CN108370451B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016200179 2016-10-11
JP2016-200179 2016-10-11
PCT/JP2017/035162 WO2018070255A1 (ja) 2016-10-11 2017-09-28 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108370451A CN108370451A (zh) 2018-08-03
CN108370451B true CN108370451B (zh) 2021-10-01

Family

ID=61905419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004323.XA Active CN108370451B (zh) 2016-10-11 2017-09-28 发送装置、发送方法、接收装置以及接收方法

Country Status (5)

Country Link
US (2) US10757361B2 (zh)
EP (2) EP3386201B1 (zh)
JP (1) JP7113746B2 (zh)
CN (1) CN108370451B (zh)
WO (1) WO2018070255A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370451B (zh) 2016-10-11 2021-10-01 索尼公司 发送装置、发送方法、接收装置以及接收方法
US10382834B2 (en) * 2016-11-22 2019-08-13 Sony Corporation Transmission device, transmission method, receiving device, and receiving method
WO2021202391A1 (en) * 2020-03-30 2021-10-07 Bytedance Inc. High level syntax in picture header
CN112235521B (zh) * 2020-09-29 2023-03-10 东软集团股份有限公司 一种实现字幕转换的方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661467B1 (en) * 1994-12-14 2003-12-09 Koninklijke Philips Electronics N.V. Subtitling transmission system
CN1879403A (zh) * 2003-11-10 2006-12-13 皇家飞利浦电子股份有限公司 基于周围的视频内容适配闭路字幕文字
JP2009147580A (ja) * 2007-12-13 2009-07-02 Sony Corp 情報処理装置および方法、プログラム、並びに情報処理システム
CN101822044A (zh) * 2007-10-10 2010-09-01 松下电器产业株式会社 影像/声音记录再现装置
CN101917557A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于视频内容的动态添加字幕方法
CN102483858A (zh) * 2009-08-17 2012-05-30 三星电子株式会社 用于处理用于附加数据的三维再现的信号的方法和设备
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
EP3022935A1 (en) * 2013-07-19 2016-05-25 Koninklijke Philips N.V. Hdr metadata transport
WO2016132976A1 (ja) * 2015-02-17 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7002605B1 (en) * 2000-07-03 2006-02-21 Alps Electric Co., Ltd. Image display apparatus for fixing luminance of blank area and varying only luminance of image
CN100401750C (zh) 2004-01-12 2008-07-09 松下电器产业株式会社 字幕编码装置
KR100725248B1 (ko) 2005-08-25 2007-06-04 주식회사 한국스테노 시각장애인용 속기입력장치 및 방법
JP4958713B2 (ja) 2007-10-04 2012-06-20 キヤノン株式会社 動画像符号化装置及びその制御方法
US7925081B2 (en) 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
JP2011030180A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
RU2605435C2 (ru) * 2011-06-14 2016-12-20 Конинклейке Филипс Н.В. Графическая обработка для видео с расширенным динамическим диапазоном
JP2013066075A (ja) 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
DK177954B1 (en) 2013-07-04 2015-02-02 Jasopels As Apparatus for processing of pelts having helical scraping rollers
CN105981391B (zh) * 2014-02-07 2020-04-10 索尼公司 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
JP2016048891A (ja) * 2014-08-28 2016-04-07 株式会社東芝 画像処理システム及び装置ならびに画像処理方法
US10542304B2 (en) 2015-02-03 2020-01-21 Sony Corporation Transmission device, transmission method, reception device, and reception method
US10595099B2 (en) * 2015-04-05 2020-03-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle
CN108370451B (zh) 2016-10-11 2021-10-01 索尼公司 发送装置、发送方法、接收装置以及接收方法
US10382834B2 (en) * 2016-11-22 2019-08-13 Sony Corporation Transmission device, transmission method, receiving device, and receiving method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661467B1 (en) * 1994-12-14 2003-12-09 Koninklijke Philips Electronics N.V. Subtitling transmission system
CN1879403A (zh) * 2003-11-10 2006-12-13 皇家飞利浦电子股份有限公司 基于周围的视频内容适配闭路字幕文字
CN101822044A (zh) * 2007-10-10 2010-09-01 松下电器产业株式会社 影像/声音记录再现装置
JP2009147580A (ja) * 2007-12-13 2009-07-02 Sony Corp 情報処理装置および方法、プログラム、並びに情報処理システム
CN102483858A (zh) * 2009-08-17 2012-05-30 三星电子株式会社 用于处理用于附加数据的三维再现的信号的方法和设备
CN101917557A (zh) * 2010-08-10 2010-12-15 浙江大学 一种基于视频内容的动态添加字幕方法
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3022935A1 (en) * 2013-07-19 2016-05-25 Koninklijke Philips N.V. Hdr metadata transport
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
WO2016132976A1 (ja) * 2015-02-17 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20200358980A1 (en) 2020-11-12
US20190281253A1 (en) 2019-09-12
EP3783902A1 (en) 2021-02-24
US10757361B2 (en) 2020-08-25
CN108370451A (zh) 2018-08-03
EP3386201B1 (en) 2020-11-04
EP3386201A1 (en) 2018-10-10
US11317055B2 (en) 2022-04-26
WO2018070255A1 (ja) 2018-04-19
JP7113746B2 (ja) 2022-08-05
EP3386201A4 (en) 2018-12-05
JPWO2018070255A1 (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US20230104968A1 (en) Transmitting device, transmitting method, receiving device, and receiving method
US10542304B2 (en) Transmission device, transmission method, reception device, and reception method
US11627367B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
US11317055B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US11057547B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
US11330303B2 (en) Transmission device, transmission method, reception device, and reception method
US20190335211A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN107667536B (zh) 接收装置、接收方法、传输装置和传输方法
US11317170B2 (en) Transmission device, transmission method, reception device, and reception method
JP7195925B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant