具体实施方式
在后文中,描述实现本技术的模式。按照以下顺序提供描述。
1、记录/再现***
2、HEVC
3、BD格式
4、每个装置的配置
5、每个装置的操作
6、修改
7、在再现装置侧上调节亮度的示例性情况
8、到HDMI的示例性应用
9、其他修改
<1、记录/再现***>
图1是示出根据本技术的一个实施方式的记录/再现***的示例性配置的示图。
在图1中的记录/再现***包括记录装置1、再现装置2以及显示装置3。再现装置2和显示装置3通过高清晰度多媒体接口(HDMI)(注册商标)电缆4彼此连接。再现装置2和显示装置3可以通过另一个标准的电缆彼此连接,或者可以通过无线电通信连接。
记录装置1记录内容,并且再现装置2再现内容。光盘11用于将记录装置1的内容提供给再现装置2。例如,光盘11是在其上通过蓝光(注册商标)光盘只读(BD-ROM)格式记录内容的光盘。
可以通过另一种格式,例如,BD-R或BD-RE格式,在光盘11上记录内容。而且,使用除了光盘以外的可移动媒体,例如,装有闪存的存储卡,可以将内容从记录装置1中提供给再现装置2。
在光盘11是BD-ROM光盘时,例如,记录装置1是由内容的创作者使用的装置。在后文中,虽然适当地提供了描述,假设将在其上通过记录装置1记录内容的光盘11提供给再现装置2,但是实际上,将作为是在其上通过记录装置1记录内容的主要光盘的副本的一个光盘的光盘11提供给再现装置2。
给记录装置1输入高动态范围(HDR)视频,该视频是具有等于或大于可以在具有标准亮度的显示器上显示的动态范围(亮度范围)的动态范围的视频。标准亮度是100cd/m2(=100尼特)。
记录装置1照原样在光盘11上记录输入的主要HDR视频,即,作为具有等于或大于可以在具有标准亮度的显示器上显示的动态范围的动态范围的视频。在这种情况下,在光盘11上记录表示主要HDR视频的亮度特征的信息以及在将HDR视频转换成STD视频时使用的信息。
标准视频(STD视频)是具有可以在具有标准亮度的显示器上显示的动态范围的视频。在STD视频的动态范围是0-100%,HDR视频的动态范围表示为0%到101%或更多的范围,例如,0-500%或0-1000%。
而且,在将输入的主要HDR视频转换成STD视频之后,即,在将输入的主要HDR视频转换成具有能够在具有标准亮度的显示器上显示的动态范围的视频时,记录装置1在光盘11上记录视频。在这种情况下,还在光盘11上记录表示主要HDR视频的亮度特征的信息以及在将STD视频转换成HDR视频时使用的信息。
记录装置1记录的HDR视频或者通过转换HDR视频获得的STD视频是具有所谓的4K分辨率的视频,其中,水平/垂直分辨率是4096/2160像素、3840/2160像素等。例如,在通过记录装置1编码视频数据时,使用高效视频编码(HEVC)。
将表示主要HDR视频的亮度特征的信息以及在将HDR视频转换成STD视频时或者在将STD视频转换成HDR视频时使用的信息***HEVC的编码数据内,作为补充增强信息(SEI)。在光盘11上通过BD格式记录作为***SEI的HEVC的编码数据的HEVC流。
再现装置2通过HDMI电缆4与显示装置3通信,并且获取与显示装置3的显示性能相关的信息。再现装置2规定显示装置3是否是具有HDR显示器的装置,该显示器是能够显示HDR视频的显示器,或者规定显示装置3是否是具有STD显示器的装置,该显示器是可以仅仅显示STD视频的显示器。
而且,再现装置2驱动驱动器并且读出和解码在光盘11上记录的HEVC流。
例如,在通过解码获得的视频数据是HDR视频的数据时,并且在显示装置3包括HDR显示器时,再现装置2给显示装置3输出通过解码HEVC流所获得的HDR视频的数据。在这种情况下,再现装置2给显示装置3输出表示主要HDR视频的亮度特征的信息以及HDR视频的数据。
另一方面,在通过解码获得的视频数据是HDR视频的数据时,并且在显示装置3包括STD显示器时,再现装置2将通过解码HEVC流所获得的HDR视频转换成STD视频,并且输出STD视频的数据。使用在光盘11上记录的并且在将HDR视频转换成STD视频时所使用的信息,执行HDR视频或STD视频的转换。
在通过解码获得的视频数据是STD视频的数据时,并且在显示装置3包括STD显示器时,再现装置2将通过解码HEVC流所获得的STD视频转换成HDR视频,并且给显示装置3输出HDR视频的数据。使用在光盘11上记录的并且在将STD视频转换成HDR视频时所使用的信息,执行STD视频或HDR视频的转换。
另一方面,在通过解码获得的视频数据是STD视频的数据时,并且在显示装置3包括STD显示器时,再现装置2给显示装置3输出通过解码HEVC流所获得的STD视频。
显示装置3接收从再现装置2中传输的视频数据,并且在显示器上显示内容图像。还从再现装置2中传输内容的音频数据。根据从再现装置2中传输的音频数据,显示装置3从扬声器中输出内容的音频。
例如,在表示主要HDR视频的亮度特征的信息和视频数据一起传输时,显示装置3认识到,从再现装置2中传输的视频数据是HDR视频的数据。如上所述,表示主要HDR视频的亮度特征的信息和HDR视频一起传输给包括HDR显示器的显示装置3。
在这种情况下,显示装置3根据由表示主要HDR视频的亮度特征的信息的特征,显示HDR视频的图像。换言之,在包含在显示装置3内的显示器是具有动态范围0-500%的显示器时,并且在HDR视频的动态范围表示为具有表示主要HDR视频的亮度特征的信息的0-500%的预定特征时,然后,根据预定的特征,显示装置3在调节在0-500%范围内的亮度的同时,显示图像。
由于能够指定主要HDR视频的亮度特征,所以内容的创作者能够通过预期的亮度显示图像。
通常,显示装置(例如,TV)识别从外面输入的视频,作为具有动态范围0-100%的视频。而且,在显示装置的显示器具有比输入的视频更宽的动态范围时,显示装置显示图像,同时根据显示器的特征,不利地扩展亮度。通过指定亮度特征并且通过根据指定的特征调节HDR视频的亮度,可以防止在显示装置侧上执行创作者非预期的亮度的调节。
而且,根据传输线的特征,在转换亮度之后,在显示装置(例如,TV)上输出视频的再现装置通常输出视频。根据显示器的特征,在转换所接收的视频的亮度之后,接收了视频的显示装置显示图像。由于不在再现装置2中转换亮度,并且由于照原样在显示装置3上输出再现装置2的HDR视频,所以亮度转换数可以减少,并且可以在显示装置3上显示具有更接近主装置的亮度的图像。
同时,在从再现装置2中传输的视频数据是STD视频的数据时,显示装置3显示STD视频的图像。从再现装置2中传输的STD视频表示显示装置3是包括STD显示器的装置。
在后文中,在光盘11上照原样记录主要HDR视频的模式适当地称为模式-i。在模式-i中,在光盘11上记录表示主要HDR视频的亮度特征的信息以及在将HDR视频转换成STD视频时使用的信息。
而且,在转换成STD视频之后在光盘11上记录主要HDR视频的模式称为模式-ii。在模式-ii中,在光盘11上记录表示主要HDR视频的亮度特征的信息以及在将STD视频转换成HDR视频时使用的信息。
【在模式-i中的信号处理】
图2是示出在模式-i中的信号处理的实例的示图。
在通过包围实线L1所显示的在左边的处理表示在记录装置1内执行的编码处理,并且在通过包围实线L2所显示的在右边的处理表示在再现装置2内执行的解码处理。
在输入主要HDR视频时,记录装置1检测主要HDR视频的亮度,并且如在箭头#1的端部所示,生成作为表示主要HDR视频的亮度特征的信息的HDR信息。而且,如在箭头#2的端部所示,记录装置1在主要HDR视频上通过HEVC进行编码。
如在箭头#3的端部所示,记录装置1将主要HDR视频转换成STD视频。在显示器(未显示)上显示通过转换所获得的STD视频的图像。适当地执行HDR视频到STD视频的转换,而在转换之后,创作者在视觉上检查STD视频的图像,同时调节转换参数。
如在箭头#4的端部所示,根据创作者执行的调节,记录装置1生成在将HDR视频转换成STD视频时所使用的HDR-STD转换的色调映射定义信息。
色调映射定义信息是限定在表示动态范围0-400%等(即,比标准动态范围更宽的动态范围)的亮度的每个像素值与表示作为标准动态范围的0-100%的动态范围的亮度的每个像素值之间的相关性的信息。
如在箭头#5的端部所示,通过将HDR信息以及色调映射定义信息作为SEI***HEVC的编码数据内,记录装置1生成HEVC流。记录装置1通过BD格式在光盘11上记录所生成的HEVC流,并且如在箭头#11的端部所示,给再现装置2提供HEVC流。
如上所述,通过使用HEVC的SEI***流内的形式,将表示主要HDR视频的亮度特征的信息以及在将HDR视频转换成STD视频时使用的信息提供给再现装置2。
再现装置2从光盘11中读出HEVC流,并且如在箭头#21和#22的端部所示,从HEVC流的SEI中提取HDR信息和色调映射定义信息。
而且,如在箭头#23的端部所示,再现装置2解码HEVC的编码数据。如在箭头#24的端部所示,在显示装置3包括HDR显示器时,再现装置2将HDR信息加入通过解码编码数据所获得的HDR视频的数据中,并且如在箭头#25的端部所示,将数据输出给显示装置3。
另一方面,如在箭头#26的端部所示,在显示装置3包括STD显示器时,通过使用从HEVC流中提取的HDR-STD转换的色调映射定义信息,再现装置2将通过解码所述编码数据所获得的HDR信息转换成STD视频。如在箭头#27的端部所示,再现装置2将通过转换获得的STD视频的数据输出给显示装置3。
如上所述,将通过解码HEVC的编码数据所获得的HDR视频数据与HDR信息一起输出给包括HDR显示器的显示装置3。而且,在转换成STD视频之后,将通过解码HEVC的编码数据所获得的HDR视频数据输出给包括STD显示器的显示装置3。
图3是示出从在将主要HDR视频输入给记录装置1时开始的工艺的流程的示图,直到从再现装置2中输出视频数据。
如在箭头#51的端部所示,将主要HDR视频以及根据主要HDR视频在记录装置1内生成的HDR信息和HDR-STD转换的色调映射定义信息提供给再现装置2。例如,表示动态范围扩展为0-400%的信息包含在HDR信息内。
在显示装置3包括HDR显示器时,如在箭头#52和#53的端部所示,在再现装置2中,将HDR信息加入通过解码HEVC的编码数据所获得的HDR视频数据中。而且,如在箭头#54的端部所示,将HDR信息加入其中的HDR视频数据输出给显示装置3。
另一方面,在显示装置3包括STD显示器时,如在箭头#55和#56的端部所示,在再现装置2中,通过使用HDR-STD转换的色调映射定义信息,将通过解码HEVC的编码数据所获得的HDR视频转换成STD视频。而且,如在箭头#57的端部所示,将通过转换所获得的STD视频数据输出给显示装置3。在图3中,表示HDR视频的波形幅度和表示STD视频的波形幅度均表示动态范围。
如上所述,在模式-i中,在光盘11上照原样记录主要HDR视频。而且,根据用作输出目的地的显示装置3的性能,在加入HDR信息之后照原样输出通过解码所述编码数据所获得的HDR视频与在转换成STD视频之后输出HDR视频之间可以进行切换。
【在模式-ii中的信号处理】
图4是示出在模式-ii中的信号处理的实例的示图。
在输入主要HDR视频时,记录装置1检测主要HDR视频的亮度,并且如在箭头#71的端部所示,生成HDR信息。
如在箭头#72的端部所示,记录装置1将主要HDR视频转换成STD视频。在显示器(未显示)上显示通过转换所获得的STD视频的图像。
如在箭头#73的端部所示,根据创作者执行的调节,记录装置1生成在将STD视频转换成HDR视频时所使用的STD-HDR转换的色调映射定义信息。
而且,如在箭头#74的端部所示,记录装置1通过HEVC在通过转换主要HDR视频所获得的STD视频上执行编码。
如在箭头#75的端部所示,通过将HDR信息以及色调映射定义信息作为SEI***HEVC的编码数据内,记录装置1生成HEVC流。记录装置1通过BD格式在光盘11上记录所生成的HEVC流,并且如在箭头#91的端部所示,给再现装置2提供HEVC流。
再现装置2从光盘11中读出HEVC流,并且如在箭头#101和#102的端部所示,从HEVC流的SEI中提取HDR信息和色调映射定义信息。
而且,如在箭头#103的端部所示,再现装置2解码HEVC的编码数据。如在箭头#104的端部所示,在显示装置3包括STD显示器时,再现装置2给显示装置3输出通过解码编码数据所获得的STD视频数据。
另一方面,如在箭头#105的端部所示,在显示装置3包括HDR显示器时,通过使用从HEVC流中提取的STD-HDR转换的色调映射定义信息,再现装置2将通过解码所述编码数据所获得的STD信息转换成HDR视频。如在箭头#106的端部所示,再现装置2将HDR信息加入通过转换所获得的HDR视频的数据中,并且如在箭头#107的端部所示,将数据输出给显示装置3。
如上所述,在转换成HDR视频之后,将通过解码HEVC的编码数据所获得的HDR视频数据与HDR信息一起输出给包括HDR显示器的显示装置3。而且,将通过解码HEVC的编码数据所获得的STD视频数据输出给包括STD显示器的显示装置3。
图5是示出从在将主要HDR视频输入给记录装置1时开始的工艺的流程的示图,直到从再现装置2中输出视频数据。
如在箭头#121的端部所示,在转换成STD视频之后,将主要HDR视频以及根据主要HDR视频在记录装置1内生成的HDR信息和STD-HDR转换的色调映射定义信息提供给再现装置2。
在显示装置3包括HDR显示器时,如在箭头#122和#123的端部所示,在再现装置2中,通过使用STD-HDR转换的色调映射定义信息,将通过解码HEVC的编码数据所获得的STD视频转换成HDR视频。而且,如在箭头#124和#125的端部所示,将HDR信息加入通过转换STD视频所获得的HDR视频的数据中,并且如在箭头#126的端部所示,将数据输出给显示装置3。
另一方面,在显示装置3包括STD显示器时,如在箭头#127的端部所示,在再现装置2中,将通过解码HEVC的编码数据所获得的STD视频数据输出给显示装置3。
如上所述,在模式-ii中,主要HDR视频转换成STD视频,并且记录在光盘11上。而且,根据用作输出目的地的显示装置3的性能,在将STD视频转换成HDR视频并且加入HDR信息之后输出通过解码所述编码数据所获得的STD视频与照原样输出STD视频之间进行切换。
稍后,描述这种记录装置1和再现装置2的详细配置和操作。
<2、HEVC>
在本文中,提供HEVC的描述。
图6是示出HEVC的访问单元的配置的示图;
HEVC流由访问单元配置,该访问单元是一组网络抽象层(NAL)单元。在单个访问单元内包括单个图片的视频数据。
如在图6中所示,单个访问单元由访问单元限定器(AU限定器)、视频参数组(VPS)、序列参数组(SPS)、图片参数组(PPS)、SEI、视频编码层(VCL)、序列端部(EOS)以及流端部(EOS)配置。
AU限定器表示访问单元的头部。VPS包括表示位流的内容的元数据。SPS包括通过序列的解码处理的HEVC解码器需要参考的图片尺寸、编码树块体(CTB)储存等信息。PPS包括需要参考的信息,以便HEVC解码器执行图片的解码处理。VPS、SPS以及PPS用作报头信息。
SEI是辅助信息,其包括与时间信息以及每个图片的随机访问相关的信息等。HDR信息和色调映射定义信息包含在作为一个SEI的色调映射信息内。VCL是单个图片的数据。序列端部(EOS)表示序列的端部位置,并且流端部(EOS)表示流的端部位置。
图7是示出色调映射信息的语法的示图。
通过使用色调影视信息,根据用作图片的输出目的地的显示器的性能,转换通过解码获得的图片的颜色。要注意的是,为了方便描述,描述在图7中的左边的行数和冒号(:),并且所述行数和冒号(:)并非包含在色调映射信息内的信息。描述包含在色调映射信息内的主要信息。
在第二行的Tone_map_id是色调映射信息的识别信息。色调映射信息的对象由Tone_map_id识别。
例如,确保模式-i的ID和模式-ii的ID。在记录模式是模式-i时,在***HDR视频的编码数据的SEI内的色调映射信息的tone_map_id中,设置模式-i的ID。而且,在记录模式是模式-ii时,在***STD视频的编码数据的SEI内的色调映射信息的tone_map_id中,设置模式-ii的ID。在光盘11中,在tone_map_id中,设置在模式-i的ID和模式-ii的ID之中的任一个ID。
在第8行的Tone_map_model_id表示用于转换编码数据的色调映射的模型。
在记录装置1内,生成将0、2以及3中的任一个设置为tone_map_model_id的值的单个色调映射信息以及将4设置为tone_map_model_id的值的单个色调映射信息。
如在图8中所示,将值0、2以及3中的任一个设置为tone_map_model_id的色调映射信息用作用于HDR-STD转换或者用于STD-HDR转换的色调映射定义信息。而且,包含在将4设置为tone_map_model_id的值的色调映射信息内的信息用作HDR信息。
在图7中的行9到11是与tone_map_model_id=0相关的描述。在tone_map_model_id=0时,描述min_value和max_value。
图9是示出通过tone_map_model_id=0的色调映射信息绘制的色调曲线的实例的示图。
在图9中的横坐标轴表示coded_data(在转换之前的RGB值)并且纵坐标轴表示target_data(在转换之后的RGB值)。在使用在图9中的色调曲线时,如空心箭头#151所示,等于或低于coded_dataD1的RGB值转换成由min_value表示的RGB值。而且,如空心箭头#152所示,等于或高于coded_dataD2的RGB值转换成由max_value表示的RGB值。
tone_map_model_id=0的色调映射信息用作HDR-STD转换的色调映射定义信息。在使用tone_map_model_id=0的色调映射信息时,失去等于或高于max_value以及等于或低于min_value的亮度(由RGB值表示的亮度);然而,在转换处理上的负荷变得更轻。
在图7中的行15到17是与tone_map_model_id=2相关的描述。在tone_map_model_id=2绘制了阶梯函数,并且描述了与max_target_data数相同的start_of_coded_interval[i]数。
图10是示出通过tone_map_model_id=2的色调映射信息绘制的阶梯函数的实例的示图。
在使用在图10中的阶梯函数时,例如,coded_data=5转换成target_data=3。在start_of_coded_interval[i]是{1,3,4,5,5,5,7,7...}时,coded_data-target_data的转换表表示为{0,1,1,2,3,5,5...}。
tone_map_model_id=2的色调映射信息用作用于STD-HDR转换或者用于HDR-STD转换的色调映射定义信息。由于tone_map_model_id=2的色调映射信息的数据量较大,所以在创建tone_map_model_id=2时,需要与转换表进行卷积;然而,在转换处理上的负荷较轻。
在图7中的行18到23是与tone_map_model_id=3相关的描述。在tone_map_model_id=3时,描述coded_pivot_value[i]和target_pivot_value[i],其数量由num_pivots表示。
图11是示出通过tone_map_model_id=3的色调映射信息绘制的折线函数的实例的示图。
在使用在图11中的折线函数时,例如,coded_data=D11转换成target_data=D11'并且coded_data=D12转换成target_data=D12'。tone_map_model_id=3的色调映射信息用作用于STD-HDR转换或者用于HDR-STD转换的色调映射定义信息。
如上所述,将值0、2以及3中的任一个设置为tone_map_model_id的色调映射信息用作用于STD-HDR转换或者用于HDR-STD转换的色调映射定义信息,并且从记录装置1中传输给再现装置2。
在图7中的行24到39是与tone_map_model_id=4相关的描述。在与tone_map_model_id=4相关的信息之中,ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value以及extended_white_level_code_value是配置HDR信息的参数。
图12是示出包含在HDR信息内的每块信息的实例的示图。
在图12中的横坐标轴表示RGB的像素值。在位长度是10位时,每个像素值是在0-1023的范围内的值。在图12中的纵坐标轴表示亮度。曲线L11表示在像素值与具有标准亮度的显示器的亮度之间的关系。具有标准亮度的显示器的动态范围是0-100%。
ref_screen_luminance_white表示作为标准的显示器的亮度(cd/m2)。extended_range_white_level表示在扩展之后的动态范围的亮度的最大值。在图12的情况下,400设置为extended_range_white_level的值。
在具有标准亮度的显示器中,nominal_black_level_code_value表示黑色(亮度0%)的像素值,并且nominal_white_level_code_value表示白色(亮度100%)的像素值。extended_white_level_code值表示在扩展之后在动态范围内的白色的像素值。
在图12的情况下,如空心箭头#161所示,根据值extended_range_white_level,动态范围0-100%扩展为动态范围0-400%。而且,对应于400%的亮度的像素值由extended_white_level_code_value表示。
HDR视频的亮度特征由曲线L12表示,其中,值nominal_black_level_code_value、nominal_white_level_code_value以及extended_white_level_code_value分别是0%、100%以及400%。
如上所述,通过将4设置为值tone_map_model_id的色调映射信息,表示主要HDR视频的亮度特征,并且将其从记录装置1中传输给再现装置2。
<3、BD格式>
在此处,提供BD-ROM格式的描述。
【数据管理结构】
图13是示出具有BD-ROM格式的AV流的管理结构的实例的示图。
使用两层(例如,播放列表(Playlist)和剪辑(Clip)),执行AV流(包括HEVC流)的管理。在某些情况下,AV流可以不仅记录在光盘11上,而且记录在再现装置2的局部存储器内。
管理一对单个AV流和剪辑信息,作为与AV流相关的信息。一对单个AV流和剪辑信息称为剪辑。
在时间轴上开发AV流,并且主要通过时间戳在播放列表内指定每个剪辑的访问点。例如,剪辑信息用于找出在AV流开始解码的地址。
播放列表是AV流的一组再现部分。在AV流内的单个再现部分称为播放项目。播放项目在时间轴上由在再现部分内的一对IN点和OUT点表示。如图13中所示,播放列表由单个或多个播放项目配置。
在图13中的左边的第一个播放列表配置有两个播放项目,并且通过两个播放项目,参照在左边包含在剪辑内的AV流的前部分和后部分。
左边的第二个播放列表配置有单个播放项目,并且通过播放项目,参照在右边包含在剪辑内的整个AV流。
左边的第三个播放列表配置有两个播放项目,并且通过两个播放项目,参照在左边包含在剪辑内的AV流的某个部分以及在右边包含在剪辑内的AV流的某个部分。
例如,包含在左边的第一个播放列表内的在左边的播放项目表示为由磁盘导航节目再现的目标时,执行播放项目所参考的在左边包含在剪辑内的AV流的前部分的再现。如上所述,播放列表用作再现管理信息,用于管理AV流的再现。
在播放列表中,由一行一个或多个播放项目(Playitem)构成的再现路径称为MainPath(主路径)。而且,在播放列表中,与MainPath平行运行的并且由一行一个或多个SubPlayItem(子播放项目)构成的再现路径称为SubPath(子路径)。
图14是示出MainPath和SubPath的结构的示图。
播放列表包括单个MainPath和一个或多个SubPath。在图14中的播放列表由一行三个播放项目构成,包括单个MainPath和三个SubPath。
配置MainPath的播放项目均按照从顶部开始的顺序设置有ID。SubPath也按照从顶部开始的顺序设置有ID,即,Subpath_id=0、Subpath_id=1以及Subpath_id=2。
在图14中的实例中,单个SubPlayItem包含在SubPath_id=0的SubPath内,并且两个SubPlayItem包含在SubPath_id=1的SubPath内。而且,单个SubPlayItem包含在SubPath_id=2的SubPath内。
单个播放项目参照的AV流至少包括视频流(主要图像数据)。AV流可以包括与包含在AV流内的视频流同时(同步)再现的一个或多个音频流,或者可以不包括任何音频流。
AV流可以包括与包含在AV流内的视频流同步再现的位图字幕数据(演示图形(PG))的一个或多个流,或者可以不包括字幕数据的任何流。
AV流可以包括与包含在AV流文件内的视频流同步再现的交互式图形(IG)的一个或多个流,或者可以不包括交互式图形的任何流。IG流用于显示图形,例如,用户操作的按钮。
在单个播放项目参照的AV流中,多路复用视频流以及与视频流同步的音频流、PG流以及IG流。
而且,一个SubPlayItem参照与播放项目参照的AV流的流不停的视频流、音频流、PG流等。
如上所述,使用播放列表和剪辑信息,执行包括HEVC流的AV流的再现。包括与AV流的再现相关的信息的播放列表和剪辑信息适当地称为数据库信息。
【目录结构】
图15是示出管理在光盘11内记录的文件的结构的示图。
通过分层的方式,通过目录结构,管理在光盘11上记录的每个文件。在光盘11上创建单个根目录。
BDMV目录位于根目录之下。
作为设置有名称“Index.bdmv”的文件的索引文件以及作为设置有名称“MovieObject.bdmv”的文件的MovieObject文件储存在BDMV目录之下。
PLAYLIST目录、CLIPINF目录、STREAM目录等位于BDMV目录之下。
PLAYLIST目录储存描述播放列表的播放列表文件。每个播放列表通过5个数字和扩展“.mpls”的组合命名。在图15中显示的一个播放列表文件设置有文件名“00000.mpls”。
CLIPINF目录储存剪辑信息文件。每个剪辑信息通过5个数字和扩展“.clpi”的组合命名。在图15中显示的3个剪辑信息文件设置有文件名“00001.clpi”、“00002.clpi”以及“00003.clpi”。
流文件储存在STREAM目录内。每个流文件通过5个数字和扩展“.m2ts”的组合命名。在图15中显示的3个流文件设置有文件名“00001.m2ts”、“00002.m2ts”以及“00003.m2ts”。
在文件名内设置相同的5个数字的剪辑信息文件和流文件是构成单个剪辑的文件。在再现流文件“00001.m2ts”时,使用剪辑信息文件“00001.clpi”,并且在再现流文件“00002.m2ts”时,使用剪辑信息文件“00002.clpi”。稍后要描述的是,与HDR视频处理相关的信息包含在用于再现包括HEVC流的AV流的剪辑信息文件内。
【每个文件的语法】
在此处,描述每个文件的语法的主要描述。
图16是示出播放列表文件的语法的示图。
播放列表文件储存在图15中的PLAYLIST目录内,并且是设置有扩展“.mpls”的文件。
AppInfoPlayList()储存与播放列表的再现控制相关的参数,例如,再现限制。
PlayList()储存与MainPath和SubPath相关的参数。
PlayListMark()储存播放列表的标记信息,换言之,PlayListMark()储存与在命令章节跳动的用户操作、命令等中作为跳动目的地(跳动点)的标记相关的信息。
图17是示出剪辑信息文件的语法的示图。
剪辑信息文件储存在图15中的CLIPINF目录内,并且是设置有扩展“.clpi”的文件。
ClipInfo()储存信息,例如,表示配置剪辑的AV流的类型的信息、表示AV流的记录速率的信息等。
SequenceInfo()包括在时间轴上表示配置AV流的源数据包的位置的信息、表示显示的时钟时间的信息等。
ProgramInfo()包括与配置剪辑的AV流的PID相关的信息、与AV流的编码相关的信息等。
图18是示出在图17中的ProgramInfo()的语法的示图。
Number_of_program_sequences表示在ProgramInfo()中描述的节目序列数。节目序列由构成节目的一行源数据包构成。
SPN_program_sequence_start[i]表示在节目序列的开头的源数据包数。
StreamCodingInfo包括与配置剪辑的AV流的编码相关的信息。
图19是示出在图18中的StreamCodingInfo的语法的示图。
Stream_coding_type表示包含在AV流内的基本流的编码方法。例如,在用于再现HEVC流的剪辑信息的StreamCodingInfo中,表示编码方法是HEVC的值设置为stream_coding_type。
Video_format表示视频扫描方法。在用于再现HEVC流的video_format中,表示4K扫描方法的值(例如,2160p(2160渐进线))设置为stream_coding_type。
Frame_rate表示视频流的帧速率。
Aspect_ratio表示视频的纵横比。
Cc_flag是1位旗标,并且表示在视频流内是否包含隐藏字幕数据。
HDR_flag是1位旗标,并且表示HDR视频是否记录为主要视频。例如,HDR_flag=1表示将HDR视频记录为主要视频。而且,HDR_flag=0表示将STD视频记录为主要视频。
Mode_flag是1位旗标,并且表示HEVC流的记录模式。在HDR_flag=1时,mode_flag变得有效。例如,mode_flag=1表示记录模式是模式-i。而且,mode_flag=0表示记录模式是模式-ii。
如上所述,剪辑信息包括:旗标,其表示包含在使用剪辑信息进行再现的AV流内的HEVC流是否是主要视频是HDR视频的流;以及旗标,其表示HEVC流的记录模式。
通过参照包含在剪辑信息内的旗标,再现装置2能够规定主要视频是否是HDR视频,实际上不分析HEVC流。
<4、每个装置的配置>
在此处,描述每个装置的配置。
【记录装置1的配置】
图20是示出记录装置1的示例性配置的方框图。
记录装置1包括控制器21、编码处理单元22以及磁盘驱动器23。将主要HDR视频输入到编码处理单元22中。
控制器21包括中央处理单元(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)。控制器21执行预定的程序,并且控制记录装置1的总体操作。
在控制器21中,通过执行预定的程序,实现数据库信息生成单元21A。数据库信息生成单元21A生成作为数据库信息的播放列表和剪辑,并且将播放列表和剪辑输出给磁盘驱动器23。
编码处理单元22执行主要HDR视频的编码。编码处理单元22给磁盘驱动器23输出通过编码主要HDR视频所获得的HEVC流。
磁盘驱动器23根据在图15中的目录结构,在光盘11上记录储存从控制器21中供应的播放列表和剪辑信息以及从编码处理单元22中供应的HEVC流的文件。
图21是示出在图20中的编码处理单元22的示例性配置的方框图。
编码处理单元22包括HDR信息生成单元31、HEVC编码器32、HDR-STD转换单元33、定义信息生成单元34以及HEVC流生成单元35。
HDR信息生成单元31检测输入的主要HDR视频的亮度,并且生成HDR信息,包括在参照图12时所描述的每块信息。HDR信息生成单元31将所生成的HDR信息输出给HEVC流生成单元35。
在记录模式是模式-i时,HEVC编码器32通过HEVC执行输入的主要HDR视频的编码。而且,在记录模式是模式-ii时,HEVC编码器32通过HEVC执行从HDR-STD转换单元33中供应的STD视频的编码。HEVC编码器32将HDR视频的编码数据或STD视频的编码数据输出给HEVC流生成单元35。
HDR-STD转换单元33将输入的主要HDR视频转换成STD视频。HDR-STD转换单元33根据由创作者输入的转换参数,适当地进行转换。HDR-STD转换单元33将表示在作为HDR视频的RGB信号的输入数据与作为STD视频的RGB信号的输出数据之间的相关性的信息输出给定义信息生成单元34。
图22是示出由HDR-STD转换单元33执行的信号处理的实例的示图。
如在箭头#201的端部所示,HDR-STD转换单元33将输入的主要HDR视频的YCrCb信号转换成RGB信号,并且将每个RGB信号转换(色调映射)成STD视频的相应RGB信号。
HDR-STD转换单元33将表示在作为输入数据的HDR视频的RGB信号与作为输出数据的STD视频的RGB信号之间的相关性的信息输出给定义信息生成单元34。如在箭头#202的端部所示,输出给定义信息生成单元34的信息用于生成色调映射定义信息。
而且,如在箭头#203的端部所示,HDR-STD转换单元33将STD视频的RGB信号转换成YCrCb信号并且输出YCrCb信号。
图23是示出色调映射的实例的示图。
如在图23中所示,例如,通过压缩高亮度组分并且扩展中间和低亮度组分,HDR视频的RGB信号转换成STD视频的RGB信号。如图23中所示,由定义信息生成单元34生成表示使HDR视频的RGB信号和STD视频的RGB信号相关的函数F的信息。要注意的是,在图23中显示的函数F是通过在参照图11时描述的折线函数绘制在coded_data与target_data之间的关系的tone_map_model_id=3的色调映射信息。
返回描述图21,在记录模式是模式-ii时,HDR-STD转换单元33将通过转换HDR视频所获得的STD视频输出给HEVC编码器32。
根据从HDR-STD转换单元33中供应的信息,定义信息生成单元34生成用于HDR-STD转换的色调映射定义信息。
例如,在使用tone_map_model_id=0时,定义信息生成单元34生成色调映射信息,包括在图9中的值min_value和max_value,作为用于HDR-STD转换的色调映射定义信息。
而且,在使用tone_map_model_id=2时,定义信息生成单元34生成色调映射信息,包括在图10中的start_of_coded_interval[i],作为用于HDR-STD转换的色调映射定义信息。
而且,在使用tone_map_model_id=3时,定义信息生成单元34生成色调映射信息,包括其数由在图11中的num_pivots表示的coded_pivot_value[i]和target_pivot_value[i],作为用于HDR-STD转换的色调映射定义信息。
根据记录模式,HEVC流生成单元35将相同的值设置为色调映射信息,包括从HDR信息生成单元31中供应的HDR信息,并且设置为色调映射信息的tone_map_id,包括从定义信息生成单元34中供应的色调映射定义信息。而且,HEVC流生成单元35将包括HDR信息的色调映射信息以及包括色调映射定义信息的色调映射信息作为SEI***编码数据内,并且生成HEVC流。HEVC流生成单元35给磁盘驱动器23输出所生成的HEVC流。
【再现装置2的配置】
图24是示出再现装置2的示例性配置的方框图。
再现装置2包括控制器51、磁盘驱动器52、存储器53、局部存储器54、网络接口55、解码处理单元56、操作输入单元57以及HDMI通信单元58。
控制器51包括CPU、ROM以及RAM。控制器51执行预定的程序,并且控制再现装置2的总体操作。
磁盘驱动器52从光盘11中读出数据,并且将读出的数据输出给控制器51、存储器53或解码处理单元56。例如,磁盘驱动器52将从光盘11中读出的数据库信息输出给控制器51,并且将HEVC流输出给解码处理单元56。
存储器53储存控制器51执行各种处理所需要的数据。在存储器53内形成寄存器53A,作为播放器状态寄存器(PSR)。在再现光盘11时作为BD播放器的再现装置2参考的各种信息储存在寄存器53A内。
例如,局部存储器54包括硬盘驱动器(HDD)。从服务器中下载的流等记录在局部存储器54内。
网络接口55通过网络(例如,互联网)与服务器通信,并且将从服务器中下载的数据供应给局部存储器54。
解码处理单元56解码从磁盘驱动器52中供应的HEVC流,并且将HDR视频或STD视频的数据输出给HDMI通信单元58。在解码处理单元56输出HDR视频时,将HDR信息与HDR视频数据一起输出给HDMI通信单元58。
操作输入单元57包括输入装置(例如,按钮、键以及触控面板)以及接收从预定的遥控器中传输的信号(例如,红外信号)的接收部分。操作输入单元57检测用户的操作,并且将表示所检测的操作的细节的信号供应给控制器51。
HDMI通信单元58通过HDMI电缆4与显示装置3进行通信。例如,HDMI通信单元58获取与包含在显示装置3内的显示器的性能相关的信息,并且将该信息输出给控制器51。而且,HDMI通信单元58将从解码处理单元56中供应的HDR视频或STD视频的数据输出给显示装置3。
图25是示出在图24中的解码处理单元56的示例性配置的方框图。
解码处理单元56包括参数提取单元71、HEVC解码器72、HDR-STD转换单元73、STD-HDR转换单元74以及输出单元75。输出单元75包括HDR视频输出单元75A和STD视频输出单元75B。
将从磁盘驱动器52中读出的HEVC流输入给参数提取单元71。例如,将表示由包含在剪辑信息内的mode_flag规定的记录模式的信息以及与包含在显示装置3内的显示器的性能相关的并且由从显示装置3中获取的信息规定的信息从控制器51中供应给解码处理单元56。
参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。例如,在记录模式是模式-i时,并且在HDR视频输出给显示装置3时,参数提取单元71将HDR信息输出给HDR视频输出单元75A。而且,在记录模式是模式-i时,并且在STD视频输出给显示装置3时,参数提取单元71将用于HDR-STD转换的色调映射定义信息输出给HDR-STD转换单元73。
另一方面,在记录模式是模式-ii时,并且在HDR视频输出给显示装置3时,参数提取单元71将HDR信息输出给HDR视频输出单元75A,并且还将用于STD-HDR转换的色调映射定义信息输出给STD-HDR转换单元74。在记录模式是模式-ii时,并且在STD视频输出给显示装置3时,不使用所提取的HDR信息以及色调映射定义信息。
而且,参数提取单元71将包含在HEVC流内的编码数据输出给HEVC解码器72。
HEVC解码器72解码从参数提取单元71中供应的HEVC的编码数据。在记录模式是模式-i时,HEVC解码器72将通过解码所获得的HDR视频输出给HDR-STD转换单元73和HDR视频输出单元75A。而且,在记录模式是模式-ii时,HEVC解码器72将将通过解码所获得的STD视频输出给STD-HDR转换单元74和STD视频输出单元75B。
HDR-STD转换单元73根据从参数提取单元71中供应的用于HDR-STD转换的色调映射定义信息,将从HEVC解码器72中供应的HDR视频转换成STD视频。HDR-STD转换单元73将通过转换所获得的STD视频输出给STD视频输出单元75B。
STD-HDR转换单元74根据从参数提取单元71中供应的用于STD-HDR转换的色调映射定义信息,将从HEVC解码器72中供应的STD视频转换成HDR视频。STD-HDR转换单元74将通过转换所获得的HDR视频输出给HDR视频输出单元75A。
在将HDR视频输出给显示装置3时,输出单元75的HDR视频输出单元75A输出从HEVC解码器72中供应的HDR视频或者从STD-HDR转换单元74中供应的HDR视频以及从参数提取单元71中供应的HDR信息。
在将STD视频输出给显示装置3时,STD视频输出单元75B输出从HEVC解码器72中供应的STD视频或者从HDR-STD转换单元73中供应的STD视频。
HDMI通信单元58将从HDR视频输出单元75A和STD视频输出单元75B中输出的数据传输给显示装置3。
【显示装置3的配置】
图26是示出显示装置3的示例性配置的方框图。
显示装置3包括控制器101、HDMI通信单元102、信号处理单元103以及显示器104。控制器101包括存储器101A。
控制器101包括CPU、ROM以及RAM。控制器101执行预定的程序,并且控制显示装置3的总体操作。
例如,控制器101使存储器101A储存表示显示器104的性能的扩展显示识别数据(EDID),并且执行管理。在再现装置2之间进行认证时,控制器101将储存在存储器101A内的EDID输出给HDMI通信单元102,并且将EDID传输给再现装置2。根据EDID,再现装置2规定显示装置3的显示器104的性能。
HDMI通信单元102通过HDMI电缆4与再现装置2进行通信。例如,HDMI通信单元102接收从再现装置2中传输的视频数据,并且将该数据输出给信号处理单元103。而且,HDMI通信单元102将从控制器101中供应的EDID传输给再现装置2。
信号处理单元103在从HDMI通信单元102中供应的视频数据上进行处理,并且在显示器104上显示图像。
<5、每个装置的操作>
在本文中,描述具有上述配置的每个装置的操作。
【记录处理】
首先参照在图27中的流程图,描述记录装置1的记录处理。在主要HDR视频输入记录装置1中时,在图27中的处理开始。
在步骤S1中,记录装置1的控制器21确定记录模式是模式-i。例如,由创作者设置记录模式。
在步骤S1中确定记录模式是模式-i时,在步骤S2中,编码处理单元22在模式-i中执行编码处理。将由编码处理在模式-i中生成的HEVC流供应给磁盘驱动器23。
另一方面,在步骤S1中确定记录模式是模式-ii时,在步骤S3中,编码处理单元22在模式-ii中执行编码处理。将由编码处理在模式-ii中生成的HEVC流供应给磁盘驱动器23。
在步骤S4中,数据库信息生成单元21A执行数据库信息生成处理。将由数据库信息生成处理生成的播放列表文件和剪辑信息文件供应给磁盘驱动器23。
在步骤S5中,磁盘驱动器23在光盘11上记录播放列表文件、剪辑信息文件以及储存HEVC流的流文件。然后,处理结束。
接下来,参照在图28中的流程图,描述在图27中的步骤S2中执行的在模式-i中的编码处理。
在步骤S11中,编码处理单元22的HDR信息生成单元31检测主要HDR视频的亮度,并且生成HDR信息。
在步骤S12中,HEVC编码器32通过HEVC在主要HDR视频上执行编码,并且生成HDR视频的编码数据。
在步骤S13中,HDR-STD转换单元33将输入的主要HDR视频转换成STD视频。将表示在作为HDR视频的RGB信号的输入数据与作为STD视频的RGB信号的输出数据之间的相关性的信息输出给定义信息生成单元34。
在步骤S14中,根据从HDR-STD转换单元33中供应的信息,定义信息生成单元34生成用于HDR-STD转换的色调映射定义信息。
在步骤S15中,HEVC流生成单元35将模式-i的ID设置为包括由HDR信息生成单元31生成的HDR信息的色调映射信息,并且设置为包括由定义信息生成单元34生成的色调映射定义信息的色调映射信息的tone_map_id。而且,HEVC流生成单元35将包括HDR信息的色调映射信息以及包括色调映射定义信息的色调映射信息***编码数据内,并且生成HEVC流。随后,工艺返回在图27中的步骤S2,然后,执行处理。
接下来,参照在图29中的流程图,描述在图27中的步骤S3中执行的在模式-ii中的编码处理。
在步骤S21中,编码处理单元22的HDR信息生成单元31检测主要HDR视频的亮度,并且生成HDR信息。
在步骤S22中,HDR-STD转换单元33将输入的主要HDR视频转换成STD视频。将表示在作为HDR视频的RGB信号的输入数据与作为STD视频的RGB信号的输出数据之间的相关性的信息输出给定义信息生成单元34。
在步骤S23中,根据从HDR-STD转换单元33中供应的信息,定义信息生成单元34生成用于STD-HDR转换的色调映射定义信息。
在步骤S24中,HEVC编码器32通过HEVC在通过转换主要HDR视频所获得的STD视频上执行编码,并且生成STD视频的编码数据。
在步骤S25中,HEVC流生成单元35将模式-ii的ID设置为包括由HDR信息生成单元31生成的HDR信息的色调映射信息,并且设置为包括由定义信息生成单元34生成的色调映射定义信息的色调映射信息的tone_map_id。而且,HEVC流生成单元35将包括HDR信息的色调映射信息以及包括色调映射定义信息的色调映射信息***编码数据内,并且生成HEVC流。随后,工艺返回在图27中的步骤S3,然后,执行处理。
接下来,参照在图30中的流程图,描述在图27中的步骤S4中执行的数据库信息生成处理。
在步骤S31中,控制器21的数据库信息生成单元21A生成播放列表,包括在参照图16时描述的各种信息。数据库信息生成单元21A生成的播放列表包括与将HEVC流指定为再现部分的播放项目相关的信息。
在步骤S32中,数据库信息生成单元21A生成剪辑信息,包括在ProgramInfo()的StreamCodingInfo内的HDR_flag和mode_flag。在本实例中,由于主要视频是HDR视频,所以数据库信息生成单元21A将表示主要视频是HDR视频的1设置为值HDR_flag。
而且,在图27中的步骤S2中,在模式-i中执行编码处理时,数据库信息生成单元21A将表示记录模式是模式-i的1设置为值mode_flag。另一方面,在图27中的步骤S3中,在模式-ii中执行编码处理时,数据库信息生成单元21A将表示记录模式是模式-ii的0设置为值mode_flag。随后,工艺返回在图27中的步骤S4,然后,执行处理。
在记录装置1中,在光盘11上记录通过以上处理生成的HEVC流以及数据库信息。
【再现处理】
接下来,参照在图31中的流程图,描述再现装置2的再现处理。
在预定的时间,例如,在开始光盘11的再现时,再现装置2的控制器51控制HDMI通信单元58,并且与显示装置3通信,以从显示装置3的存储器101A中读出EDID。控制器51在寄存器53A内储存表示包含在显示装置3内的显示器的性能的信息,并且执行管理。
在步骤S41中,控制器51控制磁盘驱动器52,并且从光盘11中读出作为数据库信息的播放列表和剪辑信息。而且,根据包含在播放列表内的信息,控制器51规定要再现的HEVC流,并且控制磁盘驱动器52,以从光盘11中读出包括规定的HEVC流的AV流。
在步骤S42中,控制器51参照包含在剪辑信息内的HDR_flag和mode_flag。在本实例中,HDR_flag设置有表示正在记录作为主要视频的HDR视频的值。由于以上情况,记录装置1进入可以执行HDR视频或通过转换HDR视频所获得的STD视频的再现的状态内。
在步骤S43中,控制器51根据值mode_flag,确定记录模式是否是模式-i。
在步骤S44中确定记录模式是模式-i时,在步骤S45中,解码处理单元56在模式-i中执行解码处理。
另一方面,在步骤S43中确定记录模式是模式-ii时,在步骤S45中,解码处理单元56在模式-ii中执行解码处理。
在步骤S44或步骤S45中执行解码处理之后,工艺结束。
要注意的是,在此处,虽然根据值mode_flag,确定记录模式是否是模式-i,但是可以根据***HEVC流内的色调映射信息的tone_map_id,作出决定。
接下来,参照在图32中的流程图,描述在图31中的步骤S44中执行的在模式-i中的解码处理。
在步骤S61中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。参数提取单元71将包含在HEVC流内的HEVC的编码数据输出给HEVC解码器72。
在步骤S62中,HEVC解码器72解码HEVC的编码数据,并且将通过解码所获得的HDR视频输出给HDR-STD转换单元73以及HDR视频输出单元75A。
在步骤S63中,根据储存在寄存器53A内的信息,控制器51确定包含在显示装置3内的显示器是否是HDR显示器。如上所述,根据从显示装置3中读出的HDMI的EDID,与包含在显示装置3内的显示器的性能相关的信息储存在寄存器53A内。
在步骤S63中确定包含在显示装置3内的显示器是HDR显示器时,在步骤S64中,HDR视频输出单元75A输出从HEVC解码器72中供应的HDR视频以及从参数提取单元71中供应的HDR信息。
另一方面,在步骤S63中,确定包含在显示装置3内的显示器不是HDR显示器,而是STD显示器时,在步骤S65中,根据从参数提取单元71中供应的用于HDR-STD转换的色调映射定义信息,HDR-STD转换单元73将从HEVC解码器72中供应的HDR视频转换成STD视频。
在步骤S66中,STD视频输出单元75B输出通过在HDR-STD转换单元73进行转换所获得的STD视频。
在步骤S67中,在步骤S64中输出HDR视频之后,或者在步骤S66中输出STD视频之后,控制器51确定再现是否结束。
在步骤S67中确定再现不结束时,控制器51使工艺返回步骤S61,并且执行以上处理的重复。在步骤S67中确定再现结束时,工艺返回在图31中的步骤S44,然后,执行处理。
接下来,参照在图33中的流程图,描述在图31中的步骤S45中执行的在模式-ii中的解码处理。
在步骤S81中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。参数提取单元71将包含在HEVC流内的HEVC的编码数据输出给HEVC解码器72。
在步骤S82中,HEVC解码器72解码HEVC的编码数据,并且将通过解码所获得的STD视频输出给STD-HDR转换单元74以及STD视频输出单元75B。
在步骤S83中,根据储存在寄存器53A内的信息,控制器51确定包含在显示装置3内的显示器是否是HDR显示器。
在步骤S83中确定包含在显示装置3内的显示器是HDR显示器时,在步骤S84中,STD-HDR转换单元74根据从参数提取单元71中供应的用于STD-HDR转换的色调映射定义信息,将从HEVC解码器72中供应的STD视频转换成HDR视频。
在步骤S85中,HDR视频输出单元75A输出通过使用STD-HDR转换单元74转换所获得的HDR视频以及从从参数提取单元71中供应的HDR信息。
另一方面,在步骤S83中,确定包含在显示装置3内的显示器是STD显示器时,在步骤S86中,STD视频输出单元75B输出从HEVC解码器72中供应的STD视频。
在步骤S87中,在步骤S84中输出HDR视频之后,或者在步骤S86中输出STD视频之后,控制器51确定再现是否结束。在步骤S87中确定再现不结束时,控制器51使工艺返回步骤S81,并且执行以上处理的重复。在步骤S87中确定再现结束时,工艺返回步骤在图31中的S45,然后,执行处理。
【显示处理】
接下来,参照在图34中的流程图,描述显示装置3的显示处理。
在本文中,描述包含在显示装置3内的显示器10是HDR显示器的情况。加入HDR信息的HDR视频从再现装置2中传输给包括HDR显示器的显示装置3。
在步骤S101中,显示装置3的HDMI通信单元102接收从再现装置2中传输的HDR视频和HDR信息。
在步骤S102中,控制器101参照HDR信息,并且确定是否可以照原样显示从再现装置2中传输的HDR视频。HDR信息包括主要HDR视频的信息,即,表示从再现装置2中传输的HDR视频的亮度特征的信息。通过将由HDR信息规定的HDR视频的亮度特征以及显示器104的显示性能相互比较,执行在步骤S102中的确定。
例如,在由HDR信息规定的HDR视频的动态范围是0-400%并且显示器104的动态范围是0-500%(例如,500cd/m2,假设100%的亮度是100cd/m2)的情况下,确定可以照原样显示HDR视频。另一方面,在由HDR信息规定的HDR视频的动态范围是0-400%并且显示器104的动态范围是0-300%的情况下,确定不能照原样显示HDR视频。
在步骤S102中确定可以照原样显示HDR视频时,在步骤S103中,信号处理单元103根据由HDR信息规定的亮度,在显示器104上显示HDR视频的图像。例如,由HDR信息规定在图12中由曲线L12绘制的亮度特征的情况下,每个像素值表示由曲线L12绘制的在0-400%的范围内的亮度。
另一方面,在步骤S102中确定不能照原样显示HDR视频时,在步骤S104中,信号处理单元103根据显示器104的性能,调节亮度,并且在显示器104上显示调节了其亮度的HDR视频的图像。例如,由HDR信息规定在图12中由曲线L12绘制的亮度特征的情况下,并且显示器104的动态范围是0-300%时,进行压缩,以便每个像素值表示在0-300%的范围内的亮度。
在步骤S103中或者在步骤S104中显示HDR视频的图像之后,在步骤S105中,控制器101确定显示是否结束,并且在确定显示不结束时,重复步骤S101以及后面的步骤的处理。在步骤S105中确定结束显示时,控制器101结束处理。
通过以上序列处理,记录装置1可以在光盘11上照原样记录主要HDR视频,并且使再现装置2执行再现,以便在显示装置3上显示HDR视频的图像。
而且,记录装置1可以将主要HDR视频转换成STD视频,在光盘11上记录STD视频,并且使再现装置2使STD视频恢复为HDR视频,以便在显示装置3上显示HDR视频的图像。
在再现HDR视频时,通过使主要HDR视频的亮度特征能够由HDR信息指定,内容的创作者能够通过预期的亮度显示HDR视频的图像。
<6、修改>
【旗标的储存位置】
虽然上面描述了HDR_flag和mode_flag储存在剪辑信息内,但是HDR_flag和mode_flag可以储存在播放列表内。
·储存位置的第一实例
图35是示出包含在图16中的播放列表文件内的AppInfoPlayList()的语法的实例的示图。
如上所述,AppInfoPlayList()储存与播放列表的再现控制相关的参数,例如,再现限制。在图35中的实例中,在MVC_Base_view_R_flag之后,连续描述HDR_flag和mode_flag。
如上所述,可以在播放列表文件的AppInfoPlayList()中,描述HDR_flag和mode_flag。
·储存位置的第二实例
图36是示出包含在图16中的播放列表文件内的PlayList()的语法的示图。
Number_of_PlayItems表示在播放列表内的播放项目数。在图14中的实例的情况下,播放项目数是3。PlayItem_id均分配有一个数,作为其值,按照PlayItem()在播放列表内出现的顺序,从0开始。
Number_of_SubPaths表示在播放列表内的SubPath数。在图14中的实例的情况下,SubPath数是3。SubPath_id均分配有一个数,作为其值,按照SubPath()在播放列表内出现的顺序,从0开始。
如图36中所示,在播放列表中,PlayItem()描述为对应于播放项目数的次数,并且SubPath()描述为对应于SubPath数的次数。
图37是示出在图36中的PlayList()的语法的示图。
Clip_Information_file_name[0]表示播放项目所参照的剪辑的剪辑信息文件的名称。Clip_codec_identifier[0]表示剪辑的编解码***。
IN_time表示播放项目的再现部分的起始位置,并且OUT_time表示结束位置。在OUT_time之后,包括UO_mask_table()、PlayItem_random_access_mode、still_mode。
在STN_table()内包含播放项目所参照的AV流的信息。在具有与播放项目相关联地再现的SubPath的情况下,还包括构成SubPath的SubPlayItem参照的AV流信息。
图38是示出在图37中的STN_table()的语法的示图。
Number_of_video_stream_entries表示在STN_table()中输入(注册)的视频流数。Number_of_audio_stream_entries表示在STN_table()中输入的第一音频流的流数量。Number_of_audio_stream2_entries表示在STN_table()中输入的第二音频流的流数量。
Number_of_PG_textST_stream_entries表示在STN_table()中输入的PG_textST流数。PG_textST流是作为游程长度编码位图字幕的演示图形(PG)流和文本字幕文件(textST)。Number_of_IG_stream_entries表示在STN_table()中输入的交互式图形(IG)流数。
在STN_table()中描述作为视频流、第一视频流、第二视频流、PG_textST流以及IG流中的每个的信息的Stream_entry()和stream_attributes()。流的PID包含在stream_entry()内,并且流的属性信息包含在stream_attributes()内。
图39是示出与视频流相关的描述的实例的示图,即,在图38中的stream_attributes()的描述中的描述。
在图39中的stream_attributes()的实例中,stream_coding_type、video_format以及frame_rate描述为视频流的属性信息,并且在其后描述HDR_flag和mode_flag。要注意的是,stream_coding_type表示视频流的编码方法,并且video_format表示视频格式。frame_rate表示视频的帧速率。
如上所述,可以在播放列表文件的STN_table()中,描述HDR_flag和mode_flag。
可以在播放列表文件中,而非在AppInfoPlayList()和STN_table()中,描述HDR_flag和mode_flag。通过相似的方式,可以在剪辑信息文件内的位置中,而非在参照图19时描述的StreamCodingInfo中,描述HDR_flag和mode_flag。
描述HDR_flag和mode_flag的位置可选,例如,HDR_flag和mode_flag中的一个在剪辑信息文件中描述,另一个在播放列表文件中描述。
【PSR】
图40是示出PSR的分配的实例的示图。
如上所述,再现装置2的寄存器53A用作PSR。在BD上,每个PSR分配有限定相关PSR的预期用途的PSR数。
HDR_capability_flag储存在PSR29,其上具有PSR数29的PSR。例如,PSR29的HDR_capability_flag的值1表示再现装置2支持HDR视频的再现。而且,PSR29的HDR_capability_flag的值0表示再现装置2不支持HDR视频的再现。
例如,在***剪辑信息的HDR_flag的值设置为1的光盘时,换言之,在***记录了主要HDR视频的光盘时,执行磁盘导航节目的控制器51参照HDR_capability_flag。在HDR_capability_flag的值设置为0时,显示请求支持处理HDR视频的显示装置连接至再现装置2的消息。
PSR25是具有PSR数25的PSR,用作PSR,以记录表示连接的显示器与HDR视频的对应性的信息。在这种情况下,在PSR25内储存表示包含在显示装置3内的显示器的性能的信息,该信息由从显示装置3中获取的EDID表示。
例如,HDR_display_capability_flag以及表示亮度规范的信息储存在用于HDR显示功能的PSR25内。HDR_display_capability_flag的值1表示连接的显示器能够显示HDR视频。而且,HDR_display_capability_flag的值0表示连接的显示器不能显示HDR视频。
例如,储存表示可以显示的亮度的程度(用百分比表示)的信息,作为表示亮度规范的信息。
并未使用用于HDR显示功能的PSR25,作为用于显示功能的PSR的PSR23可以储存表示HDR_display_capability_flag以及亮度规范的信息。
<7、在再现装置侧上调节亮度的示例性情况>
在以上描述中,在从再现装置2中传输的HDR视频不能照原样显示时,显示装置3本身调节亮度;然而,再现装置2可以执行HDR视频的亮度的调节。显示装置3接收其亮度由再现装置2调节的HDR视频,并且显示HDR视频的图像。
【在模式-i中的信号处理】
图41是示出在由再现装置2执行HDR视频的亮度的调节的情况下,在模式-i中的信号处理的实例的示图。
在图41中显示的处理之中,由记录装置1执行的处理以及与由再现装置2执行的STD视频的输出相关的处理与在参照图2描述时的处理相同。适当地省略重复描述。假设上面描述的HDR_display_capability_flag以及表示亮度规范的信息储存在再现装置2的寄存器53A内。
再现装置2从光盘11中读出HEVC流,并且如在箭头#21和#22的端部所示,从HEVC流的SEI中提取HDR信息和色调映射定义信息。
而且,如在箭头#23的端部所示,再现装置2解码HEVC的编码数据。如在箭头#301的端部所示,在显示装置3包括HDR显示器,但是不能照原样显示HDR视频时,再现装置2调节通过解码所述编码数据所获得的HDR视频的亮度。
例如,在由HDR信息表示的HDR视频的动态范围是0-400%时,并且在表示显示器104的动态范围是储存在寄存器53A内的表示亮度规范的信息的0-300%时,再现装置2执行亮度调节。在以上情况下,每个像素值的亮度压缩为0-300%的范围。
在调节HDR视频的亮度时,如在箭头#302的端部所示,再现装置2重写HDR信息。在重写之后的HDR信息变成表示在其上进行亮度调节的HDR视频的亮度调节的信息。
如在箭头#303的端部所示,再现装置2将HDR信息加入在其上进行亮度调节的HDR视频的数据中,并且如在箭头#304的端部所示,将数据输出给显示装置3。
【在模式-ii中的信号处理】
图42是示出在由再现装置2执行HDR视频的亮度的调节的情况下,在模式-ii中的信号处理的实例的示图。
在图42中显示的处理之中,由记录装置1执行的处理以及与由再现装置2执行的STD视频的输出相关的处理与在参照图4描述时的处理相同。适当地省略重复描述。
再现装置2从光盘11中读出HEVC流,并且如在箭头#101和#102的端部所示,从HEVC流的SEI中提取HDR信息和色调映射定义信息。
而且,如在箭头#103的端部所示,再现装置2解码HEVC的编码数据。如在箭头#105的端部所示,在显示装置3包括HDR显示器时,通过使用从HEVC流中提取的STD-HDR转换的色调映射定义信息,再现装置2将通过解码所述编码数据所获得的STD信息转换成HDR视频。
如在箭头#311的端部所示,在显示装置3包括HDR显示器,但是不能照原样显示HDR视频时,再现装置2调节HDR视频的亮度,并且如在箭头#312的端部所示,重写HDR信息。
如在箭头#313的端部所示,再现装置2将HDR信息加入在其上进行亮度调节的HDR视频的数据中,并且如在箭头#314的端部所示,将数据输出给显示装置3。
如上所述,在再现装置2执行HDR视频的亮度的调节时,重写HDR信息,以便表示在调节之后的亮度特征,并且将该HDR信息与HDR视频的数据一起传输给显示装置3。
根据HDR信息,显示装置3认识到,HDR视频即将传输,并且显示装置3能够在重写之后根据由HDR信息指示的亮度,在显示器104上显示HDR视频的图像。
【再现装置2的配置】
图43是示出在图25中的HDR视频输出单元75A的示例性配置的方框图。
HDR视频输出单元75A包括亮度调节单元111和重写单元112。从HEVC解码器72或STD-HDR转换单元74中供应的HDR视频输入到亮度调节单元111中。而且,从参数提取单元71中供应的HDR信息输入到重写单元112中。
亮度调节单元111调节HDR视频的亮度,并且输出在其上进行了亮度的调节的HDR视频。
根据亮度调节单元111的调节结果,重写单元112重写HDR信息,以便显示在其上进行了调节的亮度特征。将重写的HDR信息加入在其上进行了亮度调节的HDR视频中,并且传输给显示装置3。
【再现装置2的解码处理】
在本文中,参照在图44中的流程图,描述了在图31中的步骤S44中执行的在模式-i中的解码处理。在图44中的处理中,适当地执行HDR视频的亮度调节。
在图44中显示的处理之中,步骤S151到S153以及S158到S160的处理分别与图32的步骤S61到S63以及S65到S67的处理相同。适当省略重复描述。
在步骤S151中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。
在步骤S152中,HEVC解码器72解码HEVC的编码数据,并且输出通过解码所获得的HDR视频。
在步骤S153中,控制器51确定包含在显示装置3内的显示器是否是HDR显示器。
在步骤S153中确定包含在显示装置3内的显示器是HDR显示器时,在步骤S154中,控制器51确定是否可以照原样在显示装置3的显示器104上显示HDR视频。
在步骤S154中,确定不能照原样显示HDR视频时,在步骤S155中,HDR视频输出单元75A的亮度调节单元111根据显示器104的显示性能,调节由HEVC解码器72解码的HDR视频的亮度。
在步骤S156中,根据亮度的调节结果,重写单元112重写HDR信息。
在步骤S157中,HDR视频输出单元75A输出在其上进行了亮度调节的HDR视频以及重写了的HDR信息。
在步骤S154中确定可以照原样显示HDR视频时,跳过步骤S155和S156的处理。在以上情况下,在步骤S157中,HDR视频输出单元75A输出由HEVC解码器72解码的HDR视频以及由参数提取单元71提取的HDR信息。
在步骤S160中,确定再现是否结束,并且在确定再现结束时,工艺结束。然后,工艺返回在图31中的步骤S44,然后,执行处理。
接下来,参照在图45中的流程图,描述在图31中的步骤S45中执行的在模式-ii中的解码处理。在图45中的处理中,适当地执行HDR视频的亮度调节。
在图45中显示的处理之中,步骤S171到S174、S179以及S180的处理分别与图33的步骤S81到S84、S86以及S87的处理相同。适当省略重复描述。
在步骤S171中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。
在步骤S172中,HEVC解码器72解码HEVC的编码数据,并且输出通过解码所获得的STD视频。
在步骤S173中,控制器51确定包含在显示装置3内的显示器是否是HDR显示器。
在步骤S173中确定包含在显示装置3内的显示器是HDR显示器时,在步骤S174中,STD-HDR转换单元74根据用于STD-HDR转换的色调映射定义信息,将解码的STD视频转换成HDR视频。
在步骤S175中,控制器51确定通过转换STD视频所获得的HDR视频是否可以照原样在显示装置3的显示器104上显示。
在步骤S175中,确定不能照原样显示HDR视频时,在步骤S176中,根据显示器104的显示性能,HDR视频输出单元75A的亮度调节单元111调节通过转换STD视频所获得的HDR视频的亮度。
在步骤S177中,根据亮度的调节结果,重写单元112重写HDR信息。
在步骤S178中,HDR视频输出单元75A输出在其上进行了亮度调节的HDR视频以及重写了的HDR信息。
在步骤S175中确定可以照原样显示HDR视频时,跳过步骤S176和S177的处理。在以上情况下,在步骤S178中,HDR视频输出单元75A输出通过转换STD视频所获得的的HDR视频以及由参数提取单元71提取的HDR信息。
在步骤S180中,确定再现是否结束,并且在确定再现结束时,工艺结束。然后,工艺返回在图31中的步骤S45,然后,执行处理。
【显示装置3的显示处理】
接下来,参照在图46中的流程图,描述显示装置3的显示处理。
在由再现装置2执行的在图44或图45中的处理之后,执行在图46中的处理。在其上未执行亮度调节的原始HDR视频或在其上执行了亮度调节的HDR视频与HDR信息一起从再现装置2中传输给包括HDR显示器的显示装置3。
在步骤S191中,显示装置3的HDMI通信单元102接收从再现装置2中传输的HDR视频和HDR信息。
在步骤S192中,信号处理单元103根据由HDR信息规定的亮度,在显示器104上显示HDR视频的图像。
在步骤S193中,控制器101确定显示是否结束,并且在确定显示不结束时,重复步骤S191以及后面的步骤的处理。在步骤S193中确定结束显示时,控制器101结束处理。
如上所述,在再现装置2执行亮度调节时,显示装置3不需要确定是否可以照原样显示从再现装置2中发送的HDR视频。而且,显示装置3本身不需要调节HDR视频的亮度。
在需要调节HDR视频的亮度时,可以允许再现装置2的用户在再现装置2侧上或者在显示装置3侧上执行亮度调节。
交替地,显示装置3可以通知再现装置2在再现装置2侧上还是在显示装置3侧上执行亮度调节,并且根据通知,可以切换在再现装置2内执行的处理。例如,在显示装置3具有调节HDR视频的亮度的功能时,做出在显示装置3侧上执行亮度调节的通知,并且在显示装置3没有调节HDR视频的亮度的功能时,做出在再现装置2侧上执行亮度调节的通知。
在显示装置3通知在再现装置2侧上执行亮度调节时,作为解码处理,再现装置2执行在图44或图45中的处理。而且,在显示装置3通知在显示装置3侧上执行亮度调节时,作为解码处理,再现装置2执行在图32或图33中的处理。
具有以下情况:用于调节的参数在由再现装置2执行的亮度调节与由显示装置3执行的亮度调节之间不同。在以上情况下,从图像质量的角度来看,考虑亮度的调节可取地由显示装置3执行,该显示装置包括显示器104并且能够通过更大的方式执行适合于显示器104的特征的调节。
通过使显示装置3选择在再现装置2侧上还是在显示装置3侧上执行亮度调节,能够显示具有精细的图像质量的HDR视频。能够根据用户操作,在再现装置2侧上或者在显示装置3侧上执行亮度调节之间进行选择。例如,在用户指导通过操作遥控器或在显示装置3的主体上提供的按钮来显示菜单屏幕时,例如,显示装置3的控制器101控制信号处理单元103,以便在显示器104上显示包括与HDR视频的配置相关的项目的菜单屏幕。在选择与HDR视频的配置相关的项目时,显示用于选择在再现装置2侧上还是在显示装置3侧上执行亮度调节的屏幕,并且用户选择任一个。通过HDMI电缆4将表示用户的选择内容的信息传输给再现装置2,显示装置3通知再现装置2在再现装置2侧上还是在显示装置3侧上执行HDR视频的亮度调节。
可以使用EDID或HDMI,实现通知在再现装置2侧上还是在显示装置3侧上执行HDR视频的亮度调节。
<8、到HDMI的示例性应用>
【HDREDID和HDRInfoFrame】
图47是示出基于通过HDMI传输和接收的信息的识别的一个实例的示图。
如在图47中的左边所示,作为支持处理具有4K分辨率的HDR视频的BD播放器的再现装置2读出储存在显示装置3的存储器101A内的EDID。多个EDID(例如,表示显示装置3的显示器104的性能的EDID)储存在显示装置3的存储器101A内。
在HDREDID包含在从显示装置3中读出的EDID内时,再现装置2认识到显示装置3是包括HDR显示器的装置,并且HDR视频可以输出给显示装置3。HDREDID包括与HDR视频的输出相关的信息。使用HDREDID,通知在再现装置2侧上还是在显示装置3侧上执行HDR视频的亮度调节。
如在图47中的右边所示,再现装置2将HDRInfoFrame加入输出给显示装置3的HDR视频的每个帧的数据中。在HDMI标准中,将InfoFrame加入视频的每个帧中。与视频的规范相关的信息(例如,关于视频数据是RGB数据还是YCbCr数据的信息、表示纵横比的信息等)包含在视频的InfoFrame内。
HDRInfoFrame是包括与HDR视频的规范相关的信息的InfoFrame。使用HDRInfoFrame,传输表示HDR视频的亮度特征的HDR信息。再现装置2将HDRInfoFrame加入其中的HDR视频的数据输出给显示装置3。
在HDRInfoFrame加入从再现装置2中传输的视频数据中时,再现装置2认识到,从再现装置2中传输的视频数据是HDR视频的数据。随后,显示装置3在HDR显示器上显示HDR视频的图像。
图48是示出基于通过HDMI传输和接收的信息的识别的另一个实例的示图。
如在图48中的左边所示,在HDREDID不包含在从显示装置3中读出的EDID内时,再现装置2认识到显示装置3是不包括HDR显示器的装置。在这种情况下,再现装置2仅仅将STD视频的数据输出给显示装置3。不将任何HDRInfoFrame加入再现装置2输出的STD视频的数据中。
另一方面,如在图48中的右边所示,在不将HDRInfoFrame加入从再现装置2中传输的视频数据中时,显示装置3认识到,从再现装置2中传输的视频数据是STD视频的数据。随后,显示装置3在STD显示器上显示STD视频的图像。
如上所述,可以使用HDMI的InfoFrame,将HDR信息从再现装置2中传输给显示装置3。而且,显示装置3可以使用HDMI的EDID,通知再现装置2在再现装置2侧上还是在显示装置3侧上执行HDR视频的亮度调节。
图49是示出HDREDID的实例的示图。
在HDREDID内包括表示显示器的最大亮度的信息、表示最大延伸等级的信息以及原始/处理过的旗标-1。原始/处理过的旗标-1表示是通过原始的方式输出HDR视频还是在(必要时)调节HDR视频的亮度之后,输出HDR视频。
原始/处理过的旗标-1的值1表示要通过原始的方式输出HDR视频,换言之,表示显示装置3请求输出HDR视频,而不在再现装置2侧上进行亮度的任何调节。在原始/处理过的旗标-1的值是1时,即使HDR视频的动态范围超过显示器104的显示性能,再现装置2也输出HDR视频,而不进行亮度的任何调节。
例如,如果具有调节HDR视频的亮度的功能,那么显示装置3将原始/处理过的旗标-1的值设置为1。
而且,原始/处理过的旗标-1的值0表示在再现装置2侧上(如果需要的话)调节HDR视频的亮度之后,显示装置3请求输出HDR视频,而不在再现装置2侧上进行亮度的任何调节。在原始/处理过的旗标-1的值是0时,并且在HDR视频的动态范围超过显示器104的显示性能时,再现装置2根据显示器104的显示性能,调节HDR视频的亮度,并且输出在其上进行了调节的HDR视频。
例如,如果没有用于调节HDR视频的亮度的任何功能,那么显示装置3将原始/处理过的旗标-1的值设置为0。
不是在再现装置2侧上而是在显示装置3侧上执行亮度调节的在图32或图33中的解码处理对应于原始/处理过的旗标-1的值是1的处理。而且,在再现装置2侧上执行亮度调节的在图44或图45中的解码处理对应于原始/处理过的旗标-1的值是0的处理。
在后文中,再现装置2通过原始的方式输出HDR视频的输出适当地称为原始输出。而且,在再现装置2(如果需要的话)执行HDR视频的亮度调节之后的输出称为处理过的输出。
图50是示出HDRInfoFrame的实例的示图。
HDRInfoFrame包括作为HDR信息的参数的ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value、extended_white_level_code_value以及原始/处理过的(raw/cooked)flag-2。
而且,HDRInfoFrame还包括原始/处理过的旗标-2。原始/处理过的旗标-2表示输出的HDR视频是在其上未进行亮度调节的原始HDR视频还是在其上进行了亮度调节的HDR视频。
原始/处理过的旗标-2的值1表示输出的HDR视频是在再现装置2侧上未进行亮度调节的原始HDR视频。例如,在包含在HDREDID内的原始/处理过的旗标-1的值是1时,再现装置2将原始/处理过的旗标-2的值设置为1的HDRInfoFrame加入HDR视频的数据中,并且输出HDR视频的数据。
而且,原始/处理过的旗标-2的值0表示输出的HDR视频是在其上进行了亮度调节的HDR视频。例如,在包含在HDREDID内的原始/处理过的旗标-1的值是0,并且在HDR视频的动态范围超过显示器104的显示性能时,再现装置2执行调节亮度调节,并且将原始/处理过的旗标-2的值设置为0。再现装置2将原始/处理过的旗标-2的值设置为0的HDRInfoFrame加入在其上进行了亮度调节的HDR视频的数据中,并且输出HDR视频的数据。
在图32或图33中的不在再现装置2侧上执行亮度调节的解码处理中,HDRInfoFrame的原始/处理过的旗标-2的值设置为1。而且,在某些情况下,在再现装置2侧上在执行亮度调节的在图44或图45中的解码处理中,在某些情况下,HDRInfoFrame的原始/处理过的旗标-2的值设置为0。
【再现装置2和显示装置3的处理】
在此处,描述使用HDREDID和HDRInfoFrame的再现装置2和显示装置3的处理。
首先,参照在图51中的流程图,描述设置HDREDID的显示装置3的处理。
在步骤S211中,显示装置3的控制器101将原始/处理过的旗标-1的值设置为1或0,并且在存储器101A内储存HDREDID,其包括表示显示器的最大亮度的信息、表示最大延伸等级的信息以及原始/处理过的旗标-1。
在步骤S212中,根据再现装置2的请求,HDMI通信单元102从存储器101A中读出包括HDREDID的多个EDID,并且将多个EDID传输给再现装置2。
接下来,参照在图52中的流程图,描述再现装置2的再现处理。例如,在显示装置3中进行图51中的处理之后,在图52中的处理开始。
在步骤S221中,控制器51控制磁盘驱动器52,并且从光盘11中读出作为数据库信息的播放列表和剪辑信息。而且,根据包含在播放列表内的信息,控制器51规定要再现的HEVC流,并且控制磁盘驱动器52,以从光盘11中读出包括规定的HEVC流的AV流。
在步骤S222中,控制器51参照包含在剪辑信息内的HDR_flag和mode_flag。在本实例中,HDR_flag设置有表示正在记录作为主要视频的HDR视频的值。
在步骤S223中,控制器51控制HDMI通信单元58并且从显示装置3中读出EDID。向再现装置2的HDMI通信单元102作出从HDMI通信单元58中读出EDID的请求,由HDMI通信单元58获取响应于该请求传输的多个EDID。
在步骤S224中,控制器51确定HDREDID是否包含在从显示装置3中读出的EDID内。
在步骤S224中,确定包含HDREDID时,控制器51认识到,HDR视频可以输出给显示装置3,并且在步骤S225中,在寄存器53A内储存表示显示器104的显示性能的信息。例如,控制器51在PSR25内储存表示显示器的最大亮度的信息以及表示最大延伸等级的信息,这些信息包含在HDREDID内并且用作表示显示器的亮度规范的信息。而且,控制器51设置表示显示器104能够在PSR25的HDR_display_capability_flag内显示HDR视频的值。
在步骤S226中,控制器51根据包含在HDREDID内的原始/处理过的旗标-1,确定是否请求显示装置3的原始输出。在上述实例的情况下,在原始/处理过的旗标-1的值是1时,控制器51确定请求原始输出,并且在是0时,确定请求处理过的输出。
在步骤S226中,确定请求原始输出时,在步骤S227中,控制器51执行HDR/原始输出处理,即,执行HDR视频的原始输出的处理。
在步骤S226中,确定不请求原始输出时,在步骤S228中,控制器51执行HDR/处理过的输出处理,即,执行HDR视频的处理过的输出的处理。
另一方面,在步骤S224中,确定不包含HDREDID时,在步骤S229中,控制器51执行STD输出处理,即,执行STD视频的输出的处理。具有STD输出处理的STD视频的输出目的地是与显示装置3不同的并且不包括HDR显示器的显示装置。
在步骤S227、S228或S229中输出在视频数据之后,工艺结束。
接下来,参照在图53中的流程图,描述在图52中的步骤S227中执行的HDR/原始输出处理。
在步骤S241中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。参数提取单元71将包含在HEVC流内的HEVC的编码数据输出给HEVC解码器72。
在步骤S242中,HEVC解码器72解码HEVC的编码数据。在记录模式是模式-i时,将通过解码所述编码数据所获得的HDR视频的数据供应给HDR视频输出单元75A。而且,在记录模式是模式-ii时,将通过解码所述编码数据所获得的STD视频的数据供应给STD-HDR转换单元74。
在步骤S243中,根据mode_flag的值,控制器51确定记录模式是否是模式-i。
在步骤S243中,确定记录模式是模式-ii时,在步骤S244中,根据从参数提取单元71中供应的STD-HDR转换的色调映射定义信息,STD-HDR转换单元74将从HEVC解码器72中供应的STD视频转换成HDR视频。在步骤S243中,确定记录模式是模式-i时,跳过步骤S244的处理。
在步骤S245中,HDR视频输出单元75A将原始/处理过的旗标-2设置为值1,表示HDR视频是在其上未进行亮度调节的原始HDR视频。而且,HDR视频输出单元75A生成HDRInfoFrame,包括由参数提取单元71提取的HDR信息的每个参数以及原始/处理过的旗标-2。
在步骤S246中,HDR视频输出单元75A将HDRInfoFrame加入HDR视频的每个帧的数据中,并且将数据输出给显示装置3。
在步骤S247中,控制器51确定再现是否结束,并且在确定再现不结束时,工艺返回步骤S241,并且反复执行以上处理。在步骤S247中确定再现结束时,工艺返回在图52中的步骤S227,然后,执行处理。
接下来,参照在图54中的流程图,描述在图52中的步骤S228中执行的HDR/处理过的输出处理。
在步骤S261中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。参数提取单元71将包含在HEVC流内的HEVC的编码数据输出给HEVC解码器72。
在步骤S262中,HEVC解码器72解码HEVC的编码数据。在记录模式是模式-i时,将通过解码所述编码数据所获得的HDR视频的数据供应给HDR视频输出单元75A。而且,在记录模式是模式-ii时,将通过解码所述编码数据所获得的STD视频的数据供应给STD-HDR转换单元74。
在步骤S263中,根据mode_flag的值,控制器51确定记录模式是否是模式-i。
在步骤S263中,确定记录模式是模式-ii时,在步骤S264中,根据从参数提取单元71中供应的STD-HDR转换的色调映射定义信息,STD-HDR转换单元74将从HEVC解码器72中供应的STD视频转换成HDR视频。在步骤S263中,确定记录模式是模式-i时,跳过步骤S264的处理。
在步骤S265中,比较器51将由HDR信息表示的HDR视频的亮度特征和由包含在HDREDID内的信息表示的显示器104的性能相互比较,并且确定是否可以照原样在显示器104上显示HDR视频。
在步骤S265中,确定不能照原样显示HDR视频时,在步骤S266中,HDR视频输出单元75A的亮度调节单元111根据显示器104的显示性能,调节HDR视频的亮度。
在步骤S267中,根据亮度的调节结果,重写单元112重写HDR信息。在步骤S265中,确定可以照原样显示HDR视频时,跳过步骤S266和S267的处理。
在步骤S268中,HDR视频输出单元75A将预定值设置为原始/处理过的旗标-2,并且生成HDRInfoFrame,包括HDR信息的每个参数。
例如,在未调节HDR视频的亮度时,HDR视频输出单元75A将值设置为向原始/处理过的旗标-2表示以上内容的1,并且生成HDRInfoFrame,包括原始/处理过的旗标-2以及由参数提取单元71提取的HDR信息的每个参数。
另一方面,调节HDR视频的亮度时,HDR视频输出单元75A将值设置为向原始/处理过的旗标-2表示以上内容的0,并且生成HDRInfoFrame,包括原始/处理过的旗标-2以及在其上进行重新的HDR信息的每个参数。
在步骤S269中,HDR视频输出单元75A将HDRInfoFrame加入HDR视频的每个帧的数据中,并且将数据输出给显示装置3。
在步骤S270中,控制器51确定再现是否结束,并且在确定再现不结束时,工艺返回步骤S261,并且反复执行以上处理。在步骤S270中确定再现结束时,工艺返回在图52中的步骤S228,然后,执行处理。
接下来,参照在图55中的流程图,描述在图52中的步骤S229中执行的STD输出处理。
如上所述,在图55中的处理是将视频数据输出给与显示装置3不同的并且不包括HDR显示器的显示装置的处理。
在步骤S281中,解码处理单元56的参数提取单元71从HEVC流的SEI中提取HDR信息和色调映射定义信息。参数提取单元71将包含在HEVC流内的HEVC的编码数据输出给HEVC解码器72。
在步骤S282中,HEVC解码器72解码HEVC的编码数据。在记录模式是模式-i时,将通过解码所述编码数据所获得的HDR视频的数据供应给HDR-STD转换单元73。而且,在记录模式是模式-ii时,将通过解码所述编码数据所获得的STD视频的数据供应给STD视频输出单元75B。
在步骤S283中,根据mode_flag的值,控制器51确定记录模式是否是模式-i。
在步骤S283中,确定记录模式是模式-i时,在步骤S284中,根据从参数提取单元71中供应的HDR-STD转换的色调映射定义信息,HDR-STD转换单元73将从HEVC解码器72中供应的HDR视频转换成STD视频。在步骤S283中,确定记录模式是模式-ii时,跳过步骤S284的处理。
在步骤S285中,STD视频输出单元75B输出从HEVC解码器72中供应的STD视频或者从HDR-STD转换单元73中供应的STD视频。
在步骤S286中,控制器51确定再现是否结束,并且在确定再现不结束时,工艺返回步骤S281,并且反复执行以上处理。在步骤S286中确定再现结束时,工艺返回在图52中的步骤S229,然后,执行处理。
接下来,参照在图56中的流程图,描述显示装置3的显示处理。
将HDRInfoFrame加入由再现装置2传输给包括HDR显示器的显示装置3的视频数据中。根据HDRInfoFrame,显示装置3的控制器101认识到,从再现装置2中传输的视频数据是HDR视频的数据。
在步骤S301中,显示装置3的HDMI通信单元102接收从再现装置2中传输的HDR视频的数据。将HDRInfoFrame加入HDR视频的每个帧的数据中。
在步骤S302中,根据包含在HDRInfoFrame内的原始/处理过的旗标-2,控制器110确定HDR视频的数据是否是在其上执行了原始输出的数据。
在1设置为原始/处理过的旗标-2的值时,控制器110确定HDR视频的数据是在其上执行了原始输出的数据。而且,在0设置为原始/处理过的旗标-2的值时,控制器110确定HDR视频的数据是在其上执行了处理过的输出的数据。
在步骤S302中确定HDR视频的数据是在其上执行了原始输出的数据时,在步骤S303中,信号处理单元103参照包含在HDRInfoFrame内的HDR信息。在HDR视频的动态范围超过显示器104的显示性能时,信号处理单元103适当地调节HDR视频的亮度,并且在显示器104上显示在其上进行了调节的HDR视频的图像。
另一方面,在步骤S302中确定HDR视频的数据是在其上执行了处理过的输出的数据时,在步骤S304中,信号处理单元103根据包含在HDRInfoFrame内的HDR信息,在显示器104上显示HDR视频的图像。
在步骤S303中或在步骤S304中显示HDR视频的图像之后,在步骤S305中,控制器101确定HDR视频的显示是否结束,并且在确定显示不结束时,重复步骤S301以及后面的步骤的处理。在步骤S305中确定结束显示时,控制器101结束处理。
通过上述序列处理,再现装置2能够使用HDMI的InfoFrame,将HDR信息传输给显示装置3。而且,通过使用HDMI的EDID,显示装置3能够请求在哪一侧(即,再现装置2侧还是显示装置3侧)上执行HDR视频的亮度的调节。
<9、其他修改>
虽然在将HDR视频从再现装置2中传输给显示装置3时,增加HDR信息,但是可以进行传输,而不增加HDR信息。
而且,主要描述再现装置2是BD播放器的情况;然而,便携式终端装有包含在再现装置2内的上述功能。在这种情况下,便携式终端具有再现装置2的作用。
而且,虽然再现装置2再现的内容是记录在可移除介质内的内容,但是上述技术适用于再现通过网络分布的内容的情况。在这种情况下,再现装置2接收从连接至网络(例如,互联网)的服务器中传输的内容,并且再现该内容,以便HDR视频输出给显示装置3。
【计算机的示例性配置】
上述序列处理可以由硬件实现,或者可以由软件实现。在有软件实现序列处理时,构成软件的程序从程序记录介质中安装到嵌入专用硬件内的电脑、通用个人电脑等中。
图57是示出通过程序执行上述序列处理的计算机的一个示例性硬件配置的方框图。
CPU501、ROM502以及RAM503通过总线504互连。
而且,输入/输出接口505连接至总线504。包括键盘和鼠标的输入单元506和包括扬声器的输出单元507连接至输入/输出接口505。而且,包括硬盘或非易失性存储器的储存单元508、包括网络接口的通信单元509、以及驱动可移除介质511的驱动器510连接至输入/输出接口505。
在通过以上方式配置的计算机中,例如,CPU501通过输入/输出接口505和总线504在RAM503上载入储存在储存单元508内的程序并且执行该程序,来执行上述序列工艺。
例如,通过在可移除介质511内记录程序,或者通过有线或无线传输介质(例如,局域网、互联网、数字广播等),提供由CPU501执行的程序,并且该程序安装在储存单元508内。
要注意的是,由计算机执行的程序可以是根据在本说明书中描述的顺序按时间顺序执行处理的程序或者可以是通过平行的方式或者在必要的时间(例如,在进行呼叫时)执行处理的程序。
本技术的实施方式不限于上述实施方式,并且在不背离本技术的范围的情况下,可以进行各种变化。
要注意的是,在本说明书中,***表示多个元件(装置、模块(部件)等)的集合,与所有元件是否容纳在相同的外壳内无关。因此,容纳在不同的外壳内并且通过网络彼此连接的多个装置以及多个模块容纳在单个外壳内的单个装置均是***。
【配置的示例性组合】
本技术还可以通过以下方式配置。
(1)一种再现装置,包括:
读出单元,被配置为从记录了作为具有比第一亮度范围更宽的第二亮度范围的视频的扩展视频的编码数据、表示所述扩展视频的亮度特征的亮度特征信息、以及在执行扩展视频到作为具有第一亮度范围的视频的标准视频的亮度转换时所使用的亮度转换定义信息的记录介质中,读出编码数据、亮度特征信息以及亮度转换定义信息;
解码单元,被配置为解码所述编码数据;
转换单元,被配置为根据所述亮度转换定义信息,将通过解码所述编码数据所获得的扩展视频转换成标准视频;以及
输出单元,被配置为将所述扩展视频的数据和所述亮度特征信息输出给能够显示所述扩展视频的显示装置,并且被配置为将所述标准视频的数据输出给不能显示所述扩展视频的显示装置。
(2)根据(1)所述的再现装置,
其中,所述亮度特征信息和所述亮度转换定义信息作为所述编码数据的辅助信息***包括所述编码数据的流内,并且在所述记录介质内记录。
(3)根据(2)所述的再现装置,
其中,所述编码数据是HEVC的编码数据,并且所述亮度特征信息和所述亮度转换定义信息均是HEVC流的SEI。
(4)根据(3)所述的再现装置,
其中,所述亮度转换定义信息是第一色调映射信息,其中,值0、2以及3中的任一个设置为tone_map_model_id值,并且
其中,所述亮度特征信息是第二色调映射信息,其中,4设置为tone_map_model_id值。
(5)根据(4)所述的再现装置,
其中,所述第一色调映射信息的tone_map_model_id和所述第二色调映射信息的tone_map_model_id均设置有表示所述记录介质的记录模式的相同值。
(6)根据(1)到(5)中任一项所述的再现装置,
其中,在所述记录介质内进一步记录与所述编码数据的再现相关的信息,所述信息包括表示所述扩展视频的记录是否作为主要视频正在进行的旗标,并且
其中,在所述旗标表示所述扩展视频的记录作为主要视频正在进行时,所述解码单元将所述编码数据解码。
(7)根据(6)所述的再现装置,
其中,所述记录介质是蓝光光盘,并且
其中,所述旗标包含在用作与再现相关的信息的剪辑信息文件内。
(8)根据(6)所述的再现装置,
其中,所述记录介质是蓝光光盘,并且
其中,所述旗标包含在用作与再现相关的信息的播放列表文件内。
(9)一种再现方法,包括:
从记录了作为具有比第一亮度范围更宽的第二亮度范围的视频的扩展视频的编码数据、表示所述扩展视频的亮度特征的亮度特征信息、以及在执行扩展视频到作为具有第一亮度范围的视频的标准视频的亮度转换时所使用的亮度转换定义信息的记录介质中,读出编码数据、亮度特征信息以及亮度转换定义信息的步骤;
解码所述编码数据的步骤;
根据所述亮度转换定义信息,将通过解码所述编码数据所获得的扩展视频转换成标准视频的步骤;
将所述扩展视频的数据和所述亮度特征信息输出给能够显示所述扩展视频的显示装置的步骤;以及
将所述标准视频的数据输出给不能显示所述扩展视频的显示装置的步骤。
(10)一种记录介质,
其中,
记录
作为具有比第一亮度范围更宽的第二亮度范围的视频的扩展视频的编码数据,
表示所述扩展视频的亮度特征的亮度特征信息,以及
在执行扩展视频到作为具有第一亮度范围的视频的标准视频的亮度转换时所使用的亮度转换定义信息,并且
其中,再现所述记录介质的再现装置执行以下处理:
从所述记录介质中读出编码数据、亮度特征信息以及亮度转换定义信息,
解码所述编码数据,
根据所述亮度转换定义信息,将通过解码所述编码数据所获得的扩展视频转换成标准视频,
将所述扩展视频的数据和所述亮度特征信息输出给能够显示所述扩展视频的显示装置;以及
将所述标准视频的数据输出给不能显示所述扩展视频的显示装置。
(11)一种再现装置,包括:
读出单元,被配置为从记录了通过执行作为具有比第一亮度范围更宽的第二亮度范围的视频的扩展视频的亮度转换所获得的标准视频(所述标准视频是具有第一亮度范围的视频)的编码数据、表示所述扩展视频的亮度特征的亮度特征信息、以及在执行标准视频到扩展视频的亮度转换时所使用的亮度转换定义信息的记录介质中,读出编码数据、亮度特征信息以及亮度转换定义信息;
解码单元,被配置为解码所述编码数据;
转换单元,被配置为根据所述亮度转换定义信息,将通过解码所述编码数据所获得的标准视频转换成扩展视频;以及
输出单元,被配置为将所述扩展视频的数据和所述亮度特征信息输出给能够显示所述扩展视频的显示装置,并且被配置为将所述标准视频的数据输出给不能显示所述扩展视频的显示装置。
(12)根据(11)所述的再现装置,
其中,所述亮度特征信息和所述亮度转换定义信息作为所述编码数据的辅助信息***包括所述编码数据的流内,并且在所述记录介质内记录。
(13)根据(12)所述的再现装置,
其中,所述编码数据是HEVC的编码数据,并且所述亮度特征信息和所述亮度转换定义信息均是HEVC流的SEI。
(14)根据(13)所述的再现装置,
其中,所述亮度转换定义信息是第一色调映射信息,其中,值0、2以及3中的任一个设置为tone_map_model_id值,并且
其中,所述亮度特征信息是第二色调映射信息,其中,4设置为tone_map_model_id值。
(15)根据(14)所述的再现装置,
其中,所述第一色调映射信息的tone_map_model_id和所述第二色调映射信息的tone_map_model_id均设置有表示所述记录介质的记录模式的相同值。
(16)根据(11)到(15)中任一项所述的再现装置,
其中,在所述记录介质内进一步记录与所述编码数据的再现相关的信息,所述信息包括表示所述扩展视频的记录是否作为主要视频正在进行的旗标,并且
其中,在所述旗标表示所述扩展视频的记录作为主要视频正在进行时,所述解码单元将所述编码数据解码。
(17)根据(16)所述的再现装置,
其中,所述记录介质是蓝光光盘,并且
其中,所述旗标包含在用作与再现相关的信息的剪辑信息文件内。
(18)根据(16)所述的再现装置,
其中,所述记录介质是蓝光光盘,并且
其中,所述旗标包含在用作与再现相关的信息的播放列表文件内。
(19)一种再现方法,包括:
从记录了通过执行作为具有比第一亮度范围更宽的第二亮度范围的视频的扩展视频的亮度转换所获得的标准视频(所述标准视频是具有第一亮度范围的视频)的编码数据、表示所述扩展视频的亮度特征的亮度特征信息、以及在执行标准视频到扩展视频的亮度转换时所使用的亮度转换定义信息的记录介质中,读出编码数据、亮度特征信息以及亮度转换定义信息的步骤;
解码所述编码数据的步骤;
根据所述亮度转换定义信息,将通过解码所述编码数据所获得的标准视频转换成扩展视频的步骤;
将所述扩展视频的数据和所述亮度特征信息输出给能够显示所述扩展视频的显示装置的步骤;以及
将所述标准视频的数据输出给不能显示所述扩展视频的显示装置的步骤。
(20)一种记录介质,
其中,
记录
通过执行作为具有比第一亮度范围更宽的第二亮度范围的视频的扩展视频的亮度转换所获得的标准视频(所述标准视频是具有第一亮度范围的视频)的编码数据,
表示所述扩展视频的亮度特征的亮度特征信息,以及
在执行标准视频到扩展视频的亮度转换时所使用的亮度转换定义信息,并且
其中,再现所述记录介质的再现装置执行以下处理:
从所述记录介质中读出编码数据、亮度特征信息以及亮度转换定义信息,
解码所述编码数据,
根据所述亮度转换定义信息,将通过解码所述编码数据所获得的标准视频转换成扩展视频,
将所述扩展视频的数据和所述亮度特征信息输出给能够显示所述扩展视频的显示装置;以及
将所述标准视频的数据输出给不能显示所述扩展视频的显示装置。
参考符号列表
1:记录装置
2:再现装置
3:显示装置
11:光盘
21:控制器
21A:数据库信息生成单元
22:编码处理单元
23:磁盘驱动器
31:HDR信息生成单元
32:HEVC编码器
33:HDR-STD转换单元
34:定义信息生成单元
35:HEVC流生成单元
51:控制器
52:磁盘驱动器
53:存储器
56:解码处理单元
58:HDMI通信单元
71:参数提取单元
72:HEVC解码器
73:HDR-STD转换单元
74:STD-HDR转换单元
75:输出单元