CN110971887A - 再现方法、再现装置以及程序 - Google Patents

再现方法、再现装置以及程序 Download PDF

Info

Publication number
CN110971887A
CN110971887A CN201911164174.0A CN201911164174A CN110971887A CN 110971887 A CN110971887 A CN 110971887A CN 201911164174 A CN201911164174 A CN 201911164174A CN 110971887 A CN110971887 A CN 110971887A
Authority
CN
China
Prior art keywords
video
stream
hdr
reproduction
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911164174.0A
Other languages
English (en)
Other versions
CN110971887B (zh
Inventor
持永和宽
矢羽田洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110971887A publication Critical patent/CN110971887A/zh
Application granted granted Critical
Publication of CN110971887B publication Critical patent/CN110971887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • H04N9/7925Processing of colour television signals in connection with recording for more than one processing mode for more than one standard
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种利用再现装置的再现方法,所述再现装置再现记录在记录介质中的影像流,在记录介质中记录有:一个以上影像流,包括影像的辉度的动态范围与HDR对应的HDR流、影像的辉度的动态范围与比HDR窄的SDR对应的SDR流中的至少一个;和识别信息,表示在一个以上影像流中是否包括HDR流,在再现方法中,从记录介质读出识别信息,取得再现能力信息和显示能力信息,所述再现能力信息表示再现装置是否能够再现HDR流,所述显示能力信息表示与再现装置连接的显示装置是否能够显示HDR的影像,根据读出的识别信息、取得的再现能力信息和显示能力信息,从一个以上影像流之中决定再现的影像流。

Description

再现方法、再现装置以及程序
本申请是申请日为2015年10月16日、申请号为201580030515.9、发明名称为“再现方法、再现装置以及程序”的中国专利申请的分案申请。
技术领域
本公开涉及影像数据的再现方法、再现装置以及程序,所述影像数据包括记录在记录介质中的高动态范围(High Dynamic Range:HDR)影像。
背景技术
以往,公开了与DVD相关的技术(例如参照专利文献1)。
在先技术文献
专利文献
专利文献1:日本特开平9-282848号公报
发明内容
本公开的一个技术方案涉及的再现方法是一种再现装置的再现方法,所述再现装置再现记录在记录介质中的影像流,在所述记录介质中记录有:一个以上影像流,包括影像的辉度的动态范围与高动态范围即HDR对应的HDR流、和影像的辉度的动态范围与比HDR窄的标准动态范围即SDR对应的SDR流中的至少一个;和识别信息,表示在所述一个以上影像流中是否包括所述HDR流,在所述再现方法中,从所述记录介质读出所述识别信息,取得再现能力信息和显示能力信息,所述再现能力信息表示所述再现装置是否能够再现所述HDR流,所述显示能力信息表示与所述再现装置连接的显示装置是否能够显示HDR的影像,根据所读出的所述识别信息、所取得的所述再现能力信息以及所述显示能力信息,从所述一个以上影像流之中决定再现的影像流,再现所决定的所述影像流,向所述显示装置输出通过所述再现得到的再现信号。
根据上述技术方案,能够实现进一步的改善。
附图说明
图1是表示使用本公开的实施方式中的再现装置的家庭影院***(home theatersystem)的示意图。
图2是表示BD-ROM的构成的图。
图3是表示INDEX文件的内部构成的图。
图4是表示AV片段的构成的图。
图5是示意地表示在AV片段中被复用化的各个流的图。
图6是表示存储在PES分组串中的视频帧串的详细情况的图。
图7是表示AV片段中的TS分组和源分组的结构的图。
图8是表示PMT的数据结构的图。
图9是表示片段信息文件的内部构成的图。
图10是表示流属性信息的内部构成的图。
图11是表示入口映射的内部构成的图。
图12是表示播放列表的内部构成的图。
图13是表示播放项目的内部构成的图。
图14是表示包括子路径的播放列表的内部构成的图。
图15是表示再现装置的内部构成的图。
图16是表示再现装置的***参数的一览的图。
图17是表示再现装置的***目标解码器的内部构成的详细情况的图。
图18是表示辉度水平的标准动态范围和高动态范围的关系的图。
图19是表示播放列表文件的数据构成的详细情况的图。
图20是表示播放列表内的主视频的组合方式(pattern)的图。
图21A是表示仅存在HDR影像的主视频流的情况下的数据构成例的图。
图21B是表示在播放列表中仅存在作为兼容HDR的SDR的主视频流的情况下的数据构成例的图。
图21C是表示在播放列表中仅存在作为不兼容HDR的SDR的主视频流的情况下的数据构成例的图。
图21D是表示在播放列表中存在必需的HDR主视频流和第一可选HDR主视频流的情况下的数据构成例的图。
图21E是表示在播放列表中存在必需的HDR主视频流和第二可选HDR主视频流的情况下的数据构成例的图。
图21F是表示在播放列表中存在必需的HDR主视频流和兼容HDR的SDR主视频流的情况下的数据构成例的图。
图21G是表示在播放列表中存在必需的HDR主视频流和不兼容HDR的SDR主视频流的情况下的数据构成例的图。
图22是表示AV再现模式(mode)的情况下的、再现的主视频流的选择(决定)方法的流程图。
图23是表示程序再现模式的情况下的、再现的主视频流的选择方法的流程图。
图24是表示选择了SDR2视频的情况下的将包括SDR2视频的影像输出给显示装置的输出方法的一例的流程图。
图25是表示选择了SDR1视频的情况下的将包括SDR1视频的影像输出给显示装置的输出方法的一例的流程图。
图26是表示选择了HDR1视频的情况下的将包括HDR1视频的影像输出给显示装置的输出方法的一例的流程图。
图27是表示选择了HDR1视频的情况下的将包括HDR1视频的影像输出给显示装置的输出方法的另一例的流程图。
图28是表示选择了HDR2视频的情况下的将包括HDR2视频的影像输出给显示装置的输出方法的一例的流程图。
图29是表示选择了HDR3视频的情况下的将包括HDR3视频的影像输出给显示装置的输出方法的一例的流程图。
具体实施方式
(成为本公开的基础的见解)
在上述专利文献中,需要进一步的改善。本发明人发现了在“背景技术”一栏中记载的DVD等记录介质会产生以下问题。
为了分发电影作品等动态图像内容,广泛使用了DVD、Blu-ray(注册商标)Disc等光盘。特别是,由于相对于此前的DVD为SD(Standard Definition),Blu-ray(注册商标)Disc(BD)能够处理1920×1080的HD(High Definition),所以能够存储更高画质的影像。另外,近年来,作为影像内容,也出现了超过HD分辨率的4K(3840×2160)、8K(7680×4320)这样的具有更高分辨率的影像内容(以下,称为“高分辨率影像”。),能够再现4K影像的家庭用再现装置逐渐普及。另外,作为高画质化技术,在上述高分辨率影像的基础上,通过比以往更宽地取影像的辉度的动态范围,从而实现影像的对比度、色彩表现的提高的高动态范围(High Dynamic Range:HDR)技术引人关注。另外,由于伴随于此也逐渐出现了与HDR技术对应的影像内容,所以,今后要求将高分辨率且高动态范围的影像内容记录于光盘等记录介质并进行再现。
在BD中,记录了影像的辉度的动态范围为作为以往的方式的标准动态范围(Standard Dynamic Range:SDR)所对应的影像流(以下,称为“SDR流”。)、和作为扩大了SDR的动态范围的方式的高动态范围(HDR)所对应的影像流(以下,称为“HDR流”。)中的某一方或双方。另外,HDR流存在多种不同的方式。在BD中,记录了与多种不同方式中的某一种方式对应的HDR流或与多种不同的方式分别对应的多种HDR流。
另一方面,存在具有HDR流的再现能力和不具有HDR流的再现能力的再现装置,另外,也存在具有HDR影像的显示能力和不具有HDR影像的显示能力的显示装置。另外,也可存在具有与多种HDR的方式对应的多个HDR流的再现能力的再现装置,也可存在具有与该多种HDR的方式对应的多个HDR影像的显示能力的显示装置。
这样,由于根据再现装置而再现能力不同,另外,根据显示装置而显示能力不同,所以根据相互连接的再现装置和显示装置的组合,是否选择并再现、显示记录于记录介质的多个影像流中的、与某一种方式的动态范围对应的影像流会变得不同。
例如,存在如下问题:在虽然再现装置具有HDR流的再现能力,但是与该再现装置连接的显示装置不具有HDR影像的显示能力的情况下,不能以与HDR对应的画质将记录于记录介质的HDR流的影像内容显示于显示装置。
在以上研究的基础上,为了解决上述问题,本发明人研究了下述改善方法。
本公开的一个技术方案涉及的再现方法是一种再现装置的再现方法,所述再现装置再现记录在记录介质中的影像流,在所述记录介质中记录有:一个以上影像流,包括影像的辉度的动态范围与高动态范围即HDR对应的HDR流、和影像的辉度的动态范围与比HDR窄的标准动态范围即SDR对应的SDR流中的至少一个;和识别信息,表示在所述一个以上影像流中是否包括所述HDR流,在所述再现方法中,从所述记录介质读出所述识别信息,取得再现能力信息和显示能力信息,所述再现能力信息表示所述再现装置是否能够再现所述HDR流,所述显示能力信息表示与所述再现装置连接的显示装置是否能够显示HDR的影像,根据所读出的所述识别信息、所取得的所述再现能力信息以及所述显示能力信息,从所述一个以上影像流之中决定再现的影像流,再现所决定的所述影像流,向所述显示装置输出通过所述再现得到的再现信号。
由此,由于根据识别信息、再现能力信息以及显示能力信息这三个信息决定再现的影像流,所以能够向显示装置输出适当的影像流的影像。
另外,例如也可以是,在所述决定中,在所述一个以上影像流之中,将如下影像流决定为所述再现的流,所读出的所述识别信息表示该影像流包含在所述一个以上影像流中、且取得的所述再现能力信息表示能够再现该影像流、且取得的所述显示能力信息表示能够显示该影像流。
因此,能够将适当的影像流的影像输出给显示装置。
另外,例如也可以是,在所述决定中,在能够用所述再现装置再现且能够用所述显示装置显示的影像流有两个以上的情况下,在该两个以上影像流中,将预先确定的优先级高的影像流决定为所述再现的流。
因此,能够将更适当的影像流的影像输出给显示装置。
另外,例如也可以是,所述识别信息还表示在所述一个以上影像流中是否包含所述SDR流,在所述决定中,在所述识别信息表示在所述一个以上影像流中包含所述HDR流和所述SDR流的情况下,在所述再现能力信息表示能够再现所述HDR流、且所述显示能力信息表示能够显示所述HDR的影像时,将表示是所述HDR流的所述识别信息所对应的影像流决定为所述再现的流,在所述再现能力信息表示不能再现所述HDR流,或者,所述显示能力信息表示不能显示所述HDR流的影像时,将表示是所述SDR流的所述识别信息所对应的影像流决定为所述再现的流。
由此,在能够再现和能够显示HDR流的情况下,向显示装置输出HDR流的影像。因此,能够将更高画质的影像输出给显示装置。
另外,例如也可以是,所述识别信息还表示:关于所述一个以上影像流中的每一个,在该影像流中是否包括第一HDR流以及在该影像流中是否包含第二HDR流,在所述决定中,在所述识别信息表示在所述一个以上影像流中包括所述第一HDR流和所述第二HDR流的情况下,在所述再现能力信息表示能够再现所述第二HDR流且所述显示能力信息表示能够显示所述第二HDR流的影像时,将利用所述识别信息表示是所述第二HDR流的影像流决定为所述再现的流,在所述再现能力信息表示能够再现所述第一HDR流且所述显示能力信息表示能够显示所述第一HDR流的影像时,并且,所述再现能力信息表示不能再现所述第二HDR流或所述显示能力信息表示不能显示所述第二HDR流的影像时,将利用所述识别信息表示是所述第一HDR流的影像流决定为所述再现的流。
另外,例如也可以是,所述第二HDR流是预先确定的优先级比所述第一HDR流高的影像流。
由此,在能够再现和能够显示优先级更高的第二HDR流的情况下,能够向显示装置输出第二HDR流的影像。由此,能够将更适当的影像输出给显示装置。
以下,参照附图说明本公开的实施方式。
(实施方式)
参照附图,说明本公开涉及的再现方法的实施方式。
图1是表示使用本公开的实施方式中的再现装置的家庭影院***的示意图。除了3840像素×2160像素(以下,称为“4K”。)的2D影像之外,该家庭影院***还能够显示HDR影像。
如图1所示,家庭影院***将BD-ROM盘101作为再现对象,并包括再现装置102、显示装置103以及遥控器104。
BD-ROM盘101是只读型记录介质。BD-ROM盘101例如存储有电影作为内容。该内容包括表示4K的2D影像的影像流。所述4K的2D影像是HDR影像或SDR影像中的某一种,并且是HDR流和SDR流中的某一方或包括双方。这些影像流以区段(extent)为单位配置在BD-ROM盘101上,并由再现装置102利用后述的数据结构进行访问。
再现装置102搭载有BD-ROM驱动器121。BD-ROM驱动器121是遵照BD-ROM方式的光盘驱动器。再现装置102利用BD-ROM驱动器121,从BD-ROM盘101读出影像流。再现装置102通过将读出的影像流解码成影像数据/声音数据,再现影像流。在这里,再现装置102也能够将影像流再现为SDR4K的2D影像和HDR4K的2D影像中的任一种。以下,将再现SDR4K的2D影像时的再现装置102的工作模式称为“SDR再现模式”,将再现HDR4K的2D影像时的再现装置102的工作模式称为“HDR再现模式”。
再现装置102通过HDMI(注册商标)(High-Definition Multimedia Interface:高清多媒体接口)缆线122与显示装置103连接。再现装置102将通过解码影像流而得到的影像数据/声音数据转换成HDMI(注册商标)方式的影像信号/声音信号(也称为再现信号),并通过HDMI(注册商标)缆线122输送给显示装置103。再现装置102还通过HDMI(注册商标)缆线122与显示装置103之间交换CEC消息。由此,再现装置102能够向显示装置103查询是否能够显示HDR影像。
显示装置103例如是液晶显示器。显示装置103按照影像信号在画面131上显示影像,并按照声音信号从内置的扬声器发出声音。显示装置103能够应对HDR影像的显示。
遥控器104包括操作部和发送部。操作部包括多个按钮。各按钮与电源的通断、或者BD-ROM盘101的再现开始或停止等再现装置102或显示装置103的各功能关联。操作部检测用户进行的各按钮的按下,并用信号将该按钮的识别信息传递给发送部。发送部将来自操作部的信号转换成红外线(或其他无线方式)的信号IR,并向再现装置102或显示装置103送出。另一方面,再现装置102和显示装置103分别接收从遥控器104发送来的信号IR,并执行接收到的信号IR表示的功能。这样,用户能够远程操作再现装置102或显示装置103。
接着,对作为本公开涉及的记录介质的BD-ROM的、用于存储2D影像的数据结构进行说明。
图2是表示BD-ROM的构成的图。
在图2中,在第4段表示BD-ROM盘101,在第3段表示BD-ROM盘101上的音轨202。图2的音轨202是沿横向拉长从BD-ROM盘101的内周到外周形成为螺旋状的音轨202而描绘的。BD-ROM盘101与其他光盘例如DVD或CD等同样地,从其内周向外周具有螺旋状记录区域,具有能够在内周的导入与外周的导出之间记录逻辑数据的卷(volume)区域。卷区域以访问光盘的单位从开头起按顺序赋予顺序号,并将该顺序号称为逻辑地址。通过指定逻辑地址来进行从光盘的数据读出。这里,逻辑地址定义为在光盘上的物理配置中也连续。即,再现装置102的BD-ROM驱动器121的光拾取器能够不进行寻道而读出逻辑地址连续的数据。另外,在导入的内侧有称为BCA(Burst Cutting Area:二进制位组截断区)的仅能够由BD-ROM驱动器121读出的特别区域。由于该区域不能由应用读出,所以例如经常利用在著作权保护技术等中。
在卷区域中,从开头起记录有文件***的卷信息,接着记录有影像数据等应用数据。文件***是以被称为目录或文件的单位来表现盘上的数据的机制。在BD-ROM盘101的情况下,文件***使用了UDF(Universal Disc Format:统一光盘格式)。即使在日常使用的PC(个人计算机)的情况下,也通过被称为FAT(File Allocation Tables:文件分配表)或NTFS(NT File System:NT文件***)的文件***,在计算机上表现以目录、文件这样的结构记录在硬盘上的数据,提高了易用性。通过该文件***,能够与通常的PC同样地使用目录、文件结构读出所记录的逻辑数据。
在BD-ROM盘101上的目录或文件结构中,将BDMV目录置于根目录(ROOT)下一级。BDMV目录是记录了在BD-ROM盘101中处理的AV内容和/或管理信息等数据的目录。在BDMV目录的属下,配置有定义了索引表的INDEX文件、PLAYLIST目录、CLIPINFO目录、STREAM目录以及PROGRAM目录,所述索引表构成标题。复用化并存储有影像和声音等AV内容的AV片段(XXX.M2TS)、存储有AV片段的管理信息的片段信息文件(XXX.CLPI)、定义了AV片段的逻辑再现路径的播放列表文件(YYY.MPLS)、存储有用于定义动态脚本的程序的BD程序文件(AAA.PROG)分别被配置在上述STREAM目录、CLIPINFO目录、PLAYLIST目录以及PROGRAM目录之下。
以下,说明配置于BDMV目录的属下的各文件的数据结构。
首先,说明INDEX文件。图3是表示INDEX文件的内部构成的图。
如图3所示,INDEX文件具有索引表。索引表是对存储在BD-ROM盘101中的全部标题、顶层菜单、首先播放(FirstPlay)这样的标题构成进行定义的最上位层的表。在该表中,指定了全部标题、顶层菜单以及从首先播放(FirstPlay)最先执行的BD程序文件。每当调用标题或菜单时,BD-ROM盘101的再现装置102参照索引表,执行预定的BD程序文件。在这里,首先播放(FirstPlay)由内容供应商设定,并设定了在再现BD-ROM盘101时自动执行的BD程序文件。另外,顶层菜单设定了通过使用遥控器104等的用户的操作,执行例如“返回到菜单”这样的命令时调用的BD程序文件。
返回图2,BD程序文件(AAA.PROG)存储有通过从标题指定而执行的程序。程序的文件有多个,前缀(AAA)用于识别程序。在这里使用的程序为BD的情况下使用被称为命令导航的独立规格的解释器方式的程序,但由于语言方式并不是本公开的本质,所以也可以是Java(注册商标)或JavaScrip(注册商标)这样的通用编程语言。指定通过该程序再现的播放列表。
接着,说明AV片段(XXX.M2TS)和片段信息文件(XXX.CLPI)。
AV片段是MPEG-2传输流形式的数字流。
图4是表示AV片段的构成的图。如本图所示,AV片段能够通过复用化视频流(影像流)、音频流、演示图形流(PG)、交互图形流中的一种以上而得到。视频流表示电影的主影像及副影像,音频流(IG)表示电影的主声音部分和与该主声音混音的副声音,演示图形流表示电影的字幕。这里,主影像表示显示在画面上的通常的影像,副影像是在主影像之中用较小的画面显示的影像。另外,交互图形流表示通过在画面上配置GUI部件而制作而成的对话画面。视频流用MPEG-2、MPEG-4AVC或SMPTE VC-1等方式编码。音频流用AC-3、杜比数字+(Dolby Digital(注册商标)Plus)、MLP(Meridian Lossless Packing:注册商标)、DTS(Digital Theater System:注册商标)、DTS-HD或线性PCM(Pulse Code Modulation)等方式编码。
以下说明视频流的构成。在MPEG-2、MPEG-4AVC、SMPTE VC-1等的动画压缩编码中,利用动态图像的空间方向和时间方向的冗余性进行数据量的压缩。作为利用时间方向的冗余性的方法,使用图像间预测编码。在图像间预测编码中,在将某个图像编码时,将在显示时间顺序上位于前方或后方的图像作为参照图像。并且,检测距该参照图像的移动量,通过对进行了移动补偿的图像与作为编码对象的图像的差值去除空间方向的冗余度而进行数据量的压缩。
在这里,将不具有参照图像而仅使用编码对象图像进行图像内预测编码的图像称作I图像。图像是指包含帧和场这两者的一个编码的单位。另外,把参照已经处理完毕的一张图像进行图像间预测编码的图像称为P图像,把同时参照已经处理完毕的两张图像进行图像间预测编码的图像称为B图像,把B图像中被其它图像参照的图像称为Br图像。另外,在这里将帧结构的情况下的帧或场结构的情况下的场称为视频访问单元。
AV片段所包含的各个流用PID(Packet ID)来识别。作为PID,例如,对在电影的影像中利用的视频流分配了0x1011、对音频流分配了0x1100至0x111F、对演示图形分配了0x1200至0x121F、对交互图形流分配了0x1400至0x141F,对在电影的副影像中利用的视频流分配了0x1B00至0x1B1F,对在与主声音混音的副声音中利用的音频流分配了0x1A00至0x1A1F。
图5是示意地表示在AV片段中被复用化的各个流的图。
首先,将由多个视频帧构成的视频流501和由多个音频帧构成的音频流504分别转换成PES分组串502、505,并进一步转换成TS分组503、506。同样地,将演示图形流507和交互图形流510分别转换成PES分组串508、511,并进一步转换成TS分组509、512。AV片段513通过将这些TS分组503、506、509复用化为一条流而构成。
图6是表示存储在PES分组串中的视频帧串的详细情况的图。
在图6中,在第1段中示出视频流的视频帧串,在第2段中示出PES分组串。如图6所示,作为视频流中的多个视频演示单元(Video Presentation Unit)的I图像yy1、P图像yy2、B图像yy3、yy4,按每个图像进行分割,分割而成的各图像存储在PES分组的有效载荷(payload)中。各PES分组具有PES头,在PES头中,存储有作为图像的显示时刻的PTS(Presentation Time-Stamp)、作为图像的解码时刻的DTS(Decoding Time-Stamp)。
图7是表示AV片段中的TS分组和源分组的结构的图。
如图7所示,TS分组串具有多个TS分组。多个TS分组中的每一个是由具有对流进行识别的PID等信息的4字节(Byte)的TS头、存储数据的184字节(Byte)的TS有效载荷构成的188字节(Byte)固定长的分组,上述说明的PES分组被分割并存储在TS有效载荷中。在BD-ROM的情况下,通过对TS分组赋予4Byte的TP_Extra_Header而构成192字节(Byte)的源分组,各源分组被写入AV片段。在TP_Extra_Header中,记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS分组的、向后述***目标解码器1503的PID过滤器传输的传输开始时刻。如图7的下段所示,排列多个源分组而构成AV片段。从AV片段的开头起递增的序号称为SPN(源分组编号)。
另外,在AV片段所包含的TS分组中,除了影像、声音、字幕等的各个流以外,还包括PAT(Program Association Table:节目关联表)、PMT(Program Map Table:节目映射表)以及PCR(Program Clock Reference:节目时钟参考)等。PAT表示在AV片段中利用的PMT的PID是什么。PAT自身的PID登记为0。PMT具有AV片段中所包含的影像、声音、字幕等各个流的PID和与各PID对应的流的属性信息。另外,PMT具有与AV片段相关的各种描述符(descriptor)。在描述符中具有复制控制信息等,所述复制控制信息指示许可或不许可AV片段的复制。为了获取作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS和DTS的时间轴的STC(System Time Clock)的同步,PCR具有与该PCR分组被传输给解码器的ATS所对应的STC时间的信息。
图8是详细说明PMT的数据结构的图。
在PMT的开头,配置有记述该PMT所包含的数据的长度等的PMT头。在其之后,配置有与AV片段相关的多个描述符。将上述复制控制信息等记载为描述符。在描述符之后,配置与AV片段所包含的各个流相关的多个流信息。流信息由记载了用于识别流的压缩编解码器(codec)等的流类型、流的PID以及流的属性信息(帧率、长宽比等)的流描述符构成。流描述符的数量与存在于AV片段的流的数量对应。
图9是表示片段信息文件的内部构成的图。
如图9所示,片段信息文件是AV片段的管理信息,与AV片段一一对应。片段信息文件由片段信息、流属性信息以及入口映射构成。
如图9所示,片段信息由***速率、再现开始时刻以及再现结束时刻构成。***速率表示AV片段的、向后述***目标解码器的PID过滤器传输的最大传输速率。AV片段中所包含的ATS的间隔设定为***速率以下。再现开始时刻是AV片段的开头的视频帧的PTS,再现结束时刻设定为对AV片段的末端的视频帧的PTS加上1帧的再现间隔得到的值。
图10是表示流属性信息的内部构成的图。
如图10所示,流属性信息按每个PID登记了AV片段所包含的各个流的属性信息。流属性信息具有按每个视频流、音频流、演示图形流、交互图形流对应的相互不同的属性信息。视频流属性信息具有表示对应的视频流用什么压缩编解码器压缩、构成该视频流的各个图像数据的分辨率为多少、长宽(aspect)比为多少以及帧率为多少等的信息。音频流属性信息具有表示对应的音频流用什么压缩编解码器压缩、该音频流所包含的声道数为几个、与什么语言对应以及采样频率为多少等的信息。这些信息利用于在再现装置中再现前的解码器的初始化等。
图11是表示入口映射的内部构成的图。
如图11所示,入口映射是存储有入口映射头信息1101、表示AV片段内所包含的视频流的各I图像的显示时刻的PTS以及各I图像开始的AV片段的SPN的表信息。在这里,把在表的一个行中示出的成对的PTS和SPN的信息称为入口点。另外,把开头为0并按每个入口点递增的值称为入口点ID(以下称为“EP_ID”。)。通过利用该入口映射,再现装置能够确定与视频流的时间轴上的任意地点对应的AV片段的文件位置。例如,在进行快进、后退等特殊再现时,通过确定登记在入口映射中的I图像并从确定出的I图像起进行再现,能够有效地进行处理而无需解析AV片段。另外,按在AV片段内复用化的每个视频流制作入口映射,并用PID进行管理。另外,在入口映射中,在开头存储有入口映射头信息1101。在入口映射头信息1101中,存储有相应入口映射指示的视频流的PID、入口点数等信息。
接着,说明播放列表文件(YYY.MPLS)。图12是表示播放列表的内部构成的图。
播放列表表示AV片段1204的再现路径。如图12所示,播放列表由一个以上播放项目1201构成,各播放项目表示相对于AV片段1204的再现区间。各播放项目1201用播放项目ID识别,在播放列表内以应再现的顺序记述。另外,播放列表包含有表示再现开始点的入口标记1202。对在各播放项目中定义的再现区间内赋予入口标记1202。如图12所示,对于播放项目,在可成为再现开始点的位置赋予入口标记1202,利用于起点定位(頭出し)再现。例如,在电影标题中,通过将入口标记1202赋予在成为章节的开头的位置,能够从该章节的开头开始再现。此外,在这里,将一系列的播放项目的再现路径定义为主路径1205。此外,AV片段信息1203是将从AV片段1204的开头起的解码时刻/显示时刻和AV片段1204的逻辑地址进行了关联的信息。
以下说明播放项目的内容。图13是表示播放项目的内部构成的图。
在播放项目中,包括再现(参照)的片段信息1301、再现开始时刻1302、再现结束时刻1303、连接条件1310以及流选择表1305。由于再现开始时刻和再现结束时刻是时刻信息,所以再现装置参照片段信息文件的入口映射,取得与指定的再现开始时刻和再现结束时刻对应的SPN。再现装置根据取得的SPN确定读出开始位置并进行再现处理。
连接条件1310表示与前方播放项目的连接类型。
在播放项目的连接条件1310为“1”的情况下,表示不能保证播放项目指示的AV片段与该播放项目之前的播放项目指示的AV片段无缝连接。
在播放项目的连接条件1310为“5”或“6”的情况下,表示能够保证播放项目指示的AV片段与该播放项目之前的播放项目指示的AV片段无缝地连接。
也可以是,在连接条件1310为“5”的情况下,在播放项目间,STC的连续性不中断。也就是说,在该情况下,连接前播放项目的AV片段末端的视频显示时刻与连接后播放项目的AV片段开头的视频显示时刻可以不连续。但是,需要将AV片段制作成:在将连接前播放项目的AV片段输入到后述的***目标解码器1503的PID过滤器中之后,接着将连接后播放项目的AV片段输入到***目标解码器1503的PID过滤器中而再现时,***目标解码器1503的解码不会失败。此外,存在连接前播放项目的AV片段的音频的末端帧和连接后播放项目的音频的开头帧必须在再现时间轴上重叠等限制条件。
另外,在连接条件1310为“6”的情况下,在将连接前播放项目的AV片段与连接后播放项目的AV片段结合时必须能够作为一条AV片段再现。也就是说,在连接前播放项目的AV片段与连接后播放项目的AV片段之间,STC连续,另外,ATC也连续。
流选择表1305由多个流入口1309构成。多个流入口1309中的每一个由流选择序号1306、流路径信息1307以及流识别信息1308构成。
流选择序号1306是从流选择表所包含的流入口1309的开头起按顺序递增的序号,是再现装置为了识别流而利用的序号。
流路径信息1307是表示利用流识别信息1308表示的流在哪个AV片段中被复用化的信息。例如,如果流路径信息1307是“主路径”,则表示相应的播放项目的AV片段,如果流路径信息1307是“子路径ID=1”,则表示在该子路径ID表示的子路径中,与相应的播放项目的再现区间对应的子播放项目的AV片段。在下一节中说明子路径。
流识别信息1308是PID等信息,表示在参照的AV片段中被复用化的流。另外,在流入口1309中,同时也记录有各个流的属性信息。在这里,各个流的属性信息是表示对应的流的性质的信息,例如在音频、演示图形或交互图形的情况下,包括语言属性等。
接着,说明包括子路径的播放列表。图14是表示包括子路径的播放列表的内部构成的图。
如图14所示,播放列表能够具有一个以上子路径。按登记在播放列表中的顺序,向子路径赋予作为子路径ID的ID。子路径ID用于识别子路径。子路径表示与主路径同步再现的一系列的再现路径。与播放项目同样地,子播放项目的AV片段具有再现的片段信息1301、再现开始时刻1302以及再现结束时刻1303。子播放项目的AV片段的再现开始时刻1302和再现结束时刻1303用与主路径相同的时间轴表示。例如,在登记在播放项目#2的流选择表1305中的某流入口1309用子路径ID=0表示演示图形1的情况下,在子路径ID=0的子路径之中,将在同步于播放项目#2的再现区间而再现的、子播放项目的AV片段#2的AV片段之中被复用化的演示图形1在播放项目#2的再现区间中再现。另外,在子播放项目的AV片段中,存在具有与播放项目的连接条件相同的含义的SP连接条件这样的场。SP连接条件为“5”或“6”的子播放项目边界的AV片段需要遵守与连接条件“5”或“6”相同的上述条件。
以上是作为本公开涉及的记录介质的BD-ROM的、用于存储2D影像的数据结构。
接着,说明本公开涉及的再现BD-ROM的再现装置(2D再现装置),所述BD-ROM存储2D影像。
图15是表示再现装置的内部构成的图。2D再现装置1500包括BD-ROM驱动器1501、读缓冲器1502、***目标解码器1503、程序存储器1504、管理信息存储器1505、程序执行部1506、再现控制部1507、播放器变量1508、用户事件处理部1509以及平面加法运算部1510。
BD-ROM驱动器1501以来自再现控制部1507的请求为基础,从BD-ROM盘读出各种数据。从BD-ROM盘读出的AV片段传输给读缓冲器1502,INDEX文件、播放列表文件以及片段信息文件传输给管理信息存储器1505,BD程序文件传输给程序存储器1504。
读缓冲器1502对使用BD-ROM驱动器读出的数据进行存储,管理信息存储器1505存储INDEX文件、播放列表文件以及片段信息文件的管理信息,程序存储器1504存储BD程序文件。读缓冲器1502、管理信息存储器1505以及程序存储器1504中的每一个是由存储器等构成的缓冲器。
***目标解码器1503对读出到读缓冲器1502中的源分组进行复用分离处理,并进行流的解码处理。***目标解码器1503从再现控制部1507取得AV片段所包含的流的解码所需的编解码器种类、流属性等信息。***目标解码器1503将解码得到的主视频流、副影像视频流、交互图形流以及演示图形流写出到作为各自的平面存储器的主影像平面、副影像平面、交互图形平面(IG平面)以及演示图形平面(PG平面)。另外,***目标解码器1503将解码得到的主声音流和副声音流混音,并将混音的结果输出至扬声器等。另外,***目标解码器1503进行如下处理:将从程序执行部1506传输来的用于显示在菜单等上的JPEG、PNG等图形数据进行解码,并写出到图像平面。将在后面说明***目标解码器1503的详细情况。
用户事件处理部1509响应于通过遥控器的用户操作,向程序执行部1506和/或再现控制部1507请求处理的执行。例如,在遥控器上按下按钮的情况下,请求程序执行部1506执行该按钮所包含的命令。例如,在遥控器上按下快进按钮或后退按钮的情况下,命令再现控制部1507执行对当前正在再现的播放列表的AV片段的快进处理或后退处理。
再现控制部1507控制BD-ROM驱动器1501和***目标解码器1503,并控制AV片段的再现。再现控制部1507基于来自程序执行部1506的再现命令、来自用户事件处理部1509的通知,解释播放列表信息并控制AV片段的再现处理。另外,再现控制部1507进行播放器变量1508的设定、参照,并进行再现工作。
在播放器变量1508中,有表示再现装置的状态的***参数(SPRM)、和能够作为一般用途使用的通用参数(GPRM)。
图16是***参数(SPRM)的一览。
SPRM(0):语言码
SPRM(1):主声音流序号
SPRM(2):字幕流序号
SPRM(3):角度序号
SPRM(4):标题序号
SPRM(5):章节序号
SPRM(6):程序序号
SPRM(7):单元序号
SPRM(8):选择键信息
SPRM(9):引导定时器
SPRM(10):再现时刻信息
SPRM(11):卡拉OK用混音模式
SPRM(12):限制用国家信息
SPRM(13):限制等级
SPRM(14):播放器设定值(视频)
SPRM(15):播放器设定值(音频)
SPRM(16):声音流用语言码
SPRM(17):声音流用语言码(扩展)
SPRM(18):字幕流用语言码
SPRM(19):字幕流用语言码(扩展)
SPRM(20):播放器地区码
SPRM(21):副影像流序号
SPRM(22):副声音流序号
SPRM(23):再现状态
SPRM(24):3D影像再现能力
SPRM(25):HDR影像·图形再现能力
SPRM(26):HDR显示能力
SPRM(27):HDR输出模式
SPRM(28):HDR输出偏好
SPRM(29):预留
SPRM(30):预留
SPRM(31):预留
SPRM(32):预留
SPRM(10)在每当显示了属于AV片段的各图像数据时被更新。也就是说,如果再现装置显示新的图像数据,则SPRM(10)被更新为表示该新的图像数据的显示时刻(PTS)的值。如果参照该SPRM(10),则能够得知当前的再现时间点。
SPRM(16)的声音流用语言码、SPRM(18)的字幕流用语言码是能够用再现装置的OSD等设定的项目,表示再现装置的默认语言码。例如,能够将如下功能放入BD程序文件中:如果SPRM(16)的声音流用语言码是英语,则在再现播放列表时,从播放项目的流选择表之中找出具有相同语言码的流入口,选择该声音流并进行再现。
SPRM(25)包括表示***目标解码器1503是否能够解码HDR画质的主视频流的信息。另外,包括表示是否能够将从程序执行部1506传输来的JPEG、PNG等图形数据转换成HDR画质的信息。
SPRM(26)包括表示与再现装置连接的电视机等显示装置是否能够显示HDR影像的信息。
SPRM(27)包括表示再现装置是以HDR画质对连接的显示装置输出从平面加法运算部1510输出的显示数据,还是以SDR画质输出的状态的信息。
SPRM(28)包括再现装置是否优先以HDR画质输出或者优先以SDR画质输出这样的用户偏好信息。
另外,再现控制部1507一边检查***参数的状态一边进行再现。另外,SPRM(1)、SPRM(2)、SPRM(21)以及SPRM(22)分别表示声音流序号、字幕流序号以及副影像流和副声音流的序号,它们的值与上述的流选择序号1306对应。例如,设为由程序执行部1506变更声音流序号SPRM(1)。再现控制部1507从当前正在再现的播放项目的流选择表1305之中,与流选择序号1306进行比较,参照一致的流入口1309,切换再现的声音流。这样一来,切换将哪个声音流、哪个字幕流、哪个副影像流进行再现。
程序执行部1506是执行存储在BD程序文件中的程序的处理器。程序执行部1506按照存储的程序进行工作,并进行如下控制。
(1)对再现控制部1507命令播放列表再现。
(2)对***目标解码器传输用于菜单和/或游戏的图形的PNG·JPEG并显示在画面上。
这些控制能够根据程序的制作而自由地进行,怎样进行控制由编辑工序的BD程序文件的编程工序决定。
平面加法运算部1510将主影像平面、副影像平面、交互图形平面、演示图形平面以及图像平面瞬间重叠,并显示在电视机等的画面上。
接着,参照图17并说明***目标解码器1503。图17是表示***目标解码器的内部构成的详细情况的图。
时钟(CLOCK)1712例如向ATC计数器1711供给频率为27(MHz)的时钟信号。ATC计数器1711基于从时钟(CLOCK)1712供给的时钟信号生成ATC的值。
源拆包器(source depacketizer)1710解释被传输给***目标解码器1503的源分组,取出TS分组并向PID过滤器送出。在进行该送出时,源拆包器1710根据各源分组的ATS调整向解码器的输入时刻。
具体而言,源拆包器1710在ATC计数器1711生成的ATC的值与源分组的ATS值成为相同的瞬间,按照AV片段的记录速率,仅将该TS分组传输给PID过滤器。
PID过滤器1714按照PID,将从源拆包器1710输出的TS分组中的、TS分组的PID与再现所需的PID一致的TS分组传输到主影像视频解码器1700、副影像视频解码器1720、IG解码器1740、PG解码器1730、主声音解码器1750以及副声音解码器1760。例如,在BD-ROM的情况下,PID过滤器在TS分组所包含的PID为0x1011的情况下传输给主影像视频解码器1700,在PID为0x1B00至0x1B1F的情况下传输给副影像视频解码器1720,在PID为0x1100至0x111F的情况下传输给主声音解码器1750,在PID为0x1A00至0x1A1F的情况下传输给副声音解码器1760,在PID为0x1200至0x121F的情况下传输给PG解码器1730,在PID为0x1400至0x141F的情况下传输给IG解码器1740。
时钟(CLOCK)1716例如向STC1715供给频率为27(MHz)的时钟信号。STC1715基于从时钟(CLOCK)1716供给的时钟信号保持STC(System Time Clock:***时钟),所述STC是上述对应的解码器的解码所涉及的时间(PTS和DTS)的时间轴。在TS分组的PID与PCR的PID一致时,当从PID过滤器1714供给PCR所包含的STC时间的信息时,STC1715取得与ATC时间的同步。上述对应的解码器参照STC1715保持的STC时间,控制解码的定时。
主影像视频解码器1700包括TB(Transport Stream Buffer:传输流缓冲器)1701、MB(Multiplexing Buffer:复用缓冲器)1702、EB(Elementary Stream Buffer:基本码流缓冲器)1703、压缩影像解码器1704以及DPB(Decoded Picture Buffer:解码图像缓冲器)1705。
TB1701是当从PID过滤器输出包括视频流的TS分组时,暂时按原样存储TS分组的缓冲器。
MB1702是用于在从TB1701向EB1703输出视频流时暂时存储PES分组的缓冲器。在从TB1701向MB1702传输数据时,将TS分组的TS头去除。
EB1703是存储了处于编码状态的图像(I图像、B图像以及P图像)的缓冲器。在从MB1702向EB1703传输数据时,将PES头去除。
压缩影像解码器1704通过按照预定的解码时刻(DTS)将视频基本流的各个视频访问单元解码,从而制作帧/场图像。由于在AV片段中复用化的视频流的压缩编码形式有MPEG2、MPEG4AVC、VC1等,所以根据流的属性切换压缩影像解码器1704的解码方法。压缩影像解码器1704将解码得到的帧/场图像传输给DPB1705,在显示时刻(PTS)的定时将对应的帧/场图像写出到主影像平面1708。
DPB1705是将解码得到的帧/场图像暂时保持的缓冲器。DPB1705是压缩影像解码器1704按每个视频访问单元对图像间预测编码而成的P图像、B图像等进行解码时,为了参照已经解码的图像而利用的缓冲器。
副影像视频解码器1720具有与主影像视频解码器1700同样的构成,进行所输入的副影像视频流的解码,并在显示时刻(PTS)的定时将图像写出到副影像平面1725。
PG解码器1730从TS分组提取演示图形流并解码,在显示时刻(PTS)的定时将非压缩的图形数据写出到PG平面1735,所述TS分组从源拆包器1710输入。
IG解码器1740从TS分组提取交互图形流并解码,在显示时刻(PTS)的定时将非压缩的图形数据写出到IG平面1745,所述TS分组从源拆包器1710输入。
主声音解码器1750具有缓冲缓冲器,通过一边将数据存储在缓冲器中,一边去除TS头、PES头等信息,并进行声音流的解码处理,从而得到非压缩的LPCM状态的音频数据。主声音解码器在再现时刻(PTS)的定时将得到的音频数据输出给声音混合器1765。由于在AV片段中复用化的音频流的压缩编码形式有AC3、DTS等,所以主声音解码器根据流的属性,切换压缩声音的解码方式来进行解码处理。
副声音解码器1760具有与主声音解码器1750同样的构成,进行所输入的副声音流的解码处理,并在显示时刻的定时,将通过解码处理得到的非压缩的LPCM的状态的音频数据输出给声音混合器1765。由于在AV片段中被复用化的音频流的压缩编码形式有杜比数字+(DolbyDigitalPlus)、DTS-HD LBR等,所以副声音解码器1760根据流的属性,切换压缩声音的解码方式来进行解码处理。
声音混合器1765将从主声音解码器输出的非压缩声音数据和从副声音解码器输出的非压缩声音数据混音(声音的重合)并输出给扬声器等。
图像处理器1770解码从程序执行部1506传输来的图形数据(PNG·JPEG),按照从程序执行部1506指定的显示时刻,输出给图像平面1775。
以上是本公开所涉及的2D再现装置的构成。
<包括HDR影像的数据的再现>
接着,使用图18说明影像内容的高动态范围。图18是表示辉度水平的标准动态范围和高动态范围的关系的图。
在以往的视频数据中,一个图像中的一个像素利用8位(bit)的辉度信息和8位×2的色彩信息来表现。特别是,辉度信息是与LED显示器、等离子显示器等显示装置能够发光的辉度水平进行了关联的信息,图18的(A)所示的对应关系表示将8位的位码值和辉度水平进行了关联的关系。在显示装置中,解码得到的影像信号的各像素的辉度信息用图18的(A)的辉度信号转换关系(EOTF)转换成辉度水平并发光。以往,根据以往的显示装置的标准发光性能,EOTF将辉度水平的上限设为100〔nit〕,在该辉度水平的范围中,将辉度水平和8位的位码值信号进行了关联。将利用图18的(A)所示的EOTF表现的影像内容称为标准动态范围(SDR)影像。
与此相对,由于显示装置的发光性能的进步,变得能够将辉度水平发光到100〔nit〕以上的更高的水平,与以往相比,能够在高辉度区域中以大范围的辉度水平来显示影像。由此,设计了如图18的(B)所示的EOTF那样,在到高于图18的(A)的辉度水平(例如10000〔nit〕)为止的大范围的辉度水平的范围中,将辉度水平和10位的位码值信号进行了关联的EOTF。将利用图18的(B)的EOTF表现的影像内容称为高动态范围(HDR)影像。
与HDR影像对应的EOTF(以下,称为“HDR的EOTF”。)的在图18的(B)中示出的曲线不是唯一的,也可以根据辉度水平的上限值、分配的位码值的长度以及转换方式等而不同。也就是说,存在各种HDR的EOTF的曲线的形状。
例如,在图18的(A)所示的与SDR影像对应的EOTF(以下,称为“SDR的EOTF”。)中,利用位码值X1至Y1的值,一对一关联了辉度水平L1至100。与此相对,在图18的(B)所示的HDR的EOTF中,设为位码值X2至Y2的值与辉度水平L1至100的值一对一关联。此时,如果X2至Y2的HDR的EOTF描绘与SDR的EOTF相同的曲线,则即使用图18的(B)所示的HDR的EOTF来表现的HDR影像内容被输入至具有SDR影像的显示能力的显示装置,也作为SDR影像进行显示而不被转换。即,利用SDR的EOTF,用通过在SDR的EOTF中扩展高辉度水平的信息而得到的HDR的EOTF来描绘的影像内容是即使是HDR也能够显示的SDR影像,所以称为兼容HDR的SDR影像。
<表示有无HDR影像流的标记>
在这里,考虑如下情况:再现装置读出记录在记录介质(例如BD)中的包括视频流的数据并再现。
在记录介质中,记录有一个以上视频流。该一个以上视频流例如包括与HDR对应的HDR流(HDR视频流)、和与SDR对应的SDR流(SDR视频流)中的至少一方。另外,如上所述,在记录介质中记录有播放列表文件。
播放列表文件包括识别信息,所述识别信息表示对记录在记录介质(例如BD)中的AV片段进行再现时,在再现的AV片段中是否包括怎样的视频流。具体而言,识别信息表示记录在记录介质中的一个以上视频流是否包括HDR流。另外,识别信息也可以表示记录在记录介质中的一个以上视频流是否包括SDR流。另外,识别信息也可以表示记录在记录介质中的一个以上视频流是否包括与HDR1视频(参照后面的说明)对应的HDR视频流,也可以表示是否包括与HDR2视频(参照后面的说明)对应的HDR视频流,也可以表示是否包括与HDR3视频(参照后面的说明)对应的HDR视频流,也可以表示是否包括与SDR1视频(参照后面的说明)对应的SDR视频流,也可以表示是否包括与SDR2视频(参照后面的说明)对应的SDR视频流。此外,识别信息记录在记录介质中即可,也可以不包括在播放列表文件中。
图19是表示播放列表文件的数据构成的详细情况的图。
如图19所示,作为表示在播放列表内的播放列表信息中是否存在作为主影像的视频流的识别信息,有is_HDR1、is_HDR2、is_HDR3、is_SDR1以及is_SDR2。
is_HDR1是表示在播放列表内是否存在利用了必需的HDR技术的HDR视频1所对应的HDR视频流的识别信息。
is_HDR2是表示在播放列表内是否存在利用了第一可选HDR技术(第一HDR技术)的HDR视频2所对应的HDR视频流的识别信息。
is_HDR3是表示是否存在利用了与第一可选HDR技术不同的第二可选HDR技术(第二HDR技术)的HDR视频3所对应的HDR视频流的识别信息。
is_SDR1是表示是否存在兼容HDR的SDR影像(SDR1视频)的视频流的识别信息。
is_SDR2是表示是否存在不兼容HDR的SDR影像(SDR2视频)的视频流的识别信息。
在播放列表中,能够包括一个以上主视频流。因此,也可以是,除了上述的表示是否存在的识别信息,还记录有表示包括在播放列表中的主视频流的组合的信息(video_combination_type)。
可存在于播放列表的主视频流中,根据所使用的技术的性质,可以有限定于几种方式的情况。
作为一例,可以限定于满足以下两个限制的方式。
(1)利用了第一或第二可选HDR技术的HDR视频流也需要为了再现该HDR视频流所必需的HDR视频流。因此,该HDR视频流不单独存在,必定有必需的HDR技术的HDR视频流。
(2)SDR视频流仅是兼容HDR的SDR视频流或不兼容HDR的SDR视频流中的任一方就足够了。因此,播放列表不能包括所述SDR视频流这两方。
在有以上限制的情况下,如图20所示,限定为14个组合方式。图20是表示播放列表内的主视频的组合方式的图。
再现装置根据再现装置自身的再现能力和与再现装置连接的显示装置的显示能力,从播放列表所包含的一个以上主视频流之中,决定再现的主视频流。此外,一个以上主视频流分别是同一影像内容的视频流。再现装置为了决定再现的主视频流,取得表示再现装置的再现能力的再现能力信息和表示显示装置的显示能力的显示能力信息,并保持在播放器变量1508中。
SPRM(25)是表示再现装置的再现能力的再现能力信息。SPRM(25)保持有:表示再现装置是否能够对利用了必需的HDR技术的HDR视频流进行解码的信息、表示再现装置是否能够对利用了第一可选HDR技术的HDR视频流进行解码的信息以及表示再现装置是否能够对利用了第二可选HDR技术的HDR视频流进行解码的信息。另外,SPRM(25)也保持有如下信息,该信息表示再现装置是否能够将用SDR技术描绘的图形数据进行HDR转换以使得:该图形数据能够与HDR视频流重叠显示。
SPRM(26)是表示显示装置的显示能力的显示能力信息。SPRM(26)保持有如下信息,该信息表示与再现装置连接的显示装置是否能够将利用了HDR技术的HDR视频流显示为HDR影像。SPRM(26)保持有:表示与再现装置连接的显示装置是否能够显示利用了必需的HDR技术的HDR流的信息、表示该显示装置是否能够显示利用了第一可选HDR技术的HDR视频流的信息以及表示该显示装置是否能够显示利用了第二可选HDR技术的HDR视频流的信息。
图21A~图21C是表示在播放列表中仅存在一条主视频流的情况下的数据构成例的图。
图21A是表示仅存在HDR影像的主视频流的情况下的数据构成例的图。
由于在播放列表信息中is_HDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在必需的HDR主视频流。另外,is_HDR1为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于该is_HDR示出“1”,所以能够判定为主视频流是HDR影像。
图21B是表示在播放列表中仅存在作为兼容HDR的SDR的主视频流的情况下的数据构成例的图。
由于在播放列表信息中is_SDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在兼容HDR的SDR视频。另外,is_SDR1为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于该is_HDR示出“0”,所以能够判定为主视频流是SDR影像。
图21C是表示在播放列表中仅存在作为不兼容HDR的SDR的主视频流的情况下的数据构成例的图。
由于在播放列表信息中is_SDR2示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在兼容HDR的SDR视频。另外,is_SDR2为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于该is_HDR示出“0”,所以能够判定为主视频流是SDR影像。
图21D和图21E是表示在播放列表中存在多条HDR的主视频流的情况下的数据构成例的图。
图21D是表示在播放列表中存在必需的HDR主视频流和第一可选HDR主视频流的情况下的数据构成例的图。
由于存在于播放列表信息的is_HDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在必需的HDR主视频流。另外,is_HDR1为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于is_HDR示出“1”,所以能够判定为主视频流是HDR影像。
另外,由于存在于播放列表信息的is_HDR2示出“1”,所以能够判定为存在第一可选HDR主视频流。另外,is_HDR2为“1”表示记录有为了将登记于流选择表的主视频扩展为HDR影像所需的扩展元数据。
在扩展元数据之中,包含有表示类别的Type信息,Type信息表示是HDR视频2。
图21E是表示在播放列表中存在必需的HDR主视频流和第二可选HDR主视频流的情况下的数据构成例的图。
由于存在于播放列表信息的is_HDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在必需的HDR主视频流。另外,is_HDR1为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于is_HDR示出“1”,所以能够判定为主视频流是HDR影像。
另外,由于存在于播放列表信息的is_HDR3示出“1”,所以能够判定为存在第二可选HDR主视频流。另外,is_HDR3为“1”表示用子路径记录有为了将登记于流选择表的主视频扩展为HDR影像的扩展流。
在子路径之中包含有表示子路径的类别的Type信息,Type信息表示HDR视频3用的扩展流。
图21F和图21G是表示在播放列表中存在HDR的主视频流和SDR的主视频流的情况下的数据构成例的图。
图21F是表示在播放列表中存在必需的HDR主视频流和兼容HDR的SDR主视频流的情况下的数据构成例的图。
由于存在于播放列表信息的is_HDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在必需的HDR主视频流。另外,is_HDR1为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于is_HDR示出“1”,所以能够判定为主视频流1是HDR影像。
另一方面,由于存在于播放列表信息的is_SDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在兼容HDR的SDR视频。在扩展流选择表中,将兼容HDR的SDR视频登记作为主影像2视频。另外,在所述主影像2视频的流属性信息之中,包含有表示主影像2视频是否为HDR影像的is_HDR。由于is_HDR示出“0”,所以能够判定为主视频流2是SDR影像。
图21G是表示在播放列表中存在必需的HDR主视频流和不兼容HDR的SDR主视频流的情况下的数据构成例的图。
由于存在于播放列表信息的is_HDR1示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在必需的HDR主视频流。另外,is_HDR1为“1”表示在流选择表中登记有主视频。另外,在所述主视频的流属性信息之中,包含有表示主视频是否为HDR影像的is_HDR。由于is_HDR示出“1”,所以能够判定为主视频流1是HDR影像。
另一方面,由于存在于播放列表信息的is_SDR2示出“1”,所以能够判定为:作为记录在记录介质中的主视频流,存在不兼容HDR的SDR视频。在扩展流选择表中,将不兼容HDR的SDR视频登记作为主影像2视频。另外,在所述主影像2视频的流属性信息之中,包含有表示主影像2视频是否为HDR影像的is_HDR。由于is_HDR示出“0”,所以能够判定为主视频流2是SDR影像。
<主视频流的选择方法-HDMV>
再现控制部1507选择(决定)从记录介质读出的播放列表所包含的主视频流中的、根据再现装置的再现能力和显示装置的显示能力再现的主视频流。
图22是表示AV再现模式的情况下的、再现的主视频流的选择(决定)方法的流程图。此外,图22是由HDMV构成图形的情况下的流程图。
首先,当从记录介质读出播放列表时,再现控制部1507判定登记有几条存在于播放列表内的主视频流(S101)。具体而言,再现控制部1507根据播放列表信息的is_HDR1、is_HDR2、is_HDR3、is_SDR1以及is_SDR2的值判定各种类的主视频流的有无,由此来确定播放列表内的主视频流的条数。
在判定为登记于播放列表的主视频流仅为一条的情况下(在S101中为“一条”),再现控制部1507将登记的唯一的主视频流选择(决定)作为再现的视频流,并判定位于播放列表内的is_HDR1是否是“1”(S102)。也就是说,在步骤S102中,判定在播放列表中是否唯一地登记有SDR视频流。
在判定为is_HDR1是“1”的情况下(在S102中为是),再现控制部1507选择HDR1视频作为再现的视频流(S104)。此外,在该情况下,由于能够确定主视频流为一条且为HDR视频流,所以能够判定为主视频流是作为必需的HDR的HDR1视频。
在判定为is_HDR1是“0”的情况下(在S102中为否),再现控制部1507判定is_SDR1是否为“1”(S103)。
在判定为is_SDR1是“1”的情况下(在S103中为是),再现控制部1507选择SDR1视频作为再现的视频流(S105)。此外,在该情况下,由于is_SDR1为“1”,能够判定为主视频是兼容HDR的SDR视频。
在判定为is_SDR1是“0”的情况下(在S103中为否),再现控制部1507选择SDR2视频作为再现的视频流(S106)。此外,在该情况下,由于主视频流为一条,且is_HDR1为“0”,且is_SDR1为“0”,所以能够判定为主视频是不兼容HDR的SDR视频。
在步骤S105和步骤S106中,由于在步骤S102中判定为在播放列表中唯一地登记有SDR视频流,所以选择SDR视频流。
在判定为登记于播放列表的主视频流为两条以上的情况下(在S101中为“两条以上”),再现控制部1507判定与再现装置连接的显示装置是否能够显示HDR影像(S107)。具体而言,再现控制部1507判定作为播放器变量1508保持的SPRM(26)是否为“1”。此外,在判定为SPRM(26)是“1”的情况下,再现控制部1507能够判定为显示装置能够显示HDR影像,在判定为SPRM(26)是“0”的情况下,能够判定为显示装置不能显示HDR影像。步骤S107的判定结束后,再现控制部1507查找存在于播放列表的主视频流。
在这里,优选的是,在有多个HDR影像且显示装置能够显示HDR影像的情况下,再现装置优先选择能够再现和能够显示的HDR影像中的高精细的HDR影像,并再现所选择的HDR影像。在这里,考虑HDR影像的高精细度以HDR视频3、HDR视频2、HDR视频1的顺序从高到低的情况。在本实施方式中,在判定为有多个HDR影像的情况下,判定是否以HDR视频3、HDR视频2的顺序能够再现和能够显示,并选择最初判定为能够再现和能够显示的HDR视频,但选择方法不限于此。也就是说,在再现的主视频流的选择中,在能够用再现装置再现且能够用显示装置显示的影像流有两个以上的情况下,可以在该两个以上影像流中,选择预先确定的优先级高的影像流。
在判定为与再现装置连接的显示装置能够显示HDR影像的情况下(在S107中为是),再现控制部1507判定是否在播放列表内存在HDR视频3且再现装置有再现HDR视频3的能力(S108)。具体而言,再现控制部1507判定是否is_HDR3为“1”,且SPRM(25)表示“能够解码HDR视频3”。
在判定为在播放列表内存在HDR视频3,且再现装置有再现HDR视频3的能力的情况下(在S108中为是),再现控制部1507选择HDR3视频作为再现的视频流(S112)。
在判定为在播放列表内不存在HDR视频3,或再现装置没有再现HDR视频3的能力的情况下(在S108中为否),再现控制部1507判定是否在播放列表内存在HDR视频2,且再现装置有再现HDR视频2的能力(S109)。具体而言,再现控制部1507判定是否is_HDR2为“1”,且SPRM(25)表示“能够解码HDR2视频”。
在判定为在播放列表内存在HDR视频2,且再现装置有再现HDR视频2的能力的情况下(在S109中为是),再现控制部1507选择HDR2视频作为再现的视频流(S113)。
在步骤S112和步骤S113中,由于按步骤S108、步骤S109的顺序进行判定,且选择满足该判定的HDR视频流作为再现的视频流,所以选择了满足再现装置的再现能力和显示装置的显示能力的HDR视频流中的、预先确定的优先级高的HDR视频流。
在判定为在播放列表内不存在HDR视频2,或再现装置没有再现HDR视频2的能力的情况下(在S109中为否),再现控制部1507选择作为必需的HDR影像的HDR1视频作为再现的视频流(S114)。
在步骤S107中判定为与再现装置连接的显示装置不能显示HDR影像的情况下(在S107中为否),再现控制部1507判定在播放列表内是否存在SDR视频流(S110)。具体而言,再现控制部1507判定is_SDR1是否为“1”。
在判定为is_SDR1是“1”的情况下(在S110中为是),再现控制部1507选择SDR1视频作为再现的视频流(S115)。此外,在该情况下,与上述同样地,由于is_SDR1为“1”,所以能够判定为主视频是兼容HDR的SDR视频。
在判定为is_SDR1不是“1”而是“0”的情况下(在S110中为否),再现控制部1507判定is_SDR2是否为“1”(S111)。此外,在该情况下,由于is_SDR2为“1”,所以能够判定为主视频是兼容HDR的SDR视频。
在判定为is_SDR2是“1”的情况下(在S111中为是),再现控制部1507选择SDR2视频作为再现的视频流(S116)。
在判定为is_SDR2不是“1”而是“0”的情况下(在S111中为否),再现控制部1507判定为SDR1视频和SDR2视频都不存在。也就是说,由于不存在SDR视频,所以此时选择必需的HDR1视频作为再现的视频流。
<主视频流的选择方法-BD-J>
图23是表示程序再现模式的情况下的、再现的主视频流的选择(决定)方法的流程图。
程序再现模式与图22的AV再现模式的情况相比,仅S107的判定不同,进行步骤S207来取代步骤S107。在步骤S207中,具体而言,在播放列表中存在两条以上主视频流的情况下(在S101中为“两条以上”),再现控制部1507判定是否与再现装置连接的显示装置能够显示HDR影像,且再现装置具有将图形从SDR转换成HDR的转换能力。然后,在步骤S207的判定中为是的情况下,转移至步骤S108,在步骤S207的判定中为否的情况下,转移至步骤S110。由于其他步骤与图22的AV再现模式的情况下的流程图相同,所以省略说明。
<向显示装置显示的显示方法>
再现装置对利用图22或图23所示的选择方法选择的主视频流进行解码(再现),并向与再现装置连接的显示装置输出再现信号,所述再现信号表示通过解码(再现)得到的影像。然后,显示装置显示由再现装置输出的主视频流的影像。
图24~29是表示用上述选择方法选择的主视频流被输出给显示装置为止的处理的流程图。
图24是表示选择了SDR2视频的情况下的将包括SDR2视频的影像输出给显示装置的输出方法的一例的流程图。
如图24所示,在图22或图23中,通过进行步骤S106或步骤S116选择了不兼容HDR的SDR2视频的情况下(*1),再现装置判定是否有在SDR2视频的再现时应显示的BD-J图形(S301)。BD-J图形例如是存储在图17所示的图像平面1775中的图形数据(PNG·JPEG)。
例如从图像处理器1770输出存储在图像平面1775中的图形数据(PNG·JPEG)。
图像处理器1770例如对从程序执行部1506传输来的图形数据(PNG·JPEG)进行解码,按照从程序执行部1506指定的显示时刻,向图像平面1775输出解码后的图形数据(PNG·JPEG),所述程序执行部1506执行与BD程序对应的Java(注册商标)程序。
另外,也可以在与BD程序对应的Java(注册商标)程序中包括生成图形数据的程序。在该情况下,也可以是,从执行BD程序的程序执行部1506向图像处理器1770传输所生成的图形数据,图像处理器1770将传输来的图形数据输出给图像平面1775。
在判定为有在SDR2视频的再现时应显示的BD-J图形的情况下(在S301中为是),再现装置解码SDR2视频和BD-J图形(S302)。
再现装置以SDR画质来合成(重叠)通过解码得到的SDR2视频的影像和BD-J图形的影像(S303)。
另一方面,在判定为没有在SDR2视频的再现时应显示的BD-J图形的情况下(在S301中为否),再现装置解码SDR2视频(S304)。
再现装置向显示装置输出表示通过合成得到的SDR画质的影像的再现信号或表示通过解码得到的SDR2视频的影像(S305)。
图25是表示选择了SDR1视频的情况下的将包括SDR1视频的影像输出给显示装置的输出方法的一例的流程图。
如图25所示,在图22或图23中,在通过进行步骤S105或步骤S115选择了兼容HDR的SDR1视频的情况下(*2),再现装置判定是否有在SDR1视频的再现时应显示的BD-J图形(S401)。
在判定为有在SDR1视频的再现时应显示的BD-J图形的情况下(在S401中为是),再现装置解码SDR1视频和BD-J图形(S402)。
再现装置以SDR画质来合成(重叠)通过解码得到的SDR1视频的影像和BD-J图形的影像(S403)。
再现装置向显示装置输出表示通过合成得到的SDR画质的影像的再现信号(S404)。另外,在步骤S404中,再现装置向显示装置输出表示通过在后述的步骤S408中解码得到的SDR画质的影像的再现信号。
另一方面,在判定为没有在SDR1视频的再现时应显示的BD-J图形的情况下(在S401中为否),再现装置判定显示装置是否能够显示HDR(S405)。具体而言,在该情况下,再现装置判定SPRM(26)是否为“1”。
在判定为显示装置能够显示HDR的情况下(在S405中为是),由于SDR1视频为兼容HDR,所以再现装置以HDR画质来解码SDR1视频(S406)。
再现装置向显示装置输出表示通过在步骤S406中解码得到的SDR1视频的影像的再现信号(S407)。
另一方面,在判定为显示装置不能显示HDR的情况下(在S405中为否),再现装置以SDR画质来解码SDR1视频(S408)。
图26是表示选择了HDR1视频的情况下的将包括HDR1视频的影像输出给显示装置的输出方法的一例的流程图。
如图26所示,在图22或图23中,在通过进行步骤S104选择了HDR1视频的情况下(*3),再现装置判定是否有在HDR1视频的再现时应显示的BD-J图形(S501)。
在判定为有在HDR1视频的再现时应显示的BD-J图形的情况下(在S501中为是),再现装置判定再现装置是否具有将图形从SDR转换成HDR的转换能力(S502)。具体而言,再现装置判定SPRM(25)是否表示“能够将图形转换成HDR”。
在判定为有将图形从SDR转换成HDR的转换能力的情况下(在S502中为是),再现装置解码HDR1视频和BD-J图形(S503)。
再现装置将通过解码得到的BD-J图形的影像转换成HDR画质,并以HDR画质来合成(重叠)通过解码得到的HDR1视频的影像和通过转换成HDR画质得到的BD-J图形的影像(S504)。
在判定为没有将图形从SDR转换成HDR的转换能力的情况下(在S502中为否),由于不能将图形的影像合成到HDR1视频的影像中,所以再现装置仅解码HDR1视频(S505)。
在判定为没有在HDR1视频的再现时应显示的BD-J图形的情况下(在S501中为否),再现装置解码HDR1视频(S506)。
步骤S503之后,步骤S504之后,或步骤S506之后,再现装置判定显示装置是否能够显示HDR(S507)。具体而言,在该情况下,再现装置判定SPRM(26)是否为“1”。
在判定为显示装置能够显示HDR的情况下(在S505中为是),再现装置向显示装置输出再现信号,所述再现信号表示(i)通过在步骤S503中合成得到的HDR画质的影像、(ii)通过在步骤S504中解码得到的HDR1视频的影像或(iii)通过在步骤S506中解码得到的HDR1视频的影像(S508)。
在再现装置判定为显示装置不能显示HDR的情况下(在S505中为否),再现装置将(i)通过在步骤S503中合成得到的HDR画质的影像、(ii)通过在步骤S504中解码得到的HDR1视频的影像或(iii)通过在步骤S506中解码得到的HDR1视频的影像转换成SDR画质的影像,并向显示装置输出再现信号,所述再现信号表示通过转换得到的SDR画质的影像(S509)。在这里,通过转换得到的SDR画质的影像是不兼容HDR的SDR影像。这是由于:从HDR向SDR的转换的目的是用只能应对SDR的显示的显示装置来显示影像。总而言之,这是由于只能应对SDR的显示的显示装置有可能不能显示兼容HDR的SDR影像。
图27是表示选择了HDR1视频的情况下的将包括HDR1视频的影像输出给显示装置的输出方法的另一例的流程图。在图27所示的输出方法中,由于在步骤S207的判定中,判定为显示装置能够显示HDR影像,且能够将图形从SDR转换成HDR,所以利用了该判定结果。
如图27所示,在图22或图23中,在通过进行步骤S114选择了HDR1视频的情况下(*4),再现装置判定是否有在HDR1视频的再现时应显示的BD-J图形(S601)。
在判定为有在HDR1视频的再现时应显示的BD-J图形的情况下(在S601中为是),由于在步骤S207的判定中已经判定为是,所以再现装置解码HDR1视频和BD-J图形(S602)。
再现装置将通过解码得到的BD-J图形的影像转换成HDR画质,并以HDR画质来合成(重叠)通过解码得到的HDR1视频的影像和通过转换成HDR画质得到的BD-J图形的影像(S603)。
另一方面,在判定为没有在HDR1视频的再现时应显示的BD-J图形的情况下(在S601中为否),再现装置解码HDR1视频(S604)。
再现装置向显示装置输出表示通过合成得到的HDR画质的影像的再现信号或表示通过解码得到的HDR1视频的影像(S605)。
图28是表示选择了HDR2视频的情况下的将包括HDR2视频的影像输出给显示装置的输出方法的一例的流程图。在图28所示的输出方法中,与图27同样地,由于在步骤S207的判定中,判定为显示装置能够显示HDR影像,且能够将图形从SDR转换成HDR,所以利用了该判定结果。此外,由于图28的流程图的步骤S701~S705与图27的流程图的S601~S605分别对应,如果设为HDR2视频来取代HDR1视频,则与图27的流程图相同,所以省略说明。
图29是表示选择了HDR3视频的情况下的将包括HDR3视频的影像输出给显示装置的输出方法的一例的流程图。在图29所示的输出方法中,与图27和图28同样地,由于在步骤S207的判定中,判定为显示装置能够显示HDR影像,且能够将图形从SDR转换成HDR,所以利用了该判定结果。此外,由于图29的流程图的步骤S801~S805与图27的流程图的S601~S605分别对应,如果设为HDR3视频来取代HDR1视频,则与图27的流程图相同,所以省略说明。
如上所述,为了将该影像内容显示在不能显示HDR的显示装置上,如果再现装置具有将影像的辉度的动态范围从HDR转换成SDR的能力,则再现装置从HDR影像转换成SDR影像,显示装置显示转换得到的SDR影像即可。或者,如果在记录介质中记录有与HDR流的影像内容相同的SDR流,则通过再现装置选择并再现SDR流来取代HDR流,显示装置显示再现的SDR影像即可。
另外,在显示装置具有HDR影像的显示能力,且再现装置具有两种不同的方式的HDR流(第一HDR流和第二HDR流)的再现能力的情况下,如果在记录介质中记录有第一HDR流和第二HDR流,则再现装置可以再现第一HDR流,也可以再现第二HDR流。此外,在该情况下,优选的是,在显示装置使用第一HDR流的影像来显示能够显示更高画质的影像时,再现装置选择并再现第一HDR流。
这样,再现装置根据再现装置的再现能力和显示装置的显示能力,选择并再现能够再现和能够显示的影像流。另外,如果存在能够再现和能够显示的影像流的多个候选,则再现装置选择对观众来说最佳的影像内容。
以上,在本实施方式的再现装置的再现方法中,从记录介质读出一个以上影像流和识别信息,取得再现能力信息和显示能力信息,所述再现能力信息表示再现装置是否能够再现HDR流,所述显示能力信息表示与再现装置连接的显示装置是否能够显示HDR的影像,根据读出的识别信息、取得的再现能力信息以及显示能力信息,从一个以上影像流之中决定再现的影像流,再现所决定的影像流,向显示装置输出通过再现得到的再现信号。
由此,由于根据识别信息、再现能力信息以及显示能力信息这三个信息,决定再现的影像流,所以能够向显示装置输出适当的影像流的影像。
另外,在决定中,基于读出的识别信息、取得的再现能力信息以及显示能力信息,从一个以上影像流之中,决定能够用再现装置再现且能够用显示装置显示的影像流。因此,能够将适当的影像流的影像输出给显示装置。
另外,在决定中,在有能够用再现装置再现且能够用显示装置显示的两个以上影像流的情况下,在该两个以上影像流中,决定预先确定的优先级高的影像流。因此,能够将更适当的影像流的影像输出给显示装置。
由此,在能够再现和能够显示HDR流的情况下,向显示装置输出HDR流的影像。因此,能够将更高画质的影像输出给显示装置。
由此,在能够再现和能够显示作为优先级更高的第二HDR流的HDR3视频的情况下,能够向显示装置输出HDR3视频的影像。由此,能够以更高画质将适当的影像输出给显示装置。
另外,也可以实现作为进行上述再现方法的再现装置。
也就是说,再现装置具备读出部、取得部、决定部、再现部以及输出部。读出部从记录介质读出一个以上影像流和识别信息。取得部取得再现能力信息和显示能力信息,所述再现能力信息表示再现装置是否能够再现HDR流,所述显示能力信息表示与再现装置连接的显示装置是否能够显示HDR的影像。决定部根据读出的识别信息、取得的再现能力信息以及显示能力信息,从一个以上影像流之中决定再现的影像流。再现部再现所决定的影像流。输出部向显示装置输出通过再现得到的再现信号。
此外,在上述各实施方式中,各构成要素以专用硬件构成,或者也可以通过执行与各构成要素相适合的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。
以上,基于实施方式说明了本公开的一个或多个技术方案涉及的记录介质、再现装置以及再现方法,但本公开不限定于该实施方式。只要不脱离本公开的主旨,对本实施方式实施了本领域的技术人员能够想到的各种变形而得到实施方式、以及组合不同的实施方式中的构成要素而构成的实施方式等均包括在本公开的一个或多个方案的范围内。
此外,上述说明仅为一例,对本领域技术人员来说,能够适用各种应用。
产业上的可利用性
本公开涉及高动态范围影像的再现技术,如上所述,作为能够从记录在记录介质上的视频流之中决定适当的视频流并输出的再现方法、再现装置、程序等是有用的。
标号说明
101盘
102再现装置
103显示装置
104遥控器
121BD-ROM驱动器
122缆线
131画面
202音轨
501视频流
502、505、508、511PES分组串
503、506、509、512TS分组
504音频流
507演示图形流
510交互图形流
513AV片段
1101入口映射头信息
1201播放项目
1202入口标记
1203AV片段信息
1204AV片段
1205主路径
1301片段信息
1302再现开始时刻
1303再现结束时刻
1305流选择表
1306流选择序号
1307流路径信息
1308流识别信息
1309流入口
1310连接条件
1500再现装置
1501BD-ROM驱动器
1502读缓冲器
1503***目标解码器
1504程序存储器
1505管理信息存储器
1506程序执行部
1507再现控制部
1508播放器变量
1509用户事件处理部
1510平面加法运算部
1701TB
1702MB
1703EB
1704压缩影像解码器
1705DPB

Claims (4)

1.一种再现方法,是再现装置的再现方法,所述再现装置再现记录在记录介质中的影像流,
在所述记录介质中记录有:
影像流,包括影像的辉度的动态范围与高动态范围即HDR对应的HDR流、和影像的辉度的动态范围与比HDR窄的标准动态范围即SDR对应的SDR流中的至少一个;和
识别信息,表示在所述影像流中是否包括所述HDR流,
所述再现方法包括:
从所述记录介质读出所述识别信息,
取得再现能力信息和显示能力信息,所述再现能力信息表示所述再现装置是否能够再现所述HDR流,所述显示能力信息表示与所述再现装置连接的显示装置是否能够将所述HDR流作为HDR的影像进行显示,
根据所读出的所述识别信息、所取得的所述再现能力信息以及所述显示能力信息,从所述影像流之中决定要再现的影像流,
再现所决定的所述影像流,
向所述显示装置输出通过所述再现得到的再现信号,
所述识别信息表示:在该影像流中是否包括第一HDR流以及在该影像流中是否包括第二HDR流,
在所述决定中,在所述识别信息表示在所述影像流中包含所述第一HDR流和所述第二HDR流的情况下,
在所述再现能力信息表示能够再现所述第一HDR流且所述显示能力信息表示能够将所述第一HDR流作为所述HDR的影像进行显示时,并且,所述再现能力信息表示不能再现所述第二HDR流或所述显示能力信息表示不能将所述第二HDR流作为所述HDR的影像进行显示时,将利用所述识别信息表示是所述第一HDR流的影像流决定为所述要再现的影像流。
2.根据权利要求1所述的再现方法,
所述第二HDR流是预先确定的优先级比所述第一HDR流高的影像流。
3.一种用于使计算机执行权利要求1或2所述的再现方法的程序。
4.一种再现装置,是再现记录在记录介质中的影像流的再现装置,
在所述记录介质中记录有:
影像流,包括影像的辉度的动态范围与高动态范围即HDR对应的HDR流、和影像的辉度的动态范围与比HDR窄的标准动态范围即SDR对应的SDR流中的至少一个;和
识别信息,表示在所述影像流中是否包含所述HDR流,
所述再现装置具备:
读出部,从所述记录介质读出所述识别信息;
取得部,取得再现能力信息和显示能力信息,所述再现能力信息表示所述再现装置是否能够再现所述HDR流,所述显示能力信息表示与所述再现装置连接的显示装置是否能够将所述HDR流作为HDR的影像进行显示;
决定部,根据所读出的所述识别信息、所取得的所述再现能力信息以及所述显示能力信息,从所述影像流之中决定要再现的影像流;
再现部,再现所决定的所述影像流;以及
输出部,向所述显示装置输出通过所述再现得到的再现信号,
所述识别信息表示:在该影像流中是否包括第一HDR流以及在该影像流中是否包括第二HDR流,
在所述决定中,在所述识别信息表示在所述影像流中包含所述第一HDR流和所述第二HDR流的情况下,
在所述再现能力信息表示能够再现所述第一HDR流且所述显示能力信息表示能够将所述第一HDR流作为所述HDR的影像进行显示时,并且,所述再现能力信息表示不能再现所述第二HDR流或所述显示能力信息表示不能将所述第二HDR流作为所述HDR的影像进行显示时,将利用所述识别信息表示是所述第一HDR流的影像流决定为所述要再现的影像流。
CN201911164174.0A 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质 Active CN110971887B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462074817P 2014-11-04 2014-11-04
US62/074,817 2014-11-04
JP2015168344 2015-08-27
JP2015-168344 2015-08-27
CN201580030515.9A CN106464828B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580030515.9A Division CN106464828B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质

Publications (2)

Publication Number Publication Date
CN110971887A true CN110971887A (zh) 2020-04-07
CN110971887B CN110971887B (zh) 2021-11-02

Family

ID=55908799

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201580030515.9A Active CN106464828B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质
CN201911164174.0A Active CN110971887B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质
CN201911164148.8A Active CN110971886B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580030515.9A Active CN106464828B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911164148.8A Active CN110971886B (zh) 2014-11-04 2015-10-16 再现方法、再现装置以及记录介质

Country Status (5)

Country Link
US (1) US10116908B2 (zh)
EP (1) EP3217656B1 (zh)
JP (1) JP6591436B2 (zh)
CN (3) CN106464828B (zh)
WO (1) WO2016072051A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3244410B1 (en) * 2015-01-09 2021-09-01 Sony Group Corporation Playback device, playback method, information processing device, information processing method, program, and recording medium
EP3408847A1 (en) * 2016-01-29 2018-12-05 Barco NV Digital image processing chain and processing blocks and a display including the same
EP3422348A4 (en) * 2016-02-26 2019-03-13 Sony Corporation INFORMATION PROCESSING APPARATUS, DISPLAY APPARATUS, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2017156671A (ja) * 2016-03-04 2017-09-07 ヤマハ株式会社 システム
JP7100493B2 (ja) 2018-05-16 2022-07-13 キヤノン株式会社 表示制御装置及びその制御方法及びプログラム
US11342002B1 (en) * 2018-12-05 2022-05-24 Amazon Technologies, Inc. Caption timestamp predictor
US11954830B2 (en) * 2020-12-17 2024-04-09 Nvidia Corporation High dynamic range support for legacy applications
CN112911343B (zh) * 2021-01-18 2023-04-28 北京奇艺世纪科技有限公司 一种多路视频的播放方法、装置、电子设备及存储介质
CN113316021B (zh) * 2021-07-27 2021-10-29 北京天工异彩影视科技有限公司 一种影视剪辑工作管理***
CN113691816A (zh) * 2021-08-16 2021-11-23 维沃移动通信(杭州)有限公司 图像显示方法、装置、显示设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199800A (ja) * 2002-12-19 2004-07-15 Sony Corp 記録再生装置、記録方法、再生方法
CN1924680A (zh) * 2001-02-27 2007-03-07 不列颠哥伦比亚大学 高动态范围显示装置
CN101620819A (zh) * 2009-06-25 2010-01-06 北京中星微电子有限公司 显示图像背光亮度的动态调整方法、装置及移动显示设备
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置
CN102160389A (zh) * 2009-06-11 2011-08-17 松下电器产业株式会社 再现装置、集成电路、记录介质
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法
CN103460243A (zh) * 2011-03-17 2013-12-18 杜比实验室特许公司 使用直方图产生图像内容的替代版本
CN103597812A (zh) * 2011-06-14 2014-02-19 皇家飞利浦有限公司 用于高动态范围视频的图形处理

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1055365C (zh) * 1994-02-05 2000-08-09 华邦电子股份有限公司 以对称编码实现色彩空间转换的方法
JPH09282848A (ja) 1996-04-05 1997-10-31 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
US6633725B2 (en) * 2000-05-05 2003-10-14 Microsoft Corporation Layered coding of image data using separate data storage tracks on a storage medium
JP2002107662A (ja) * 2000-09-27 2002-04-10 Canon Inc 投射型画像表示装置
EP2175660A4 (en) * 2007-08-02 2012-04-25 Sony Corp IMAGE PROCESSOR
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
CN103582911B (zh) * 2011-05-10 2017-01-18 皇家飞利浦有限公司 高动态范围图像信号生成和处理
CN103843058B (zh) * 2011-09-27 2016-11-23 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN102510502B (zh) * 2011-09-30 2014-01-22 苏州佳世达电通有限公司 用于生成高动态范围图像的方法及***
EP2769540B1 (en) * 2011-10-20 2018-11-28 Dolby Laboratories Licensing Corporation Method and system for video equalization
US9774819B2 (en) * 2013-06-20 2017-09-26 Saturn Licensing Llc Reproduction device, reproduction method, and recording medium
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
TWI683307B (zh) * 2014-09-08 2020-01-21 日商新力股份有限公司 資訊處理裝置,資訊記錄媒體及資訊處理方法以及程式
EP3196880B1 (en) * 2014-09-12 2019-08-28 Sony Corporation Playback device, playback method, information processing device, information processing method, program, and recording medium
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924680A (zh) * 2001-02-27 2007-03-07 不列颠哥伦比亚大学 高动态范围显示装置
JP2004199800A (ja) * 2002-12-19 2004-07-15 Sony Corp 記録再生装置、記録方法、再生方法
CN102160389A (zh) * 2009-06-11 2011-08-17 松下电器产业株式会社 再现装置、集成电路、记录介质
CN101620819A (zh) * 2009-06-25 2010-01-06 北京中星微电子有限公司 显示图像背光亮度的动态调整方法、装置及移动显示设备
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置
CN103460243A (zh) * 2011-03-17 2013-12-18 杜比实验室特许公司 使用直方图产生图像内容的替代版本
CN103597812A (zh) * 2011-06-14 2014-02-19 皇家飞利浦有限公司 用于高动态范围视频的图形处理
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法

Also Published As

Publication number Publication date
CN106464828B (zh) 2020-03-13
JP6591436B2 (ja) 2019-10-16
CN110971887B (zh) 2021-11-02
JPWO2016072051A1 (ja) 2017-08-31
US10116908B2 (en) 2018-10-30
CN106464828A (zh) 2017-02-22
US20170223328A1 (en) 2017-08-03
EP3217656A4 (en) 2018-03-07
CN110971886A (zh) 2020-04-07
EP3217656B1 (en) 2021-03-03
EP3217656A1 (en) 2017-09-13
CN110971886B (zh) 2021-12-03
WO2016072051A1 (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
CN110971887B (zh) 再现方法、再现装置以及记录介质
JP6541853B2 (ja) 再生装置及び再生方法
JP7139543B1 (ja) 再生装置、及び、再生方法
JP5373772B2 (ja) 記録媒体、記録装置、記録方法、及び再生装置
JP2018152154A (ja) 再生装置
JP2018129115A (ja) 再生装置
WO2012046437A1 (ja) 記録媒体、及びデータのコピー方法
JP2020022179A (ja) 再生方法、プログラムおよび再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant