CN102547359A - 再现装置、集成电路 - Google Patents
再现装置、集成电路 Download PDFInfo
- Publication number
- CN102547359A CN102547359A CN2011104467334A CN201110446733A CN102547359A CN 102547359 A CN102547359 A CN 102547359A CN 2011104467334 A CN2011104467334 A CN 2011104467334A CN 201110446733 A CN201110446733 A CN 201110446733A CN 102547359 A CN102547359 A CN 102547359A
- Authority
- CN
- China
- Prior art keywords
- stream
- file
- information
- basic
- subordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00094—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised record carriers
- G11B20/00115—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised record carriers wherein the record carrier stores a unique medium identifier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/0021—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/0021—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
- G11B20/00217—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source
- G11B20/00246—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source wherein the key is obtained from a local device, e.g. device key initially stored by the player or by the recorder
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/0021—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
- G11B20/00217—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source
- G11B20/00253—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source wherein the key is stored on the record carrier
- G11B20/00362—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source wherein the key is stored on the record carrier the key being obtained from a media key block [MKB]
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
- G11B20/1251—Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
- G11B2020/1218—Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc
- G11B2020/1224—Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc extent, i.e. a set of sectors which numbers form a continuous ascending sequence
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/23—Disc-shaped record carriers characterised in that the disc has a specific layer structure
- G11B2220/235—Multilayer discs, i.e. multiple recording layers accessed from the same side
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
在记录介质(100)中记录播放列表信息与多个ES。播放列表信息包含基本流选择表与扩展流选择表,基本流选择表表示平面观察再现模式中应允许再现的ES。所述扩展流选择表表示仅在立体观察再现模式中应允许再现的ES。扩展流选择表中的流入口表示如下数据包识别符,即:在将再现装置设定成立体观察再现模式的情况下,将对应的流序号设定给再现装置中的流序号寄存器时,再现装置在解复用中应使用的数据包识别符。
Description
本申请是申请日为2010年2月4日、申请号为201080001056.9、名称为“记录介质、再现装置、集成电路”的中国专利申请的分案申请。
技术领域
本发明是属于3D影像和2D影像再现技术的技术领域的发明。
背景技术
所谓2D影像是将显示装置的显示画面捕捉为X-Y平面,由该X-Y平面上的象素表现的图像,也称为平面观察图像。
相对照地,所谓3D影像是在显示装置画面中的X-Y平面上的象素中加上Z轴方向进深的图像。3D影像将应用左眼收看的左视角影像、和应用右眼收看的右视角影像一起再现,通过由这些左视角影像、右视角影像发挥立体观察效果,供给用户收看。3D影像的象素中具有正Z轴坐标的象素让用户感到位于显示装置画面之前的近前,具有负Z轴坐标的象素让用户感到存在于画面以里的深处。
在将3D影像存放在光盘中的情况下,要求与仅可再现存储2D影像的光盘的再现装置(下面称为‘2D再现装置’)的再现互换性。存储3D影像的光盘在2D再现装置不能将3D影像再现为2D影像的情况下,需要将相同内容制作成3D用盘与2D用盘等两种,成本变高。由此,要求存储3D影像的光盘在2D再现装置中再现为2D影像,在可再现2D影像与3D影像的再现装置(下面称为‘2D/3D再现装置’)中可再现为2D影像或3D影像。
作为确保存储3D影像的光盘中再现互换性的技术的现有技术,记载于下面的专利文献1中。
现有技术文献
专利文献1:日本特许第3935507号公报
发明概要
发明要解决的技术问题
在上述现有技术中,并未考虑在将解码器构成从2解码器构成切换为1解码器构成时,缓解因将基于双眼的TV的视听切换为基于单眼的TV的视听而带来的眼睛的负担。
发明内容
本发明的目的在于,能够提供一种再现装置,在将解码器构成从2解码器构成切换为1解码器构成时,能够缓解因将基于双眼的TV的视听切换为基于单眼的TV的视听而带来的眼睛的负担。
用于解决技术问题的手段
为了解决上述问题,本发明的再现装置,再现记录了图形流的记录介质,其特征在于:具备:解复用部;解码器,对所述图形流进行解码;和平面存储器,存储通过解码得到的非压缩的图形,在所述图形流中,存在成对的左眼用图形流与右眼用图形流,在立体观察再现模式中,在所述解码器对所述左眼用图形流与所述右眼用图形流进行解码的情况下,当切换立体观察再现模式与平面观察再现模式时,删除图形显示。
发明效果
根据本发明,在将解码器构成从2解码器构成切换为1解码器构成时,将主平面存储器中的字幕暂时复位,因此能够缓解因将基于双眼的TV的视听切换为基于单眼的TV的视听而带来的眼睛的负担。
附图说明
图1表示记录介质、再现装置、显示装置、眼镜的使用行为的形态。
图2在左侧描绘用户的脸、在右侧示出从左眼看到作为对象物的恐龙骨胳时的实例。
图3表示立体观察用左视角视频流、右视角视频流的内部构成一例。
图4表示1plane+Offset模式下立体观察的实现方式。
图5是示意地表示使用偏移值裁剪重叠后向用户如何显示的图。
图6表示深度视角方式的一例。
图7表示在3D-Depth模式下生成的立体观察图像。
图8表示第1实施方式的记录介质中的内部构成。
图9表示PES数据包串中如何存储视频流。
图10示意地表示如何复用主TS。
图11表示主TS和子TS的内部构成。
图12表示播放列表信息的内部构成。
图13表示基本流选择表的一例。
图14表示扩展流选择表的内部构成。
图15表示扩展流选择表中的流登记串。
图16表示从主TS、子TS解复用什么样的基本流。
图17表示如何参照基本流选择表、扩展流选择表中的流登记串。
图18表示模式中流序号的分配变化。
图19表示使用面向对象的型编译语言来描述扩展流选择表用的语法。
图20表示再现装置的内部构成。
图21表示利用结合流登记串向解复用部输出什么样的数据包识别符。
图22表示利用结合流登记串向解复用部输出什么样的数据包识别符。
图23表示将再现装置设定成B-D演示模式、存在B-D能力时的数据包识别符的参照和数据包输出。
图24表示将再现装置设定成1plane+Offset模式时的数据包识别符的参照和数据包输出。
图25表示将再现装置设定成2D演示模式时的数据包识别符的参照和数据包输出。
图26表示再现装置中不存在B-D演示模式能力时的数据包识别符的参照和数据包输出。
图27表示播放列表再现步骤。
图28表示流选择过程的处理步骤。
图29表示对应于流序号的数据包识别符的输出处理步骤。
图30表示盘区、文件2D/文件基础、文件从属的对应。
图31表示交织流文件与文件2D/文件基础的关系。
图32表示立体观察交织流文件、文件2D、文件基础的相互关系。
图33表示2D播放列表、3D播放列表。
图34表示在3D播放列表中再加上一个子路径的播放列表。
图35表示在3D播放列表中加写基本视角指示符的图。
图36表示从流文件中读出源数据包的读出步骤。
图37表示第4实施方式的播放项目信息、子播放项目。
图38表示基于播放项目信息、子播放项目信息的多角度区间的指定。
图39表示设定各角度序号时的立体观察影像。
图40表示根据流参照信息、Multi_clip_entrie的流文件的读出步骤。
图41表示clip信息文件的内部构成。
图42表示clip信息文件中的入口映射表与盘区开始点信息。
图43表示程序信息中的流属性信息。
图44表示基于入口映射的入口点登记。
图45表示如何从构成立体观察交织流文件的数据块来复原ATC序列。
图46表示具备ATC序列复原部的读出部的内部构成。
图47表示ATC序列复原步骤。
图48表示视频流的内部构成。
图49表示对幻灯播放设定的入口映射的内部构成。
图50表示幻灯播放播放列表的再现步骤。
图51表示解复用部和视频解码器的内部构成。
图52表示3D-LR方式、3D-Depth方式中的1解码器+2平面的装置构成。
图53表示PG流的图形解码器的内部构成。
图54表示文本字幕解码器的内部构成。
图55表示IG解码器的解码器模型。
图56表示以3D-LR方式输出解码器模型输出用的电路构成。
图57表示以1plane+Offset模式方式输出解码器模型输出用的电路构成。
图58表示多层化的光盘的内部构成。
图59表示以文件***为前提的光盘的应用格式。
图60表示记录方法的处理步骤。
图61表示AV文件写入工序的处理步骤。
图62表示记录介质的制造方法。
图63表示记录装置的内部构成。
图64表示2D/3D再现装置的构成。
图65表示***目标解码器4和平面存储器组5a的内部构成。
图66是描绘寄存器组10的内部构成与再现控制引擎7b的图。
图67表示输出模式选择模型的状态转变。
图68表示Initialization的处理步骤。
图69表示Procedure when playback condition is changed的处理步骤。
图70表示3D再现模式实现用的播放器设定寄存器的比特分配。
图71表示平面合成部的内部构成。
图72表示2D用3D用内容混合存在的数据或再现装置中的其再现方法。
图73表示2D/3D的切换。
图74表示从属视角的能力、3D-Depth视角的能力。
图75表示为了进一步细地识别3D再现能力而扩展的***参数。
图76表示识别再现装置是否对应于扩展成3D用的数据构造的数据库识别信息。
图77表示设定用户显示形式偏好的***参数。
图78是表示当前再现中的显示形式的***参数。
图79表示存储3D偏移补正值用的比特分配。
图80表示切换2D或3D显示形式的用户操作API。
图81表示Change 3D Offset模式命令的操作代码、操作数。
图82表示Change3DPresentationType命令。
图83表示如何将3模式用的TS存储在文件中。
图84以表形式表示TS水平下的复用。
图85表示TS数据包的PID分配。
图86表示主视频流、主音频流。
图87表示构成PG流、IG流、文本字幕流的TS数据包。
图88表示构成辅视频流、辅音频流的TS数据包。
图89表示无缝连接两个播放项目的方式。
图90表示在层交界切换参照文件的Subpath种类。
图91表示主视频流、主音频流的流登记串的记述方式。
图92表示PG流的流登记串的记述方式。
图93表示IG流的流登记串的记述方式。
图94表示辅音频流、辅视频流的流登记串的记述方式。
图95表示文本字幕流的平面偏移的时间变化。
图96表示构成背景图像的I图片。
图97是使用集成电路来实现2D/3D再现装置的构成例。
图98是表示流处理部的代表性构成的功能框图。
图99是切换部为DMAC时的切换部653周围的原理图。
图100是表示AV输出部的代表性构成的功能框图。
图101是详细表示AV输出部或再现装置的数据输出部分的构成例。
图102是表示集成电路中控制总线和数据总线的配置的图。
图103是表示集成电路中控制总线和数据总线的配置的图。
图104是简单表示再现装置中的动作步骤的流程图。
图105是详细表示再现装置中的动作步骤的流程图。
符号说明
100 记录介质
200 再现装置
300 显示装置
400 3D眼镜
500 遥控器
具体实施方式
参照附图,说明具备上述课题解决手段的记录介质和再现装置的实施方式。首先,简单描述立体观察的原理。
通常,右眼与左眼中,由于其位置差,从右眼看的图像与从左眼看的图像看上去存在若干差异。利用该差异,人可将眼睛看到的图像识别为立体。在进行立体显示的情况下,利用人的视差,平面图像看起来象立体。
具体地,在平面显示的图像中,右眼用图像与左眼用图像存在差异,该差异的程度和与人的视差相当的看起来的差异相对应,通过以短的时间间隔切换显示这些图像,使看起来好像就是在进行立体显示。
所谓该短的时间间隔只要是利用上述切换显示使人们错觉地看成立体的程度的时间即可。作为立体观察的实现方法,有使用全息技术的方法与使用视差图像的方式。
首先,作为第一个全息技术的特征,人可与通常识别物体完全相同地将物体再现为立体,但对于动态图像生成而言,虽然技术上的理论确立,但需要伴随实时生成全息用动态图像的庞大运算量的计算机、和具有仅在1mm之间就引出数千条线的分辨率的显示装置,现有技术下的实现非常难,基本上没有作为商用实用化的实例。
第二个是使用视差图像的方式。该方式的优点在于仅通过准备右眼用与左眼用两个视点的影像就可实现立体观察,在技术上,从如何做才能仅让对应的眼看到对应于左右各眼的像的观点看,以序列分离(sequentialsegregation)方式为主的几个技术被实用化。
所谓序列分离方式是如下方法,即在时间轴方向上交互显示左眼用影像和右眼用影像,利用眼的残像反应,使左右场景在脑内重叠,识别为立体影像。
另外,本申请说明书中所谓的再现装置具备2D再现模式、3D再现模式这两个再现模式,是可进行两个再现模式相互切换的2D/3D再现装置(播放器)。
图1表示记录介质、再现装置、显示装置、眼镜的使用行为的形态。如图1(a)所示,作为记录介质一例的记录介质100、再现装置200与电视300、3D眼镜400、遥控器500一起构成家庭影院***,供用户使用。
记录介质100向上述家庭影院***提供例如电影作品。
再现装置200与显示装置300连接,再现记录介质100。
显示装置300是电视,通过显示电影作品的再现影像或显示菜单等,向用户提供交互式操作环境。本实施方式的显示装置300通过用户佩戴3D眼镜400来实现立体观察,但如果显示装置300是双凸透镜(lenticular)方式的显示装置,则不需要3D眼镜400。双凸透镜方式的显示装置300在画面中的纵向上同时交互排列左眼用图片(picture)与右眼用图片,在显示装置的画面表面通过称为双凸透镜式透镜的鱼糕状的透镜,构成左眼用图片的象素仅在左眼成像,构成右眼用图片的象素仅在右眼成像,由此让左右眼看见有视差的图片,实现立体观察。
3D眼镜400具备液晶快门,让用户收看基于序列分离方式或偏振光眼镜方式的视差图像。所谓视差图像是由进入右眼的影像与进入左眼的影像构成的一组影像,仅对应于各眼的图片进入用户眼睛地进行立体观察。图1(b)表示左眼用影像显示时。在画面上显示左眼用影像的瞬间,所述3D眼镜400将对应于左眼的液晶快门设为透过,对应于右眼的液晶快门遮光。图1(c)表示右眼用影像显示时。在画面上显示右眼用影像的瞬间,与前面相反,将对应于右眼的液晶快门设为透光,将对应于左眼的液晶快门遮光。
遥控器500是受理AV再现用操作项目的设备。另外,遥控器500是从用户受理对分层化GUI的操作的设备,由于这种操作受理,所以遥控器500具备调用构成GUI的菜单的菜单键、使构成菜单的GUI部件的焦点移动的箭头键、对构成菜单的GUI部件进行确定操作的确定键、将分层化菜单返回上一级的返回键、数值键。
在图1的家庭影院***中,将让显示装置300进行3D再现模式下的图像显示的再现装置的输出模式称为“3D输出模式”。将让显示装置300进行2D再现模式下的图像显示的再现装置的输出模式称为“2D输出模式”。
以上是对记录介质和再现装置使用方式的说明。
在本实施方式中,说明将立体观察中使用的视差图像存储在信息记录介质中的方法。
视差图像方式是如下方法,即分别准备进入右眼的影像与进入左眼的影像,仅对应于各眼的图片进入地进行立体观察。图2在左侧描绘用户的脸,在右侧示出从左眼看到作为对象物的恐龙骨胳时的实例、和从右眼看到作为对象物的恐龙骨胳时的实例。若从右眼和左眼的透光、遮光重复,则用户的脑内因眼镜的残像反应,左右场景重合,可识别为在脸的中央延长线上存在立体影像。
将视差图像中进入左眼的图像称为左眼图像(L图像),进入右眼的图像称为右眼图像(R图像)。另外,将各图片变为L图像的动态图像称为左视角(left view)视频,将各图片变为R图像的动态图像称为右视角(right view)视频。另外,将左视角视频、右视角视频数字化并压缩编码而得到的视频流,称为左视角视频流、右视角视频流。
这些左视角视频流、右视角视频流除利用时间方向相关特性的图片间预测编码外,还由利用视点间相关特性的图片间预测编码来压缩。右视角视频流的图片参照左视角视频流的相同显示时刻的图片来压缩。作为利用视点间相关特性的视频压缩方法,有被称为多视角视频编码(MultiviewVideo Coding:MVC)的MPEG-4AVC/H.264的修订标准。作为ISO/IECMPEG和ITU-T VCEG的共同项目的Joint Video Team(JVT),在2008年7月完成了被称为多视角视频编码(Multiview Video Coding:MVC)的MPEG-4AVC/H.264的修订标准的制定。MVC是将多个视点的影像一并进行编码的标准,不仅影像的时间方向的相似性,视点之间的相似性也被用于预测编码,由此与多个视点独立的压缩相比,能够提高压缩效率。
另外,将利用MVC压缩编码的左视角视频流和右视角视频流中可单体解码的称为“基本视角视频流”(base view video stream)。将左视角视频流和右视角视频流哪个指定为基本视角视频流由后述的基本视角指示符确定。另外,将左视角视频流和右视角视频流之中、根据与构成基本视角视频流的各个图片数据之间的帧间相关特性压缩编码、并可通过解码基本视角视频流来解码的视频流,称为“从属视角视频流”(dependent view videostream)。
将作为根据视点间相关性压缩编码的左视角视频流和右视角视频流、可单体解码的称为“基本视角视频流”。将左视角视频流和右视角视频流的哪个指定为基本视角视频流由播放项目信息内的基本视角指示符确定。
说明构成MVC视频流基础的MPEG4-AVC形式的视频流。
MVC视频流具有GOP构造,由封闭GOP(closed GOP)、开放GOP(openGOP)构成。封闭GOP由IDR图片、接续于该IDR图片的B图片和P图片构成。开放GOP由Non-IDR I图片、接续于Non-IDR I图片的B图片和P图片构成。
Non-IDR I图片、P图片、B图片根据与其它图片的帧相关性来压缩编码。所谓B图片是指由Bidirectionally predictive(双向预测)(B)形式的切片数据(slice data)构成的图片,所谓P图片是指由Predictive(预测)(P)形式的切片数据构成的图片。B图片中有referenceB(Br)图片与nonreferenceB(B)图片。
封闭GOP中IDR图片配置在开头。显示顺序上IDR图片不在开头,但IDR图片以外的其它图片(B图片、P图片)与封闭GOP之前的GOP中存在的图片不能具有依赖关系。这样,封闭GOP起到使依赖关系完结的作用。
下面说明GOP的内部构成。开放GOP、封闭GOP中的各个图片数据具有H.264编码方式中的视频访问单元(video access unit)构造。各视频访问单元通过排列视频访问单元分割符(delimiter)、序列参数集、图片参数集、视角成分(view component)来构成。
所谓视角成分是具有访问单元构造的同时、还根据视点间相关性压缩编码的图片数据。
将视频访问单元分割符变换为网络抽象化单元后存储在源数据包中。若从该源数据包中读出,则可随机访问视频流内部。
视频访问单元与图片之间的关系是1视频访问单元=1图片。另外,在BD-ROM中,限制为1PES数据包=1帧。即,若动态图像是帧构造,则1PES数据包=1图片,是场构造的情况下,变为1PES数据包=2图片。据此,PES数据包以一比一的比例存储图片。
图3表示立体观察用左视角视频流、右视角视频流的内部构成一例。
本图的第2段表示左视角视频流的内部构成。该流中包含图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9等图片数据。这些图片数据根据DecodeTime Stamp(DTS:解码时间戳)解码。第1段表示左眼图像。之后,通过根据PTS,按I1、Br3、Br4、P2、Br6、Br7、P5的顺序再现解码后的图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9,再现左眼图像。
第4段表示右视角视频流的内部构成。该右视角视频流包含P1、P2、B3、B4、P5、B6、B7、P8等图片数据。这些图片数据根据DTS解码。第3段表示右眼图像。之后,通过根据PTS,按P1、B3、B4、P2、B6、B7、P5的顺序再现解码后的图片数据P1、P2、B3、B4、P5、B6、B7、P8,再现右眼图像。
第5段表示如何使3D眼镜400的状态变化。如该第5段所示,可知当左眼图像收看时,关闭右眼的快门,右眼图像收看时,关闭左眼的快门。
在本图中,例如右视角视频流的开头P图片参照左视角视频流的I图片,右视角视频流的B图片参照左视角视频流的Br图片,右视角视频流的第2个P图片参照左视角视频流的P图片。将在1/48秒显示周期中使基本视角视频流的视频帧与从属视角流的视频帧如“B”-“D”-“B”-“D”地交互输出的模式称为“B-D演示模式”。
将不交互输出基本视角视频流的视频帧与从属视角流的视频帧、而是进行维持再现模式为3D模式不变、重复输出相同视频帧两次以上的处理的再现种类称为B-B演示模式。在B-B演示模式中,只有可单独再现的基本视角视频流的视频帧可如“B”-“B”-“B”-“B”地重复输出。
以上的B-D演示模式、B-B演示模式构成再现装置的再现模式的基本,但除这些模式以外,再现装置中还存在称为1plane+Offset模式的再现模式。
1plane+Offset模式(也称为3D-Offset模式)是在平面存储器的后段组装移位部、通过使移位部作用来实现立体观察的再现模式。平面偏移部在左视角期间和右视角期间的每个中,使平面存储器中的线单位的象素坐标沿左方向或右方向移位,使右眼视线和左眼视线的成像点沿近前方向或进深方向位移,从而使进深感变化。具体地,若在左视角期间使象素坐标向左方向变化,在右视角期间使象素坐标向右方向变化,则两眼的视线成像点变为向近前,若在左视角期间使象素坐标向右方向变化,在右视角期间使象素坐标向左方向变化,则两眼的视线成像点变为向近前。
在这种平面移位中,由于立体观察用平面存储器仅1平面足以,所以最适于简易地作出立体观察影像。在该平面移位中,不过是产出平面影像向近前或拉入进深等立体观察影像,尽管适于菜单或字幕的立体观察效果,但对于实现角色或物体的立体观察效果也稍有不足。这是因为不能再现角色的脸的酒窝或凹凸等。
在支持1plane+Offset模式的情况下,再现装置的构成如下所示。由于再现图形,所以再现装置中存在平面存储器与CLUT部、合成部,在该CLUT部、合成部之间组装平面移位部。另外,移位部使用从属视角视频流的访问单元构造中组装的偏移序列(offset sequence)中的偏移,实现上述象素的坐标变化。由此,1plane+Offset模式中的象素突出程度与MVC视频流严格同步。在该1plane+Offset模式中,有1plane+Zero Offset模式。1plane+ZeroOffset模式是在弹出菜单为打开(ON)的情况下、将偏移值设为零、仅向弹出菜单提供立体观察效果的显示模式。
图4表示1plane+Offset模式下立体观察的实现方式。
在1plane+Offset模式下,在输出左视角视频的情况下,将称为PG平面的平面存储器中存储的图像数据坐标向X轴正方向挪动+偏移值。之后,在未超出左视角视频地对平面存储器进行裁剪(cropping)后,提供给与其它平面之间的合成(参照图4上段)。
在输出右视角视频的情况下,将平面存储器向X轴负方向挪动偏移值,在未超出右视角视频地对平面存储器进行裁剪后,提供给与平面之间的合成(参照图4下段)。
图5是示意地表示使用偏移值裁剪重叠后向用户如何显示的图。若使用偏移值挪动平面后裁剪,则可作出左眼与右眼用视差图像,所以可对平面的图象附加深度。若存在这种深度,则用户可看到平面图象从显示装置的画面浮起等表现。
并且,在B-D演示模式中,除使用L图像、R图像来实现立体观察效果的3D-LR方式外,还有使用2D图像与深度信息来实现立体观察效果的3D-Depth方式。
所谓3D-Depth方式是在视频解码器的后段组装视差影像生成器,根据视频流中各个图片数据、和该图片数据中各个象素的深度信息,作出左视角图片数据、右视角图片数据的模式。
该深度信息可构成为用浓淡表示象素深度的灰度图片数据(称为深度信息图片数据)。
图6表示深度视角方式的一例。图6(a)是2D图像,图6(b)表示对(a)所示的2D作成的灰度。灰度仅由亮度分量的象素来表现。灰度象素中,亮度越高(越白),表示进深越浅,亮度越低(越黑),表示进深越深。图6(c)、(d)表示通过使用灰度生成的左眼影像、右眼影像。图7表示在3D-Depth模式下生成的立体观察图像。若对2D各帧的每个生成左眼影像、右眼影像,则通过立体眼镜(goggle)看左眼影像、右眼影像,由此用户可享受立体观察。
在3D-Depth方式下,可2D再现的视频流变为基本视角视频流。由灰度图片数据构成的视频流变为从属视角视频流。
在3D-Depth模式与3D-LR模式中,由于基本视角视频流可共同化,所以若使应组合在基本视角视频流中的视频流变化,则可生成3D-LR模式、3D-Depth模式的影像。根据数据管理构造来处理这些组合,结合于播放器和连接的电视侧的特性,切换显示方法。3D-Depth模式由于再现装置需要专用的硬件,所以只要不特别限定,本说明书中记述的记录介质、再现装置不对应于3D-Depth模式。
(第1实施方式)
本申请说明书的第1实施方式涉及如何进行多种基本流的选择的改良。
图8表示第1实施方式的记录介质中的内部构成。如图8(a)所示,在第1实施方式的记录介质中,记录‘索引表文件’、‘动作模式对象的程序文件’、‘播放列表信息文件’、‘流信息文件’、‘流文件’。
<索引表文件>
索引表(index table)文件是关于记录介质整体的管理信息,通过在***再现装置之后,首先读出索引表文件,再现装置中唯一地识别盘。索引表文件规定构成光盘标题(title)构造的各个标题、与规定动作模式的动作模式对象之间的对应。所谓标题构造是指当装填光盘时,开始再现伴随对收看者的警告或内容提供者的标志(LOGO)显示等的标题(第一播放标题),在再现第一播放标题之后,再现构成电影作品正片的一般标题(用“1”、“2”、“3”等序号识别的一般标题),若结束正片标题的再现,则再现受理标题选择的标题(菜单标题),等待用户选择一般标题。电影作品与标题之间的关系是电影作品与其多个版本之间的关系。即,仅一个版本的电影作品为‘电影作品=标题’的关系。在电影作品中有剧场公开版、导演剪辑版、TV放映版等多个版本的情况下,电影作品的各个版本变为一个标题。再现装置中包含存储当前标题号的标题号寄存器,多个标题中存储在该标题号寄存器中的标题成为当前的再现对象。光盘的标题通过向上述第一播放标题、一般标题、菜单标题分别分配规定了动作模式的动作模式对象,详细规定各个标题以什么样的动作模式动作。在索引表中,不直接描述标题与视频流之间的关系,而是描述标题与动作模式对象之间的关系,通过动作模式对象,使视频流再现。这是为了不伴随AV再现来规定仅使动作模式对象动作的标题。
<动作模式对象的程序文件>
动作模式对象的程序文件存储动作模式对象,该动作模式对象是规定再现装置动作模式的程序。在动作模式对象中有用命令描述的和由面向对象的编译语言描述的动作模式对象。前者的动作模式对象在以命令为基础的动作模式下,将多个导航命令作为批作业(batch job)提供给再现装置,根据这些导航命令使再现装置动作。将该以命令为基础的动作模式称为“HDMV模式”。
后者的动作模式对象在以面向对象型编译语言为基础的动作模式中,将类构造体(class structure)的实例(instance)提供给再现装置,根据该实例使再现装置动作。在类构造体的实例中可使用Java(TM)应用程序。将以面向对象型编译语言为基础的动作模式称为“BD-J模式”。
<播放列表信息文件>
播放列表信息文件是存储使再现装置再现播放列表用的信息的文件。所谓“播放列表”(playlist)是在传输流(TS)的时间轴上规定再现区间、并且通过逻辑指定该再现区彼此间的再现顺序来规定的再现路径,起到规定仅再现TS当中的哪个的哪部分、以何顺序展开场景的作用。播放列表信息定义这种播放列表的“形式”。由播放列表信息定义的再现路径是所谓的“多路径”。所谓多路径是指将对主要的TS定义的再现路径(主路径)与对从属的流定义的再现路径(子路径)汇集之后的路径。相对于主路径为1条,子路径可定义多条,这多条子路径由称为子路径ID的识别符来识别。在这种多路径的再现时间轴上,定义章节位置(chapter)。通过使再现装置参照该章节位置,使再现装置实现对相对于多路径时间轴的任意时刻的随机访问。在BD-J模式下,再现控制用Java(TM)应用通过命令Java(TM)虚拟机生成再现该播放列表信息的JMF播放器实例,可开始基于多路径的AV再现。所谓JMF(JavaMedia Frame work:JAVA媒体架构)播放器实例是根据JMF播放器类在虚拟机的堆存储器(heap memory)上生成的实际数据。在HDMV模式中,通过让再现装置执行命令基于播放列表再现的导航命令,可开始再现。再现装置中包含存储当前播放列表信息序号的播放列表序号寄存器,多个播放列表信息中存储在该播放列表序号寄存器中的构成当前的再现对象。
<流信息文件>
流信息文件是与各个流文件以一比一的比例存在的clip(片断)信息文件,表示流文件内存在的源数据包串构成什么样的ATC序列、或在这些ATC序列内合并什么样的STC序列、或ATC序列是什么样的TS。
流信息文件指出流文件的内容,所以在设要再现流文件内的TS的情况下,需要将对应于该流文件的流信息文件事先读出到存储器中。即,在流文件再现中,采用将流信息文件事先读出到存储器这样的前置主义。采用这种前置主义基于如下理由。存储在流文件中的TS构成与欧洲数字广播标准具有互换性的数据构造,但由于作为广播节目处理用的PMT、PCR、PAT等信息存在于流内,所以每次再现时取出它们是不明智的。这是因为每当再现流时,访问低速记录介质,读出构成TS的数据包,解析该TS数据包的有效载荷等处理是需要的。因此,与存储TS的流文件以一比一的比例设置流信息文件,在流再现之前将流信息文件读出到存储器,以便不解析构成TS的有效载荷的内容就可把握TS的信息。
<流文件>
流文件存储1个或多个源数据包串。所谓源数据包是附加了由2比特拷贝允许指示符、和30比特的ATS(到达时刻:Arrival Time Stamp,到达时间戳)构成的4字节TP_Extra_Header的TS数据包。TP_Extra_Header中的ATS是指执行实时传输、确保等时性的状态下的传输中的到达时刻。
将这些源数据包串中、到达时间时钟(ATC)时间轴上时间戳连续的多个源数据包构成的序列称为“ATC序列”。所谓“ATC序列”是源数据包的排列,是指在该Arrival_Time_Stamp参照的Arrival_Time_Clock中不存在不连续点(no arrival time-base discontinuity)的排列。换言之,将该Arrival_Time_Stamp参照的Arrival_Time_Clock中存在连续性的源数据包串称为“ATC序列”。由于ATC序列是ATC时间戳连续的源数据包串,所以在对再现装置的到达时间时钟进行计时的时钟计数器计时的期间,将构成ATC序列的各源数据包提供给连续的源数据包去包处理、和连续的数据包滤波处理。
相对于ATC序列是源数据包的排列,将STC时间轴上时间戳连续的TS数据包的排列称为STC序列。所谓“STC序列”是TS数据包的排列,是指不具有作为TS***基准时刻的STC(System Time Clock)的不连续点(system time-base discontinuity)的序列。所谓STC的不连续点是带有解码器为了得到STC而参照的PCR(Program Clock Reference:节目时钟基准)的PCR数据包的不连续信息(discontinuity_indicator)为ON的点。由于STC序列是STC时间戳连续的TS数据包串,所以在对再现装置的***时间时钟进行计时的时钟计数器进行计时的期间,将构成STC序列的各TS数据包提供给再现装置内存在的解码器的连续解码处理。
流文件中的主TS、子TS通过对应于流文件的流信息文件内的clip信息,作为1个“AV流的碎片”,即“AVclip”而被管理。
另外,流文件中存储的数据包串具备欧洲数字广播标准中规定的数据包管理信息(PCR、PMT、PAT),作为管理、控制多种PES流的信息。
PCR(Program_Clock_Reference)为了取得作为ATS时间轴的ATC(Arrival Time Clock)与作为PTS·DTS时间轴的STC(System TimeClock)的同步,具有对应于将该PCR数据包传输给解码器的ATS的STC时间信息。
PMT(Program_map_table)具有流文件中包含的影像、声音、图形等各流的PID和对应于各PID的流的属性信息,另外具有涉及TS的各种描述符(descriptor)。在描述符中有指示允许、不允许拷贝流文件的拷贝控制信息等。
PAT(Program Association Table:节目关联表)表示TS中利用的PMT的PID是什么,由PAT自身的PID排列登记。
这些PCR、PMT、PAT具有在欧洲数字广播标准中规定构成一个广播节目(Program)的部分TS的作用,再现装置如在欧洲数字广播标准中处理构成一个广播节目的部分TS那样,可将TS提供给解码器的处理。这意在实现欧洲数字广播标准的终端装置与记录介质再现装置的互换性。将TS中构成多路径的基轴的TS称为“主TS”。另外,将构成子路径的基轴的TS称为“子TS”。
图8(b)表示主TS的内部构成,图8(c)表示子TS的内部构成。如图8(b)所示,主TS包含1条基本视角视频流、32条基本视角PG流、32条基本视角IG流、32条音频流。如图8(c)所示,子TS包含1条从属视角视频流、32条从属视角PG流、32条从属视角IG流。
下面,说明TS的内部构成。
图9进一步详细表示PES数据包串中如何存储视频流。图9(a)中的第1段表示视频流的视频帧串。第2段表示PES数据包串。第3段表示通过变换这些PES数据包串得到的TS数据包串。如本图的箭头yy1、yy2、yy3、yy4所示,将作为视频流中多个Video Presentation Unit的I图片、B图片、P图片按每个图片分割,存储在PES数据包的有效载荷中。各PES数据包具有PES头(header),在PES头中,存储作为图片显示时刻的PTS(Presentation Time-Stamp)或作为图片解码时刻的DTS(DecodingTime-Stamp)。
(TS数据包串)
图9(b)表示TS数据包的形式。第1段表示TS数据包串,第2段表示源数据包串。
如第1段所示,TS数据包是分成具有识别流的PID等信息的4字节‘TS头’与存储数据的184字节的‘TS有效载荷’的固定长度数据包,将上述说明的PES数据包分割后,存储在TS有效载荷中。
根据第2段,向TS数据包赋予4字节的TP_Extra_Header,在变换为192字节的源数据包的状态下,构成TS。在TP_Extra_Header中记载ATS(Arrival_Time_Stamp)等信息。ATS表示向PID滤波器传输该TS数据包的传输开始时刻。在TS中,如第3段所示,排列源数据包,将从TS的开头递增的序号称为SPN(源数据包序号)。
<TS中的复用>
图10是示意地表示如何复用主TS的图。首先,将基本视角视频流和音频流(第1段)分别变换为PES数据包串(第2段)、变换为源数据包串(第3段)。将相同左视角PG流和左视角交互图形(第7段)分别变换为PES数据包串(第6段),进一步变换为源数据包串(第5段)。将如此得到的、构成视频、音频、图形的源数据包按其ATS顺序排列。这是因为源数据包应根据其ATS读入读取缓冲器中。这样,若根据ATS排列源数据包,则可得到主TS。
·TS中复用的基本流
这些TS中复用的基本流(ES)有视频流、音频流、演示图形流、交互图形流。
·视频流
构成基本视角的视频流,构成画中画应用中的主视频流。画中画应用除该主视频流外,还由辅视频流构成。所谓主视频流是画中画应用中构成母画面的图片数据所构成的视频流。相对照地,所谓辅视频流是画中画应用中作为子画面、嵌入母画面一部分中的图片数据所构成的视频流。
构成主视频流的图片数据与构成辅视频流的图片数据在解码之后,存储在分开的平面存储器中。在存储构成辅视频流的图片数据的平面存储器前段,存在进行构成辅视频流的图片数据的比例变更和显示坐标定位的构成要素(Scalling&Positioning)。
·音频流
音频流中存在主音频流、辅音频流两种。主音频流是在进行混合再现的情况下应构成主声音的音频流,辅音频流是在进行混合再现的情况下应构成副声音的音频流。辅音频流存在用于该混合的下采样(downsampling)用信息、增益控制用信息。
·演示图形流(PG流)
PG流是通过在解码器中采用管道(pipeline)、可实现与影像的紧密同步、适于字幕显示的图形流,有2DPG流与立体观察PG流这两种。在立体观察PG流中有左视角PG流和右视角PG流这两种。左视角PG流和右视角PG流中由基本视角指示符指定的是基本视角PG流,未由基本视角指示符指定的构成从属视角PG流。
除2DPG流外还设置立体观察PG流是因为在PG流表示字幕文字的情况下,从由2D显示的正面看到的字幕文字、以3D-LR模式显示为左眼用的图形、和显示为右眼用的字幕文字需要不同。因此,在2D再现的情况下从正面看到的图形流显示1条,3D-LR模式用左视角PG流、右视角PG流共显示2条。同样,在3D-Depth模式的情况下,再现表示从正面看到的影像与深度信息的灰度流。2D+offset(2D互换流)与3D-LR流不混合存在。
2DPG流最多定义32条,基本视角PG流最多定义32条,从属视角PG流最多也定义32条。向这些PG流分别赋予不同的数据包识别符,通过向解复用部指示应再现的数据包识别符,将这些PG流中期望的PG流提供给再现。
左视角PG流、右视角PG流使语言属性彼此一致,即便用户切换显示方式,也显示相同内容的字幕。作为前提,2D字幕与3D字幕一对一对应,不设置仅2D的字幕和仅3D的字幕。这是为了防止切换时的用户混乱。由此,可利用1个流序号来选择对应于2D/3D各显示模式的流。此时,1个流序号下语言属性等相同,2D与LR的字幕内容相同。
通过实现基于管道的解码动作,实现与动态图像的紧密同步,所以PG流的用途不限于字幕等文字再现。只要是显示电影作品的吉祥物角色、使其与动态图像同步动作等需要紧密同步的图形再现,则均可作为基于PG流的再现对象来采用。
虽然未复用于流文件,但展现字幕的流中除PG流外,还有文本字幕(textST)流等流。textST流是用字符码来展现字幕内容的流。
PG流、文本字幕流不区别其种类,作为相同流种类,将这些PG流和文本字幕流登记在相同流登记串(stream registration sequence)中。在执行流选择过程之前,根据流登记串中的流登记顺序,确定应再现的PG流或文本字幕流。PG流、文本字幕流不区别流种类地提供给流选择过程,所以以一个流种类、即“PG_文本字幕流”种类来处理这些PG流和文本字幕流。
2D用PG_文本字幕流在1plane+Offset模式下再现。以后的说明中,设2DPG_文本字幕流是1plane+OffsetPG_文本字幕流来进行说明。
·交互图形(IG)流
IG流是通过具备对话操作信息、可伴随视频流的再现进行显示菜单或根据用户操作来显示弹出菜单的图形流。
IG流也与PG流一样,有2DIG流与立体观察IG流等两种。在立体观察IG流中有左视角IG流和右视角IG流等两种。左视角图形流和右视角图形流中由基本视角指示符指定的是基本视角IG流,未由基本视角指示符指定的构成从属视角IG流。2DIG流最多定义32条,基本视角IG流最多定义32条,从属视角IG流最多也定义32条。向这些IG流分别赋予不同的数据包识别符,通过向解复用部指示应再现的数据包识别符,将这些IG流中期望的IG流提供给再现。
IG流的控制信息(称为对话控制区段)具有规定用户接口模型的信息(User_interface_model),创作(authoring)者通过设定该用户接口模型信息,可指定是伴随视频流的再现进行显示菜单(称为Always ON)还是根据用户操作来显示弹出菜单(弹性菜单打开)。
IG流具有对话操作信息的意义如下所述。在Java虚拟机对应于来自应用的请求,向作为再现控制主体的再现控制引擎指示开始播放列表再现的情况下,Java虚拟机在命令再现控制引擎再现之后,将表示开始播放列表再现之意的响应返回给应用。即,在再现控制引擎进行的播放列表再现继续期间,Java虚拟机不进入执行终止等待。这是因为Java虚拟机是所谓的事件驱动型动作主体,在再现控制引擎进行播放列表再现的期间中也可进行动作。
另一方面,在HDMV模式中,在命令翻译器命令再现控制引擎进行播放列表再现的情况下,变为该播放列表再现的执行终止等待,直到播放列表再现终止为止。在再现控制引擎执行的再现继续的期间,命令执行部不能执行交互式处理。代替该命令翻译器,图形解码器进行交互式动作。由于让图形解码器进行交互式动作,所以在IG流中合并规定使用按钮部件的交互式操作的控制信息。
·各流种类允许的显示模式
允许3D显示模式的哪个因流种类不同而不同。在主视频流的3D显示模式中,允许B-D演示模式、B-B演示模式这两个再现模式。在主视频流中,允许B-B演示模式的仅是弹出菜单为打开的情况。将由B-D演示模式再现情况下的主视频流的类型称为“立体观察B-D再现种类”。将由B-B演示模式再现情况下的主视频流的类型称为“立体观察B-B再现种类”。
PG流的3D显示模式中允许B-D演示模式、1plane+Offset模式、1plane+Zero Offset模式这3个再现模式。PG流中允许1plane+Zero Offset模式仅为弹出菜单打开的情况。将由B-D演示模式再现情况下的PG流的类型称为“立体观察再现种类”。将由1plane+Offset模式再现情况下的PG流、PG_文本字幕流的类型称为1plane+Offset种类。将由1plane+Zero Offset模式再现情况下的PG流、PG_文本字幕流的类型称为1plane+Zero Offset种类。
文本字幕流的3D显示模式中允许1plane+Offset模式、1plane+ZeroOffset模式这2个再现模式。文本字幕流中允许1plane+Zero Offset模式仅为弹出菜单打开的情况。
IG流的3D显示模式中允许B-D演示模式、1plane+Offset模式、1plane+Zero Offset模式这3个再现模式。IG流中允许1plane+Zero Offset模式仅为弹出菜单打开的情况。在以后的说明中,只要未特别限定,在3D再现模式执行时,不能使用画中画。这是因为画中画和3D再现模式都需要两个用于存储非压缩图片数据的视频平面。另外,只要未特别限定,3D再现模式中也不能使用混音(sound mixing)。
接着,说明主TS和子TS的内部构成。图11表示主TS和子TS的内部构成。
图11(a)表示主TS的内部构成。主TS由以下的源数据包构成。
具有0x0100数据包ID的源数据包构成Program_Map_Table,具有0x0101数据包ID的TS数据包构成PCR。
具有0x1011数据包ID的源数据包串构成主视频流。
从具有0x1220数据包识别符的源数据包串至具有0x123F数据包ID的源数据包串构成32条基本视角PG流。
从具有0x1420数据包识别符的源数据包串至具有0x143F数据包ID的源数据包串构成32条基本视角IG流。
从具有0x1100数据包识别符的源数据包串至具有0x111F数据包识别符的源数据包串构成主音频流。
通过将这些源数据包的数据包识别符指示给解复用部,将复用于主TS的多个ES中期望的ES分离,提供给解码器。
图11(b)表示子TS的内部构成。子TS由下面的源数据包构成。
具有0x1012数据包识别符的源数据包串构成从属视角视频流,从具有0x1240数据包识别符的源数据包串至具有0x125F数据包识别符的源数据包串构成32条从属视角PG流。
从具有0x1440数据包识别符的源数据包串至具有0x145F数据包识别符的源数据包串构成32条从属视角IG流。
以上是对流文件的说明。下面,说明播放列表信息的细节。
为了定义上述多路径,具有图12的内部构成。图12(a)表示播放列表信息的内部构成。如图12(a)所示,播放列表信息包含‘主路径信息’、‘子路径信息’、‘播放列表标志信息’、‘扩展数据’。下面,说明这些构成要素。
1)主路径信息由一个以上的主要的再现区间信息构成。图12(b)是表示主路径信息和子路径信息的内部构成的图,如图所示,主路径信息由一个以上的主要的再现区间信息构成。子路径信息由一个以上的从属的再现区间信息构成。
将主要的再现区间信息称为播放项目(playitem)信息,是通过定义一个以上TS再现时间轴中构成In_Time的时刻与构成Out_Time的时刻的组,来定义逻辑再现区间的信息。再现装置中包含存储当前播放项目序号的播放项目序号寄存器,多个播放列表信息中存储在该播放项目序号寄存器中的构成当前的再现对象。
图12(c)表示播放项目信息的内部构成。如图所示,包含‘流参照信息’、‘开始时间结束时间信息’、‘连接状态信息’、‘基本流选择表’。
流参照信息包含表示将构成播放项目的传输流管理为“AVclip”的clip信息文件的‘clip信息文件名称信息(clip_information_file_name)’、表示该TS中的编码方式的‘clip编码方式识别符(Clip_codec_indentifier)’、表示该TS的STC序列中设定开始时间(in time)和结束时间(out time)的STC序列是哪个的‘STC识别符基准(STC_ID_referrence)’。
以上是播放项目信息的说明。
2)从属的再现区间信息被称为子路径信息,由多个子播放项目信息构成。图12(d)表示子播放项目信息的内部构成。如图所示,子播放项目信息是通过在STC序列的时间轴上规定开始时间与结束时间的组,来定义构成子路径的再现区间的信息,包含‘流参照信息’、‘开始时间结束时间信息’、‘同步播放项目基准’、‘同步开始时刻信息’。‘流参照信息’与播放项目信息一样,包含‘clip信息文件名称信息’、‘clip编码方式识别符’、‘STC识别符基准’。
‘开始时间结束时间信息(SubPlayItem_In_Time,SubPlayItem_Out_Time)’表示STC序列时间轴上子播放项目的起点与STC序列时间轴上子播放项目的终点。
‘同步播放项目基准(Sync_PlayItem_Id)’是唯一指定播放项目中、本子播放项目应同步的播放项目的信息。子播放项目开始时间存在于由该同步播放项目参照符指定的播放项目的再现时间轴上。
‘同步开始时刻信息(Sync_Start_PTS_of_PlayItem)’表示由同步播放项目参照符指定的播放项目STC序列的时间轴中、由子播放项目开始时间所指定的子播放项目的起点在何时刻成像。
3)播放列表标志信息是定义再现区间固有的标志点(mark point)的信息,包含表示再现区间的参照符、表示数字流的时间轴上标志点位于何处的时间戳、和表示标志点属性的属性信息。
所述属性信息表示由播放列表标志信息定义的标志点是链接点(1inkpoint)还是入口标志(entry mark)。
链接点是虽然能基于链接命令链接、但不构成由用户执行章节跳跃(chapter skip)操作时的选择对象的标志点。
入口标志是能基于链接命令链接、且构成由用户执行章节跳跃操作时的选择对象的标志点。
合并到IG流的按钮信息内的链接命令,以经播放列表标志信息的间接参照形式指定随机访问再现的位置。
<基本流选择表(STreamNumber_table)>
所述基本流选择表是平面观察再现模式中应再现的基本流的列表,按多个流种类中的每个种类,规定当构成播放列表的多个播放项目中、包含该基本流选择表的播放项目变为当前播放项目时,允许再现复用于由多路径的主路径参照的AVclip的ES、和复用于由多路径的子路径参照的AVclip的ES中的哪个。这里所谓的流种类是指画中画中的主视频流、画中画中的辅视频流、混音中的主音频流、混音中的辅音频流、PG_文本字幕流、交互图形流等种类,基本流选择表可按这些流种类中的每一个,登记应允许再现的流。具体地,基本流选择表由流登记的排列构成。这里,所谓流登记是在基本流选择表归属的播放项目变为当前播放项目时,对应于其流序号来表示应允许再现的ES是什么流,流登记变为将流入口和流属性的组合与逻辑流序号建立对应的数据构造。流登记中的流序号由1、2、3等整数值表现,流序号的最大数构成对应的流种类的流的条数。
再现装置中,按每个该流种类,存在流序号寄存器,由这里存储的流序号指示的ES变为构成当前再现对象的ES、即当前流。
在该流入口内,描述应再现的ES的数据包识别符。由于可在流入口内描述应再现的ES的数据包识别符,所以将流登记中的流序号存储在再现装置的流序号寄存器中,根据流登记中的流入口内的数据包识别符,使再现装置在再现装置的PID滤波器中执行数据包滤波。由此,将基本流选择表中允许再现的ES的TS数据包输出到解码器,进行ES再现。
基本流选择表中的这些流登记按照流序号的顺序排列,基于流序号顺序的流登记顺序,在存在多个满足“再现装置可再现”“具有与再现装置语言设定相同语言属性”的条件的流时,由流登记串中的流序号的顺序,确定构成选择对象的流。
由此,在基本流选择表中的流登记中,在存在再现装置不能再现的流的情况下,将这种流从再现中排除,另外,在存在多个满足“再现装置可再现”的条件的流的情况下,创作者可向再现装置传递其中应优先选择哪个的指针。
将是否存在满足“再现装置可再现”“具有与再现装置语言设定相同语言属性”的条件的流的判定、或选择满足“再现装置可再现”的条件的流中哪个的选择步骤,称为流选择过程。流选择过程在将当前播放项目切换为新项目时、或从用户请求了流切换时执行。
将在当前播放项目切换为新项目等再现装置产生状态变化时,进行上述判定或选择,对再现装置的流序号寄存器设定流序号的一系列步骤,称为“状态变化时应执行的过程”。由于流序号寄存器对每个流种类均存在,所以对每个流种类执行上述过程。
将在用户发出流切换请求的情况下,执行上述判定或选择,对再现装置的流序号寄存器设定流序号的一系列步骤称为“请求流变化时的过程”。
将当装填BD-ROM时,将流序号寄存器设定为流登记串中的初始值的步骤称为“初始化”。
基本流选择表中的流登记串由于向由子播放项目信息指定的流、和由播放项目信息指定的流同样地赋予优先顺序,所以即便是未与视频流复用的流,只要由子播放项目信息指定,也构成应与视频流同步再现的流选择中的选择对象。
另外,再现装置可再现由子播放项目信息指定的流,且由子播放项目信息指定的流的优先顺序比与视频流复用的图形流的优先顺序高时,取代与视频流复用的流,将由子播放项目信息指定的流提供给再现。
图13表示基本流选择表的一例。图13(a)表示在流种类中存在主视频流、主音频流、PG流、IG流、辅视频流、辅音频流等种类的情况下,基本流选择表中设置的多个流登记串。图13(b)表示利用基本流选择表从主TS、子TS中分离什么样的ES。图13(b)左侧表示主TS、子TS,正中表示基本流选择表与解复用部。右侧表示根据基本流选择表分离的主视频流、主音频流、PG流、IG流、辅视频流、辅音频流。
接着,说明扩展数据(extension data)的细节。
在播放列表构成画中画应用的情况下,画中画元数据需要存储在播放列表文件中扩展数据的数据块中。在播放列表信息参照MVC视频流的情况下,扩展流选择表需要存储在播放列表信息文件的扩展数据的数据块中。
在播放列表信息参照盘上的MVC视频流或立体观察IG流再现菜单中的MVC视频流的情况下,子路径信息的扩展信息(子路径块扩展名)需要存储在播放列表信息文件中扩展数据的数据块中。
保留播放列表信息中扩展数据的其它目的。
2D再现装置当遭遇到播放列表文件中的扩展数据时,需要忽视未知的扩展数据。
<扩展流选择表(STreamNumber_table_StereoScopic(SS))>
所述扩展流选择表是表示立体观察再现模式下应再现的基本流的列表,仅在立体观察再现模式下与基本流选择表一起使用,当再现播放项目或再现与之关联的子路径时,定义可选择的ES。
所述扩展流选择表表示仅在立体观察再现模式下应允许再现的ES,包含流登记串。流登记串中的各个流登记信息包含流序号、对应于该流序号的流入口、和流属性。由于扩展流选择表意味着立体观察再现模式固有的扩展,所以将把扩展流选择表(STN_table_SS)关联于各播放项目信息的播放列表称为“3D播放列表”。
扩展流选择表中的流入口表示在将再现装置设定为立体观察再现模式的情况下,当将对应的流序号设定给再现装置中的流序号寄存器时,再现装置应在解复用中应使用的数据包识别符。这里,与基本流选择表的不同之处在于,扩展流选择表中的流登记串不构成流选择过程的对象。即,基本流选择表中的流登记串的流登记信息解释为各个ES的优先顺序,将任一流登记信息内的流序号写入流序号寄存器中。但是,扩展流选择表中的流登记串不构成流选择过程的对象,扩展流选择表中的流登记信息仅用于当将任一流序号存储在流序号寄存器中时、取出对应于该流序号的流入口和流属性的目的。
当再现模式从2D再现模式切换到3D再现模式时,构成对象的流选择表为了从基本流选择表切换为扩展流选择表,若执行流选择过程,则不能维持流序号的同一性,更可能还丧失语言属性的同一性。
当从2D再现模式切换到3D再现模式时,为了维持以语言属性为主的流属性的同一性,将扩展流选择表的用途还保留为上述的情况。
所述扩展流选择表由从属视角视频流的流登记串、PG流的流登记串、IG流的流登记串构成。
将扩展流选择表中的流登记串结合于基本流选择表中相同流种类的流登记串。该结合通过如下方式进行,即,将扩展流选择表中的从属视角视频流的流登记串结合于流选择表中的主视频流的流登记串,将扩展流选择表中的PG流的流登记串结合于流选择表中的PG流的流登记串,将扩展流选择表中的IG流的流登记串结合于IG流的流登记串。
若进行上述结合,则对结合后的流选择表中基本流选择表中的流登记串执行上述过程。
图14表示扩展流选择表的内部构成。扩展流选择表由扩展流选择表的整体长度(length)、弹出期间固定偏移(Fixed_offset_during_Popup)、对应于各播放项目中各个流种类的流登记串构成。
这里,在存在播放项目#1~#N等N个播放项目的情况下,在扩展流选择表中设置对应于播放项目#1~#N中的每个播放项目的流登记串。对应于各播放项目的流登记串是从属视角流登记串、PG流登记串、IG流登记串。
‘Fixed_offset_during_Popup’是弹出期间固定偏移,在将基于IG流的弹出菜单设定为打开的情况下,控制视频或PG_文本字幕流的再现种类。该‘Fixed_offset_during_Popup’字段在IG流中的user_interface_model字段设定为打开、即弹出菜单的用户接口设定为打开的情况下,被设定为打开。在IG流中的user_interface_model字段设定为关闭(OFF)、即设定为AlwaysON的用户接口的情况下,被设定为关闭。
在弹出期间固定偏移“=0”、即IG流的用户接口下弹出菜单被设定为关闭的情况下,视频流变为B-D演示模式。立体观察PG流变为立体观察再现种类。当1plane+Offset模式再现时,PG_文本字幕流变为1plane+Offset模式。
在弹出期间固定偏移“1”、即IG流的弹出菜单打开的情况下,视频流变为B-B演示模式。立体观察PG流变为1plane+Offset模式,将1plane+Offset用的PG流再现为1plane+Zero offset再现种类。
1plane+Offset模式下,PG_文本字幕流变为1plane+Zero offset。
‘偏移序列条数信息(图中的number_of_offset_sequence’)表示从属视角流中的偏移序列的个数。
扩展流选择表中的该值与从属视角流中包含的偏移序列的个数相同。
图15表示扩展流选择表中的流登记串。
图15(a)表示从属视角视频流的流登记串的内部构成。从属视角流的流登记串由v(x)个SS_dependet_view_block构成。这里,所谓v(x)是播放项目信息#x的基本流选择表中允许再现的主视频流的条数。图中的引出线详细示出了从属视角流的流登记串的内部构成。如引出线所示,SS_dependet_view_block由流序号、流入口、流属性与number_of_offset_sequence构成。
流入口包含指定从属视角视频流再现路径归属的子路径的子路径识别符参考(ref_to_Subpath_id)、指定存储从属视角视频流的流文件的流文件参考(ref_to_subClip_entry_id)、和该流文件中从属视角视频流的数据包识别符(ref_to_stream_PID_subclip)。
‘流属性’包含从属视角视频流的语言属性。
‘number_of_offset_sequence’表示从属视角视频流内存在的偏移的条数。
图15(a)中,从属视角视频流的流登记串在数据构造上,设置对多个从属视角视频流的流登记信息。通常,由于基本视角视频流的条数为1个,所以从属视角视频流中的流登记信息个数也是唯一一个。
图15(b)表示PG流的流登记串的内部构成。PG流的流登记串由P(x)个流登记信息构成。这里,所谓p(x)是播放项目信息#x的基本流选择表中允许再现的PG流的条数。
图中的引出线详细示出PG流登记串的共同的内部构成。
‘PGtextST_offset_sequence_id_ref’是PG_文本字幕流偏移序列参考信息,指示对1plane+Offset模式的PG_文本字幕流的偏移序列。
偏移元数据由从属视角视频流的访问单元提供。再现装置需要将由该字段提供的偏移适用于1plane+Offset模式种类的演示图形(PG)平面。
在该字段是不定值(FF)的情况下,再现装置不将该偏移适用于PG流平面存储器。
‘is_SS_PG’是指示PG流中基本视角IG的流入口、从属视角IG的流入口、流属性的有效性与存在的立体观察演示图形存在与否标记。在不存在立体观察PG流的构造的情况下,需要将该字段设定为0。在存在立体观察PG流的构造的情况下,需要将该字段设定为1。
‘stream_entry_for_base_view’包含指定基本视角PG流的再现路径归属的子路径的子路径识别符参考(ref_to_Subpath_id)、指定存储基本视角PG流的流文件的流文件参考(ref_to_subClip_entry_id)、和该流文件中基本视角PG流的数据包识别符(ref_to_stream_PID_subclip)。
‘stream_entry_for_depentdent_view’包含指定从属视角PG流的再现路径归属的子路径的子路径识别符参考(ref_to_Subpath_id)、指定存储从属视角PG流的流文件的流文件参考(ref_to_subClip_entry_id)、和该流文件中从属视角流的数据包识别符(ref_to_stream_PID_subclip)。由扩展流选择表的流登记信息中的stream_entry_for_depentdent_view参照的流文件与由基本流选择表的流入口参照的流文件不同的情况下,需要重新读出存储了从属视角PG流的流文件。
‘stream_attribute’包含基本视角PG流和从属PG流的语言属性。
‘SS_PG_textST_offset_sequence_id_ref’是用于参照PG_文本字幕流用偏移序列的参考信息,指示PG_文本字幕流用的偏移序列。再现装置需要将由该字段提供的偏移适用于PG平面。
在该字段是不定值(FF)的情况下,再现装置不将该偏移适用于PG流平面存储器。
图15(c)表示IG流的流登记串的内部构成。IG流的流登记串由I(x)个流登记信息构成。这里,所谓I(x)是播放项目信息#x的基本流选择表中允许再现的IG流的条数。图中的引出线详细示出流登记串的共同的内部构成。
‘IG_offset_sequence_id_ref’是交互图形偏移序列参考,是1plane+Offset模式的IG流序列ID的参考。该值指示对偏移序列定义的偏移序列ID。如上所述,偏移元数据由从属视角视频流提供。再现装置需要将由该字段提供的偏移适用于1plane+Offset模式种类的IG流。
在该字段是不定值(FF)的情况下,再现装置不将该偏移适用于交互图形平面。
‘IG_Plane_offset_direction_during_BB_video’指示由B-B演示模式中弹出菜单的用户接口再现IG流的期间,1plane+Offset模式下交互图形(IG)平面中的偏移方向。
值为“0”为前面设定,即平面存储器存在于TV与收看者之间,在左视角期间,平面向右方向移位,在右视角期间,平面向左方向移位。
值=1为后面设定,即平面存储器存在于TV或屏幕的背后,左平面向左方向移位,右平面向右方向移位。
‘IG_Plane_offset_value_during_BB_video’在B-B演示模式下由弹出菜单的用户接口再现IG流的期间,由象素单位指示1plane+Offset模式中IG平面的偏移值。
‘is_SS_IG’是立体观察交互图形存在与否标记,指示IG流中基本视角IG的流入口、从属视角IG的流入口、流属性的有效性与存在。在不存在立体观察IG流的数据构造的情况下,需要将该字段设定为值0。在允许再现的IG流是立体观察IG流的情况下,需要将该字段设定为值1。
‘stream_entry_for_base_view’包含指定基本视角IG流的再现路径归属的子路径的子路径识别符参考(ref_to_Subpath_id)、指定存储基本视角IG流的流文件的流文件参考(ref_to_subClip_entry_id)、和该流文件中基本视角IG流的数据包识别符(ref_to_stream_PID_subclip)。
‘stream_entry_for_depentdent_view’包含指定从属视角IG流的再现路径归属的子路径的子路径识别符参考(ref_to_Subpath_id)、指定存储从属视角IG流的流文件的流文件参考(ref_to_subClip_entry_id)、和该流文件中从属视角IG流的数据包识别符(ref_to_stream_PID_subclip)。由扩展流选择表的流登记信息中的stream_entry_for_depentdent_view参照的流文件与由基本流选择表的流入口参照的流文件不同的情况下,需要重新读出存储从属视角IG流的流文件。
‘stream_attribute’包含基本视角IG流和从属IG流的语言属性。
‘SS_IG_offset_sequence_id_ref’是立体观察种类的IG流用偏移序列ID的参考,指示从属视角视频流的偏移元数据中的偏移序列。再现装置需要将由该字段提供的偏移适用于立体观察种类的IG平面。
在该字段是不定值(FF)的情况下,再现装置不将该偏移适用于IG平面。
说明扩展流选择表中的限制。
立体观察从属视角块中的流入口在播放列表中不变化。
若立体观察从属视角块中的流入口种类是由子路径使用的ES种类(流种类=2),则子路径ID参考与子clip入口ID参考(ref_to_subclip_entry_id)在播放列表中不变化。
允许作为流入口、基本视角用流入口、从属视角用流入口的种类的ES种类,仅为由播放项目使用的AVclip内的ES(流种类=1)、由子路径使用的AVclip内的ES(流种类=2)这两个种类。
将立体观察从属视角块中的流属性的流编码方式设定为“0x20”。
图16表示利用基本流选择表、扩展流选择表、从主TS、子TS解复用什么样的ES。
在图16的正中,示出解复用部,在其上侧,示出基本流选择表与扩展流选择表的组。在左侧示出主TS、子TS,在右侧示出解复用的基本视角视频流、从属视角视频流、基本视角PG流、从属视角PG流、基本视角IG流、从属视角IG流、主音频流。
图17表示在进行图16所示的解复用的情况下,如何参照基本流选择表、扩展流选择表中的流登记串。在图17的正中,示出基本流选择表与扩展流选择表。
基本流选择表的左侧表示再现装置中存储当前流的流序号的流序号寄存器。基本流选择表的右侧表示再现装置中的语言设定。扩展流选择表的下侧表示解复用部。箭头h1示意地表示PG流的语言设定、与基本流选择表中PG流的流登记信息X中语言属性的一致。箭头h2示意地表示对PG流的流序号寄存器的流序号X的设定。
箭头h3示意地表示IG流的语言设定、与基本流选择表中IG流的流登记信息Y中语言属性的一致。箭头h4示意地表示对IG流的流序号寄存器的流序号Y的设定。
该图的流序号设定象征地示出按照对基本流选择表的流选择过程的结果,确定提供给解复用的PG流、IG流这一情况。
箭头PD1模式地示出扩展流选择表内的SS_dependent_view_block中流入口中记述的数据包识别符的输出。利用该输出进行解复用部中的解复用,输出从属视角视频流。
箭头PD2模式地示出扩展流选择表中PG流的流登记信息的流入口中、对应于流序号X的流入口的数据包识别符的输出。箭头X1表示箭头PD1的数据包识别符输出与对流序号寄存器的当前流序号X的设定之间联动这一情况。
箭头PD3模式地示出扩展流选择表中IG流的流登记信息的流入口中、对应于流序号Y的流入口的数据包识别符的输出。箭头Y1表示箭头PD3的数据包识别符输出与对流序号寄存器的当前流序号Y的设定之间联动这一情况。
这里所谓的联动意味着扩展流选择表中记述的数据包识别符的输出,与将基本流选择表中PG、IG流的流登记串中记述的流序号之中流序号X、Y作为当前的PG、IG流序号、设定给流序号寄存器的设定相联动。
利用该输出进行解复用部中的解复用,输出PG、IG流。
图18表示模式中流序号的分配变化。
纵向栏表示称为视频流#1的流序号、称为音频流#1、#2的流序号、称为PG流#1、#2的流序号、称为IG流#1、#2的流序号。
仅包围在左侧虚线框中的ES是仅在2D再现模式下构成解复用对象的ES。
仅包围在右侧虚线框中的ES表示在3D再现模式下构成解复用对象的ES。
包围在左侧和右侧虚线框双方中的ES表示在2D再现模式和3D再现模式下构成解复用对象的ES。
若仅着眼于视频流#1的流序号,则由于主视频流包围在左右双方的虚线框中,所以可知在2D再现模式和3D再现模式双方中构成再现对象。该2D视频流是左视角视频流。但是,由于右视角视频流仅包围在右侧虚线框中,所以可知仅在3D再现模式下再现。
若着眼于音频流#1、音频流#2的流序号,则由于音频流包围在左右双方的虚线框中,所以可知在2D再现模式和3D再现模式双方中构成再现对象。
若着眼于PG流#1、PG流#2的流序号,则由于2DPG流仅包围在左侧虚线框中,所以可知仅在2D再现模式下构成再现对象。由于基本视角PG流、从属视角PG流仅包围在右侧虚线框中,所以可知仅在3D再现模式下再现。IG流也一样。
如上所述,可知在3D再现模式下,在称为视频流的流种类中,加入从属视角视频流作为再现对象。
另外,可知在3D再现模式下,在称为PG流的流种类中,将再现对象从2DPG流置换为基本视角PG流和从属视角PG流。
所述扩展流选择表可通过使用面向对象型编译语言,进行图19所示的描述,提供给编译器来制作。图19表示使用面向对象型编译语言来描述扩展流选择表用的语法(syntax)。
设PlayItem_id为控制变量的for语句,构成对应于播放项目个数来重复Fixed_offset_during_Popup、从属视角流的流登记串、PG_文本字幕流的流登记串、IG流的流登记串的描述的循环。
设primary_video_stream_id为控制变量的for语句,定义从属视角流的流登记串,从属视角流的流登记串通过对应于number_of_primary_video_stream_entries来描述stream_entry、Stream_attribute、number_of_offset_sequence构成的SS_dependent_view_block来定义。
设PG_textST_stream_id为控制变量的for语句,定义PG_文本字幕流的流登记串,构成对应于number_of_PG_textST_stream_number_entries来重复PG_text_offset_sequence_id_ref、is_SS_PG的描述的循环。循环中存在的、设is_SS_PG为控制变量的if语句,若is_SS_PG为1b,则定义stream_entry_for_base_biew()、stream_entry_for_dependent_biew()、stream_attribute,利用该if语句,仅在is_SS_PG为1bd的情况下,将stream_entry_for_base_biew()、stream_entry_for_dependent_biew()、stream_attribute附加到流登记串。若is_SS_PG是0b,则不追加stream_entry_for_base_biew()、stream_entry_for_dependent_biew()、stream_attribute。
设IG_stream_id为控制变量的for语句,定义IG流的流登记串,构成对应于number_of_IG_stream_entries来重复IG_offset_sequence_id_ref、IG_plane_offset_direction_during_BB_video、IG_plane_offset_value_during_BB_video、is_SS_IG描述的循环。循环中存在的、设is_SS_IG为控制变量的if语句,若is_SS_IG为1b,则定义stream_entry_for_base_biew()、stream_entry_for_dependent_biew()、stream_attribute,利用该if语句,仅在is_SS_IG为1b的情况下,将stream_entry_for_base_biew()、stream_entry_for_dependent_biew()、stream_attribute追加到流登记串。若is_SS_IG为0b,则不追加stream_entry_for_base_biew()、stream_entry_for_dependent_biew()、stream_attribute。
以上是记录介质的说明。接着说明再现装置的细节。
图20表示再现装置的内部构成。如图所示,再现装置由读出设定部201、存储器202、播放器序号寄存器203、解码器204、解复用部205、平面存储器组206、移位部207、层合成部208、发送接收部209、再现控制部210、输出模式寄存器211、配置存储器212构成。本图的内部构成不过描述用于实施具备课题解决手段的再现装置的必要最低限度的构成要素。更详细的内部构成在后面的实施方式中加以说明。
读出部201从记录介质中读出索引表、动作模式对象的程序文件、播放列表信息文件、流信息文件、流文件。
存储器202存储通过结合播放列表信息中包含的基本流选择表与扩展流选择表而得到的结合流登记串。
每个流种类的播放器序号寄存器203包含存储视频流的流序号的视频流序号寄存器、存储PG流的流序号的PG流序号寄存器、存储IG流的流序号的IG流序号寄存器、存储音频流序号的音频流序号寄存器。
每个流种类的解码器204由视频解码器、PG解码器、IG解码器、音频解码器构成。
解复用部205具备执行数据包滤波的PID滤波器,分离从记录介质读出的多个源数据包内的TS数据包中、由结合流登记串中记述的数据包识别符所指示的TS数据包,输出到各解码器。
平面存储器组206由多个平面存储器构成。所谓平面存储器是以线(line)单位存储解码ES而得到的一个画面的量的象素数据,沿水平同步信号、垂直同步信号输出这些象素数据的存储器。各个平面存储器存储由视频解码器、PG解码器、IG解码器的解码得到的一个画面的量的象素数据。
这些平面存储器构成层(layer)模型,将各个平面存储器的存储内容提供给层合成。该层合成如下执行,即平面存储器的层模型中,对层模型中的两个阶层的全部组合,执行使两个阶层的平面存储器中存储的象素数据的象素值重叠的处理。
移位部207执行象素的坐标移位。
层合成部208执行多个平面存储器中的层合成。
发送接收部209在经接口与家庭影院***中的其它设备连接时,经相互认证阶段、和协商(negotiation)阶段,转移到数据传送阶段,进行数据传送。
该协商阶段把握对方侧设备的能力(包含解码能力、再现能力、显示频率),设定给播放器设定寄存器,确定用于以后传送的传送方式。经过这些相互认证阶段、协商阶段,根据显示装置中的水平同步期间,将进行了层合成的图片数据中一个线的量的非压缩、明文形式的象素数据以高的传送速率传送给显示装置。另一方面,在显示装置的水平消隐期间和垂直消隐期间,向与再现装置连接的其它装置(不仅是显示装置,还包含放大器、扬声器)传送非压缩、明文形式的音频数据。由此,显示装置、放大器、扬声器等设备可受理非压缩、明文形式的图片数据、非压缩、明文形式的音频数据,可实现再现输出。另外,在对方侧设备存在解码能力的情况下,可对视频流、音频流进行通过(passthrough)传送。在通过传送中,可以压缩、加密形式原样传送视频流、音频流。
再现控制部210控制读出部201,在从记录介质读出来自记录介质的索引表、动作模式对象、播放列表信息、clip信息、流文件,并且根据从记录介质读出的播放列表信息、clip信息,执行再现控制。在读出流文件时,可实现从流文件中读出相当于时间轴任意时刻的源数据包等随机访问。
输出模式寄存器211存储再现模式。
配置存储器212是存储各平面存储器的模式能力、和当前模式的非易失性存储器,由再现装置的制造主体来设定其存储内容。所谓模式能力表示视频平面、PG平面、IG平面等多个平面存储器的每个能否处理上述再现模式的每个。能否处理再现模式由对应于平面存储器的流种类是什么、或再现装置中是否存在处理该再现模式用的硬件构成来确定。
当前示意地表示将多个平面存储器的每个设定成多个再现模式中的哪个。
以上是再现装置的说明。接着,说明根据本实施方式的再现装置执行的解复用处理的细节。
图21表示利用结合流登记串向解复用部输出什么样的数据包识别符。
图21(a)表示用作动作例题材的结合流登记串。结合流登记串由基本流选择表中的3个流登记信息与扩展流选择表中的3个流登记信息构成。基本流选择表中的3个流登记信息分别具有流序号“1”、“2”、“3”的流序号,3个流登记信息中的流属性具有英语、日语、中文的语言属性。
扩展流选择表中的3个流登记信息分别具有流序号“1”、“2”、“3”的流序号,3个流登记信息中的流属性具有英语、日语、中文的语言属性。基本流选择表中的流登记信息与扩展流选择表中的流登记信息中流入口的数据包识别符不同,扩展流选择表中的流登记信息包含B-D演示模式用基本视角PG流用数据包识别符、从属视角PG流用的数据包识别符。
图21(b)表示在向语言设定为中文、将输出模式设定为2D再现模式的再现装置提供这种结合流登记串的情况下的流序号设定与数据包识别符的输出。
图中附加a1、a2、a3的箭头,示意地表示语言设定的一致判定、对流序号寄存器的流序号的设定、对解复用部的数据包识别符的输出。
在过程中,对流序号=3的流登记信息,判定再现装置侧的语言设定与流属性的一致,将该流序号=3的流登记信息中包含的流序号写入流序号寄存器中。此时,将基本流选择表中流入口中的数据包识别符输出到解复用部。由此,将由基本流选择表中流序号=3的流登记信息中的流入口的数据包识别符确定的TS数据包输出到解码器。
图21(c)表示在向语言设定为中文、将输出模式设定为B-D演示模式的再现装置提供这种结合流登记串的情况下的流序号设定与数据包识别符的输出。
图中附加a4、a5、a6的箭头示意地表示语言设定的一致判定、对流序号寄存器的流序号的设定、对解复用部的数据包识别符的输出。
在过程中,对流序号=3的流登记信息判定再现装置侧的语言设定与流属性的一致,将该流序号=3的流登记信息中包含的流序号写入流序号寄存器中。此时,将基本流选择表中流入口中的数据包识别符输出到解复用部。由此,将由扩展流选择表中流序号=3的流登记信息中的流入口中存储的数据包识别符组所确定的2***TS数据包输出到解码器。
图22表示利用结合流登记串向解复用部输出什么样的数据包识别符。
图22(a)表示用作动作例题材的结合流登记串。结合流登记串由基本流选择表中的3个流登记信息和扩展流选择表中的3个流登记信息构成。基本流选择表中的3个流登记信息分别具有流序号“1”、“2”、“3”的流序号,3个流登记信息中的流属性均具有中文的语言属性。
扩展流选择表中的3个流登记信息分别具有流序号“1”、“2”、“3”的流序号,3个流登记信息中的流属性也具有中文的语言属性。基本流选择表中的流登记信息与扩展流选择表中的流登记信息中,流入口中的数据包识别符不同,扩展流选择表中的流登记信息包含B-D演示模式用基本视角PG流用数据包识别符、从属视角PG流用的数据包识别符。
图22(b)表示在向语言设定为中文、将输出模式设定为2D再现模式的再现装置提供这种结合流登记串的情况下的流序号设定与数据包识别符的输出。
图中附加a1、a2、a3的箭头示意地表示语言设定的一致判定、流序号的设定、数据包识别符的输出。
在过程中,对流序号=1的流登记信息判定再现装置侧的语言设定与流属性的一致,将该流序号=“1”写入流序号寄存器中。此时,将基本流选择表中流入口中的数据包识别符输出到解复用部。由此,将由基本流选择表中流序号“1”的流登记信息中的流入口的数据包识别符确定的TS数据包输出到解码器。
图22(c)表示在向语言设定为中文、将输出模式设定为B-D演示模式的再现装置提供这种结合流登记串的情况下的流序号设定与数据包识别符的输出。
图中附加a4、a5、a6的箭头示意地表示语言设定的一致判定、流序号的设定、数据包识别符的输出。
在过程中,对流序号“1”的流登记信息判定再现装置侧的语言设定与流属性的一致,将该流序号“1”的流登记信息中包含的流序号写入流序号寄存器中。此时,将基本流选择表中流入口中的数据包识别符输出到解复用部。由此,将由扩展流选择表中流序号“1”的流登记信息中的流入口中存储的数据包识别符组所确定的2***TS数据包输出到解码器。
图23表示将再现装置设定成B-D演示模式、存在B-D能力时的数据包识别符的参照和数据包输出。
结合流登记串与解复用部之间的箭头表示参照结合流登记串中多个流登记串中、哪个流入口内的数据包识别符。在该图中,可知由解复用部参照:基本流选择表内基本视角视频流登记串中的流入口内的数据包识别符、扩展流选择表内从属视角流登记串中的流入口内的数据包识别符、扩展流选择表内PG_文本字幕流登记串中的流入口内的数据包识别符、扩展流选择表内IG流登记串中的流入口内的数据包识别符。
解复用部与多个解码器之间的箭头表示向各解码器输出交织(交错,interleave)流文件中存在的多个源数据包中哪个TS数据包。如该箭头所示,可知从解复用部向解码器输出:构成基本视角视频流的TS数据包、构成从属视角视频流的TS数据包、构成基本视角PG流的TS数据包、构成从属视角PG流的TS数据包、构成基本视角IG流的TS数据包、构成从属视角IG流的TS数据包。
图24表示将再现装置设定成1plane+Offset模式时的数据包识别符的参照和数据包输出。
结合流登记串与移位部之间的箭头表示在1plane+Offset模式下参照与扩展流选择表中PG流相对应的流登记串中的偏移参考、和与扩展流选择表中IG流相对应的流登记串中的偏移参考。
解复用部与多个解码器之间的箭头表示向各解码器输出流文件中存在的多个源数据包中哪个TS数据包。如该箭头所示,可知从解复用部解码器输出:构成基本视角视频流的TS数据包、构成PG流的TS数据包、构成IG流的TS数据包、构成音频流的TS数据包。
视频解码器与移位部之间的箭头表示根据上述偏移参考,将从属视角视频流中的偏移提供给关于PG流的移位部、关于IG流的移位部。
图25表示将再现装置设定成2D演示模式时的数据包识别符的参照和数据包输出。
结合流登记串与解复用部之间的箭头表示参照结合流登记串中多个流登记串中、哪个流入口内的数据包识别符。在该图中,可知由解复用部参照:基本流选择表内基本视角视频流登记串中的流入口内的数据包识别符、基本流选择表内PG_文本字幕流登记串中的流入口内的数据包识别符、基本流选择表内IG流登记串中的流入口内的数据包识别符。
解复用部与多个解码器之间的箭头表示向各解码器输出流文件中存在的多个源数据包中哪个TS数据包。如该箭头所示,可知从解复用部向解码器输出:构成基本视角视频流的TS数据包、构成PG流的TS数据包、构成IG流的TS数据包、构成音频流的TS数据包。
图26表示再现装置中不存在B-D演示模式能力时的数据包识别符的参照和数据包输出。
结合流登记串与解复用部之间的箭头表示参照结合流登记串中多个流登记串中、哪个流入口内的数据包识别符。在该图中,可知由解复用部参照:基本流选择表内基本视角视频流登记串中的流入口内的数据包识别符、基本流选择表内PG_文本字幕流登记串中的流入口内的数据包识别符、基本流选择表内IG流登记串中的流入口内的数据包识别符。
解复用部与多个解码器之间的箭头表示向各解码器输出交织流文件中存在的多个源数据包中、由基本流选择表的流登记串中的流入口指示的TS数据包。
以上的再现控制可通过用面向对象型编译语言描述图27~图29的流程图所示的处理步骤后让计算机执行来实现。
图27表示播放列表再现步骤。该流程图在步骤S1将当前播放项目序号设定为1之后,构成重复步骤S2~步骤S6的处理的循环。在该循环中,在当前播放项目序号变为最终序号之前,重复如下处理,即:由流选择过程确定流序号(步骤S2),打开存储了与流序号相对应的ES的流文件,读出源数据包串(步骤S3),指示读出的源数据包串中、对应于流序号的源数据包串的解复用(步骤S4),命令解码器从播放项目的开始时间至结束时间、从子播放项目的开始时间至结束时间再现所读出的源数据包(步骤S5)。这里,若不是最终序号(步骤S6为否),则将当前播放项目序号递增,移动到步骤S2。若为最终序号,则终止处理(步骤S6为是)。
图28表示流选择过程的处理步骤。
在本流程图中,将当前播放项目信息内的基本流选择表设定为当前基本流选择表(步骤S7)。之后,执行步骤S8~步骤S17的循环。步骤S8~步骤S17是对PG流、IG流、辅视频流、主音频流、辅音频流分别重复步骤S10~步骤S17的处理。步骤S10是当前基本流选择表中对应于流x的基本流选择表入口数是否为0的判定,步骤S11是判定对应于当前流中流x的流入口数是否为流序号寄存器中存储的流序号以上的判定步骤。
若步骤S10、步骤S11之一为是,则步骤S17中维持流序号寄存器中存储的流序号。
若步骤S10、步骤S11均为否,则判定当前基本流选择表中登记的PES流满足多个条件中的哪个(步骤S12),判定是否存在多个判定为满足的条件组合相同的PES流(步骤S13)。
在满足条件的PES流是唯一一个的情况下,选择满足条件的一个PES流(步骤S14)。
在存在多个满足条件的PES流的情况下,选择判定为满足相同条件的PES流中、当前基本流选择表中优先顺序最高的PES流(步骤S15)。若这样选择PES流,则将与选择到的PES流的流入口相对应的流序号写入PSR中的流序号寄存器中(步骤S16)。
经过以上过程,若在当前播放项目中确定应再现的PES流,则需要开始再现当前播放项目,但当前播放项目再现的处理步骤对应于由Procedurewhen playback condition is changed确定的输出模式。
图29表示对应于流序号的数据包识别符的输出处理步骤。构成执行步骤S17、步骤S18的判定步骤的构造。步骤S17是当前的输出模式是否是2D再现模式的判定,若是2D再现模式,则在步骤S38中,指示解复用部进行基于基本流选择表中的流登记串中、对应于当前流序号的流登记信息的流入口的解复用。
步骤S18是扩展流选择表的Fixed_offset_during_Popup是否为打开的判定。若步骤S17为否、步骤S18为否,则执行步骤S19~步骤S30。
步骤S17~步骤S30中将视频流设定为立体观察B-D种类,将视频平面设定为B-D演示模式(步骤S19),指示基于SS_dependent_View_block中流入口的数据包识别符的解复用(步骤S20),执行步骤S21~步骤S26的处理。
步骤S21是当前PG流的流登记信息中的is_ss_PG是否为打开的判定,若为打开,则在步骤S22中,将PG流设定为立体观察再现种类,将PG平面设为B-D演示模式(步骤S23),指示基于对应于当前PG流的流登记信息的Stream_entry_bese_view、Stream_entry_dependent_view的数据包识别符的解复用。
若is_ss_PG为关闭,则将PG流设定为1plane+Offset再现种类,将PG平面设定为1plane+Offset模式(步骤S24),从从属视角视频流中取得由当前PG流的流登记信息中的SS_PG_textST_offset_sequence_id_ref指示的偏移序列(步骤S25),根据取得的偏移序列,执行平面移位(步骤S26)。
步骤S27是当前IG流的流登记信息中的is_ss_IG是否为打开的判定,若为打开,则在步骤S28中,指示基于对应于当前IG流的流登记信息的Stream_entry_bese_view、Stream_entry_dependent_view的数据包识别符的解复用。
若is_ss_PG为关闭,则从从属视角视频流中取得由当前IG流的流登记信息中的SS_IG_offset_sequence_id_ref指示的偏移序列(步骤S29),根据取得的偏移序列,执行平面移位(步骤S30)。
若扩展流选择表的Fixed_offset_during_popup为打开,则步骤S17为否、步骤S18为是,执行步骤S31~步骤S37。
步骤S31~步骤S37中将视频流设定为立体观察B-B种类,将视频平面设定为B-B演示模式(步骤S31),执行步骤S32~步骤S37的处理。
步骤S32是当前PG流的流登记信息中的is_ss_PG是否为打开的判定,若为打开,则在步骤S33中,将PG流设定为1plane+Offset再现种类,将PG平面设定为1plane+Offset模式,并从从属视角视频流中取得由当前PG流的流登记信息中的SS_PG_textST_offset_sequence_id_ref指示的偏移序列(步骤S34),根据取得的偏移序列,执行平面移位(步骤S35)。之后,移动到步骤S37。
若is_ss_PG为关闭,则在步骤S36中,将PG流设定为1plane+Zero Offset模式种类,将PG平面设定为1plane+Zero Offset模式。之后,移动到步骤S37。
在步骤S37中,对由当前IG流的流登记串中的IG_Plane_offset_direction_during_BB_video所示的方向,对应于由流登记串中的IG_Plane_offset_value_during_BB_video所示的量,执行平面移位。通过以上处理,当设定Fixed_offset_during_Popup为打开时,可将向平面的动态图像中合成了立体字幕或菜单的立体观察影像提供给再现。
如上所述,根据本实施方式,在从2D再现模式变化为3D再现模式的情况下,可利用扩展流选择表内存在流登记串、流序号寄存器中存储的流序号所指示的流的流入口,来选择应成为多重复用分离对象的流。
在变化为3D再现模式的情况下,可保持流序号寄存器中的流序号不变,切换构成解复用对象的流,所以即便模式切换,也不必执行过程。因为可避免伴随模式切换的流选择过程的执行,所以可在切换前后将相同语言属性的ES设为再现对象。
(第2实施方式)
在第1实施方式中,由于根据subclip入口ID参考来参照构成从属视角数据块的子TS,所以在与主TS分离记录子TS的情况下,在从2D再现模式切换为3D再现模式时,发生子TS的读出,担心损害AV再现的无缝性。因此,本实施方式提出保障将主TS与子TS一起写入再现装置的改良。具体地,提出将主TS、子TS交织化,将2TS记录为1个文件。
作为前提事项,简单说明UDF文件***中的文件。UDF中的文件由文件入口管理的多个盘区(extent)构成。‘文件入口’包含‘描述符标签’、‘ICB标签’和‘分配描述符’。
‘描述符标签’是表示自身是文件入口之意的标签。标签中有文件入口描述符、空间位图描述符等种类,但在文件入口的情况下,作为描述符标签,描述表示文件入口的“261”。
‘ICB标签’表示涉及文件入口自身的属性信息。
‘分配描述符’包含表示构成位于某个目录下的下位文件的盘区记录位置的逻辑块序号(LBN)。分配描述符包含表示盘区长度的数据、和表示盘区记录位置的逻辑块序号。其中,表示盘区长度的数据的上位2比特通过设定为“00”,表示是已分配且已记录的盘区,通过设定为“01”,表示是已分配且未记录的盘区。通过设定为“11”,表示是分配描述符的后续的盘区。在将位于某个目录下的下位文件分割成多个盘区的情况下,文件入口在每个盘区具有多个分配描述符。
通过参照上述文件入口的分配描述符,可得知构成流文件的盘区的地址。
下面,说明本实施方式中设定的文件种类。
<立体观察交织流文件(FileSS)>
立体观察交织流文件(FileSS)是将2TS变为交织形式的流文件(2TS交织文件),由5位的整数值、和表示是立体观察再现用交织形式文件之意的扩展符(ssif)识别。文体观察交织流文件由盘区SS[n]构成,盘区SS[n](EXTSS[n])由索引序号n确定。索引序号n是从立体观察交织流文件的开头每次递增1的序号。
盘区SS[n]构成为从属视角数据块与基本视角数据块的组。
构成盘区SS[n]的基本视角数据块、从属视角数据块构成从文件2D、文件基础、文件从属交叉参考的对象。所谓交叉参考(cross reference)是指将记录介质中记录的1个数据客体作为多个文件的盘区,登记在文件入口中。在本实施方式中,在文件2D的文件入口、文件基础的文件入口、文件从属的文件入口中,登记基本视角数据块的开头地址和连续长度、从属视角数据块的开头地址和连续长度。
<文件基础(FileBase)>
文件基础(FileBase)是将由对应于文件2D的clip信息中盘区开始点信息所指示的主TS设为“存储”的虚拟流文件,由至少一个盘区1[i](称为EXT1[i])构成。盘区1[i]是文件基础中第i个盘区,i是盘区的索引号,以文件基础的开头为0递增。文件基础是将作为2TS文件的立体观察交织流文件处理为1TS文件用的虚拟流文件,通过在再现装置的存储器上构筑其文件入口来虚拟生成。
当实际读出时,文件基础通过使用该立体观察交织流文件的文件名进行文件打开,从而被确定。具体而言,再现装置的中间件在调用使用了立体观察交织流文件的文件名的文件打开时,在存储器上生成确定文件基础盘区的文件入口,虚拟地打开文件基础。立体观察交织流文件可视为“仅包含1TS”,可将2TS立体观察交织流文件作为1TS的文件基础,从记录介质中读出。
在B-B演示模式下,在想仅读出基本视角数据块时,仅构成该文件基础的盘区变为读出对象。即便有从B-B演示模式向B-D演示模式的模式变更,只要将读出盘区从构成文件基础的盘区的记录盘区扩大到构成立体观察交织流文件的盘区的记录盘区,则可读出基本视角数据块、从属视角数据块双方,所以不会使文件读出的效率性降低。
<文件从属(FileDependent)>
文件从属(FileDependent)是将子TS设为“存储”的流文件,由盘区2[i](EXT2[i])构成。EXT2[i]是文件从属中第i个盘区,i是盘区的索引号,以文件从属的开头为0递增。文件从属是将作为2TS文件的立体观察交织流文件作为存储了子TS的1TS文件来处理用的虚拟流文件,通过在再现装置的存储器上构筑其文件入口来虚拟生成。
从属视角视频流赋予向作为立体观察交织流文件的文件名的5位序号加1后的序号,作为文件名。使用该文件名来访问。在记录介质中记录假(dummy)文件,向该假文件赋予作为从属视角视频流识别序号的‘加1后的序号’。所谓假文件是仅存在文件名、不存在作为实体的盘区的文件,将从属视角视频流处理成存储在该假文件中。
<文件2D(File2D)>
文件2D是存储2D再现模式下再现的主TS的1TS流文件,由盘区2D构成。文件2D由5位整数值、和表示是立体观察再现用交织形式文件之意的扩展符(ssif)识别。
下面,说明文件2D/文件基础、文件从属的相互关系。图30表示盘区、文件2D/文件基础、文件从属的对应。
第1段表示作为文件2D/文件基础、文件从属的00001.m2ts、00002.m2ts,第2段表示存储基本视角数据块的盘区、存储从属视角数据块的盘区。第3段表示作为文体观察交织流文件的00001.ssif。
虚线箭头h1、h2、h3、h4表示盘区EXT1[i]、EXT2[i]归属于哪个文件等基于分配识别符的归属关系。根据箭头h1、h2所示的归属关系,可知将盘区EXT1[i]、EXT1[i+1]登记为作为文件基础的00001.m2ts的盘区。
根据箭头h3、h4所示的归属关系,可知将盘区EXT2[i]、EXT2[i+1]登记为作为文件从属的00002.m2ts的盘区。
根据箭头h5、h6、h7、h8所示的归属关系,可知将盘区EXT1[i]、EXT2[i]、EXT1[i+1]、EXT2[i+1]登记为00001.ssif的盘区。如上所述,可知盘区EXT1[i]、EXT1[i+1]具有在归属于00001.ssif的同时,归属于00001.m2ts的二重性。该称为“ssif”的扩展符取StereoScopicInterleave File的首字母,表示为了立体观察再现而变为交织形式。
图31表示交织流文件与文件2D/文件基础之间的关系。
图31(a)的第3段表示交织流文件的内部构成。通过交互配置存储了基本视角数据块的盘区EXT1[1]、EXT1[2]的每个、和存储了从属视角数据块的盘区EXT2[1]、EXT2[2]的每个来构成。
第1段表示文件2D和文件基础的内部构成。文件2D/文件基础仅由构成第3段中交织流文件的盘区中、存储了基本视角数据块的盘区EXT1[1]、EXT1[2]构成。文件2D的文件名与交织流文件的文件名相同,但扩展符不同。
第2段表示文件从属的内部构成。文件从属仅由构成第3段中交织流文件的盘区中、存储了从属视角数据块的盘区EXT2[1]、EXT2[2]、EXT2[2]构成。文件从属的文件名是向交织流文件的文件名加1来构成的,另外,扩展符不同。
即便是包含3D影像的光盘,也由于全部再现装置不限于对应于3D再现方式,所以期望支持2D再现。其中,仅对应于2D再现的再现装置不能判断以3D扩展的数据构造等。2D再现装置需要以原来的2D再现方式不变的判断方法仅可访问2D播放列表和2D流,所以左视角视频流以2D方式再现装置可识别的文件形式存储。
第1个方法是使用与2D再现方式相同的文件名,以便可实现上述播放列表信息的参照、即主TS即便在2D再现中也可利用,交织形式的流文件改变扩展符的方法。图31(b)中的00001.m2ts和00001.ssif尽管一方是2D方式,另一方是3D方式,但利用相同文件名“00001”耦合。
播放列表由于仅参照主TS的AVclip,所以现有的2D再现装置仅再现文件2D。3D对应的再现装置虽然播放列表仅参照存储了主TS的文件2D,但在存在具有相同识别序号、仅扩展符不同的文件的情况下,发现该文件,判断为是3D影像用交织形式的流文件,输出主TS与子TS。
第2个方法是分文件夹的方法。主TS存储在具有现有文件夹名(例:STREAM)的文件夹内,而子TS以相同文件名“00001”存储在具有3D特有名称的文件夹(例:SSIF)中。当播放列表参照文件时,2D再现装置仅参照‘STREAM’文件夹内的文件,而在3D再现装置的情况下,通过从‘STREAM’与‘SSIF’文件夹中同时参照相同名称的文件,可关联主TS与子TS。
第3个方法基于识别序号。是在文件2D/文件基础的识别序号为“00001”的情况下,文件从属的识别序号如图31(c)所示,赋予向该文件2D/文件基础的识别序号加上“1”后的序号,即“0002”这样的识别序号等根据规定的规则进行关联的方法。但是,记录介质的文件***中,以上述规则命名的文件从属,最终处理为没有实体的假文件。这是因为文件从属的实体不过是立体观察交织流文件。将如此关联的文件名记述在基本流选择表中的流登记信息和扩展流选择表中流登记信息中的流入口的subclip入口ID参考(ref_to_subclip_entry_id)中。另一方面,再现装置认证为向subclip入口ID参考中记述的识别序号加上“1”后的识别序号的文件名是假文件的文件名,执行虚拟地打开文件从属的处理。据此,流选择过程中从记录介质中确实地读出进行上述关联后的文件从属。
以上是对文件2D、文件基础、文件从属的说明。
下面,说明数据块的细节。
<基本视角数据块>
基本视角数据块(B[i])是主TS的第i个数据块。这里,所谓主TS是通过当前播放项目信息的clip信息文件名信息(clip信息文件名称信息),指定为主路径的基轴的TS。B[i]的“i”是将文件基础的开头数据块作为0后递增的索引序号。
基本视角数据块中有由文件基础、文件2D共同化的基本视角数据块和未由文件基础、文件2D共同化的基本视角数据块。
由文件2D和文件基础共同化的基本视角数据块,以及文件2D固有的基本视角数据块,构成文件2D的盘区,设定为不产生再现装置中的缓冲器下溢(underflow)的长度。另外,将其开头的扇区地址记述在文件2D的文件入口中的分配描述符中。
由于未与文件2D共同化的文件基础固有的基本视角数据块不构成文件2D的盘区,所以不设定为不使再现装置中的单个缓冲器产生下溢的长度。设定成较小的尺寸、即不使再现装置中的两个缓冲器下溢的长度。
另外,文件基础固有的基本视角数据块其开头扇区地址未记述在文件入口的分配描述符中。代之以利用对应于主TS的clip信息文件clip信息内的盘区开始点信息来指示基本视角数据块中的开头源数据包的源数据包。因此,文件基础固有的基本视角数据块的开头扇区地址需要使用立体观察交织流文件的文件入口中的分配描述符和clip信息内的盘区开始点信息来导出。
在左视角是基本视角的情况下,基本视角数据块是存储左视角视频流的分割部分的源数据包、存储左视角用图形流的分割部分的源数据包、存储应与它们一起再现的音频流分割部分的源数据包、欧洲数字广播标准中规定的数据包管理信息(PCR、PMT、PAT)等、存储2D再现和左视角再现用的多种PES流分割部分的源数据包的集合体。构成该基本视角数据块的数据包中,ATC、STC、SPN连续,保障某个规定期间的无缝AV再现。
<从属视角数据块>
从属视角数据块(D[i])是子TS的第i个数据块。所谓子TS是对应于当前播放项目信息的扩展流选择表的流登记串中的流入口中指定为子路径的基轴的TS。D[i]的“i”是将文件从属的开头数据块作为0后递增的索引序号。
从属视角数据块构成文件从属的盘区,设定为不产生再现装置中的双缓冲器下溢的长度。
另外,在记录介质的连续区域上,在应以相同再现时间再现的基本视角数据块的近前,配置从属视角数据块。因此,当读出立体观察交织流文件时,从属视角数据块必定先于基本视角数据块被读出。
由于从属视角数据块未与文件2D共同化,所以其开头扇区地址未记述在文件2D文件入口的分配描述符中。代之以利用clip信息内的盘区开始点信息来指示从属视角数据块中的开头源数据包的源数据包。因此,从属视角数据块的开头扇区地址需要使用文件2D文件入口中的分配描述符和clip信息内的盘区开始点信息来导出。
在从属视角是右视角的情况下,从属视角数据块是存储右视角视频流的分割部分的源数据包、存储右视角用图形流的分割部分的源数据包、存储应与它们一起再现的音频流分割部分的源数据包等、存储右视角再现用的多种PES流分割部分的源数据包的集合体。这些数据包中ATC、STC、SPN连续,保障某个规定期间的连续再现。在连续的基本视角数据块与从属视角数据块中,构成基本视角数据块的源数据包和构成从属视角数据块的源数据包尽管源数据包序号连续,但构成基本视角数据块的多个源数据包的ATS和构成从属视角数据块的多个源数据包的ATS均为相同值。因此,构成基本视角数据块的多个源数据包和构成从属视角数据块的多个源数据包在相同ATC时刻到达PID滤波器。
<盘区的类型>
如上所述,文件2D的盘区中,有与文件基础的盘区共同的盘区和与文件基础不共同的盘区。
设文件2D的盘区由B[0]、B[1]、B[2]、B[3]2D、B[4]2D构成,文件基础的盘区由B[0]、B[1]、B[2]、B[3]ss、B[4]ss构成。B[0]、B[1]、B[2]是与文件基础共同的基本视角数据块。B[3]2D、B[4]2D是与文件基础不共同的、文件2D固有的基本视角数据块。
另外,B[3]ss、B[4]ss是与文件2D不共同的、文件基础固有的基本视角数据块。
B[3]2D中的数据与B[3]ss的数据具有bit-for-bit的同一性。B[4]2D中的数据与B[4]ss的数据具有bit-for-bit的同一性。
这些文件2D中的数据块B[2]、B[3]2D、B[4]2D在紧挨着产生长跳跃的场所之前,构成连续长度大的盘区(大盘区)。文件2D在紧挨着长跳跃之前可形成大盘区,所以即便在以2D再现模式再现立体观察交织流文件的情况下,也不必担心读取缓冲器下溢。
文件2D和文件基础尽管盘区部分不同,但具有同一性,所以将这些文件2D和文件基础合起来称为“文件2D/文件基础”。
<长跳跃>
一般而言,在记录介质中采用光盘的情况下,将使光拾取器暂时停止读出动作、其间将光拾取器定位到下一读出对象区域上的操作称为‘跳跃’(jump)。
跳跃中除了使光盘的旋转速度上下的操作外,还有轨道跳跃和聚焦跳跃。轨道跳跃是指使光拾取器沿盘的半径方向移动的操作。聚焦跳跃是指当光盘是多层盘时,使光拾取器的焦点从一个记录层移动到另一记录层的操作。这些跳跃通常寻道(seek)时间长,并且由于跳跃而跳过读出的扇区数大,所以特别称为‘长跳跃’(long jump)。跳跃期间中,停止光拾取器的读出操作。
将跳跃期间中、读出操作被跳过的部分的长度称为‘跳跃距离’。跳跃距离通常用该部分的扇区数来表示。上述长跳跃具体定义为跳跃距离超过规定阈值的跳跃。该阈值例如在BD-ROM标准下,根据盘的种类和涉及驱动器读出处理的性能,规定为40000扇区。
作为产生长跳跃的场所的代表场所,除记录层的交界外,还存在在播放项目间的1对n多重连接的场所。
这里,在进行1对n播放项目的多重连接的情况下,构成n个播放项目的n个TS中第1个TS可配置在紧挨着构成之前的播放项目的TS之后。但是,第2个以后的TS不能配置在紧挨着构成之前播放项目的TS之后。在存在1对n多重连接的情况下,在从之前的播放项目跳跃到n个播放项目的第2个以后的播放项目时,由于该跳跃需要漏读一个以上的TS记录区域,所以在存在1对n播放项目的多重连接的场所,产生长跳跃。
<各模式的再现路径>
2D再现模式的再现路径由当前播放项目信息的clip信息文件名称信息所参照的文件2D的盘区构成。
B-D演示模式的再现路径由当前播放项目信息的clip信息文件名称信息所参照的立体观察交织流文件的盘区构成。
B-B演示模式的再现路径由当前播放项目信息的clip信息文件名称信息所参照的文件基础的盘区构成。
这3个模式的再现路径通过将当前播放项目信息的clip信息文件名称信息中记述的文件名用作文件2D的文件名来进行文件打开、或用作文件基础的文件名来进行文件打开、或用作立体观察交织流文件的文件名来进行文件打开,进行切换。这种再现路径的切换不会导致当前播放列表或当前播放项目的变动,所以可维持再现模式变更时的无缝性。
从而,再现装置根据当前播放项目信息的clip信息文件名称信息来打开立体观察交织流文件、文件基础、文件2D之一,由此,可从记录介质中读出适合于各个再现模式的数据块。
<EXT2D、EXT1[n]、EXT2[n]的具体值>
确定EXT2D的下限值,以便当2D再现模式再现时,在从各基本视角数据块跳跃到下一基本视角数据块的跳跃期间中,不产生再现装置的读取缓冲器的缓冲器下溢。
从第n个基本视角数据块跳跃到第(n+1)个基本视角数据块需要时间Tjump2D(n),各基本视角数据块以速度Rud2D读出到读取缓冲器中,并且,当所述基本视角数据块以平均速度Rbext2D从读取缓冲器传送到视频解码器时,EXT2D的下限值由下式表示。
EXT2D的下限值≥(Rud2D×Rbext2D)/(Rud2D-Rbext2D)×Tjump2D(n)
设对应于基本视角数据块B[n]ss的盘区为EXT1[n]。此时,确定EXT1[n]的下限值,以便当B-D演示模式再现时,通过从各基本视角数据块跳跃到下一从属视角数据块的跳跃期间、和从该从属视角数据块跳跃到下一基本视角数据块的跳跃期间,不产生双缓冲器的下溢。
设这里的双缓冲器由读取缓冲器1、读取缓冲器2构成。读取缓冲器1与2D再现装置的读取缓冲器是相同缓冲器。
设在B-D演示模式再现中,从第n个基本视角数据块跳跃到第p个从属视角数据块需要时间TFjump3D(n),从第p个从属视角数据块跳跃到第(n+1)个基本视角数据块需要时间TBjump3D(n)。
之后,各基本视角数据块以速度Rud3D读出到读取缓冲器1中,各从属视角数据块以速度Rud3D读出到读取缓冲器2中,并且,当所述基本视角数据块以平均速度Rbext3D从读取缓冲器1传送到视频解码器时,EXT1[n]的下限值如下表示。将大盘区的连续长度设定为该下限值或超过该下限值的值。
EXT1[n]的下限值≥(Rud3D×Rbext3D)/(Rud3D-Rbext3D)×(TFjump3D(n)+EXT2[n]/(Rud3D+TBjump3D(n)))
确定EXT2的下限值,以便当B-D演示模式再现时,通过从各从属视角盘区跳跃到下一基本视角盘区的跳跃期间、和从该基本视角盘区跳跃到下一从属视角盘区的跳跃期间,再现装置中的双缓冲器中不产生下溢。
从第(n+1)个基本视角数据块跳跃到第(p+1)个从属视角数据块需要时间TFjump3D(n+1),并且所述从属视角流文件以平均速度Rdext3D从读取缓冲器2传送到解码器时,EXT2[n]的下限值由下式表示。
EXT2[n]的下限值≥(Rud3D×Rbext3D)/(Rud3D-Rdext3D)×(TBjump3D(n)+EXT1[n+1]/(Rud3D+TFjump3D(n+1)))
EXTSS由基本视角视频流的盘区与从属视角视频流的盘区构成,所以其下限值如下式所示。
EXTSS的下限值≥EXT1[n]+EXT2[n]
图32表示立体观察交织流文件、文件2D、文件从属的相互关系。第1段表示文件2D,第2段表示记录介质上的数据块,第3段表示立体观察交织流文件,第4段表示文件基础,第5段表示文件从属。
第2段中的数据块是上述D[1]、B[1]、D[2]、B[2]、D[3]、B[3]ss、D[4]、B[4]ss、B[3]2D、B[4]2D。箭头ex1、ex2、ex3、ex4表示数据块中、B[1]、B[2]、B[3]2D、B[4]2D构成文件2D的盘区等归属关系。
箭头ex5、ex6表示数据块中、D[1]、B[1]、D[2]、B[2]、D[3]、B[3]ss、D[4]、B[4]ss构成立体观察交织流文件的盘区等归属关系。
第4段表示构成该立体观察交织流文件的数据块中、B[1]、B[2]、B[3]ss、B[4]ss构成文件基础的盘区,第5段表示构成立体观察交织流文件的数据块中、D[1]、D[2]、D[3]、D[4]构成文件从属的盘区。
图33表示2D播放列表、3D播放列表。第1段是2D播放列表信息,第2段是基本视角数据块,第3段是3D播放列表,第4段是从属视角数据块。
箭头rf1、rf2、rf3表示组合了2D播放列表信息的播放项目信息中clip_information_file_name中记述的文件名00001、与扩展符m2ts而构成的再现路径。此时,由数据块B[1]、B[2]、B[3]2D构成基本视角侧的再现路径。
箭头rf4、rf5、rf6、rf7表示由3D播放列表信息的播放项目信息指定的再现路径。此时,使用B[1]、B[2]、B[3]ss、B[4]ss构成基本视角侧的再现路径。
箭头rf8、rf9、rf10、rf11表示由3D播放列表信息的子播放项目信息指定的再现路径。此时,使用D[1]、D[2]、D[3]、D[4]构成从属视角侧的再现路径。构成由这些播放项目信息、子播放项目信息指定的再现路径的数据块,可通过使播放项目信息中的clip_information_file_name中记述的文件名与扩展符ssif组合后进行文件打开来读出。
图33的3D播放列表中的clip信息文件名称信息、2D播放列表中的clip信息文件名称信息记述共同的文件名,所以在记述定义了这些3D播放列表、2D播放列表的播放列表信息时,用共同的记述足以(参照符号df1、df2)。由此,记述实现该3D播放列表的播放列表信息,再现装置的输出模式为立体观察输出模式时,用作3D播放列表,再现装置的输出模式为2D输出模式时,用作2D播放列表。图33的2D播放列表、3D播放列表通过记述一个播放列表信息,从而按照对其进行解释的再现装置的输出模式,解释为2D播放列表、3D播放列表,所以可减轻进行创作的人的劳力和时间。
在立体观察交织流文件中存储主TS、子TS的情况下,2D播放列表的播放项目信息中的clip_information_file_name记述文件2D的文件名。3D播放列表的播放项目信息中的clip_information_file_name记述文件基础的文件名。文件基础是虚拟的文件,其文件名与立体观察交织流文件相同,所以只要将立体观察交织流文件的文件名记述在播放项目信息中的clip_information_file_name中即可。扩展流选择表的流登记信息中的ref_to_subclip_entry_id记述文件从属的文件名。文件从属的文件名是在立体观察交织流文件的识别序号上加1。
图34表示在图33的3D播放列表中再加上一个子路径的播放列表。相对于图33的播放列表仅具备子路径ID=“1”的子路径,图34的播放列表中的第2个子路径由子路径ID=“2”来识别,参照其它的数据块。通过设置2个以上子路径信息来定义的多个右视角是从右眼看被摄体的角度不同的多个右视角,对应于其角度数量来准备构成右视角的数据块,对每个角度设置子路径。
通过切换与由基本视角数据块构成的主TS规定的主路径同步再现的子路径,用户可使用合适的视差图像来显示立体影像。
对于实现该3D播放列表的播放列表信息,当再现装置的输出模式为立体观察输出模式时也用作3D播放列表,当再现装置的输出模式为2D输出模式时用作2D播放列表。图34的2D播放列表、3D播放列表若记述一个播放列表信息,则按照对其进行解释的再现装置的输出模式,解释为2D播放列表、3D播放列表,适当进行最佳的输出模式,所以可减轻进行创作的人的手续。
下面,说明基本视角视频流的指定方式。
通常,认为在电影公司(studio)中,将左视角视频制作成2D影像,但其中也许认为可将右视角制作为2D影像。由于存在这种可能性,所以可对每个播放项目信息设定表示将左视角和右视角中哪个设定成基本视角的基本视角指示符。利用该每个播放项目信息的基本视角指示符来指示将左视角视频流和右视角视频流中哪个设为基本视角视频流、将左视角PG流和右视角PG流中哪个设为基本视角PG流、将左视角IG流和右视角IG流中哪个设为基本视角IG流。
如上所述,由于从属视角数据块具有必然先于基本视角数据块配置的规律性,所以若参照该基本视角指示符,则可得知将用于再现右视角的源数据包、用于再现左视角的源数据包的哪个先提供给再现装置。
利用该信息,在将右视角视频流指定为基本视角视频流的情况下,即便利用子路径信息来指定右视角,也将这种右视角视频流先投入视频解码器,得到非压缩的图片数据。之后,根据解码该右视角视频流得到的非压缩的图片数据,进行运动补偿。这样,可弹性地选择将哪个设为基本视角。
图35(a)是在图33的3D播放列表中加写基本视角指示符的图。
图35(b)表示基于面向对象的编程语言的基本视角指示符的记述。该图是定义PlayItem的构造体中如何记述基本视角指示符的记述例。如图所示,通过指定“0”的立即值(immediate value),可将左视角视频流指定为基本视角视频流,通过指定“1”的立即值,可将右视角视频流指定为基本视角视频流。
可用于向显示装置输出,显示装置侧可用于分别区别两个流。在使用快门方式的眼镜等情况下,若不知播放项目参照的主影像为左视角还是右视角的影像,则不能同步眼镜与显示装置的显示,所以向眼镜发送切换信号,以使得当显示左视角时,透过快门方式眼镜左眼侧的光,当显示右视角时,透过快门方式眼镜右眼侧的光。
另外,即便如双凸透镜那样在显示装置的画面中合并棱镜的裸眼立体观察方式,也需要区别左视角与右视角,所以使用该信息进行区别。以上是对基本视角指示符的说明。该基本视角指示符以可将视差图像中左视角或右视角的某个再现为平面观察影像为前提。
图36表示从流文件中读出源数据包的读出步骤。
步骤S41是当前输出模式是否是3D输出模式的判定,若当前输出模式是2D输出模式,则执行步骤S43~步骤S46。
在步骤S43中,打开由当前播放项目的Clip_information_file_name中记述的‘XXXXX’与扩展符‘m2ts’指定的流文件,在步骤S44中,使用与视频流的数据包ID相对应的入口点,将当前PlayItem.In_Time和当前PlayItem.Out_Time变换为Start_SPN[i]和End_SPN[i]。
在步骤S45中,确定属于用于从Start_SPN[i]至End_SPN[i]读出数据包ID[i]的TS数据包[i]之读出范围[i]的盘区,在步骤S46中,指示记录介质的驱动器,以连续读出属于读出范围[i]的盘区。
若当前输出模式是立体观察输出模式,则移动到步骤S50~步骤S60的循环。
在步骤S50中,打开由当前播放项目的Clip_information_file_name中记述的‘XXXXX’与扩展符‘ssif’指定的流文件,在步骤S51中,将左视角视频流、右视角视频流中、由当前播放项目信息的基本视角指示符指定的视频的视角视频流,设为基本视角视频流。此外的视角视频流设为从属视角流。
在步骤S52中,使用与基本视角视频流的数据包ID相对应的入口点,将当前PlayItem.In_Time和当前PlayItem.Out_Time变换为Start_SPN[i]和End_SPN[i]。
在步骤S53中,确定对应于从属视角流的SubPlayItem,使用与从属视角流的数据包ID[j]相对应的入口点[j],将确定的SubPlayItemIn_Time、SubPlayItemOut_Tim变换为Start_SP[j]、End_SPN[j](步骤S54)。
确定属于用于从Start_SPN[i]至End_SPN[i]读出数据包ID[i]的TS数据包[i]之读出范围[i]的盘区(步骤S55),并确定属于用于从Start_SPN[j]至End_SPN[j]读出数据包ID[j]的TS数据包[j]之读出范围的盘区(步骤S56)。之后,在步骤S57中,按地址的升序分类属于读出范围[i]、[j]的盘区,在步骤S58中,使用分类出的地址,指示驱动器,以连续读出属于读出范围[i]、[j]的盘区。之后,若读出源数据包串,则在步骤S59中,分别复原基本视角的ATC序列、从属视角的ATC序列,送入基本视角用的PID滤波器、从属视角用的PID滤波器。
如上所述,根据本实施方式,将基本视角数据块与从属视角数据块存储在一个立体观察交织流文件中,同时,还在将它们提供给解码器时,复原基本视角用的ATC序列与从属视角用的ATC序列,所以在解码器侧,可与通常的流文件一样处理立体观察交织流文件。由此,基本视角视频流、从属视角视频流的存储方式中可积极地纳入立体观察交织流文件。
(第3实施方式)
在本实施方式中,说明对应于多角度再现用的数据构造。
<立体观察交织流文件>
说明记录了构成多角度的立体观察交织文件的记录区域数据分配。
在构成多角度的交织文件的记录区域中,记录多个交织单元。各交织单元对应于基本视角数据块和从属视角数据块的组之中的每个。
在多角度区间中,在存在角度序号“=1”设定时应再现的基本视角数据块和从属视角数据块的组、角度序号=2设定时应再现的基本视角数据块和从属视角数据块的组、角度序号=3设定时应再现的基本视角数据块和从属视角数据块的组、角度序号=4设定时应再现的基本视角数据块和从属视角数据块的组的情况下,立体观察交织流文件由对应于角度序号=1的交织单元、对应于角度序号=2的交织单元、对应于角度序号=3的交织单元、对应于角度序号=4的交织单元构成。
各交织单元是交织流文件中的盘区SS(EXTSS)的盘区,由当将角度序号x设定在角度序号寄存器中时应读出的基本视角数据块(B[i]Ax)、和当将角度序号x设定在角度序号寄存器中时应读出的从属视角数据块(D[i]Ax)构成。由此,在构成多角度区间的立体观察交织流文件中,一个交织单元满足上述EXTSS[i]的要件。
播放列表信息中的基本流选择表在由播放项目信息定义的再现区间中,表示允许再现的基本视角视频流的数据包识别符,扩展流选择表与允许再现的从属视角流的数据包识别符对应表示。这点与第1实施方式一样。图37表示第4实施方式的播放项目信息、子播放项目。图37(a)表示播放项目信息的内部构成,图37(b)表示子播放项目信息的内部构成。
播放项目信息和子播放项目信息包含表示播放项目是否构成多角度区间的多角度标记(multi_angle标记)。
在将该标记设定为打开的情况下,在播放项目信息和子播放项目信息中设置流参照信息的扩展构造(multi_clip_entries)。流参照信息的扩展构造包含播放项目信息中的第2个以后的AVclip的指定。该AVclip的指定是clip信息文件名称与STC识别符参考的组。
播放项目信息中的流参照信息(clip_information_file_name)和子播放项目信息中的流参照信息(clip_information_file_name)指定了由再现装置的角度序号寄存器中第一角度序号识别的、存储了基本视角视频流的流文件和存储了从属视角流的流文件。
播放项目信息中的流参照信息的扩展构造、子播放项目信息中的文件参照信息的扩展构造,指定了由再现装置的角度序号寄存器中第2个以后的角度序号识别的、存储了基本视角视频流的流文件和存储了从属视角流的流文件。
播放项目信息包含表示基本视角视频流的再现时间轴上的开始时间和结束时间的时刻信息,所述子播放项目信息包含表示从属视角流的再现时间轴上的开始时间和结束时间的时刻信息。
播放项目信息的开始时间和结束时间与子播放项目信息的开始时间和结束时间等价。
由播放项目信息中的文件参照信息的扩展信息指定的流文件的条数与由子播放项目信息中的文件参照信息的扩展信息指定的流文件的条数相同。
图37(c)表示播放项目信息中的In_Time、Out_Time与交织单元中的基本视角数据块的关系。
图37的上半部分表示对应于4个基本视角数据块B[1]A1、B[1]A2、B[1]A3、B[1]A4的4个STC序列。这4个基本视角数据块B[1]A1、B[1]A2、B[1]A3、B[1]A4是当设定角度序号=1、=2、=3、=4时应读出的基本视角数据块。
播放项目信息中的In_Time共同地指定对应于4个基本视角数据块的4个STC序列的再现开始时刻。
播放项目信息中的Out_Time共同地指定对应于4个基本视角数据块B[1]A1、B[1]A2、B[1]A3、B[1]A4的4个STC序列的最先再现终止时刻。
图37(c)的下半部分表示对应于4个从属视角数据块D[1]A1、D[1]A2、D[1]A3、D[1]A4的4个STC序列。这4个从属视角数据块D[1]A1、D[1]A2、D[1]A3、D[1]A4是当设定角度序号=1、=2、=3、=4时应读出的从属视角数据块。播放项目信息中的In_Time共同地指定对应于4个从属视角数据块的4个STC序列的再现开始时刻。
播放项目信息中的Out_Time共同地指定对应于4个从属视角数据块D[1]A1、D[1]A2、D[1]A3、D[1]A4的4个STC序列的最先再现终止时刻。
图38表示基于播放项目信息、子播放项目信息的多角度区间的指定。第1段表示包含Multi_Chip_entries的播放项目信息,第2段表示由播放项目信息的clip_information_name参照的立体观察交织流文件。第3段表示构成交织单元的基本视角数据块、从属视角数据块的组,第4段表示由子播放项目信息的clip_information_file_name参照的立体观察交织流文件。第5段表示子播放项目信息。
播放项目信息的clip_information_file_name对应于角度序号“1”,播放项目信息的Multi_clip_entries中的clip_information_file_name对应于角度序号2、3、4。另外,对应于角度序号“1”的clip_information_file_name将00001.ssif流文件指定为基本视角视频流的提供源。
对应于角度序号=2、3、4的clip_information_file_name将00002.ssif、00003.ssif、00004.ssif指定为基本视角视频流的提供源。
子播放项目信息的clip_information_file_name对应于角度序号“1”,子播放项目信息的Multi_clip_entries中的clip_information_file_name对应于角度序号=2、3、4。另外,子播放项目信息中,对应于角度序号“1”的clip_information_file_name将00001.ssif流文件指定为从属视频流的提供源。子播放项目中的Multi_clip_entries对应于角度序号=2、3、4的clip_information_file_name将00002.ssif、00003.ssif、00004.ssif的流文件指定为从属视频流的提供源。
00001.ssif包含由数据块B[1]A1、D[1]A1的组构成的交织单元,00002.ssif包含由数据块B[1]A2、D[1]A2的组构成的交织单元,00003.ssif包含由数据块B[1]A3、D[1]A3的组构成的交织单元,00004.ssif包含由数据块B[1]A4、D[1]A4的组构成的交织单元。利用这些对应,按照再现装置中角度序号的设定,将不同的交织单元读出到再现装置。
这里,设由播放项目信息、子播放项目信息中的流参照信息参照的00001.ssif流文件存储图2所示的恐龙的左视角视频流。
另外,设由播放项目信息中的Multi_chip_entries和子播放项目信息中的Multi_clip_entries参照的00002.ssif存储表示来自图2所示恐龙后方角度影像的基本视角视频流和右视角视频流。
另外,设由播放项目信息中的Multi_clip_entries和子播放项目信息中的Multi_clip_entries参照的00003.ssif存储表示来自图2所示恐龙左上角度影像的基本视角视频流和右视角视频流。
此时,通过切换再现装置中的角度序号寄存器的存储值,将上述00001.ssif、00002.ssif、00003.ssif的流文件选择地读出到再现装置。
图39表示设定各角度序号时的立体观察影像。图39(a)表示角度序号=1的设定时、通过读出由播放项目信息的流参照信息参照的流文件和由子播放项目信息的流参照信息参照的流文件来再现的立体观察影像。
图39(b)表示角度序号=2的设定时、通过读出由播放项目信息的Multi_clip_entries参照的流文件和由子播放项目信息的Multi_clip_entries参照的流文件来再现的立体观察影像。
图39(c)表示角度序号=3的设定时、通过读出由播放项目信息的Multi_clip_entries参照的流文件和由子播放项目信息的Multi_clip_entries参照的流文件来再现的立体观察影像。
由于对应于角度序号的变化,切换构成流提供源的流文件,所以即便基本流选择表、扩展流选择表的登记内容相同,也可使可收看的立体观察影像变化。
以上是对本实施方式的记录介质的说明。接着说明再现装置的细节。
再现装置作为其特有的构成要素,具备存储角度序号的角度序号寄存器。
本实施方式的再现装置的读出部,若角度序号寄存器中的角度序号为第1,则读出由播放项目信息中的文件参照信息和子播放项目信息中的文件参照信息参照的流文件。
若角度序号寄存器中的角度序号为第2以后,则读出由播放项目信息中的文件参照信息的扩展信息和子播放项目信息中的文件参照信息的扩展信息参照的流文件。
对于基本视角视频流,从基本视角视频流的时间轴中播放项目信息的时刻信息所示的开始时间再现到结束时间,对于从属视角流,从从属视角流的时间轴中从属的再现区间的时刻信息所示的开始时间再现到结束时间。
图40表示根据Multi_clip_entriel的流文件的读出步骤。
步骤S61是角度序号寄存器中存储的角度序号是否为“1”的判定,若角度序号为“1”,则在步骤S62中,打开由播放项目信息中的clip_information_file_name指定的文件名和由子播放项目信息中的clip_information_file_name指定的文件名的流文件。
若角度序号为“2以上”,则在步骤S63中,打开由播放项目信息的multi_Clip_entries中的clip_information_file_name指定的文件名和由子播放项目信息的multi_Clip_entries中的clip_information_file_name指定的文件名的流文件。
在步骤S64中,读出打开的流文件的基本视角视频流、从属视角视频流。
如上所述,根据本实施方式,对于某个流选择表的流登记,可对应于再现装置中角度序号寄存器中的角度序号,切换由某个数据包识别符识别的基本视角视频流和从属视角流的提供源。例如,若角度序号为“1”,则规定基本视角视频流和从属视角流的提供源是交织流文件,若角度序号=2,则规定基本视角视频流和从属视角流的提供源是其它流文件。
另外,由于可对应于基于用户操作的角度序号的变化,从各种流文件向解码器提供基本视角视频流和从属视角流,所以可容易实现立体观察处理的角度切换。
(第4实施方式)
在本实施方式中,说明为了实现此前实施方式中描述的立体观察再现,应设置什么样类型的子路径、即子路径类型。
为了实现此前实施方式的立体观察再现,在对从属视角视频流定义的再现区间中,有离盘型(off disc type)Out-of-MUX从属视角视频流再现路径(子路径种类=5)与盘上型(on disc type)Out-of-MUX从属视角视频流再现路径(子路径种类=8)。
首先说明Out-of-MUX从属视角视频流再现路径(子路径种类=5)。所谓Out-of-MUX框架是同时读出BD-ROM等只读型记录介质中记录的数字流与作为可重写型记录介质的本地存储器中记录的数字流后提供给解码器并同步再现的技术。
因此,Out-of-MUX从属视角视频流再现路径中使用的子播放项目从主路径中分离出来。播放列表中的播放项目与参照从属视角视频流的子路径种类=5的子路径关联,所以需要满足以下条件。
1)播放项目与关联的子播放项目需要相互对应而对齐(align)。子播放项目的再现期间与关联的播放项目相同。具体如下:
1-a)子播放项目的条数与播放项目的条数相同。
1-b)播放项目信息与子播放项目需要一对一对应。第i个子播放项目中的同步播放项目参考需要是i。
1-c)子播放项目中的同步开始时间播放项目需要与子播放项目开始时间等效。
1-d)子播放项目开始时间与由子播放项目中的同步播放项目参考所参照的播放项目中的开始时间等效。
1-e)子播放项目结束时间与由子播放项目中的同步播放项目参考所参照的播放项目中的结束时间等效。
2)在连接连续的子播放项目的情况下,由子播放项目的连接方式信息指示的子播放项目间的连接变为伴随完全断开(クリ一ンブレ一ク)的连接方式(connection_condition=5)、或ATC序列和STC序列连续的连接方式(connection_condition=6)。
3)关联的播放列表再现种类表示“播放项目的顺序再现”的情况下,子播放项目的入口需要按再现的顺序排列。
4)子路径中的子播放项目的入口需要按与同步播放项目参考值关联的顺序排列。若关联的播放列表的播放列表再现种类是随机混洗(randomshuffle),则需要按具有相同同步播放项目参考的子播放项目间的再现顺序的顺序来替代子播放项目的顺序。
以上是子路径种类=5的子路径应满足的条件。
子路径种类=5的子路径具有同步型Out-of-MUX种类的ES路径、和Out-of-MUX从属视角视频再现路径这两个功能。由子路径种类=5的子路径使用的AVclip可由复用的主音频流、PG流、IG流、辅音频流、从属视角视频流构成。
下面,说明盘上的Out-of-MUX从属视角视频流路径(子路径种类=8)。为了再现从主路径中分离出来的从属视角视频再现路径,使用本种类的子播放项目。与子路径种类=8的子路径关联的子播放项目需要满足以下条件。
1)播放项目与关联的子播放项目需要相互对应而对齐。子播放项目的再现期间与关联的播放项目相同。具体如下:
1-a)子播放项目的条数与播放项目的条数相同。
1-b)第i个子播放项目中的同步播放项目参考需要是i。
1-c)子播放项目中的同步开始时间播放项目需要与子播放项目开始时间等效。
1-d)子播放项目开始时间与由子播放项目中的同步播放项目参考所参照的播放项目中的开始时间等效。
1-e)子播放项目结束时间与由子播放项目中的同步播放项目参考所参照的播放项目中的结束时间等效。
1-f)子播放项目中的Multi_clip_entrie的个数与由同步播放项目参考所参照的播放项目中的Multi_clip_entrie数量相同。
2)若描述连接状态,则在连接连续的子播放项目的情况下,由子播放项目的连接方式信息指示的子播放项目间的连接变为伴随完全断开的连接方式(connection_condition=5)、或ATC序列和STC序列连续的连接方式(connection_condition=6)。
3)关联的播放列表再现种类表示“播放项目的顺序再现”的情况下,子播放项目的入口需要按再现的顺序排列。
4)子路径中的子播放项目的入口需要按与同步播放项目参考值关联的顺序排列。若关联的播放列表的播放列表再现种类是随机混洗,则需要按具有相同同步播放项目参考的子播放项目间的再现顺序的顺序来替代子播放项目的顺序。
5)在将播放项目信息中的多角度标记设定为打开(构成多角度)、关联于子路径种类=8的子播放项目信息的情况下,该播放项目信息具有流参照信息的扩展构造(Multi_clip_entrie)。
扩展流选择表中的立体观察从属视角块(SS_dependent_view_block)用的流入口中的子clip入口ID参考对于由流入口的子路径ID参考所参照的子路径的子播放项目信息,作为对应于第1个角度序号的参考,需要参照从流参照信息参照的clip信息文件中的子clip入口ID。
说明构成多角度区间的播放项目和子路径的类型。对构成多角度区间的播放项目可定义非无缝多角度种类的播放项目。
附加扩展流选择表的3D播放列表中的播放项目信息具有是无缝角度改变(is seamless angle change)标记。该是无缝角度改变标记表示角度切换是非无缝还是无缝。在是无缝角度改变标记为0(非无缝)的情况下,3D播放列表可具有交互图形再现菜单的子路径(子路径种类=3)、立体观察交互图形再现菜单的子路径(子路径种类=9)
在将是无缝角度改变标记设定为0(非无缝)的情况下,附加了扩展流选择表的3D播放列表可仅定义上述子路径种类=3、8、9的子路径,作为立体观察再现模式用的从属视角视频流用子路径。除此之外的任何子路径均不能对应。
如上所述,根据本实施方式,由于设置用于以盘上实现立体观察再现的子路径类型、和以离盘实现立体观察再现的子路径类型,所以可由一个盘实现立体观察,可通过盘与其它记录介质的组合来实现立体观察。
(第5实施方式)
在本实施方式中,说明clip信息文件的细节。
图41表示clip信息文件的内部构成。
图41(a)表示2D的clip信息文件,图41(b)表示3D用clip信息文件。这些clip信息文件包含‘clip信息’、‘序列信息’、‘程序信息’、‘特征点信息’。
‘clip信息’是对每个ATC序列表示流文件中存储的源数据包串的每个是什么样的AVclip的信息,包含由对应的AVclip构成的应用属于电影、幻灯播放等什么样的类型(应用种类)、对应的AVclip属于什么样的流类型(流种类)、AVclip中的TS数据包的传输速率(TS记录速率)、与构成上一AVclip的ATC序列之间的ATC差分(ATCΔ)、用于编码的编码方式识别符。
‘序列信息’构成为对每个ATC序列表示流文件中存储的1个或多个源数据包串示出是什么样的ATC序列的信息(ATC序列信息)。ATC序列信息包含由源数据包序号表示作为ATC开始点的源数据包存在于哪里的信息、STC序列识别符-ATC序列识别符间的偏移、关于多个STC序列的每个的STC序列信息。STC序列信息包含存储该STC序列中的PCR的源数据包的数据包序号、表示该ATC序列中哪里存在作为STC序列开始点的源数据包的信息、STC序列的再现开始时刻、再现终止时刻。
‘程序信息’是表示由clip信息文件管理为是“AVclip”的主TS、子TS的程序构成的信息,表示AVclip复用了什么样的ES。具体而言,表示AVclip上复用的ES具有什么样的数据包识别符或是什么样的编码方式。视频流使用MPEG2-video、MPEG4-AVC等中哪个编码方式压缩编码明示于该程序信息内。
‘特征点信息’是对每个ES示出AVclip上复用的多个ES特征点存在于哪里的信息。表示每个ES特征点的信息被称为入口映射。
何为特征点因每个流种类不同而不同。在基本视角视频流、从属视角视频流的情况下,位于开放GOP、封闭GOP开头的I图片的访问单元分割符变为特征点。在音频流的情况下,表示间隔1秒等间隔规定期间中存在的音频流开头位置的访问单元分割符变为特征点,在PG流、IG流的情况下,表示图形流的显示集中、具备显示所需全部功能区段(function segment)的显示集(epoch start的显示集、acquisition point的显示集)开头位置的访问单元分割符变为特征点。
另外,如何表示特征点因ATC序列、STC序列各自不同而不同。在ATC序列中,特征点由源数据包序号表现。在STC序列中,相同特征点使用表示STC时间轴上的时刻的PTS表现。
鉴于上述不同,每个ES的入口映射由多个入口点构成。具体而言,构成入口映射的各个入口点中表示ATC序列中特征点所在的源数据包序号与表示STC序列中特征点所在的PTS建立对应,具备表示可否向该特征点的角度切换的标记(is_angle_change标记)。位于构成多角度区间的交织单元开头的源数据包由于可进行角度切换,所以指示交织单元开头源数据包的入口点的is_angle_change标记需要设定为打开。另外,指示交织单元开头源数据包的入口点由入口点与播放项目信息中的In_Time对应。
每个ES的入口映射将每个这些流种类的特征点源数据包序号对应于PTS来表示,所以通过参照该入口映射,可从STC序列中的任意时刻导出表示距该时刻最近的每个ES特征点所在的源数据包序号。
以上是对2D用clip信息文件的说明。下面,说明3D用clip信息文件的细节。3D用clip信息文件为图41(b)的内部构成,除作为通常clip信息(管理信息)的‘文件2D用clip信息’外,还存在作为文件从属用clip信息的‘clip从属信息(基本视角管理信息)’、作为文件基础用clip信息的‘clip基础信息(基本视角管理信息)’。理由如下。如第2实施方式所述,为了避免立体观察交织流文件与通常流文件混同,将立体观察交织流文件存储在与流文件不同的目录下。因此,不能将clip信息文件对应于立体观察交织流文件。由此,将clip从属信息和clip基础信息存储在对应于文件2D的clip信息文件中。
2D用clip信息与clip基础信息及clip从属信息的不同之处在于,在clip基础信息和clip从属信息内部存在包含盘区开始点串的元数据。
图41(b)中,clip从属信息包含盘区开始点串,clip基础信息也包含盘区开始点串。clip从属信息内存在的盘区开始点串由多个盘区开始点信息构成,各盘区开始点信息表示构成文件从属的多个盘区的开头源数据包序号。
clip基础信息内存在的盘区开始点串也由多个盘区开始点信息构成,各盘区开始点信息表示构成文件基础的多个盘区的开头源数据包序号。
描述这些盘区开始点信息存在的技术意义。
流文件中存储的TS本来是一个TS,ATC序列也仅为一个。由此,仅通过参照clip信息文件的序列信息,不能判断分割部分的开头是哪里。另一方面,由于分割部分的开头也是盘区的开头,所以若参照文件入口或盘区描述符等文件***信息,可知道分割部分的开头是哪里,但由于文件***信息是由中间件管理的信息,所以很难从应用参照该盘区的信息。因此,在本实施方式中,使用盘区开始点信息来在clip信息内示出盘区是第几个数据包。
图41(c)表示记述盘区开始点信息用的基于程序语言的语法。
图中,设extention_id为控制变量的for语句,是对应于number_of_extention_start_points来重复将extention_id设为变量的盘区开始点的循环。若将交织流文件中的盘区条数t记述在该number_of_extention_start_points中来制作上述for语句,则制作对应于交织流文件的盘区开始点信息。
图42表示clip信息文件中的入口映射表与盘区开始点信息。图42(a)表示入口映射表的示意构成。引出线eh1详细示出入口映射表的内部构成。如该引出线所示,入口映射表包含‘入口映射头信息’、‘盘区开始种类’、‘对PID=0x1011的入口映射’、‘对PID=0x1012的入口映射’、‘对PID=0x1220的入口映射’、‘对PID=0x1221的入口映射’。
‘入口映射头信息’存储入口映射指示的视频流的PID或入口点数等信息。
‘盘区开始种类’表示先从左视角视频流和右视角视频流中哪个盘区开始配置盘区。
‘对PID=0x1011的入口映射’、‘对PID=0x1012的入口映射’、‘对PID=0x1220的入口映射’、‘对PID=0x1221的入口映射’是关于由多种源数据包构成的PES流的每个的入口映射。入口映射中,将构成一对的PTS与SPN的信息称为“入口点”。另外,将设开头为“0”按每个入口点递增的值称为入口点ID(下面称为EP_ID)。通过利用该入口点,再现设备可确定对应于视频流时间轴上任意地点的源数据包位置。例如,当快进、后退的特殊再现时,通过确定、选择后再现登记于入口映射中的I图片,可不解析AVclip地有效处理。另外,对AVclip内复用的每个视频流制作入口映射,由PID管理。
引出线eh2详细示出PID=1011的入口映射的内部构成。由对应于EP_ID=0的入口点、对应于EP_ID=1的入口点、对应于EP_ID=2的入口点、对应于EP_ID=3的入口点构成。对应于EP_ID=0的入口点表示设定为打开的is_angle_change标记、SPN=3、与PTS=80000之间的对应。对应于EP_ID=1的入口点表示设定为关闭的is_angle_change标记、SPN=1500、与PTS=270000之间的对应。
对应于EP_ID=2的入口点表示设定为关闭的is_angle_change标记、SPN=3200、与PTS=360000之间的对应。对应于EP_ID=3的入口点表示设定为关闭的is_angle_change标记、SPN=4800、与PTS=450000之间的对应。is_angle_change标记是表示能否独立于该入口点进行解码的标记。视频流由MVC或MPEG4-AVC编码,在入口点中存在IDR图片的情况下,将该标记设定为打开。在入口点中存在Non-IDR图片的情况下,将该标记设定为关闭。
图42(b)表示利用对应于图42(a)所示PID=1011的TS数据包的入口映射内的多个入口映射来指示哪个源数据包。对应于EP_ID=0的入口映射指示SPN=3,将该源数据包序号与PTS=80000对应。对应于EP_ID=1的入口映射指示SPN=1500,将该源数据包序号与PTS=270000对应。
对应于EP_ID=2的入口映射指示SPN=3200的源数据包,将该源数据包序号与PTS=360000对应。对应于EP_ID=3的入口映射指示SPN=4800的源数据包,将该源数据包序号与PTS=450000对应。
图43表示程序信息中的流属性信息。
图中的引出线ah1详细示出流属性的内部构成。
如该引出线所示,由PID=0x1011的TS数据包构成的左视角视频流的流属性、由PID=0x1012的TS数据包构成的右视角视频流的流属性、由PID=0x1100、PID=0x1101的TS数据包构成的音频流的流属性、由PID=0x1220、0x1221的TS数据包构成的PG流的流属性等、由多种源数据包构成的PES流具有什么样的属性示于该流属性中。如该引出线ah1所示,对每个PID登记关于AVclip中包含的各流的属性信息。
图44表示基于入口映射的入口点登记。第1段表示由SC序列规定的时间轴。第2段表示clip信息中的入口映射。第3段表示clip从属信息中的盘区开始点信息和clip基础信息中的盘区开始点信息。第4段表示构成ATC序列的源数据包串。入口映射在指定ATC序列中的=n1的源数据包的情况下,对该入口映射的PTS设定成STC序列中的PTS=t1。此时,使用PTS=t1的时刻,可使再现装置执行从ATC序列中的=n1开始的随机访问。另外,入口映射在指定ATC序列中=n21的源数据包的情况下,对该入口映射的PTS设定成STC序列中的PTS=t21。此时,使用PTS=t21的时刻,可使再现装置执行从ATC序列中的=n21开始的随机访问。
通过利用该入口映射,再现装置可确定对应于视频流时间轴上任意地点的源数据包。例如,在快进、后退的特殊再现时,通过确定、选择后再现登记于入口映射中的I图片,可不解析AVclip地有效处理。
另外,第3段中的clip从属信息中的盘区开始点[i]、clip基础信息中的盘区开始点[j]表示第4段中构成从属视角视频流的盘区、构成基本视角视频流的盘区的开头源数据包序号是哪个。
由此,若从clip从属信息中的盘区开始点[i]所示的源数据包读出到紧挨着由clip基础信息的盘区[j]所示的源数据包的之前的源数据包,则可仅抽取构成从属视角视频流的源数据包串。
若从clip基础信息中的盘区开始点[j]所示的源数据包读出到紧挨着由clip从属信息中的盘区[i+1]所示的源数据包之前的源数据包,则可仅抽取构成基本视角视频流的源数据包串。
另外,若统一构成基本视角视频流的源数据包彼此、构成从属视角视频流的源数据包彼此,则可复原构成基本视角视频流的ATC序列、构成从属视角视频流的ATC序列。
图45表示如何从构成立体观察交织流文件的数据块来复原ATC序列。
第4段表示构成立体观察交织流文件的多个数据块,第3段表示复用于主TA、子TS上的源数据包串。
第2段表示构成从属视角的STC序列2、入口映射、构成从属视角的ATC序列2的组,第1段表示构成基本视角的STC序列1、入口映射、构成基本视角的ATC序列1的组。从第3段朝向第2段、第1段的箭头示意地表示从交织于立体观察交织流文件的两个TS(主TS、子TS)的数据包块复原ATC序列1、ATC序列2这一情况。这些ATC序列利用clip信息中的入口映射与STC序列取得对应。
以上是对本实施方式的记录介质的说明。下面,说明再现装置的细节。
本实施方式的再现装置的读出部构成为受理来自两个记录介质的源数据包输入,包含用于访问两个记录介质的每个的两个驱动器、用于暂时存储从这两个驱动器输入的源数据包后输出到解码器的两个读取缓冲器。另外,在两个驱动器与两个读取缓冲器之间,存在ATC序列复原部。该ATC序列复原部将从一个记录介质读出的交织流文件内的源数据包分离为构成基本视角的ATC序列和构成从属视角流的ATC序列,写入两个读取缓冲器的每个中。由此,再现装置可处理成分别从不同的记录介质中读出构成基本视角视频流的ATC序列和构成从属视角流的ATC序列。图46(a)表示具备ATC序列复原部的读出部的内部构成。如上所述,在两个驱动器与两个读取缓冲器之间存在ATC序列复原部。图中的箭头B0象征地表示来自一个驱动器的源数据包输入,箭头B1示意地表示构成基本视角视频流的ATC序列1的写入,箭头D1示意地表示构成从属视角流的ATC序列2的写入。
图46(b)表示如何处理由ATC序列复原部得到的两个ATC序列。图中的正中表示解复用部内存在的PID滤波器。左侧表示由ATC序列复原部得到的两个ATC序列。右侧表示通过解复用这两个ATC序列得到的基本视角视频流、从属视角视频流、基本视角PG流、从属视角PG流、基本视角IG流、从属视角IG流。这两个PID滤波器执行的解复用基于第1实施方式所示的基本流选择表、扩展流选择表。
该ATC序列复原部通过制作让硬件资源执行图47的处理的程序来实现。图47表示ATC序列复原步骤。
步骤S71将基本视角用ATC序列设为ATC序列1,将从属视角用ATC序列设为ATC序列2。在步骤S72中,从对应于文件2D的clip信息文件中的clip从属信息和clip基础信息中,取得盘区开始点信息。之后,移动到步骤S73~步骤S77的循环。该循环重复如下处理,即:将变量i、变量j初始化为1(步骤S73),执行步骤S74~步骤S76,之后,将变量i、变量j递增(步骤S77)。
在步骤S74中,将从clip从属信息中盘区开始点信息[i]指示的源数据包序号的源数据包至紧挨着clip基础信息中盘区开始点信息[j]指示的源数据包序号的之前的源数据包,追加到ATC序列2。
在步骤S75中,将从clip基础信息中盘区开始点信息[j]指示的源数据包序号的源数据包至紧挨着clip从属信息中盘区开始点信息[i+1]指示的源数据包序号的之前的源数据包追加到ATC序列1。
步骤S76是盘区开始点信息[i+1]是否存在的判定。在判定为盘区开始点信息[i+1]不存在的情况下,在步骤S78中,将从clip基础信息内盘区开始点信息[j]指示的源数据包序号的源数据包至立体观察交织流文件的最后源数据包追加到ATC序列1。
通过重复以上处理,基本视角数据块统一于ATC序列1,从属视角数据块统一于ATC序列2。如上所述,若复原ATC序列1、2,则在存储器上生成由扇区数来表示基本视角数据块的开头地址和连续长度的文件入口,虚拟打开文件基础(步骤S79)。同样,在存储器上生成由扇区数来表示从属视角数据块的开头地址和连续长度的文件入口,虚拟打开文件从属(步骤S80)。
盘区开始点信息用源数据包序号来表示数据块的开头地址,所以需要将由源数据包序号表现的数据块的开头地址和由源数据包数表现的数据块的连续长度变换为扇区数。描述该变换步骤的细节。
源数据包按每32个分一组,写入3个扇区中。由32个源数据包构成的组是6144字节(=32×192),这与3个扇区尺寸6144字节(=2048×3)一致。将容纳于3个扇区中的32个源数据包称为“Aligned Unit”(排列单元),当向记录介质写入时,用Aligned Unit单位进行加密。
构成数据块的源数据包每32个变换为一个Aligned Unit,记录在3个扇区中,所以通过用32除源数据包序号,得到商,将该商解释为Aligned Unit的地址。通过向如此得到的Aligned Unit地址乘以3,可求出距数据块的开头源数据包最近的扇区地址。
另外,通过用32除表示数据块的连续长度的源数据包数,得到商,将该商解释为连续Aligned Unit数。通过向如此得到的Aligned Unit数乘以3,可用扇区数来表现数据块的连续长度。若将通过以上变换得到的数据块的地址和表示连续长度的扇区数作为应用描述符,合并到文件基础的文件入口和文件从属的文件入口,则可虚拟生成文件基础、文件从属的文件入口。
<打开文件基础的技术意义>
这里,当从任意时刻随机访问时,需要进行流文件内的扇区搜索。所谓扇区搜索是当从任意时刻随机访问时,确定对应于该时刻的源数据包的源数据包序号,从包含该源数据包序号的源数据包的扇区开始进行文件读取的处理。
立体观察交织流文件由于一个盘区大,所以扇区搜索的搜索范围宽,当命令从任意时间随机访问时,确定构成读出目的地的扇区需要相当的处理时间。
这是因为交织流文件交织配置了构成基本视角视频流的数据块、构成从属视角流的数据块,构成一条长的盘区,交织流文件的文件入口的应用描述符不过表示该长盘区的开头地址。
相反,文件基础由长度短的多个盘区构成,将各个盘区的开头地址示于应用描述符中,所以扇区搜索中的搜索范围窄,当命令从任意时刻随机访问时,短时间完成构成读出目的地的扇区的确定。
即,将构成基本视角视频流的数据块管理为文件基础的盘区,将数据块的开头地址明确记载在对应于文件基础的文件入口中的应用描述符中,所以若从包含随机访问位置的盘区的开头地址开始扇区搜索,则可快速到达包含构成随机访问位置的源数据包的扇区。
这样,将构成基本视角视频流的数据块管理为文件基础的盘区,将各盘区的开头地址和连续长度表示在对文件基础的文件入口的应用描述符中,从而基本视角视频流从任意时刻的随机访问速度提高。
具体的扇区搜索步骤如下。通过使用对应于基本视角视频流的入口映射,导出作为对应于任意时刻的随机访问位置的源数据包序号。
接着,通过使用对应于基本视角视频流的clip信息内的盘区开始指示信息,确定包含构成随机访问位置的源数据包序号的盘区是哪个。
并且,若参照对应于文件基础的文件入口的应用描述符,则可确定包含构成随机访问位置的源数据包序号的盘区的开头扇区地址。通过对该开头扇区地址设定文件指针,执行文件读取,执行对读出的源数据包的数据包解析,确定构成随机访问位置的源数据包序号的源数据包。之后,读出确定的源数据包序号的源数据包。由此,高效地执行对主TS的随机访问。子TS也一样。
如上所述,根据本实施方式,通过根据盘区开始点信息重排交织流文件中的基本视角视频流的盘区、从属视角视频流的盘区,提供给解复用部、解码器,所以解码器或程序可处理为存储了基本视角视频流的流文件和存储了从属视角视频流的文件从属这两个文件虚拟存在于记录介质中。
由于在将立体观察用基本视角视频流、从属视角视频流作为交织流文件记录在记录介质中,同时可单体访问基本视角视频流和从属视角视频流,所以可使再现装置的处理效率提高。
另外,盘区开始点信息也可用1字节单位来表示盘区的开头,但在盘区与ECC块等固定长度读取块尺寸对齐时,期望用固定长度单位来指定。由此,也可抑制识别地址所需的信息量。
(第6实施方式)
本实施方式涉及实现立体观察幻灯播放的应用的改良。
幻灯播放由静止图像构成,所以要求精度比电影高的随机访问。所谓高精度的随机访问是如1个图片、10个图片等以“一个图片”为访问单位的随机访问。视频流的入口映射具有1秒间隔这样的1秒左右的时间精度,该1秒的时间间隔中可包含20-30个图片。因此,若使用上述入口映射来实现图片精度下的随机访问,则仅参照入口映射是不够的,需要对流的解析。
这里所谓的“流的解析”是指重复几次如下处理直到期望图片记录位置,该处理是从入口映射中记载的入口位置,取出图片的头,并从该头读出图片的尺寸,根据该尺寸,确定下一图片的记录位置。由于这种解析伴随对流的高频度访问,所以即便仅读出从入口位置起的3个、5个图片,也花费相当的时间。由于花费相当于图片精度随机访问的时间,所以即便向幻灯播放追加立即响应用户操作显示前后图片、或显示前后10个图片的功能,也无法象制作者一方期待的那样方便。
幻灯播放的入口点将视频流中每个图片的入口地址对应于再现时刻来表示。另外,播放列表标志信息指定各个图片数据。
若如此利用入口点与播放列表标志信息来指示各个图片数据,则即便要求如1个、3个那样图片精度的随机访问,也可不伴随视频流的解析地实现图片精度的随机访问。
由于可从时间轴上任意时刻导出视频流上的记录位置,并实现1个、3个等图片精度的随机访问,所以可制作立即响应用户操作显示前后图片、或显示前后数个图片的应用。
在此前的实施方式中,可立体观察再现的视频流为交织形式,但若这样变为交织形式,则构成幻灯播放的图片数据按L-L-L、R-R-R这样的顺序排列。这种顺序的全部图片数据构成幻灯播放,若各个图片数据由入口点指示,则入口点按00:00→00:01→00:02、00:00→00:01→00:02这样的顺序排列。
入口映射中的入口点需要排列成其再现时刻为升序,违反对入口映射的制约。因此,作为AVclip应用种类是幻灯播放的情况下特有的限制,将构成左视角流的图片数据和构成右视角流的图片数据合成一个TS。这样,若合成一个TS,则可按L-R-L-R-L-R的顺序来排列构成左视角流的图片数据和构成右视角流的图片数据,另外,对于这些图片数据的入口点,可排列成该入口点的再现时刻变为00:00→00:00→00:01→00:01→00:02→00:02→00:03、00:03。
通过按时间顺序排列构成一个幻灯片的图片数据并由此进行复用,在记录介质的连续区域中记录复用后的图片数据的块。
图48表示视频流的内部构成。在图48中,图48(a)表示构成电影应用的视频流。图48(a)的第2段表示将基本视角视频流和从属视角流变为交织形式的立体观察交织流文件。图中的R1、R2、R3、R4是构成从属视角视频流的图片数据,L1、L2、L3、L4是构成基本视角视频流的图片数据。R5、R6、R7、R8是构成从属视角视频流的图片数据。
第1段表示实体与该交织流文件相同的从属视角流的流文件。由文件名与m2ts扩展符构成。该从属视角流的流文件由R1、R2、R3、R4、R5、R6、R7、R8构成。如上所述,可知电影应用中通过使用从属视角流来构成。
图48(b)的第2段表示静止图像幻灯播放中的I图片。可知图中的左视角图片‘L’、右视角图片‘R’按‘L’‘R’‘L’‘R’‘L’‘R’的顺序复用后记录。
作为基本视角静止图像的图片数据的开头的、访问单元分割符,先于作为从属视角静止图像的图片数据的开头,并且,作为从属视角静止图像的图片数据的末尾先于表示所述基本视角静止图像之后应再现的基本视角静止图像图片数据的开头的访问单元分割符。另外,存储了作为这些基本视角静止图像的图片数据开头的访问单元分割符的源数据包、存储了作为从属视角静止图像的图片数据开头的访问单元分割符的源数据包不包含自身以外的图片数据。即,表示基本视角静止图像的图片数据、表示从属视角静止图像的图片数据在完结的状态下,按基本视角-从属视角-基本视角-从属视角的顺序,排列在记录区域中。
但是,如第1段所示,不使用从属视角流,幻灯播放应用不能将右视角的影像作为从属视角流来访问。
复用左视角的图片数据、右视角的图片数据的理由如下。若将图片数据作为一个盘区记录在记录介质中,则不满足最小盘区长度。为了满足最小盘区长度,如上所述,按时间顺序配置多个图片数据后复用,记录复用后的TS。由此,可满足最小盘区长度地分割记录TS。
对照地,由于尺寸较小,所以固定配置用于显示1个静止图像的数据的读取效率高。
接着,说明表示AVclip中应用种类的信息(application_type)是幻灯播放(application_type=2或3)的情况下的入口映射设定。设在时间轴上的多个时刻(t1-t7),为了再现,设定PTS的IDR图片存在于幻灯播放内。此时,对该幻灯播放的入口映射设定如图49所示。图49表示对幻灯播放设定的入口映射的内部构成。
在幻灯播放中,由于设定入口映射以指示全部图片,所以可知入口映射中的各个Entry_Point#1~#7将幻灯播放中各个IDR图片的再现时刻t1、t2、t3、t4、t5、t6、t7确定为入口时刻(PTS_EP_start),与入口位置(SPN_EP_start)对应。
这样,各IDR图片的再现时刻作为入口时刻,由入口映射指定,所以即便在将t1-t7中某个选为随机访问的访问对象的情况下,也不发生经由在先IDR图片等迂回的开销(overhead)。
本图的第1段表示PlayListMark信息的设定,第2段表示播放项目信息中的开始时间的指定。第3段表示L图像、R图像,第4段表示入口映射,第5段表示源数据包串。
在幻灯播放中,设定入口映射以指示全部左视角图片、右视角图片,所以可知入口映射中的各个Entry_Point#1~#7将幻灯播放中各个IDR图片的再现时刻t1、t2、t3、t4、t5、t6、t7确定为入口时刻(PTS_EP_start),与入口位置(SPN_EP_start)对应。
若以第3段中的时刻t2、t4、t6中t6为访问对象执行随机访问,则由于时刻t6本身被指示成PTS_EP_start,所以不经由前面的左视角图片就可访问作为时刻t6的记录位置(SPN=N6)。
由于全部左视角图片的再现时刻也由PTS_EP_start指示,所以可高速执行幻灯播放中使用了时间信息的随机访问。
若伴随上述入口映射设定将clip信息中的Applicaion_Type示为2或3,则由于可识别对于构成幻灯播放的全部图片在入口映射上存在入口,所以通过参照入口映射的入口,可判断读出的数据范围,不必多余解析前后流。
以上是对记录介质的说明。接着说明再现装置的细节。再现装置为了进行幻灯播放再现,再现控制引擎最好按图50所示的处理步骤进行再现。
图50表示幻灯播放播放列表的再现步骤。步骤S81将当前播放项目序号初始化为“1”,在步骤S82中,判定当前播放项目中的clip_information_file_name的应用种类是否是幻灯播放。若是电影应用,则在步骤S83中进行电影应用的处理。
若是幻灯播放,则移动到重复步骤S84~步骤S90的处理的循环。该循环经步骤S85、步骤S86的判定,重复根据入口映射确定与当前PlayItem.In_Time一致或最近的入口点[i](步骤S87),从入口点[i]指示的源数据包序号的源数据包读出到入口点[i+1]指示的源数据包序号之前的源数据包,送入基本视角侧PID滤波器的处理(步骤S88),从入口点[i+1]指示的源数据包序号的源数据包读出到入口点[i+2]指示的源数据包序号之前的源数据包,送入从属视角侧PID滤波器的处理(步骤S89),直到当前PlayItem序号变为最终的PlayItem序号为止(步骤S94)。只要该步骤S94的判定不是“是”,就将当前PlayItem序号递增后,移动到步骤S85。
步骤S85是是否执行跳回(skip back)操作的判定,步骤S86是是否执行下跳(skip next)操作的判定。若执行下跳操作,则将当前章节序号递增(步骤S90),若执行跳回操作,则判定当前章节序号是否为“1”(步骤S91),若不是“1”,则递减(步骤S92)。
另外,在步骤S93中,将对应于当前章节序号的PlayListMark的PlayItem_ref_id所参照的PlayItem序号,作为当前PlayItem序号,移动到步骤S55。
如上所述,根据本实施方式,可不进行流解析地读出任意L图像的图片数据、R图像的图片数据的组,提供给再现,所以可根据用户的跳跃操作,容易地实现可随机访问任意图片数据的幻灯播放应用。
(第7实施方式)
在本实施方式中,说明复用部、解码器、平面存储器的硬件规模(scale)。
本实施方式中的解复用部包含一个以上源数据包去包器(depacketizer)、PID滤波器的组。按照对应于流输入的***数的数量,存在该源数据包去包器、PID滤波器的组。
图51表示解复用部和视频解码器的内部构成。
图51(a)表示解复用部的解码器模型。解复用部(Source De-packetizer andPID filter)的组为两个。这是因为解复用部原来构成为处理来自两个记录介质的2***流输入。在2D再现模式下可处理来自两个记录介质的流输入,而在3D再现模式下,可处理L与R、2D与Depth等2***的流输入。
如图51(a)所示,解复用部由源去包器22、PID滤波器23、源去包器27、PID滤波器28构成。
源去包器22在读取缓冲器2a中存储源数据包的情况下,在ATC计数器生成的ATC值与源数据包的ATS值相同的瞬间,根据AVclip的记录速率,将该TS数据包传输到PID滤波器。在该传输中,对应于各源数据包的ATS,调整向解码器的输入时刻。
PID滤波器23根据PID,将从源去包器22输出的TS数据包中、TS数据包的PID与再现所需的PID一致的TS数据包输出到各种解码器。
源去包器26在读取缓冲器2b中存储源数据包的情况下,在ATC计数器生成的ATC值与源数据包的ATS值相同的瞬间,根据AVclip的***速率,仅将该TS数据包传输到PID滤波器。在该传输中,对应于各源数据包的ATS,调整向解码器的输入时刻。
PID滤波器27根据PID,将从源去包器26输出的TS数据包中、TS数据包的PID与再现所需的PID一致的TS数据包输出到各种解码器。
下面说明主视频解码器31的内部构成。
图51(b)表示主视频解码器的内部构成。主视频解码器31由TB51、MB52、EB53、TB54、MB55、EB56、解码器核心57、缓冲器开关58、DPB59、图片开关60构成。
Transport Buffer(传输缓冲器,TB)51是当从PID滤波器23输出包含左视角视频流的TS数据包时、TS数据包原样暂时存储的缓冲器。
Multiplexed Buffer(复用缓冲器,MB)52是在从TB向EB输出视频流时、暂时存储PES数据包用的缓冲器。当从TB向MB传输数据时,去除TS数据包的TS头。
Elementary Buffer(基本缓冲器,EB)53是存储处于编码状态的视频访问单元的缓冲器。当从MB向EB传输数据时,去除PES头。
Transport Buffer(TB)54是当从PID滤波器输出包含右视角视频流的TS数据包时、TS数据包原样暂时存储的缓冲器。
Multiplexed Buffer(MB)55是在从TB向EB输出视频流时、暂时存储PES数据包用的缓冲器。当从TB向MB传输数据时,去除TS数据包的TS头。
Elementary Buffer(EB)56是存储处于编码状态的视频访问单元的缓冲器。当从MB向EB传输数据时,去除PES头。
解码器核心57通过在规定的解码时刻(DTS)解码视频流的各个视频访问单元,制作帧/场图像。由于复用于AVclip的视频流的压缩编码形式中存在MPEG2、MPEG4AVC、VC1等,所以对应于流的属性,切换解码器核心57的解码方法。当解码构成基本视角视频流的图片数据时,解码器核心57利用未来方向或过去方向上存在的图片数据作为参照图片,进行运动补偿。之后,当解码构成从属视角视频流的图片数据时,解码器核心57利用构成基本视角视频流的图片数据作为参照图片,进行运动补偿。若如此解码图片数据,则解码器核心57将解码后的帧/场图像传输到DPB59,以显示时刻(PTS)的定时将对应的帧/场图像传输到图片开关。
缓冲器开关58使用解码器核心57解码视频访问单元时取得的解码开关信息,确定从EB53、EB56的哪个抽取下一访问单元,以分配给视频访问单元的解码时刻(DTS)的定时,向解码器核心57传输存储在EB53、EB56中的图片。由于左视角视频流与右视角视频流的DTS在时间轴上设定成以图片单位交互到来,所以在例如忽视DTS提前解码的情况下,期望以图片单位将视频访问单元传输到解码器核心57。
Decoded Picture Buffer(解码图片缓冲器,DPB)59是暂时保持解码后的帧/场图像的缓冲器。用于在解码器核心57解码图片间预测编码的P图片或B图片等视频访问单元时参照已解码的图片。
图片开关60在将从解码器核心57传输的已解码的帧/场图像写入视频平面的情况下,将其写入目的地切换为左视角视频平面、右视角视频平面。在左视角流的情况下,将非压缩的图片数据瞬时写出到左视角视频平面,在右视角流的情况下,将非压缩的图片数据瞬时写出到右视角视频平面。
描述模式切换时的视频解码器的动作。LR方式的情况下,若仅切换为L侧输出,则变为2D显示,在Depth方式的情况下,停止深度信息的处理,不附加深度信息,则可切换为2D影像。但是,由于LR方式与Depth方式所需的数据不同,所以当进行相互切换时,需要再选择解码的流。
接着,说明再现装置中的解码器和平面存储器的规模。
装置构成为一个解码器、或两个解码器、或一个平面、或两个平面因流种类与立体观察方式的组合而变化。
在采用3D-LR方式的情况下,若MVC视频流为再现对象,则为1解码器+2平面构成。
采用3D-Depth方式的情况也为1解码器+2平面构成,需要视差图像生成器。这对于主视频流、辅视频流也一样。图52表示3D-LR方式、3D-Depth方式中的1解码器+2平面的装置构成。图52(a)表示采用3D-LR方式时的1解码器+2平面构成。图52(b)表示采用3D-Depth方式时的1解码器+2平面构成。
MVC视频流中装置构成为一个解码器是因为在实现各个压缩图片数据的宏块运动补偿时,将非压缩的左视角图片数据和非压缩的右视角图片数据利用为参照图像。在解码图片缓冲器中,存储构成参照图像的非压缩左视角图片数据和非压缩的右视角图片数据。
以上是对视频解码器、视频平面的说明。
PG流的再现装置构成在采用1plane+Offset方式的情况下,为1解码器+1平面构成。在采用3D-LR方式、3D-Depth方式的情况下,为2解码器+2平面构成。
同相,IG流的再现装置构成在采用3D-LR方式的情况下,为2解码器+2平面构成。另一方面,在采用1plane+Offset方式的情况下,为1解码器+1平面构成。
在文本字幕流的再现装置构成中,不存在3D-LR方式,在是1plane+Offset模式的情况下,为1解码器+1平面构成。在3D-Depth方式的情况下,为1解码器+2平面构成。
下面,说明PG流的内部构成与解码PG流的PG解码器的内部构成。
左视角PG流、右视角PG流均包含多个显示集。所谓显示集是构成一个画面显示的功能区段的集合。功能区段是存储在约2K字节的PES数据包的有效载荷中,提供给解码器,使用DTS、PTS进行再现控制的处理单位。
显示集中有以下类型。
A.Epoch-start的显示集
所谓Epoch-start的显示集是复位图形解码器中的复合缓冲器、代码数据缓冲器、图形平面,使存储器管理开始的功能区段的集合,包含画面构成所需的全部功能区段。
B.Normal-case的显示集
所谓Normal-case的显示集是继续图形解码器中的复合缓冲器、代码数据缓冲器、图形平面的存储器管理不变进行画面构成的显示集,包含构成与在先显示集的差分的功能区段。
C.Acquisition-point的显示集
所谓Acquisition-point的显示集是包含画面构成所需的全部功能区段的显示集,是不复位图形解码器中的复合缓冲器、代码数据缓冲器、图形平面的存储器管理的显示集。在该Acquisition-point的显示集中也可存在内容与前一显示集不同的功能区段。
D.Epoch-continue的显示集
所谓Epoch-continue的显示集表示在允许PG流再现的播放项目与其之前播放项目之间的连接方式为伴随完全断开的无缝连接(CC=5)的情况下,使再现装置中的复合缓冲器、代码数据缓冲器、对象缓冲器、图形平面的存储器管理原样继续。此时,不废弃对象缓冲器、图形平面上得到的图形对象,使其在对象缓冲器、图形平面上存续。
左视角与右视角在STC序列的再现时间轴的同一时刻被分配这些显示集的起点、终点。另外,在左视角PG流与右视角PG流中,时间轴上相同时刻存在的显示集的类型相同。即,由于左视角侧显示集是Epoch-start的显示集,所以STC序列的时间轴上相同时刻的右视角侧显示集变为Epoch-start的显示集。
另外,由于左视角侧显示集是Acquisition-point的显示集,所以STC序列的时间轴上相同时刻的右视角侧Acquisition-point显示集也变为Acquisition-point的显示集。
各显示集包含多个功能区段。该多个功能区段中有如下区段。
(1)对象定义区段
对象定义区段是定义图形对象的功能区段。图形定义区段通过使用代码值与该代码值的运行长度(run length)来定义图形对象。
(2)调色板(pallet)定义区段
调色板定义区段包含表示各代码值与亮度、红色差/蓝色差之间的对应关系的调色板数据。左视角图形流的调色板定义区段与右视角图形流的调色板定义区段中,将代码值与亮度和色差之间的对应关系设定为相同内容。
(3)窗口定义区段
窗口定义区段是定义用于在画面上展开非压缩图形对象的平面存储器中称为窗口的矩形框的功能区段。图形对象的描绘由该平面存储器的内部限制,在该窗口的外部不描绘图形对象。
由于将平面存储器的一部分指定为图形显示用窗口,所以再现装置不必进行平面整体的图形描绘。仅对有限大小的窗口进行图形描绘即可。由于可省略显示用平面中窗口以外部分的描绘,所以大大减轻再现装置侧的软件负担。
(4)画面构成区段
画面构成区段是规定使用了图形对象的画面构成的功能区段,包含对图形解码器中复合控制器的多个控制项目。画面构成区段是规定图形流中显示集的细节、并且规定使用了图形对象的画面构成的功能区段。这种画面构成中有Cut-In/Out(切入/切出)、Fade-In/Out(淡入/淡出)、Color Change(颜色变化)、Scroll(滚动)、Wipe-In/Out(划入/划出)等,通过伴随基于画面构成区段的画面构成,可实现渐渐删除某个字幕,显示下一字幕等显示效果。
(5)结束段
是位于属于一个显示集的多个功能区段最后的功能区段。再现装置将从画面构成区段起至该结束段为止解释为是构成一个显示集的功能区段。
PG流中显示集的开始时刻由存储了画面构成区段的PES数据包的DTS确定,显示集的终止时刻由存储了画面构成区段的PES数据包的PTS确定。
左视角图形流和右视角图形流是打包基本流(PES),画面构成区段存储在PES数据包中,存储了画面构成区段的PES数据包的PTS表示何时执行基于画面构成区段所属显示集的显示。
存储了画面构成区段的PES数据包的PTS值在左视角视频流与右视角视频流中为相同内容。
.PG解码器的解码器模型
PG解码器包含存储从PG流读出的功能区段的‘代码数据缓冲器’;解码画面构成区段后得到图形对象的‘流图形处理器’;存储解码得到的图形对象的‘对象缓冲器’;存储画面构成区段的‘复合缓冲器’;和解读复合缓冲器中存储的画面构成区段,根据这些画面构成区段中的控制项目,使用对象缓冲器中得到的图形对象在图形平面上进行画面构成的‘复合控制器’。
在该图形平面的前段,存在用于调整构成功能区段的TS数据包输入速度的传输缓冲器。
在图形解码器的后段,存在图形平面、根据调色板定义区段将构成图形平面中存储的图形对象的象素代码变换为亮度、色差的CLUT部、和平面移位用移位部。
PG流中的管道通过图形解码器同时执行如下两个处理来进行,这两个处理是:解码属于某个显示集的对象定义区段,将图形对象写入对象缓冲器中的处理;和将解码属于在先显示集的对象定义区段所得到的图形对象从对象缓冲器写入平面存储器中的处理。
图53表示PG流的图形解码器的内部构成。图53(a)是由1plane+Offset模式方式显示用的解码器模型。图53(b)是显示LR方式数据时的解码器模型。
在本图中,相当于图形解码器主体的部分用黑框包围,相当于图形解码器后段的部分用点划线包围。
在图52(a)中,图形解码器为1解码器构成,图形平面也是1平面构成。但是,图形平面的输出分别分为左视角、右视角,对各个左视角输出、右视角输出附加移位部。
在图53(b)中,存在2组传输缓冲器——图形解码器——图形平面——CLUT部,可分别独立处理左视角流、右视角流。
由于偏移序列包含在从属视角视频流中,所以在平面偏移形式下,图形解码器变为1解码器构成,将该一个图形解码器的输出切换为左视角与右视角。
PG解码器的2D/3D切换时的动作如下。
1.在1plane+Offset模式与2D模式的相互切换时无缝切换。这通过无效化Offset来进行。
2.3D-LR模式与2D模式下,由于伴随PID切换,所以字幕暂时消失。这与流切换一样。
3.在3D-LR模式与L模式下,切换为仅L(Base View侧)显示。虽然可无缝切换,但显示位置有可能偏。
在3D-Depth模式与2D模式下,若在2D显示中也以背景解码灰度所示的深度信息,生成左视角的图形对象、右视角的图形对象,则可无缝切换图形对象。
在由PG解码器执行模式切换的情况下,容易从Depth模式、1plane+Offset模式切换到2D模式。但是,在3D-LR方式的情况下,由于立体观察图形对象与2D图形对象不同,所以需要变更切换时处理的PG流,有可能在提供下一PG流之前不显示图形对象。
在不想设置不显示图形对象的期间的情况下,也可仅切换为基本视角的图形对象,而非从正面看的2D图形对象。此时仍可能看成稍偏左的影像。在将立体观察PG切换为2DPG的情况下,也可在管理数据中设定使用何种方法。
.文本字幕解码器的解码器模型
文本字幕流由多个字幕描述数据构成。
文本字幕解码器包含从字幕描述数据中分离文本代码与控制信息的‘字幕处理器’;存储从字幕描述数据中分离的文本代码的‘管理信息缓冲器’;使用字体数据将管理信息缓冲器内的文本代码展开为位图的‘文本绘制器(renderer)’;存储利用展开得到的位图的‘对象缓冲器’;和使用从字幕描述数据中分离的控制信息来执行沿时间轴的文本字幕再现控制的‘描绘控制部’。
在文本字幕解码器的前段,存在进行字体数据预加载的‘字体预载缓冲器’、调整构成文本字幕流的TS数据包输入速度的‘TS缓冲器’、在播放项目再现之前预载文本字幕流用的‘字幕预载缓冲器’。
在图形解码器的后段,存在‘图形平面’、‘CLUT部’与平面移位用的移位部,该CLUT部根据调色板定义区段,将构成图形平面中存储的图形对象之象素代码变换为亮度、色差。
图54表示文本字幕解码器的内部构成。图54(a)表示1plane+Offset模式下的文本字幕解码器的解码器模型,图54(b)表示3D-LR方式下的文本字幕解码器的解码器模型。本图中,相当于文本字幕解码器主体的部分用黑框包围,相当于文本字幕解码器后段的部分用点划线包围。相当于文本字幕解码器前段的部分用虚线框包围。
图54(a)中,图形平面的输出被分为左视角、右视角的每个,对各个左视角输出、右视角输出附加移位部。
图54(b)中,存在左视角用图形平面与右视角用图形平面,将由文本字幕解码器展开的位图写入这些各个图形平面中。在3D-LR方式的文本字幕解码器中,扩展彩色调色板信息,除字幕用字符/背景/修边3色外,追加3色用于Depth。另外,绘制(rendering)引擎可描绘字幕。
文本字幕流与PG流不同,不是将图形数据作为位图来发送,而是通过发送字体数据与字符代码,由绘制引擎生成字幕,所以字幕的立体观察由1plane+Offset模式来实现。在以1plane+Offset模式显示文本字幕的情况下,模式的切换通过字体集(font set)的切换或绘制方式的切换来进行。还有通过定义L/R字体集或Open GL字体集来进行模式切换的方法。绘制引擎也可进行3D显示。
在3D-LR模式下,通过定义基本视角与从属视角中独立的字体集或OpenGL字体集来实现立体观察再现。另外,也可通过绘制引擎来描绘3D字体来实现立体观察再现。
在3D-Depth模式的情况下,由绘制引擎生成深度影像。
以上是对文本字幕流和文本字幕解码器的说明。接着,说明IG流的内部构成与IG解码器的构成。
.IG流
左视角IG流、右视角IG流均包含多个显示集,各显示集包含多个功能区段。在显示集中,与PG流一样,存在Epoch-start的显示集、Normal-case的显示集、Acquisition-point的显示集、Epoch-continue的显示集。
属于这些显示集的多个功能区段中有以下种类。
(1)对象定义区段
该对象定义区段与PG流的相同,但IG流的图形对象定义页的入效果(in-effect)、出效果(out-effect)、按钮部件的正常状态、选择状态、有效(active)状态。对象定义区段将定义按钮部件相同状态的对象定义区段彼此、构成相同效果影像的对象定义区段彼此分组。将集合了定义相同状态的对象定义区段的组称为图形数据集合。
(2)调色板定义区段
调色板定义区段与PG流的一样。
(3)对话控制区段
对话控制区段包含多个页信息,多个页信息是规定多页菜单的画面构成的信息,各页信息包含效果序列、多个按钮信息和调色板识别符的参照值。
按钮信息是通过使图形对象显示为按钮部件的一状态,在构成多页菜单的各页上实现交互式画面构成的信息。
效果序列使用图形对象,构成在对应于页信息的页显示之前进行再现的入效果、或在该页显示之后再现的出效果,包含效果信息。
效果信息是规定再现入效果或出效果时各个画面构成的信息,包含规定在由图形平面上的窗口定义区段定义的窗口(部分区域)中应执行何画面构成的画面构成对象、和表示与同区域中下一画面构成的时间间隔的效果期间信息。
效果序列中的画面构成对象规定与PG流的画面构成区段相同的控制内容。将对象定义区段中定义所述入效果中使用的图形对象的对象定义区段配置在图形数据串中、定义按钮部件中使用的图形对象的对象定义区段之前。
页信息中的各按钮信息是通过使图形对象显示为按钮部件的一状态、在构成多页菜单的各页上实现交互式画面构成的信息。所述按钮信息包含设置按钮页(set button page)命令,设置按钮页命令是当对应的按钮部件为有效状态时,使再现装置执行将第一页以外的其它页设定为当前页的处理的命令。
当再现IG流时,在想对每个页变更平面移位中的偏移的情况下,在按钮信息中合并变更偏移的导航命令,在对应的按钮信息中,规定导航命令的自动激活。由此,可自动变更IG流的流登记信息中规定的偏移的值或方向。
(4)结束段
是位于属于一个显示集的多个功能区段最后的功能区段。将从对话控制区段至该结束段解释为是构成一个显示集的功能区段。
在左视角图形流与右视角图形流中,在相同对话控制区段的控制项目中有按钮接近信息、选择超时时间戳、用户超时持续时间、复合超时信息。
1.按钮接近信息
按钮接近信息是在某个按钮变为选择状态、有指示上下左右方向之一的键操作的情况下,指定什么样的按钮应为选择状态的信息。
2.选择超时时间戳
选择超时时间戳表示自动激活当前页中的按钮部件、让再现装置执行设置按钮页命令用的超时时间。
3.用户超时持续时间
用户超时持续时间表示将当前页返回到第一页后、变为仅显示第一页的状态用的超时时间。
4.复合超时信息
复合超时信息表示使基于对话控制区段的交互式画面显示终止的时间。在IG流中,显示集的开始时刻由存储了对话控制区段的PES数据包的DTS确定,显示集的终止时刻由对话控制区段的复合超时时刻确定。在左视角、右视角中,将这些DTS与复合超时时刻设定为同一时刻。
.IG解码器的解码器模型
IG解码器包含存储从IG流读出的功能区段的‘编码数据缓冲器’、解码画面构成区段后得到图形对象的‘流图形处理器’、存储通过解码得到的图形对象的‘对象缓冲器’、存储画面构成区段的‘复合缓冲器’、和‘复合控制器’,该复合控制器解读复合缓冲器中存储的画面构成区段,根据这些画面构成区段中的控制项目,使用对象缓冲器中得到的图形对象,在图形平面上进行画面构成。
在该图形平面的前段,存在用于调整构成功能区段的TS数据包输入速度的‘传输缓冲器’。
在图形解码器的后段,存在‘图形平面’、根据调色板定义区段将构成图形平面中存储的图形对象的象素代码变换为亮度、色差的‘CLUT部’、和平面移位用‘移位部’。
图55表示IG解码器的解码器模型。在本图中,相当于IG解码器主体的部分用黑框包围,相当于图形解码器后段的部分用点划线包围。相当于IG解码器前段的部分用虚线框包围。
图55(a)是利用1plane+Offset模式方式以LR形式显示2D形式IG流用的解码器模型。图55(b)虽然是IG流的解码器模型,但是显示LR方式数据时的解码器模型。
在这些解码器中,为了从程序控制菜单图形的深度信息,包含将***参数值反映为偏移用的电路。
图55(b)是2解码器模型,可利用命令变更offset值。由此可利用命令来改变菜单的深度信息。offset值还提供左右不同的值。另一方面,在Depth方式的情况下,Offset变无效。
图形解码器中的复合控制器使用对应于选择状态的图形数据集合的图形数据来显示对话画面中存在的按钮部件中变为当前按钮的按钮部件,使用对应于正常(normal)状态的图形数据集合来显示此外的按钮部件,由此实现对话画面的初始显示。
在有指定上下左右4方向之一的用户操作的情况下,将位于当前按钮周围的正常状态按钮部件中、存在于由用户操作指定的方向上的按钮部件的序号写入按钮序号寄存器中,利用该写入,使新变为当前按钮的按钮部件从正常状态变化为选择状态。
在有使对话画面中变为选择状态的按钮部件变化为有效状态的用户操作的情况下,通过从图形数据集合中取出构成该有效状态的图形数据提供给显示,实现对话画面的更新。
这些对话画面的更新需要左视角、右视角共同执行,所以在2D解码器模型中,期望左视角用图形解码器与右视角用图形解码器共同化复合控制器。
此时,立体观察IG流中的左视角、右视角的导航命令相同,通过将3D用与2D用图形对象的按钮构成变为相同,实现相互切换。
在2D IG流与立体观察IG流中,若导航命令和按钮信息的属性、数量等相同,则可仅切换图形对象的显示。在从3D-LR模式仅切换到图像中,可不再加载地切换,但显示位置有可能偏。期望使关于采用哪个的标题(title,节目)制作者的意图表示在标记中,根据该标记,再现装置进行切换。
下面,汇总模式切换时的留意事项。
.1plane+Offset模式与2D模式的切换中不发生再加载。这是因为不必IG流的加载,仅Offset无效化。
.3D-LR模式与2D模式的切换中,由于流不同,所以发生再加载。
.3D-Depth与2D之间,若预加载时深度信息的解码完成,则不发生再加载。
.即便采用AV再现开始前读入存储器中等预加载模型,若伴随2D模式/3D模式的切换,发生IG流的再加载,则产生不能保证无缝再现的情况。
以上是对PG流和IG解码器的说明。接着说明平面存储器的细节。
说明1plane+Offset模式方式下的平面存储器构成。
平面存储器的层合成通过对层模型中的阶层间全部组合执行使平面存储器的层模型中阶层间的平面存储器中存储的象素数据象素值重叠这样的处理来进行。合成部208执行的层合成通过对层模型中的两个阶层的全部组合执行使平面存储器的层模型中两个阶层的平面存储器中存储的象素数据象素值重叠这样的处理来进行。
阶层间的重叠是如下处理,即将透射率α作为权重乘以位于某个阶层的平面存储器的线单位的象素值,同时,向位于其下位阶层的平面存储器的线单位的象素值乘以(1-透射率α)的权重,将进行这些亮度加权的象素值彼此相加,将加法结果设为该阶层中的线单位象素的象素值。通过在位于层模型邻接的两个阶层中的线单位象素彼此重复执行该阶层间的重叠,实现上述层合成。
平面存储器后段除上述CLUT部、移位部外,为了实现层合成,还包含向各个象素值乘以透射率用的乘法部、进行象素彼此相加用的加法部、进行辅视频的定位、比例变更用的Scalling&Positioning部。
图56表示合成这些解码器模型的输出并以3D-LR方式输出用的电路构成。主视频平面、PG平面、IG平面、辅视频平面的层模型用黑框包围,相当于平面存储器后段的部分用点划线包围。从本图可知,上述层模型存在2组。另外,可知相当于平面存储器后段的部位也存在2组。
通过层模型、平面存储器后段存在2组,3D-LR方式中的平面存储器构成中主视频平面、PG平面、IG平面、辅视频平面分别分为左视角用与右视角用,这些平面存储器的输出对左视角、右视角分别执行层合成。
在辅视频平面中,与主视频流一样,可以3D-LR模式或3D-Depth模式显示辅视频流。另外,如PG流那样向2D影像提供偏移,也可使平面影像浮出到近前进行显示。
图57表示合成这些解码器模型的输出、并以1plane+Offset模式方式输出用的电路构成。
左视角用主视频平面、右视角用主视频平面、PG平面、IG平面、辅视频平面的层模型用黑框包围,相当于平面存储器后段的部分用点划线包围。从本图可知,上述层模型仅存在1组。另外,可知相当于平面存储器后段的部位存在2组。
在1plane+Offset模式方式下,主视频平面准备左视角主视频平面与右视角主视频平面。对于辅视频平面、PG平面、IG平面,不分为左视角、右视角中的每个,左视角、右视角仅存在共同的一个平面存储器。另外,对这些左视角输出、右视角输出分别进行上述层合成。
再现装置需要支持B-D演示模式、1plane+Offset模式双方,所以作为再现装置的硬件构成,基本上变为2解码器+2平面的构成,在再现装置切换到1plane+Offset模式、2D再现模式时,无效化1解码器+1平面组中的一方,变为1解码器+1平面构成。
产生从3D再现模式切换到2D再现模式、再现装置的构成从2解码器+2平面构成变化为1解码器+1平面构成的情况下,解复用对象变为仅是构成L图像的TS数据包。此时,通过3D眼镜收看L图像、R图像的用户在从3D再现模式切换到2D再现模式的途中仅看到L图像。
此时,基于两眼的TV收看切换为基于单眼的TV收看,眼的负担变大,用户感到发冷。因此,在本实施方式中,在切换的情况下,将PID滤波器的对象从构成L图像的TS数据包、构成R图像的TS数据包切换为构成L图像的TS数据包,并且复位图形解码器中的存储器管理。另外,在切换中暂时消失字幕,以不让上述发冷出现。
如上所述,根据本实施方式,当将解码器构成从2解码器构成切换为1解码器构成时,由于暂时复位平面存储器中的字幕,所以可减轻将基于两眼的TV收看切换为基于单眼的TV收看带来的眼的负担。
(第8实施方式)
在本实施方式中,说明制造此前的实施方式中说明的记录介质的方式、即记录介质的生产行为方式。
此前的实施方式中说明的记录介质可制作为作为多层化光盘的BD-ROM盘、与BD-ROM盘具有再现互换性的BD-RE盘、BD-R盘、AVC-HD介质。
图58表示多层化的光盘的内部构成。
第1段表示作为多层化光盘一例的BD-ROM,第2段是沿水平方向拉伸各记录层上存在的螺旋轨道后描绘的图。将这些记录层中的螺旋轨道处理为一个连续的卷区域。卷区域由位于最内周的导入区、位于最外周的导出区、存在于其间的第1记录层的记录区域、第2记录层的记录区域、第3记录层的记录区域构成。这些第1记录层的记录区域、第2记录层的记录区域、第3记录层的记录区域构成一个连续的逻辑地址空间。
卷区域按从开头起以访问光盘的单位分配序号,将该序号称为逻辑地址。通过指定逻辑地址来从光盘中读出数据。这里,在BD-ROM这样的只读盘的情况下,基本上逻辑地址连续的扇区在光盘上的物理配置上也连续。即,逻辑地址连续的扇区的数据可不进行寻道地读出。但是,在记录层的交界,即便逻辑地址连续,也不能连续读出。因此,设将层交界的逻辑地址事先登记在记录装置中。
卷区域在导入区域之后记录文件***管理信息,之后,存在由文件***管理信息管理的划分(partition)区域。所谓文件***是用称为目录或文件的单位来表现盘上数据的***,在BD-ROM的情况下,由UDF(UniversalDisc Format:通用盘格式)记录。即便在日常使用的PC(电脑)的情况下,通过使用称为FAT或NTFS的文件***,在计算机上表现以目录或文件等构造记录在硬盘中的数据,提高用户能力。利用该文件***,可与通常的PC一样使用目录、文件构造读出记录的逻辑数据。
第4段表示由文件***管理的文件***区域中的区域分配。在文件***区域中内周侧存在非AV数据记录区域。在非AV数据记录区域之后,存在AV数据记录区域。第5段表示这些非AV数据记录区域和AV数据记录区域的记录内容。在AV数据记录区域中存在构成AV文件的构成盘区。在非AV数据记录区域中存在构成AV文件以外的非AV文件的盘区。
图59表示以文件***为前提的光盘的应用格式。
BDMV目录是记录BD-ROM中处理的TS或管理信息等数据的目录。在BDMV目录之下,存在称为‘PLAYLIST目录’、‘CLIPINF目录’、‘STREAM目录’、‘BDJO目录’、‘JAR目录’的5个子目录,在BDMV目录中,配置‘index.bdmv’、‘MovieObject.bdmv’等两种文件。
‘index.bdmv(文件名固定)’存储索引表。
‘MovieObject.bdmv(文件名固定)’存储一个以上的电影对象。电影对象是在以命令翻译器为控制主体的动作模式(HDMV模式)下规定再现装置应进行的控制步骤的程序文件,包含一个以上的命令、和在用户进行对GUI的菜单调用、标题调用的情况下、规定如何屏蔽这些调用的屏蔽标记。
在‘BDJO目录’中,存在赋予扩展符bdjo的程序文件(xxxxx.bdjo[“xxxxx”可变,扩展符“bdjo”固定])。该程序文件存储在BD-J模式下规定再现装置应执行的控制步骤的BD-J对象。该BD-J对象包含‘应用管理表’。BD-J对象内的‘应用管理表’是让再现装置执行以标题为生存区间的应用信令的表。应用管理表包含在对应于BD-J对象的标题变为当前标题时、确定应动作的应用的‘应用识别符’与‘控制代码’。将由应用管理表规定生存区间的BD-J应用具体称为‘BD-J应用’。控制代码在设定为AutoRun的情况下,表示将该应用加载到堆存储器上自动启动,在设定为Present的情况下,表示将该应用加载到堆存储器上之后,等待从其它应用的调用,再启动。另一方面,在BD-J应用中,存在即便标题终止其动作也不终止的应用。将这种应用称为“标题无边界应用”(title unboundaryapplication)。
相当于该Java(注册商标)应用实体的是BDMV目录之下的JAR目录中存储的Java(注册商标)档案文件(YYYYY.jar)。
应用例如是Java(注册商标)应用,由加载到虚拟机的堆区域(也称为工作存储器)上的一个以上xlet程序构成。由加载到该工作存储器上的xlet程序和数据构成应用。
在‘PLAYLIST目录’中,存在赋予扩展符mpls的播放列表信息文件(xxxxx.mpls[“xxxxx”可变,扩展符“mpls”固定])。
在‘CLIPINF目录’中,存在赋予扩展符clpi的clip信息文件(xxxxx.clpi[“xxxxx”可变,扩展符“clpi”固定])。
将构成以上目录中存在的文件的盘区记录在非AV数据区域中。
‘STREAM目录’是存储流文件的目录,在该目录中,以xxxxx.m2ts([“xxxxx”可变,扩展符“m2ts”固定])的形式存储流文件。
上述文件形成于划分区域中物理上连续的多个扇区上。划分区域由‘记录文件组描述符的区域’、‘记录末端描述符的区域’、‘ROOT目录区域’、‘BDMV目录区域’、‘JAR目录区域’、‘BDJO目录区域’、‘PLAYLIST目录区域’、‘CLIPINF目录区域’、‘STREAM目录区域’构成,是由文件***访问的区域。下面说明这些区域。
‘文件组描述符’包含指示目录区域中记录ROOT目录文件入口的扇区的逻辑块序号(LBN)。‘末端描述符’表示文件组描述符的末端。
下面,说明目录区域的细节。上述多个目录区域均具有共同的内部构成。即,‘目录区域’由‘文件入口’、‘目录文件’和‘下位文件的文件记录区域’构成。
‘文件入口’包含‘描述符标签’、‘ICB标签’和‘分配描述符’。
‘描述符标签’是表示自身是文件入口的标签。
‘ICB标签’表示涉及文件入口自身的属性信息。
‘分配描述符’包含表示目录文件记录位置的逻辑块序号(LBN)。以上是对文件入口的说明。接着说明目录文件的细节。
‘目录文件’包含‘对下位目录的文件识别描述符’和‘下位文件的文件识别描述符’。
‘下位目录的文件识别描述符’是访问位于自身之下的下位目录用的参照信息,由表示该下位目录的识别信息、该下位目录的目录名长度、表示将下位目录的文件入口记录在哪个逻辑块序号中的文件入口地址、和该下位目录的目录名构成。
‘下位文件的文件识别描述符’是访问位于自身之下的文件用的参照信息,由表示该下位文件的识别信息、该下位文件名的长度、表示将下位文件的文件入口记录在哪个逻辑块序号中的文件入口地址、和下位文件的文件名构成。
由于这些目录的目录文件中的文件识别描述符中示出将下位目录和下位文件的文件入口记录在哪个逻辑块中,所以若跟踪该文件识别描述符,则可从ROOT目录的文件入口到达BDMV目录的文件入口,另外,可从BDMV目录的文件入口到达PLAYLIST目录的文件入口。同样,也可到达JAR目录、BDJO目录、CLIPINF目录、STREAM目录的文件入口。
所谓‘下位文件的文件记录区域’是记录某个目录之下的下位文件实体的区域,记录对该下位文件的‘文件入口’和一个以上的‘盘区’。
构成本申请主题的流文件是该文件归属的目录的目录区域内存在的文件记录区域,通过跟踪目录文件中的文件识别描述符和文件入口中的分配识别符,可访问。
以上是对记录介质内部构成的说明。下面,说明图58和图59所示记录介质的做法、即记录方法的方式。
本实施方式的记录方法不仅是实时制作上述AV文件、非AV文件,并直接写入AV数据记录区域、非AV数据记录区域中这样的实时记录,还包含事先制作应记录在卷区域中的位流的整体像,根据该位流制作母盘,通过压制该母盘,批量生产光盘等预格式记录。本实施方式的记录介质由基于实时记录的记录方法和基于预格式记录的记录方法确定。
图60表示记录方法的处理步骤。步骤S101中,记录装置执行动态图像、声音、字幕、菜单等数据素材的输入,在步骤S102中,数字化数据素材后进行压缩编码,进行按照MPEG标准的编码,得到PES。在步骤S103中,复用PES,生成对应的clip信息,在步骤S104中,将AVclip与clip信息分别存储在不同的文件中。
在步骤S105中,制作规定AVclip的再现路径的播放列表、规定使用播放列表的控制步骤的程序、对其的管理信息,在步骤S106中,将AVclip、clip信息、播放列表、程序文件、其它管理信息写入记录介质中。
图61表示AV文件写入工序的处理步骤。
在步骤S401中,生成xxxxx.ssif,在记录装置的存储器上制作文件入口。步骤S402是能否确保空的连续扇区区域的判定。若能确保,则在步骤S403中,在空的连续扇区区域中,对应于EXT2[i]写入构成从属视角数据块的源数据包串,之后,执行步骤S404~步骤S408。在不能确保的情况下,在步骤S409中进行例外处理之后,终止记录方法。
步骤S404~步骤S408构成重复步骤S404~步骤S406、步骤S408的处理、直到步骤S407判定为否的循环。
步骤S405在空的连续扇区区域中,对应于EXT1[i]写入构成基本视角数据块的源数据包串。步骤S406将表示写入源数据包串的开头地址和连续长度的分配识别符追记到文件入口中,作为盘区登记。与之相伴,将指示所写入的源数据包串的开头源数据包序号的盘区开始点信息追记到clip基础信息、clip从属信息内的元数据中。
步骤S407规定循环的终止条件,进行基本视角数据块、从属视角数据块中是否存在未写入的源数据包的判定。若存在,则移动到步骤S408,继续循环。若不存在,则移动到步骤S410。
步骤S408是是否存在连续扇区区域的判定,若存在,则移动到步骤S403,若不存在,则返回到步骤S402。
在步骤S410中,关闭xxxxx.ssif,将文件入口写入记录介质中。在步骤S411中,生成xxxxx.m2ts,在存储器中生成xxxxx.m2ts的文件入口。在步骤S412中,将表示文件2D中固有的基本视角数据块的开头地址和连续长度的分配描述符追记到xxxxx.m2ts的文件入口中。在步骤S413中,关闭xxxxx.m2ts,写入文件入口。
步骤S404是EXTSS+EXT2D的范围内是否存在长跳跃发生地点的判定。设这里的长跳跃发生地点是层交界。在EXTSS+EXT2D的范围内存在层交界的情况下,在步骤S420中,复制基本视角数据块,写入基本视角数据块B[i]ss与基本视角数据块B[i]2D,直到紧挨着长跳跃发生地点的之前,然后,移动到步骤S406。这些构成文件2D的盘区、文件基础的盘区。
在利用实时记录技术实现记录方法的情况下,执行该记录方法的记录装置实时制作AVclip,记录在BD-RE或BD-R、硬盘、半导体存储卡中。
此时,AVclip可以是通过记录装置对模拟输入信号进行实时编码而得到的TS,也可以是记录装置划分数字输入的TS而得到的TS。执行实时记录的记录装置具备编码视频信号后得到视频流的视频编码器、编码音频信号后得到音频流的音频编码器、复用视频流音频流等得到MPEG2-TS的复用器、和将构成MPEG2-TS形式的数字流的TS数据包变换为源数据包的源打包器,将变换为源数据包形式的MPEG2数字流存储在AVclip文件中,写入BD-RE、BD-R等中。与写入数字流一起地,记录装置的控制部还进行在存储器上生成clip信息或播放列表信息的处理。具体而言,当用户请求录制处理时,控制部在BD-RE、BD-R上生成AVclip的流文件和clip信息文件。
另外,若从由装置外部输入的TS中检测视频流中GOP的开头位置,或由编码器生成视频流的GOP,则记录装置的控制部取得该GOP中位于开头的内部图片(intra picture)的PTS与存储l该GOP开头部分的源数据包的数据包序号,将该PTS和数据包序号的组作为EP_PTS入口和EP_SPN入口的组,追记到clip信息文件的入口映射中。之后,每当生成GOP时,都将EP_PTS入口和EP_SPN入口的组追记到clip信息文件的入口映射中。此时,在GOP的开头是IDR图片的情况下,将设定为“打开”的is_angle_change标记追加到EP_PTS入口和EP_SPN入口的组中。在GOP的开头不是IDR图片的情况下,将设定为“关闭”的is_angle_change标记追加到EP_PTS入口和EP_SPN入口的组中。
另外,clip信息文件中流的属性信息根据应记录的流的属性来设定。如上所述,若生成AVclip、clip信息后写入BD-RE、BD-R中,则经该clip信息内的入口映射,生成定义再现路径的播放列表信息,写入BD-RE、BD-R中。通过在实时记录技术中执行这种处理,可在BD-RE、BD-R上得到AVclip——clip信息——播放列表信息这样的阶层构造。
以上是执行基于实时记录的记录方法的记录装置。下面,说明基于预格式记录的记录方法。
基于预格式记录的记录方法是包含创作行程的光盘制造方法。
光盘的制造方法包含创作步骤、签名步骤、媒体密钥取得步骤、媒体密钥加密步骤、物理格式步骤、识别符埋入步骤、原盘制作(mastering)步骤、复制(replication)步骤。图62表示记录介质的制造方法。图62(a)的创作步骤S201制作表示光盘卷区域整体像的位流。
签名步骤S202在光盘的制造中对AACS LA进行签名请求。具体而言,抽取位流的一部分,发送至AACS LA。这里,AACS LA是管理涉及下一代数字家电设备中著作物保护技术的许可证的团体。使用创作装置进行光盘创作的创作地点和使用原盘制作(mastering)装置执行原盘制作的原片制作地点从AACS LA接受许可证的提供。另外,管理媒体密钥、无效化信息。之后,取得从AACS LA签名位流的一部分。
媒体密钥取得步骤S203从AACS LA取得媒体密钥。媒体密钥不总使用固有的媒体密钥,而是当此前制造的光盘张数到达规定张数时,更新为新的媒体密钥。通过更新媒体密钥,可排除特定的制造商或设备,即便万一加密密钥被破解,也可通过使用无效化信息来无效化其自身。
媒体密钥加密步骤S204使用由媒体密钥取得步骤取得的媒体密钥,加密位流加密中使用的密钥。
物理格式步骤S205对位流执行物理格式化。
识别符埋入步骤S206将不能由一般设备检测的唯一识别符作为电子水印嵌入收录在光盘中的位流中。由此,可防止通过非法原盘制作来盗版批量生产。
原盘制作步骤S207制作光盘的母盘。首先,在玻璃基板上形成光抗蚀剂层,对该光抗蚀剂层对应于期望的槽(groove)或坑(pit)照射激光进行曝光,实施显影处理。该槽或坑表示8-16调制后的位流的各位值。之后,以利用这种激光切割形成对应于槽或坑的凹凸的光抗蚀剂为基础,制作光盘的母盘。
复制步骤S208使用光盘的母盘,大量生产作为其复制的光盘。
图62(b)表示创作步骤的处理步骤。
步骤S301是决定BD-ROM的标题构造的工序。由此,制作标题构造信息。所谓标题构造信息是使用树构造来规定BD-ROM中的再现单位关系、例如标题、电影对象、BD-J对象、播放列表间的关系的信息。具体而言,标题构造信息规定对应于要制作的BD-ROM的‘盘名’的节点、对应于该BD-ROM中可从Index.bdmv再现的‘标题’的节点、对应于构成该标题的‘电影对象和BD-J对象’的节点、从该电影对象和BD-J对象再现的‘播放列表’的节点,通过用边缘(边)连结这些节点,规定标题、电影对象、BD-J对象、播放列表间的关系。
步骤S302是进行标题中利用的动态图像、声音、静止图像、字幕信息的输入的工序。
步骤S303是通过对标题构造信息实施根据经由GUI的用户操作的编辑处理来制作BD-ROM脚本数据的工序。这里,所谓BD-ROM脚本数据是在AV流再现中使再现装置执行以标题为单位的再现的信息,BD-ROM中定义为索引表、电影对象、播放列表的信息相当于脚本。在BD-ROM脚本数据中包含构成流的素材信息、表示再现区间、再现路径的信息、菜单画面配置、从菜单的转变信息等。
步骤S304是编码工序,根据BD-ROM脚本数据,进行编码,得到PES流。
步骤S305是根据BD-ROM脚本数据的复用工序,利用该工序,复用PES流,得到AVclip。
在步骤S306中,得到用于记录到BD-ROM的数据库。这里所谓的数据库是所述BD-ROM定义的索引表、电影对象、播放列表、BD-J对象等的总称。
在步骤S307中,将Java(TM)程序、复用工序得到的AVclip、BD-ROM数据库设为输入,按基于BD-ROM的文件***格式制作AV文件、非AV文件。
下面,说明创作步骤作业中使用的记录装置。这里说明的记录装置为了发布电影内容而设置在制作电影公司中,供创作人员使用。根据来自创作人员的操作,生成根据MPEG标准压缩编码的数字流和记述如何再现电影标题的脚本,生成包含这些数据的面向BD-ROM的卷位流,记录在用于传递给压制地点的记录介质中,上述是本发明的记录装置的使用方式。
图63表示记录装置的内部构成。如图所示,记录装置由视频编码器501、素材制作部502、脚本生成部503、BD程序制作部504、复用处理部505、格式处理部506构成。
视频编码器501根据MPEG4-AVC或MPEG2等压缩方式来编码左视角的非压缩位图等图像图象、与右视角的非压缩位图等图像图象,制作左视角视频流与右视角视频流。此时,右视角视频流在左视角视频流的显示时刻与对应的帧利用图片间预测编码来编码。在该图片间预测编码处理过程中,从左视角的图象(image)与右视角的图象的运动矢量中,抽取3D影像时的进深信息,写入帧进深信息存储部501a中。视频编码器501为了进行利用图片间相关特性的图像压缩,以8×8或16×16的宏块单位抽取运动矢量,进行图像压缩。
在以宏块抽取运动矢量的处理中,将背景中存在家、前景中存在人的动态图像设为运动矢量抽取对象。此时,用左眼图像与右眼图像进行图片间预测。此时,虽然在‘家’图象的部位未检测到运动矢量,但在‘人’的部位检测到运动矢量。
抽取检测到的运动矢量,制作显示3D影像时的帧单位的进深信息。进深信息例如考虑采用与具有8位深度的帧的分辨率相同的图象。
素材制作部502制作音频流、PG流、IG流等各流,写入音频流存储部502a、IG流存储部502b、PG流存储部502c中。
在制作音频流中,素材制作部502通过根据AC3等压缩方式来编码非压缩的LinearPCM声音等,制作音频流。此外,素材制作部502还以包含字幕图象与显示定时、和淡入/淡出等字幕效果的字幕信息文件为基础,制作作为根据BD-ROM标准的PG流的格式的PG流。素材制作部502以菜单中使用的位图图象、和记载了菜单中配置的按钮转变或显示效果的菜单文件为基础,制作作为根据BD-ROM标准的菜单画面的格式的IG流。
脚本生成部503根据素材制作部502制作的各流的信息或来自创作人员的经由GUI的操作,以BD-ROM格式来制作脚本。这里所称的脚本相当于索引文件、电影对象文件、播放列表文件等文件。另外,脚本生成部503制作记述了实现复用处理用的各AVclip由何种流构成的参数文件。这里制作的索引文件、电影对象文件、播放列表文件等文件为第1实施方式和第2实施方式中说明的数据构造。
BD程序制作部504通过GUI等用户接口,根据来自用户的请求,制作BD程序文件的源代码,制作BD程序。此时,BD程序文件的程序为了设定GFX平面的进深,可利用视频编码器501输出的进深信息。
复用处理部505复用BD-ROM脚本数据中记述的左视角视频流、右视角视频流、视频、音频、字幕、按钮等多个流,制作MPEG2-TS形式的AVclip。此时,与AVclip成对的clip信息文件也同时制作。
复用处理部505使自身生成的入口映射与表示AVclip中包含的每个流的声音属性、影像属性等的属性信息成对,制作clip信息文件。clip信息文件的构成为此前各实施方式中说明的数据构造。
格式处理部506配置制作脚本生成部503生成的BD-ROM脚本数据、BD程序制作部504制作的BD程序文件、复用处理部505生成的AVclip或clip信息文件、或基于BD-ROM标准的格式下的文件或目录,利用作为基于BD-ROM标准的文件***的UDF格式来制作盘图象,将表示盘图象的位流写入BD-ROM位流存储部507中。
另外,此时利用视频编码器501输出的进深信息,制作PG、IG、辅视频流的3D元数据。不与3D影像物体重合地自动设定图象在画面上的配置,进深不重合地调整偏移值。如此制作的盘图象的文件布局由此前说明的文件布局的数据构造设定。将生成的盘图象变换为BD-ROM压制(press)用数据,对该数据进行压制工序,可制造BD-ROM。
(第9实施方式)
在本实施方式中,说明统一此前实施方式中说明的再现装置的功能后的2D/3D再现装置的内部构成。
图64表示2D/3D再现装置的构成。2D/3D再现装置由BD-ROM驱动器1、读取缓冲器2a、读取缓冲器2b、2c、ATC序列复原部2c、***目标解码器4、平面存储器组5a、平面合成部5b、HDMI发送接收部6、再现控制部7、管理信息存储器9、寄存器组10、程序执行部11、程序存储器12、HDMV模块13、BD-J平台14、中间件15、模式管理模块16、用户事件处理部17、本地存储器18、非易失性存储器19构成。
BD-ROM驱动器1与2D再现装置一样,根据来自再现控制部7的请求,从BD-ROM盘中读出数据,但将从BD-ROM盘读出的AVclip从读取缓冲器2a传送到读取缓冲器2b。
当再现3D影像时,从再现控制部7发送指示意在以盘区单位交互读出基本视角数据块与从属视角数据块的读出请求。BD-ROM驱动器1将构成基本视角数据块的盘区读出到读取缓冲器2a,将构成从属视角数据块的盘区读出到读取缓冲器2b。当再现3D影像时,由于需要同时读入基本视角数据块与从属视角数据块双方,所以要求2D再现装置的BD-ROM驱动器以上的速度性能。
读取缓冲器2a是存储BD-ROM驱动器1读入的基本视角数据块数据的、由双端口存储器等构成的缓冲器。
读取缓冲器2b是存储BD-ROM驱动器1读入的从属视角数据块数据的、由双端口存储器等构成的缓冲器。
ATC序列复原部2c是用于将对读取缓冲器的数据输入源切换为BD-ROM驱动器1或本地存储器18之一的开关。
***目标解码器4对读出到读取缓冲器2a的源数据包与读出到读取缓冲器2b的源数据包进行解复用处理,进行流的解码处理。
平面存储器组5a由多个平面存储器构成。在平面存储器中存在左视角视频平面、右视角视频平面、辅视频平面、IG平面、PG平面等平面存储器。
平面合成部5b进行此前的实施方式中说明的平面合成。在向电视等输出的情况下,进行与3D方式一致的输出。在需要利用快门眼镜交互再现左眼图象、右眼图象的情况下,原样输出,例如在向双凸透镜电视输出的情况下,准备临时缓冲器,将先传输的左眼图象存储在临时缓冲器中,在传输右眼图象后,同时输出。
HDMI发送接收部6例如根据HDMI标准(HDMI:High DefinitionMultimedia Interface:高清多媒体接口),执行第1实施方式所述的认证阶段、协商阶段。在协商阶段中,可从电视接收涉及是否对应于立体观察显示的信息、涉及可平面显示的分辨率的信息、涉及可立体显示的分辨率的信息。
再现控制部7包含再现引擎7a、再现控制引擎7b,若从程序执行部11等命令再现3D播放列表,则确定3D播放列表中构成再现对象的播放项目的基本视角数据块,确定与该播放项目同步再现的3D用子路径的子播放项目的从属视角数据块。之后,解释对应的clip信息文件的入口映射,并根据表示先从哪个盘区开始配置盘区的盘区开始种类,请求BD-ROM驱动器1,以从再现开始地点起,交互读出基本视角数据块的盘区与从属视角数据块的盘区。当再现开始时,在将最初的盘区读出到读取缓冲器2a或读取缓冲器2b之后,开始从读取缓冲器2a与读取缓冲器2b向***目标解码器4传输。
再现引擎7a执行AV再现功能。所谓AV再现功能是从DVD再现装置、CD再现装置沿袭的功能群,是再现开始、再现停止、暂时停止、暂时停止的解除、静止图像功能的解除、用立即值指定再现速度的快进、用立即值指定再现速度的后退、声音切换、辅视频用图片数据切换、角度切换等处理。
再现控制引擎7b对应于来自于作为HDMV模式动作主体的命令翻译器、作为BD-J模式动作主体的Java平台的函数调用,执行播放列表的再现功能。所谓播放列表再现功能是指根据构成当前播放列表的当前播放列表信息、当前clip信息来执行上述AV再现功能中的再现开始或再现停止。
管理信息存储器9是用于存储当前播放列表信息或当前clip信息的存储器。所谓当前播放列表信息是指可从BD-ROM或内置介质驱动器、可移动介质驱动器访问的多个播放列表信息中构成当前处理对象的播放列表信息。所谓当前clip信息是指可从BD-ROM或内置介质驱动器、可移动介质驱动器访问的多个clip信息中构成当前处理对象的clip信息。
再现状态/设定寄存器(Player Status/Setting Register)组10除此前的实施方式中描述的再现状态寄存器、再现设定寄存器外,还包含可存储程序文件利用的任意信息的通用寄存器。
程序执行部11是执行BD程序文件中存储的程序的处理器。根据存储的程序进行动作,执行下面的控制。(1)对再现控制部7命令播放列表再现。(2)对***目标解码器传输菜单或游戏的图形用的PNG、JPEG,显示在画面中。这些控制可对应于程序的构造来自由进行,如何控制由基于创作工序的BD-J应用编程工序来决定。
程序存储器12是存储当前动态脚本、提供给作为HDMV模式动作主体的HDMV模块、作为BD-J模式动作主体的Java平台所进行的处理的存储器。所谓当前动态脚本是指BD-ROM中记录的Index.bdmv、BD-J对象、电影对象中变为当前执行对象的对象。另外,程序存储器12包含堆存储器。
堆存储器是配置***应用的字节代码、BD-J应用的字节代码、***应用所利用的***参数、BD-J应用所利用的应用参数的堆栈区域。
HDMV模块13是构成HDMV模式动作主体的DVD虚拟播放机,构成HDMV模式的执行主体。该模块具备命令翻译器,通过解读后执行构成电影对象的导航命令,执行HDMV模式的控制。导航命令由于用与DVD-Video类似的语法记述,所以通过执行这种导航命令,可实现DVD-Video类似的再现控制。
BD-J平台14是作为BD-J模式动作主体的Java平台,安装全部Java2Micro_Edition(J2ME)Personal Basis Profile(PBP1.0)与GloballyExecutable MHP specification(GEM1.0.2)for package media targets,由类加载器、字节代码翻译器、应用管理器构成。
类加载器是***应用之一,通过从JAR档案文件中存在的类文件中读出字节代码,存储在堆存储器31中,执行BD-J应用的加载。
字节代码翻译器是所谓的Java虚拟机,将构成堆存储器中存储的BD-J应用的字节代码、构成***应用的字节代码变换为本地代码(native code),让MPU执行。
应用管理器是***应用之一,根据BD-J对象内的应用管理表,执行启动BD-J应用或终止BD-J应用等BD-J应用的应用信令。以上结束对BD-J平面部的内部构成的说明。
中间件15是嵌入式软件用的操作***,由内核、设备驱动器构成。内核对应于来自BD-J应用的应用编程接口(API)的调用,将再现装置特有的功能提供给BD-J应用。另外,实现利用中断信号来启动中断处理部等的硬件控制。
模式管理模块16保持从BD-ROM或内置介质驱动器、可移动介质驱动器读出的Index.bdmv,进行模式管理和分支控制。所谓基于模式管理模块的模式管理是让BD-J平台22、HDMV模块中的哪个执行动态脚本这样的模块的分配。
用户事件处理部17响应于通过遥控器的用户操作,委托程序执行部16或再现控制部7执行处理。例如,在用遥控器按下按钮的情况下,委托程序执行部16执行该按钮中包含的命令。例如,在用遥控器按下快进、后退按钮的情况下,命令再现控制部7对当前再现的播放列表的AVclip执行快进、后退处理。
本地存储器18具备用于访问硬盘的内置介质驱动器、用于访问半导体存储卡的可移动介质驱动器,用于保存下载的追加内容或应用所使用的数据等。对每个BD-ROM划分追加内容的保存区域,另外,对每个应用划分应用在数据保持中可使用的区域。
非易失性存储器19是可读写的存储器等记录介质,是即便不供电也可保持记录内容的介质,例如闪式存储器、FeRAM等。其用于寄存器组10中的存储内容的备份。
下面,说明***目标解码器4和平面存储器组5a的内部构成。图65表示***目标解码器4和平面存储器组5a的内部构成。如图所示,***目标解码器4和平面存储器组5a由ATC计数器21、源去包器22、PID滤波器23、STC计数器24、ATC计数器25、源去包器26、PID滤波器27、主视频解码器31、左视角视频平面32、右视角视频平面33、辅视频解码器34、辅视频平面35、PG解码器36、PG平面37、IG解码器38、IG平面39、主音频解码器40、辅音频解码器41、混频器42、绘制引擎43、GFX平面44、绘制存储器45构成。
主视频解码器31解码左视角视频流,将作为解码结果的非压缩视频流写入左视角视频平面32。
左视角视频平面32例如是可以1920×2160(1280×1440)的分辨率来存储图片数据的平面存储器。
右视角视频平面33例如是可以1920×2160(1280×1440)的分辨率来存储图片数据的平面存储器。
辅视频解码器34具有与主视频解码器一样的构成,进行输入的辅视频流的解码,在显示时刻(PTS)定时将图片写出到辅视频平面。
辅视频平面35输出从***目标解码器4解码辅视频流后的辅视频用图片数据用数据。
PG解码器36从由源去包器输入的多个TS数据包中抽取PG流,进行解码,在显示时刻(PTS)定时将非压缩图形数据写出到PG平面。
PG平面37中存储通过解码PG流得到的非压缩图形对象。
IG解码器38从由源打包器输入的多个TS数据包中抽取IG流,进行解码,在显示时刻(PTS)定时将非压缩图形对象写出到IG平面。
IG平面39中存储通过解码IG流得到的图形数据。
主音频解码器40解码主音频流。
辅音频解码器41解码辅音频流。
混频器42合成主音频解码器40的解码结果与辅音频解码器41的解码结果。
绘制引擎43具备Java2D、OPEN-GL等基础软件,根据来自BD-J应用的请求,进行JPEG数据/PNG数据的解码,得到图象或控件(widget),写入IG平面和背景图形平面中。通过解码JPEG数据得到的图像数据变为GUI壁纸,写入背景图形平面中。通过解码PNG数据得到的象素数据写入IG平面中,可实现伴随动画的按钮显示。通过解码这些JPEG数据/PNG数据得到的图象或控件用于BD-J应用受理标题选择或字幕选择、声音选择用的菜单、或在使流再现联动型游戏动作时构成GUI部件。另外,当BD-J应用访问WWW站点时,用于构成该WWW站点的浏览画面。
GFX平面44是解码JPEG、PNG等图形数据后写入的平面存储器。
绘制存储器45是读入应由绘制引擎解码的PNG数据、JPEG数据的存储器。在该图象存储器中,当BD-J应用执行现场再现(live playback)模式时,确保高速缓冲区域。所谓现场再现模式是使网络上存在的WWW站点的浏览画面与基于BD-ROM的流再现组合,高速缓冲区域是用于高速缓冲现场再现模式时的当前浏览画面和之前浏览画面的高速缓冲存储器,其中存储非压缩PNG数据或非压缩JPEG数据、即构成所述浏览画面的数据。
如上所述,根据本实施方式,可将包含此前的实施方式中描述的特征的记录介质实现为BD-ROM,另外,可将包含此前的实施方式中描述的特征的再现装置实现为BD-ROM再现装置。
(第10实施方式)
在本实施方式中,说明寄存器组的细节。
寄存器组由多个播放器状态寄存器、多个播放器设定寄存器构成。各个播放器状态寄存器、播放器设定寄存器均是长度为32比特(位)的寄存器,向32比特长度的寄存器分别提供寄存器序号,使用该寄存器序号来确定应访问的寄存器。
将构成每个寄存器(32比特)的各比特数据的比特位置称为b0-b31。将最上位比特称为b31,将最下位比特称为b0。另外,32比特中从第bx比特的比特位置到第by比特的比特位置的比特范围用[bx:by]这样的标记来表现。
将规定寄存器序号的播放器设定寄存器/播放器状态寄存器中存储的32比特长度的比特串、即任意比特范围[bx:by]的比特的值处理为程序进行动作中动作***的环境变量(称为***参数或播放器变量)。进行再现控制的程序可通过***性能(property)或应用编程接口(API),取得***参数。另外,只要未特别禁止,程序可改写这些播放器状态寄存器、播放器设定寄存器的值。对于BD-J应用,***参数的取得或改写的要件是由JAR档案文件中的允许管理表来提供正当权限。
播放器状态寄存器是当再现装置的MPU进行算术运算或比特运算时、存储构成其被运算符的数值用的硬件资源,是在装填光盘时设定初始值,另外,在当前播放项目变更等再现装置的状态变化时,判定该存储值的有效性的寄存器。作为该存储值,有当前的标题序号、当前的播放列表序号、当前的播放项目序号、当前的流序号、当前的章节序号等。由于在光盘装填时存储初始值,所以该存储值是暂时的,若退出光盘或断开再现装置的电源,则该存储值丧失有效性。
播放器设定寄存器与播放器状态寄存器在实施电源对策上不同。由于实施电源对策,所以在再现装置的电源断开时,将该存储值保存到非易失性存储器中,当再现装置的电源接通时,恢复该存储值。将再现装置的制造主体(制造商)在再现装置出厂时设定的再现装置的各种配置、用户根据设置步骤设定的各种配置、以及再现装置与TV***或音响、放大器等家庭影院***的设备连接时、利用与构成连接对象的设备的连接判断出的对方侧设备的能力设定在播放器设定寄存器中。
图66是描绘寄存器组10的内部构成与再现控制引擎7b的图。
图66左侧示出寄存器组10的内部构成。右侧示出再现控制引擎7b的内部构成。
分配了各个寄存器序号的播放器状态寄存器、播放器设定寄存器表示是什么样的寄存器。
PSR1是音频流用流序号寄存器,存储当前音频流序号。
PSR2是PG流用流序号寄存器,存储当前PG流序号。
PSR4通过设定为1~100的值,表示当前的标题序号。
PSR5通过设定为1~999的值,表示当前的章节序号,通过设定为0xFFFF,表示再现装置中章节序号无效。
PSR6通过设定为0~999的值,表示当前播放列表的序号。
PSR7通过设定为0~255的值,表示当前播放项目的序号。
PSR8通过设定为0~0xFFFFFFFF的值,使用45KHz的时间精度来表示当前的再现时刻(当前PTM)。以上是对PSR的说明。
PSR10是IG流用的流序号寄存器,存储当前的IG流序号。PSR21表示用户是否想执行立体观察再现。
PSR22表示输出模式值。
PSR23是“Display Capability for video”的设定。其表示作为再现装置连接对象的显示装置中是否存在执行立体观察再现的能力。
PSR24是“Player Capability for 3D”的设定。其表示再现装置中是否存在执行立体观察再现的能力。
另一方面,在再现控制引擎7b的内部,具备过程执行部8,其参照寄存器组10中的PSR4、PSR6、PSR21、PSR23与管理信息存储器9中的当前播放列表信息的流选择表,唯一确定当前播放列表中的输出模式。其中的Player Capability for 3D是指涉及再现装置3D再现的能力全部,所以有时简单表述为“3D-Capability”
PSR23规定输出模式,如图67所示规定其状态转变的选择模型。
图67表示输出模式选择模型的状态转变。该选择模型中存在两个一般状态。椭圆是该一般状态,即示意地描述作为输出模式值可取的值的“Invalid”、“valid”的状态。Invalid表示输出模式无效,Valid表示输出模式有效。
只要不产生状态转变,则维持一般状态。状态转变有播放列表再现的开始、由导航命令或BD-J应用请求的输出模式变化、向BD-J标题的跳跃。当发生状态转变时,执行用于获得输出模式偏好的过程。
图中的箭头jm1、jm2、jm3...jm12示意地表示构成状态转变的触发的事件。本图中的状态转变中有以下方面。
所谓‘Load a disc’(加载盘)是指装填BD-ROM的状态。
所谓‘Start Presentation’(开始演示)在HDMV模式下是指播放列表的再现开始(start Playlist playback)。在BD-J模式下意味着向BD-J标题的分支。这是因为在BD-J模式下分支到BD-J标题的情况下,必然开始播放列表的再现。‘Jump to BD-J title’(跳到BD-J标题)意味着向BD-J标题的分支。具体而言,是指索引表中对应于BD-J应用的标题(BD-J标题)变为当前标题。
‘Start Playlist Playback’(开始播放列表再现)是指将意味着某播放列表的播放列表序号设定给PSR,将播放列表信息作为当前播放列表信息读出到存储器。
所谓‘Change Output Mode(改变输出模式)是指通过BD-J应用调用API来变化输出模式。所谓‘Terminate presentation’(终止演示)在HDMV模式的情况下是指播放列表的再现终止,在BD-J模式的情况下,是指从BD-J标题跳跃到索引表中对应于电影对象的标题(HDMV标题)。
当加载盘时,输出模式的状态转变到暂时的状态“Initialization”(初始化)。输出模式选择的状态在暂时转变到“Initialization state”之后,转变到invalid state。
Output Mode Selection的状态维持在Invalid,直到再现开始(StartPresentation)变为有效。在HDMV模式下,“Start Presentation”意味着开始播放列表的再现。在BD-J模式下,“Start Presentation”意味着开始BD-J标题的再现,BD-J应用开始某动作。不一定意味着开始播放列表的再现。
当Start Presentation变为有效时,输出模式转变到作为暂时状态的“Procedure when playback condition is changed”(当再现条件改变时的过程)。
输出模式根据Procedure when playback condition is changed的结果,转变到Valid。若输出模式有效、Start Presentation终止,则状态转变到Invalid。
内容提供者为了设定成输出模式偏好,在播放列表再现开始之前,需要执行电影对象中的导航命令。当执行电影对象中的导航命令时,该模型变为Invalid。
图68表示Initialization的处理步骤。
步骤S501是盘未结合(unbound)BD-J应用是否正在动作的判定,步骤S502是是否PSR23中的Stereoscopic Display Capability表示“有Capability”、Index.bdmv中的Initial_output_mode信息是否表示“立体观察输出模式”的判定。
若步骤S501为是,则在步骤S503中维持当前的输出模式。若步骤S501为否、步骤S502为是,则在步骤S4中将PSR22设定为立体观察输出模式。若步骤S501为否、步骤S502为否,则在步骤S5中将PSR22中的输出模式设定为2D输出模式。
图69表示Procedure when playback condition is changed的处理步骤。步骤S511是PSR22中的输出模式是否是2D输出模式的判定,步骤S513是是否PSR23中的Stereoscopic Display Capability表示“有Capability”、且播放列表中存在扩展流选择表的判定。
若步骤S511为是,则在步骤S512中,不使当前输出模式变化。即便步骤S511为否、步骤S513为是,也不使当前输出模式变化(步骤S512)。若步骤S511为否、步骤S513为否,则使当前输出模式变化为2D输出模式(步骤S514)。
在开始播放列表再现中应留意的是,可由各个播放项目再现的PES流由各个播放项目中的流选择表规定。由此,在开始当前播放项目再现时,首先需要从当前播放项目的流选择表中允许再现的PES流中选择最适合播放项目再现的PES流。将该选择步骤称为“流选择过程”。
下面,说明3D再现模式实现用的播放器设定寄存器的比特分配。为了实现3D再现模式而使用的寄存器是21号、22号、23号、24号寄存器,表示这些寄存器中的比特分配的图是图70。图70表示3D再现模式实现用的播放器设定寄存器的比特分配。
图70(a)表示PSR21的比特分配。该图中,最下位比特b0是输出模式偏好,通过设定为0b,表示是2D输出模式,通过设定为1b,表示是立体观察输出模式。导航命令或BD-J应用不能改写该PSR21的值。
图70(b)表示PSR22的比特分配。
PSR22中的b0表示当前的输出模式。若输出模式变化,则再现装置中的视频输出需要对应变化。输出模式的值需要由选择模型来控制。
图70(c)表示PSR23的比特分配。如图所示,PSR23中的b0表示连接的TV***中的立体观察显示能力。具体地,通过设定为“0”,表示连接的TV***不可立体观察再现,通过设定为“1”,表示可立体观察再现。
在再现装置中支持与显示装置进行协商的接口的情况下,在开始再现之前,自动设定这些值。在不自动设定这些值的情况下,由用户设定。
图70(d)表示PSR24的比特分配。如图所示,PSR24中的b0表示再现装置中的立体观察显示能力。立体观察显示能力通过设定为0,表示立体观察再现种类是不能,通过设定为1,表示是能。
如上所述,根据本实施方式,即便有再现装置的状态变化或来自用户的流切换请求,也可保证输出模式的有效性。
(第11实施方式)
本实施方式涉及根据嵌入存储器或中间件的3D元数据来执行平面移位的改良。
图71表示平面合成部的内部构成。由根据嵌入存储器内的3D元数据,裁剪平面中存储的非压缩图片数据、图形数据的裁剪部61a、b、c;根据程序API,裁剪平面中存储的非压缩图形数据的裁剪部61d;由左视角视频平面与右视角视频平面切换输出内容的开关62;和进行平面彼此的合成的加法部63、64、65、66构成。
在平面存储器中,有左视角视频平面、右视角视频平面、辅视频平面、IG平面、PG平面、GFX平面,这些平面按左视角视频平面、右视角视频平面、辅视频平面、IG平面、PG平面、GFX平面的顺序排列。从***目标解码器4以PTS定时向左视角视频平面与右视角视频平面写出影像数据。平面合成部5b选择左视角视频平面与右视角视频平面中以PTS定时写出影像数据一方的平面,传输到与辅视频平面、PG平面、IG平面的重叠处理。
如上所述,根据本实施方式,可根据嵌入存储器或中间件的偏移来执行平面移位。
(第12实施方式)
在本实施方式中,说明在允许3D-Depth方式作为B-D演示模式的情况下,如何构成2D用、3D用内容混合存在的数据或再现装置。
作为前提,设3D盘(2D互换)可由2D再现装置再现。
在3D盘(2D互换)中,关联于2D再现的导航数据构造、流和文件配置条件满足2D盘中的规定。由此,2D再现装置可仅再现2D部分。
另外,即便3D再现装置在切换为2D再现的情况下也可显示2D再现用内容。
3D盘(3D专用)将文件配置条件最佳化为3D,不能由2D再现装置再现。这是因为将3D-LR流复用于1TS,将TS速率提高到2D再现装置中的对应上限以上,用于3D。在2D再现装置再现的情况下,程序转变到警告画面,不转变到3D专用的再现。但是,即便此时,仅第一次播放标题或特定标题也需要对应于2D再现装置。
在切换为2D显示的情况下,设仅显示基本视角影像,无2D用流。
图72表示2D用、3D用内容混合存在的数据或再现装置中的其再现方法。
图72(a)以表形式来表示各种盘中记录的内容的构成与各种再现装置再现的再现方法的关系。图72(a)的横栏表示2D盘、2D互换的3D盘、3D专用的3D盘。横栏表示2D再现装置、3D再现装置。所谓3D对应再现装置是2D再现3D再现均可进行的再现装置。仅记录2D内容的盘即便由3D对应的再现装置再现,也仅显示2D内容。
根据本图的表所示的对应关系,在盘中仅包含3D专用内容的情况下,不对应于3D内容的2D再现装置不能再现。即便有这种盘,也由于盘的形状不能区别2D、3D,所以有时用户错误地用2D再现装置尝试再现3D盘,不再现任何影像、声音,不知因何引起。
为了防止这种情况,考虑包含2D内容、3D内容的混合盘,以使得即便是记录3D内容的盘,也可由2D再现装置再现。混合盘由3D再现装置再现3D内容,由不对应于3D的2D再现装置再现2D内容。
但是,若将2D用AV流、3D用AV流分别记录在盘中,则冗余记录重复内容的数据,需要多余的数据容量。因此,需要如下方法,即共享2D用AV流3D用AV流中共同部分,将数据尺寸充分抑制到需要尺寸,同时无论2D再现装置还是3D再现装置均可再现适当数据。
下面,说明管理这些数据的管理信息。
图72(b)表示索引表的内部构成。图中,在对应于第一次播放标题的入口中记述2D再现装置/3D再现装置共同动作的程序。由此,可保障装填在2D再现装置时的动作。
图73是表示2D/3D切换的状态转变图。
图73左侧表示视频中的状态转变。该图由状态L、状态L+R、状态L+Depth这3个状态构成。
圆记号1的转变表示发生输出段开关切换引起的状态转变。圆记号2的转变表示发生输出段开关切换引起的状态转变。
圆记号3的转变表示由于切换解码的流,所以发生解码器切换引起的状态转变。不保证无缝切换。
图73(b)表示Graphics:字幕图形、绘制字幕图形、菜单图形中的状态转变。
圆记号4的转变表示平面的偏移切换引起的状态转变。
圆记号5的转变表示输出段开关切换引起的状态转变。
圆记号6的转变表示解码的流的切换引起的状态转变。不保证无缝连接。预加载流的切换中断AV。
圆记号7的转变表示解码的流的切换引起的状态转变。不保证无缝连接。
圆记号8的转变表示从L切换到LR、从LR切换到L引起的状态转变。不伴随解码的流的切换。
(第13实施方式)
本实施方式描述3D再现需要的***参数。
从图74至图79是涉及3D再现需要的***参数的说明。
图74表示从属视角的能力、3D-Depth视角的能力。
图75表示用于进一步细地识别3D再现能力的***参数扩展。具体而言,本图的比特分配将[b22:b16]分配给1plane+Offset方式、将[b14:b8]分配给3D-Depth方式、将[b6:b0]分配给3D-LR方式每个,这些比特串中的各比特可对背景图像平面、主视频平面、辅视频平面、文本字幕平面、PG平面、IG平面、Java图形的平面分别表示有无能力。
图76表示识别再现装置是否对应于扩展成3D用的数据构造的数据库识别信息。该数据库信息包含再现装置可对应的应用格式的版本数,构成播放器轮廓(profile)信息。当选择由程序再现的流时,也可用于判定是否处理扩展为3D用的管理数据。
图77表示设定用户显示形式偏好的***参数,在一个盘中包含LR方式或Depth方式等数据时,盘上的程序可以该***参数值为参考,选择包含用户数据的PlayList后开始再现。本图中,3D Presentation Preference通过设定为00b,意味着2D presentation mode。通过设定为01b,意味着3D-LRpresentation mode,通过设定为10b,意味着3D-Depth presentation mode。
图78是表示当前再现中的显示形式的***参数,通过参照该***参数,可判断程序是以2D显示菜单图形等好还是以LR方式显示好等。
图中,3D Presentation Type通过设定为00b,意味着2D presentationmode。通过设定为01b,意味着3D-LR presentation mode,通过设定为10b,意味着3D-Depth presentation mode。
b31至b16的各比特被分配给背景图像的平面存储器、主视频的平面存储器、辅视频的平面存储器、文本字幕的平面存储器、Java Graphics的平面存储器每个,也可对每个方式示出可否3D方式。
说明偏移值的补正。有时适当的偏移值因显示器的大小而不同。因此,再现装置通过对应于显示器来设定适当的偏移值,可在以偏移方式显示字幕图形或菜单图形时,加减该***参数的值,以更适当显示。图79表示存储3D偏移补正值用的比特分配。[b15]表示Offset Type,[b14]表示Direction。[b13、b8]表示3D offset for Right、3D offset for Left。Offset Type通过设定成值0表示立即值指定,表示由图形流规定的偏移值无效。通过设定成值1,表示是对图形流设定的偏移值的补正值。Direction值0表示是负方向,值1表示是正方向。3D offset for Right表示右视角时的偏移,3Doffset for Left表示左视角时的偏移。
该***参数的值也可从盘上的程序提供,此时,可用于对应于场景使图形的深度变化等。
(2D/3D切换用户操作)
说明2D/3D切换用户操作API。图80表示切换2D或3D显示形式的用户操作API。图80(a)的API具有识别切换到哪个方式的变量。该API是用户事件处理部与中间件之间的API。该API中的描述格式是Change3DpresentationType(3D Presentation Type)。作为变量3D PresentationType,可指定00:2D、01:3D-LR、10:3Ddepth之一。
是否允许利用Change3DpresentationTypeAPI可嵌入用户操作屏蔽表中。图80(b)表示在用户操作屏蔽表(UO_mask_table)中记述Change3DpresentationType时的源代码的记述例。
(3D偏移的变更)
说明3D偏移的变更命令。
图81表示Change 3D Offset模式命令的操作代码、操作数。图81上段表示这些操作代码、操作数的比特分配。在该命令中有两个操作数。可向这些操作数指定右视角用偏移、左视角用偏移。
(2D/3D切换命令)
图81下段表示2D/3D切换命令。可向该命令的操作数指定2D、1plane+Offset、3D-LR、3D-Depth之一。
(3D中再现模式的切换)
说明进行3D中再现模式切换用的命令。可利用该命令变更上述***参数的值,切换显示形式。
图82表示Change3DPresentationType命令。图82上段表示比特分配。该命令表示使再现模式变更为b63-b32中的3D Display Type的再现模式。
图82的下段表示Graphics Offset值设定命令的格式。该命令是对某PSR设定3D再现种类(Set 3D Presentation Type to PSRxx),可向操作数指定2D、1plane+Offset模式、3D-LR、3D-Depth之一,作为切换后的模式。
(第14实施方式)
在本实施方式中,说明共享2D用AV流3D用AV流中共同部分并将数据尺寸充分抑制到需要尺寸的方法。
图83表示如何将3模式用的TS存储在文件中。为了从盘中高效读取LR方式所需的数据块与Depth方式所需的数据块,在盘上交互记录左视角用数据块(L)、右视角用数据块(R)与Depth用数据块(D),通过按每个从文件***进行参照,在记录介质上定义交织配置的AVclip的3个流文件。
2D再现用播放列表(2DPIayList)参照包含左视角用数据块(L)的文件,LR方式用播放列表(2D-LRPlayList)参照包含左视角用数据块(L)的AVclip与包含右视角用数据块(R)的AVclip。
说明在盘上交织记录右视角用数据块(R)、左视角用数据块(L)、Depth用数据块(D)时的记录方式。
通过交织配置这些数据块,构成立体观察交织流文件。该立体观察交织流文件构成来自3个文件的交叉参考的对象。第1个文件是仅以左视角用数据块(L)为收录内容的clip1(2D/L)流文件。第2个是仅以右视角用数据块(R)为收录内容的clip2(R)流文件。第3个是仅以Depth用数据块(D)为收录内容的clip3(D)流文件。若实现这种交叉参考,则再现装置在设定成3个再现模式的每个时,只要仅读出对应于自身再现模式的流文件即可。
图83(a)右侧的最上段存在按R、L、D、R、L、D的排列、交织配置左视角用数据块(L)、右视角用数据块(R)、Depth用数据块(D)的数据块的立体观察交织流文件。
下面示出存储clip1(2D/L)、clip2(R)、clip3(D)的3个流文件。通过交叉参考,可知clip1(2D/L)仅存储左视角用数据块(L),clip2(R)仅存储右视角用数据块(R),clip3(D)仅存储Depth用数据块(D)。左侧表示2D、3D-LR模式、3D-Depth模式这3个模式。其间的线表示各模式下使用哪个AVclip的使用关系。
根据该使用关系,可知AVclip1也可在2D、3D-LR模式、3D-Depth模式之一中参照,AVclip2仅可在3D-LR模式中参照,AVclip3仅可在3D-Depth模式中参照。
作为交叉参考的另一方法,考虑将3D-LR模式下需要的左视角用数据块(L)、右视角用数据块(R)打包成一个AVclip的流文件,将3D-Depth模式下需要的左视角用数据块(L)、Depth用数据块(D)打包成一个AVclip的流文件。
图83(b)的右侧表示存储clip1(2D/L)、clip2(LR)、clip3(LD)的3个流文件。通过交叉参考,可知clip1(2D/L)仅存储左视角用数据块(L),clip2(LR)存储左视角用数据块(L)、右视角用数据块(R)的组,clip3(LD)存储左视角用数据块(L)、Depth用数据块(D)的组。
图83(b)的左侧表示2D、3D-LR方式、3D-Depth方式这3个模式。其间的线表示各模式下使用哪个流文件的AVclip的使用关系。
根据该使用关系,可知AVclip1仅可在2D模式下参照,AVclip2仅可在3D-LR模式中参照,AVclip3仅可在3D-Depth模式中参照。
还考虑如下交叉参考的方法,即将左视角用数据块(L)、右视角用数据块(R)、Depth用数据块(D)复用于1TS,从对应于3个再现模式的播放列表参照。
图83(c)的右侧表示复用了左视角用数据块(L)、右视角用数据块(R)、Depth用数据块(D)的TS。左侧表示2D播放列表、3D(LR)播放列表、3D(Depth)播放列表这3个播放列表。其间的线表示各模式下使用哪个的AVclip的使用关系。
在以任一方法记录数据的情况下,都可通过事先分配流识别符,简化取出各数据的效率。
图84以表形式表示TS级别下的复用。横栏表示2D/L用AVclip(Clip1(2D/L))、R用AVclip(Clip2(R))、Depth用AVclip(Clip3(D))、1Clip的每个。纵栏表示主视频流、主音频流、PG、IG、辅视频流、辅音频流的每个。本图中,交织配置clip1、2、3。其中,2D再现装置仅再现AVclip1,3D-LR再现装置再现AVclip1、2。3D-Depth再现装置再现AVclip1、3。
(第15实施方式)
说明在设定成第1实施方式中说明的3D-LR模式、3D-Depth模式、1plane+Offset模式之一的情况下,利用再现装置中的流序号将哪个数据包识别符的ES提供给再现。
作为前提,设2D图形流、LR图形流、Depth用图形流的数据包识别符分为+20/40/60的范围来区分。但是,即便任一PID值也可从流选择表中直接指定PID。
若设PG流为一例,则由于取得2DPG流与立体观察PG流的对应,所以复用的流的PID关联通过向2DPG流的数据包识别符加上0x20/0x40/0x60,进行导出立体观察PG流的数据包识别符等的规则附加。
图85表示TS数据包的PID分配。AVclip中存在分配了这些数据包识别符的TS数据包。
图86表示主视频流、主音频流。
图86(a)的虚线框表示各输出模式下哪个数据包识别符的TS数据包变为解复用的对象。可知在2D模式下,构成Base View的TS数据包变为解复用的对象,在3D-LR模式下,构成Base View+Dependent View的TS数据包变为解复用的对象,在3D-Depth模式下,构成Base View+深度信息的TS数据包变为解复用的对象。具体地说,再现装置是2D模式时,数据包识别符=0x1101的TS数据包变为解复用的对象。
是3D-LR模式时,数据包识别符=0x1101的TS数据包与数据包识别符=0x1012的TS数据包变为解复用的对象。
是3D-Depth模式时,数据包识别符=0x1101的TS数据包与构成深度信息的数据包识别符=0x1013的TS数据包变为解复用的对象。
图86(b)的表表示可否与辅视频流组合。根据该表,在基本视角视频流是MPEG4-AVC Base View,从属视角视频流是MPEG4-AVC Dependent View的情况下,不可与辅视频流共存。在基本视角视频流是MPEG4-AVC,从属视角视频流是MPEG4-AVC的情况下,也不可与辅视频流共存。VC-1也一样。
在基本视角视频流、从属视角视频流的编码方式是MPEG2 Video的情况下,不可与辅视频流共存。
图86(c)表示分配流序号=1、2、3的主音频流的内部构成。基本上,通过2D模式、3D模式,音频流变为相同。虚线框表示3个模式的每个下,哪个TS数据包变为解复用的对象。本图中,设数据包识别符=0x1101的音频流是频道扩展的流。
在2D/3D再现时,若音频流的流序号设定为值=1,则数据包识别符=0x1100的TS数据包变为解复用的对象。
在2D/3D再现时,若音频流的流序号设定为值=2,则数据包识别符=0x1101的TS数据包变为解复用的对象。
在2D再现时,若音频流的流序号设定为值=3,则数据包识别符=0x1102的TS数据包变为解复用的对象。
图87表示构成PG流、IG流、文本字幕流的TS数据包。
图87(a)表示流序号=1、流序号=2的PG流。2D字幕与3D字幕1对1对应。
图中的虚线框表示2D再现模式、3D-3D-LR模式、3D-3D-Depth模式这3个模式各自下哪个TS数据包变为解复用的对象。
在3D-Depth模式下,若将PG流的流序号设定为值=1,则再现由数据包识别符=0x1260的TS数据包构成的PG流。
在2D模式、1plane+Offset模式、3D-LR模式下,若将PG流的流序号设定为值=1,则数据包识别符=0x1200的TS数据包变为解复用的对象。
在3D-Depth模式下,若将PG流的流序号设定为值=2,则由数据包识别符=0x1261的TS数据包构成的PG流变为解复用的对象。
在2D、1plane+Offset模式下,若将PG流的流序号设定为值=2,则由数据包识别符=0x1201的TS数据包构成的PG流变为解复用的对象。
在3D-LR模式下,若将PG流的流序号设定为值=2,则由数据包识别符=0x1221、0x1241的TS数据包构成的PG流变为解复用的对象。
图87(b)表示文本字幕流。
在2D模式下,在将文本字幕流的流序号设定为值=1的情况下,0x1800的TS数据包变为解复用的对象。在2D模式下,在将文本字幕流的流序号设定为值=2的情况下,0x1800的TS数据包变为解复用的对象。
在1plane+Offset(3D-LR)模式、3D-Depth模式下,在将文本字幕流的流序号设定为值=1的情况下,0x1801的TS数据包变为解复用的对象。在将文本字幕流的流序号设定为值=2的情况下,0x1801的TS数据包也变为解复用的对象。
图87(c)表示IG流。
在3D-Depth模式下,在将IG流的流序号设定为流序号=1的情况下,0x1460的TS数据包变为解复用的对象。在将IG流的流序号设定为流序号=2的情况下,0x1461的TS数据包变为解复用的对象。
在2D、1plane+Offset模式下,在将IG流的流序号设定为流序号=1的情况下,0x1400的TS数据包变为解复用的对象。在将IG流的流序号设定为流序号=2的情况下,0x1401的TS数据包变为解复用的对象。
在3D-LR(2Dec)模式下,在将IG流的流序号设定为流序号=1的情况下,0x1400的TS数据包变为解复用的对象。在将IG流的流序号设定为流序号=2的情况下,0x1421的TS数据包、0x1441的TS数据包变为解复用的对象。
图88表示构成辅视频流、辅音频流的TS数据包。
图88(a)表示辅视频流。
在3D-LR模式下,在将流序号设定为值=1的情况下,右视角用0x1B20的TS数据包、左视角用0x1B00的TS数据包变为解复用的对象。
在2D模式下,在将流序号设定为值=1的情况下,左视角用0x1B00的TS数据包变为解复用的对象。
在1plane+Offset模式下,在将流序号设定为值=1的情况下,左视角用0x1B00、Offset信息变为解复用的对象。
在3D-Depth模式下,在将流序号设定为值=1的情况下,左视角用0x1B00、Depth信息的0x1B40的TS数据包变为解复用的对象。
在将流序号设定为值=2的情况下,无论模式如何,均左视角用0x1B00变为解复用的对象。
在主视频流为3D显示形式时,辅视频流可与再现装置的解码性能和主视频流的显示形式一致,选择2D再现模式、1plane+Offset模式、3D-LR模式、3D-Depth模式。
说明与主音频流混合后输出的情况。
辅音频流也与主音频流一样,可在2D/3D中使用相同的音频流,也可分开使用。在分开的情况下,只要设定扩展流或分开流即可。
图88(b)表示辅音频流。
在2D再现模式下,在设定为流序号=1的情况下,0x1100的TS数据包变为解复用的对象。在3D再现模式下,也是0x1100的TS数据包变为解复用的对象。
在2D再现模式、3D再现模式下,在设定为流序号=2的情况下,0x1101的TS数据包变为解复用的对象。
在2D再现模式下,在设定为流序号=3的情况下,0x1102的TS数据包变为解复用的对象。在3D再现模式下,在设定为流序号=3的情况下,0x1103的TS数据包变为解复用的对象。
以上是对应于涉及各个流的2D/3D显示方式的管理方法的说明。
(第16实施方式)
在本实施方式中,涉及基于连接状态信息的连接状态的改良。
连接状态信息表示当对应的播放项目变为当前播放项目的播放项目信息时,其紧挨着的之前的播放项目与当前播放项目的连接是什么样的连接种类。这里,播放项目由设定In_Time、Out_Time的STC序列与构成该STC序列母体的ATC序列构成。根据ATC序列的连接是连续还是不连续、STC序列的连接是连续还是不连续,将该播放项目与之前的播放项目的连接状态分为以下3个状态。
第1个是ATC序列和STC序列不连续、不保障无缝再现的连接方式,称为Connection_Condition=1。
第2个是ATC序列不连续、STC序列中存在完全断开的连接方式,称为Connection_Condition=5。在伴随完全断开的连接方式中,连续再现的两个视频流中、位于连接点之后的视频流中最初的视频演示单元的开始时刻、与位于连接点之前的视频流中最后的视频演示单元的终止时刻,在***时间时钟时间轴上连续。由此,可无缝连接。
另一方面,在经由ATC序列的连接点连续再现的两个音频流中、位于连接点之后的音频流的最初音频演示单元与位于连接点之前的音频流中最后音频演示单元之间存在交迭。该交迭引起音频输出减弱(mute)。
第3个是ATC序列和STC序列连续的连接方式,称为Connection_Condition=6。在该连接方式下,经由所述连接的两个视频流的连接点与GOP边界一致。
Connection_Condition=5下的无缝连接经以下过程进行。
由于当前ATC序列与之前ATC序列之间的ATC差分值(ATC_delta)存储在clip信息中,所以通过向用于处理构成之前播放项目的ATC_Sequence的时钟计数器的计时值(ATC1)加上ATC_delta,得到用于处理构成当前播放项目的ATC_Sequence的时钟计数器的计时值(ATC2)。
另外,在切换上述播放项目的情况下,求出称为STC_delta的偏移值。
通过将如此得到的STC_delta与用于处理构成之前播放项目的STC序列的时钟计数器的计时值(STC1)相加,可算出处理构成新的当前播放项目的STC序列的时钟计数器的计时值(STC2)。
在设在先STC序列中最后再现的图片的显示开始时刻为PTS1(1stEND)、图片的显示期间为Tpp、后续STC序列中最初显示的图片的开始时刻为PTS2(2ndSTART)的情况下,由于在CC=5下需要使PTS1(1stEND)+Tpp的时刻与PTS2(2ndSTART)的时刻一致,所以STC_delta根据
STC_delta=PTS1(1stEND)+Tpp-PTS2(2ndSTART)
的计算式算出。
若研究基本流选择表、扩展流选择表,则在实现上述无缝连接的情况下,前后播放项目信息间需要相同。但是,基本流选择表、扩展流选择表中的文件指定方法也可不同。
为了无缝连接两个流文件的情况与复用于1个Clip的情况下的ES,除流属性相同等条件外,只要基本流选择表、扩展流选择表中允许的ES相同即可。
即,为了无缝连接2TS交织的播放项目信息与1TS复用的播放项目信息,只要基本流选择表、扩展流选择表中允许的ES相同即可。
上述连接发生在以下情况中。
a.多角度区间中的播放项目信息连接
b.盘内容与下载内容播放项目信息连接
c.动态图像与静止图像的播放项目信息连接
图89表示无缝连接两个播放项目的方式。图89(a)表示无缝连接两个Clip文件的情况与复用于1个Clip的情况下的流时的构成。
图89(b)表示子播放项目中In_Time、Out_Time的设定。SubPath种类=8、9、10中包含的子播放项目与对应的播放项目信息在开始时刻和终止时刻上相同。
(第17实施方式)
在本实施方式中,提议在多层化光盘的各记录层中,在设置3D/2D共用数据块B[i]ss与2D专用数据块B[i]2D的情况下,设置经由它们再现的再现路径。
在先实施方式的流文件的写入中,由于在层交界之前写入3D专用数据块B[i]ss、2D专用数据块B[i]2D,所以定义新的子路径,作为用于在层交界切换2D再现装置与3D再现装置所参照的文件用的3D迂回路径。
图90表示在层交界切换参照文件用的Subpath种类。图90(a)中,在是子路径信息种类=8的情况下,表示是从属视角for LR,在是子路径信息种类=9的情况下,表示是从属视角for Depth。Subpath种类=10表示是用于在层交界切换2D再现装置与3D再现装置所参照的文件用的3D迂回路径。若不必由一个PlayList切换2D/3D,则也可划分PlayList。
在3D专用盘(不是2D再现装置用分配)中,再现播放项目信息参照的Clip,而非子路径种类=10的迂回。
图90(b)表示构成子路径种类=8、=9的子路径的AVclip,图90(c)表示构成子路径种类=10的子路径的AVclip。如此前的实施方式所述,由于需要在层交界等发生长跳跃的场所分离2D再现用AVclip与3D再现用AVclip,所以子路径种类=10的子播放项目由AVclip2、AVclip3来构成。
(第18实施方式)
此前实施方式中的扩展流选择表对应于3D-LR方式、1plane+Offset模式,但本实施方式实现还可对应于3D-Depth方式的扩展流选择表的记述。
说明允许主视频流再现的流登记串与允许主音频流再现的流登记串的记述方式。
图91是允许使用源代码的主视频流再现的流登记串、与允许主音频流再现的流登记串的记述方式一例。
第一个for语句定义主视频流的流登记串,是对应于主视频流的条数来定义dependent_view_is_available、depth_is_available、和两个if语句的循环语句。
dependent_view_is_available表示是否存在右视角的数据块。depth_is_available表示是否存在depth的数据块。循环中的Stream_entry包含在这些数据存在的情况下、识别对应的Clip文件是哪个文件、或在该文件中哪个数据是变为对象的数据用的PID。
以for语句中的dependent_view_is_available为条件式的if语句表示在dependent_view_is_available有效的情况下,追加流入口与流属性之意。
以for语句中的depth_is_available为条件式的if语句表示在depth_is_available有效的情况下,追加流入口与流属性。
第2个for语句定义主音频流的流登记串,是对应于主音频流的条数来定义replace_3D_audio_stream、流入口与流属性的循环语句。
replace_3D_audio_stream指示在3D再现模式执行时是否应执行音频流的置换。
(PG_文本字幕流)
说明允许PG_文本字幕流再现的流登记串的记述方式。该记述对一个流序号指定识别是存在LR方式的数据还是存在深度信息,必要的文件是哪个。
图92表示记述PG_文本字幕流的流登记串用的源代码的记述例。
图中的for语句定义对应于字幕图形流的条数来排列表示偏移是否有效的offset_is_available、表示LR方式是否有效的LR_streams_are_available、表示3D-Depth方式是否有效的Depth_stream_is_available、和3个if语句的重复构造。
以offset_is_available为条件式的if语句在offset_is_available有效的情况下,设置流入口、流属性。
以LR_streams_are_available为条件式的if语句在LR_streams_are_available有效的情况下,追加流入口左用、流入口右用与流属性。
以Depth_stream_is_available为条件式的if语句在Depth_stream_is_available有效的情况下,追加流入口、流属性。
(IG流)
说明允许IG流再现的流登记串的记述方式。
图93表示IG流的流登记串的记述。
图中的for对应于菜单图形流的条数存在offset_is_ available、LR_streams_are_available、Depth_stream_is_available、与3个if语句。
以offset_is_available为条件式的if语句offset_is_available有效的情况下,追加流入口、流属性。
以LR_streams_are_available为条件式的if语句在LR_streams_are_available有效的情况下,追加流入口左用、流入口右用、流属性。
以Depth_stream_is_available为条件式的if语句在Depth_stream_is_available有效的情况下,追加流入口、流属性。
图94表示辅音频流、辅视频流的流登记串的记述。
(辅音频流)
说明允许辅音频流再现的流登记串的记述。
图中的第1个for语句形成对应于辅音频流的条数来定义replace_3D_audio_stream、流入口、流属性的组的循环。replace_3D_audio_stream表示在3D再现模式下是否执行辅音频流的置换。
第2个ror语句包含dependent_view_is_available、Depth_is_available的组与2个if语句。
以dependent_view_is_available为条件式的if语句在dependent_view_is_available有效的情况下,追加流入口、流属性。
以Depth_is_available为条件式的if语句在Depth_is_available有效的情况下,追加流入口、流属性。
(辅视频流的流登记串)
说明允许辅视频流再现的流登记串的记述。
第2个for语句定义辅视频流的流登记串,是对应于辅视频流的条数来定义dependent_view_is_available、Depth_is_available与2个if语句的循环语句。
以for语句中的dependent_view_is_available为条件式的if语句表示在dependent_view_is_available有效的情况下,追加流入口、流属性。
以foe语句中的Depth_is_available为条件式的if语句在Depth_is_available有效的情况下,追加流入口、流属性。
如上所述,根据本实施方式,可制作不仅对应于3D-LR方式、1plane+Offset模式,还可对应于3D-Depth方式的扩展流选择表。
(第19实施方式)
在本实施方式中说明文本字幕流的平面偏移。
文本字幕(textST)流未复用于AV流上,所以当其再现时,文本字幕流主体与文本展开中使用的字体需要先于再现预载到存储器中。另外,文本字幕流中可正常显示哪个语言,在BD-ROM再现装置中按每个语言代码设定的能力标记中进行设定。另一方面,基于PG流的字幕再现中不必参照能力标记。这是因为PG流中的字幕只要展开运行长度压缩的字幕即可。
以上是文本字幕流的一般构成。下面,说明构成3D再现模式特有的文本字幕流的改良。在1plane+Offset(3D-LR)模式、3D-Depth模式下构成再现对象的文本字幕流(由0x1801的TS数据包构成的)变为可在帧中来更新平面偏移的构造,可追加平面用调色板构造。这基于为了平滑变更深度,想按每个帧向文本字幕解码器仅送入偏移信息的期望。
两个偏移信息的差分也可使深度以时间、线性变化。也可在两点间非线性插补后,边平滑加减速边变更偏移。
图95是表示文本字幕流的平面偏移的时间变化曲线。图中,虚线表示非线性内插,实线表示线性内插。
如上所述,根据本实施方式,在设定平面偏移中可利用线性内插、非线性内插,可使字幕的弹出程度平滑变化。
(第20实施方式)
在本实施方式中,是平面的层模型中存在于最下层的平面存储器的改良。将该平面存储器称为背景平面存储器,存储背景壁纸图像。在再现交互图形的弹出菜单的情况下,在BD-J应用显示弹出菜单时,将该背景平面存储器的存储内容用作背景壁纸图像。另外,在本实施方式中,背景平面的存储内容追踪于主视频流的2D/3D切换,切换显示形式。图96表示构成背景图像的I图片。为了设定背景图像(壁纸),按L/R单独指定JPEG或I帧。在2D/3D切换时,显示由MainView属性(L或R)指定的左右之一的图像。
(第21实施方式)
第8实施方式的再现装置200构成为具备包含内置介质驱动器、可移动介质的本地存储器,假设向它们写入,所以本申请说明书中记载的再现装置兼具作为记录装置的功能。在再现装置200用作记录装置的情况下,通过以下方式来执行包含扩展流选择表的播放列表信息的写入。
i)在再现装置200具有接受按需制造服务或代理商销售(sell-through)服务(MODEST)提供的功能的情况下,如下进行BD-J对象的写入。
即,当再现装置200通过按需制造服务或代理商销售服务来接受BD-J对象的提供时,在可移动介质的根目录之下,生成默认目录与MODEST目录,在MODEST目录之下,生成BDMV目录。MODEST目录是第一次MODEST目录,第一次MODEST目录是在首次接受所述服务时生成的MODEST目录。在用户第2次之后接受服务时,再现装置200中的控制部生成对应于第2次之后服务的MODEST目录。
如上所述,若取得播放列表信息,则控制部向默认目录中写入启动程序,在MODEST目录之下的BDMV目录中写入BD-J对象。该启动程序是在将记录介质装填到再现装置200中时应最初执行的程序,使再现装置200显示用于从用户受理选择BDMV目录的操作的菜单,让再现装置200执行路线(route)变更功能。该路线变更功能是在用户执行对菜单的选择操作的情况下,将选择的BDMV目录所属的MODEST目录识别为根目录的功能。利用这种路线变更功能,可根据由与再现BD-ROM相同的控制步骤取得的播放列表信息来执行再现控制。
ii)作为实现管理拷贝的记录装置的实施
记录装置也可通过管理拷贝来写入数字流。
所谓管理拷贝(managed copy)是如下技术,即在将BD-ROM等只读记录介质中记录的数字流或播放列表信息、clip信息、应用拷贝到其它光盘(BD-R、BD-RE、DVD-R、DVD-RW、DVD-RAM等)或硬盘、可移动介质(SD存储卡、记忆棒、Compact Flash(注册商标)、智能媒体、多媒体卡等)等可读写的记录介质时,与服务器进行通信,进行认证,仅在允许的状态下才可执行拷贝。利用该技术,可进行限制备份次数或仅在收费的状态下才允许备份等控制。
在实现从BD-ROM向BD-R、BD-RE拷贝的情况下,若拷贝源与拷贝目的地中记录容量相同,则管理拷贝中从最内周向最外周依次拷贝构成拷贝源的BD-ROM中的位流的动作即可。
管理拷贝若假设不同种介质间的拷贝,则需要转换代码。这里,所谓“转换代码”(transcode)是指如下处理,即将BD-ROM中记录的数字流形式从MPEG2TS形式变换为MPEG2程序流形式等,可降低分配给视频流和音频流的比特率后再编码,由此使数字流适合于拷贝对象介质的应用格式。在这种转换代码中,通过如上所述执行实时记录的处理,需要得到AVclip、Clip信息、播放列表信息。
如上所述,根据本实施方式,可将此前实施方式中描述的再现装置实施为记录装置/再现装置兼用种类。
(第22实施方式)
本实施方式涉及音频流的改良。
在音频流的编码方式中,除LPCM外,还有DD/DD+、DTS-HD、DD/MLP。DD/DD+、DTS-HD、DD/MLP等编码方式的音频流的音频帧由基本数据与扩展数据构成。DD/DD+的基本数据是独立子流,DD/DD+的扩展数据是从属子流,DTS-HD的基本数据是核心子流,DTS-HD的扩展数据是扩展子流,DD/MLP的基本数据是DD数据,DD/MLP的扩展数据是MLP音频。
为了对应于这些编码方式,再现装置中存在对每个编码方式示出立体声再现能力存在否或环绕再现能力存在否的配置寄存器、表示再现装置中的语言设定的语言设定寄存器、存储构成再现对象的音频流序号的流序号寄存器。另外,为了选择多个音频流中某个作为再现对象,再现装置执行如下过程,即判定记录介质中记录的多个音频流的每个满足多个条件中哪个条件,按照判定为满足的条件的组合,选择音频流。
在该多个条件中有第1条件、第2条件、第3条件,第1条件是通过比较音频流的编码方式与配置寄存器的设定值来判定为可再现,第2条件是基于音频流的语言代码与语言设定寄存器的设定值比较的语言属性一致,第3条件是通过比较音频流的声道数与配置寄存器的设定值来判定为可进行环绕输出。
在不存在满足第1条件、第2条件、第3条件中的全部的音频流的情况下,选择满足第1条件、第2条件的音频流中、在STN_table中的流登记位于开头的音频流,将该音频流的流序号设定为再现装置中的流序号寄存器(PSR1)。由此,选择最合适的音频流。再现装置中的所述设置寄存器包含对应于多个编码方式的基本数据的第1标记群与对应于多个编码方式的扩展数据的第2标记群,第1标记群由按每个编码方式示出可否处理基本数据的环绕输出的多个标记构成,第2标记群由按每个编码方式示出可否处理扩展数据的环绕输出的多个标记构成。
音频流由于不受电视的再现方式影响,所以若通过5.1ch等记录具有音响效果、定位的音频流,则可在2D模式、3D模式下共享。
2D模式/3D模式的显示形式是视觉显示的差异,音频流中采用的上述编码方式可使用5.1ch等多声道来使声音定位于显示器之前。
此时,仅对应于多声道扩展方式的再现装置中,可进行扩展数据后的多声道再现。上述音频流的编码方式是已对应于它们的形式,所以2D模式与3D模式中不必切换声音。
但是,在2D模式与3D模式中想改变声音的定位程度的情况下,只要将仅3D再现装置再现的扩展部分设定为音频流或切换由2D模式与3D模式再现的音频即可。
在2D模式与3D模式中想使音频的定位等变化的情况下,在构成音频流的音频访问单元内,设定3D再现模式用的扩展数据,在扩展流选择表内设置音频流的流登记串,以在2D再现模式与3D再现模式中进行不同TS数据包的解复用。之后,若在3D再现模式中再现该3D再现模式用音频流,则可在3D再现模式时使声音的定位位置变化。
但是,具有相同流序号的流即便在2D再现模式与3D再现模式中应再现的音频流不同的情况下,语言属性也需要相同。某个流序号下没有仅2D模式再现的音频、仅3D模式再现的音频。这是为了防止2D再现模式与3D再现模式切换时的用户混乱。
即便在2D模式与3D模式中音频流自身不同的情况下,也由于管理构造上处理为1条,所以可使2D模式用音频流的语言属性与3D模式用音频流的语言属性一致。
(第23实施方式)
在本实施方式中,就再现上述实施方式中说明的构造的数据的再现装置,说明使用集成电路603实现的构成例。
图97是使用集成电路来实现2D/3D再现装置的构成例。
介质IF部601从介质接收(读出)数据,传输到集成电路603。介质IF部601从介质接收上述实施方式中说明的构造的数据。介质IF部601例如在介质是光盘或硬盘的情况下,是盘驱动器,在介质是SD卡或USB存储器等半导体存储器的情况下,是卡IF,在介质是包含CATV等广播波的情况下,是CAN调谐器或Si调谐器,在介质是以太网(注册商标)、无线LAN、无线公众线路等网络的情况下,是网络IF等。
存储器602是暂时存储从介质接收(读出)的数据,或暂时存储集成电路603中的处理途中的数据的存储器,例如使用SDRAM(Synchronous DynamicRandom Access Memory,同步动态随机存取存储器)、DDRxSDRAM(Double-Data-Ratex Synchronous Dynamic Random Access Memory,双倍数据速率x SDRAM;x=1、2、3...)等。存储器602可以具备任意个数,必要时可以是单个也可以是多个。
集成电路603是对从介质IF部601传输的数据实施影像、声音处理的***LSI,由主控制部606、流处理部605、信号处理部607、存储器控制部609、AV输出部608等构成。
主控制部606具有备有计时器功能或中断功能的处理器核心,处理器核心根据程序存储器等中存储的程序,进行集成电路603整体的控制。在程序存储器等中事先存储OS等基本软件。
流处理部605在主控制部606的控制下,从介质接收经由介质IF部601传输的数据,经由集成电路603内的数据总线存储在存储器602中,或将接收到的数据分离成影像类数据、声音类数据。如上所述,在介质上,以分割成几个盘区的状态交互配置包含左视角视频流的2D/L用AVclip与包含右视角视频流的R用AVclip。因此,主控制部606控制成在集成电路603接收包含左视角流的左眼用数据的情况下,在存储器602的第1区域中存储数据,在接收包含右视角视频流的右眼用数据的情况下,在存储器602的第2区域中存储数据。这里,左眼用数据属于左眼用盘区,右眼用数据属于右眼用盘区。存储器602中的第1、第2区域可以是将单一存储器逻辑地区域分割而成的,也可以是物理不同的存储器。
信号处理部607在主控制部606的控制下,对流处理部605分离的影像类数据、声音类数据以适当的方式解码。影像数据使用MPEG-2、MPEG-4AVC、MPEG4-MVC、SMPTE VC-1等方式编码记录,声音数据以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、线性PCM等方式压缩编码记录,所以信号处理部607以对应于它们的方式进行解码。另外,信号处理部607的模型例如相当于第9实施方式的图65中的各种解码器。
存储器控制部609调停从集成电路内的各功能块向存储器602的访问。
AV输出部608在主控制部606的控制下,重叠信号处理部607解码的影像类数据,或进行影像类数据的格式变换等,输出到集成电路603外。
图98是表示流处理部65的代表性构成的功能框图。流处理部65具备设备/流IF部651、解复用部652、切换部653等。
设备/流IF部651是介质IF部601与集成电路603之间的数据传输用接口,例如在介质是光盘或硬盘的情况下,是SATA(Serial AdvancedTechnology Attachment:串行ATA)、ATAPI(Advanced Technology AttachmentPacket Interface:ATA分组接口)、PATA(Parallel Advanced TechnologyAttachment:并行ATA),在介质是SD卡或USB存储器等半导体存储器的情况下,是卡IF,在介质是包含CATV等广播等的情况下,是调谐IF,在介质是以太网、无线LAN、无线公众线路等网络的情况下,是网络IF等。根据介质种类不同,部件/流IF部651也可承担介质IF部601的部分功能,也可将介质IF部601内置在集成电路603中。
解复用部652将包含从介质传输的影像、声音的再现数据分离成影像类数据与声音类数据。所述各盘区由影像、声音、PG(字幕)、IG(菜单)等各源数据包构成(但是,有时从属也不包含声音),根据各源数据包中包含的PID(识别符),分离成影像***、声音***的各TS数据包,传输到信号处理部607。处理完的数据在直接或暂时存储在存储器602中后,传输到信号处理部607。解复用部652的模型例如相当于第9实施方式的图65中的源去包器、PID滤波器。
切换部653切换输出目的地(存储目的地),以在设备/流IF部651接收左眼用数据时,存储在存储器602的第1区域中,在接收右眼用数据时,存储在存储器602的第2区域中。这里,切换部653例如是DMAC(DirectMemory Access Controller:直接存储器存取控制器)。图99是切换部653为DMAC时的切换部653周围的原理图。DMAC在主控制部606的控制下,向存储器控制部609发送设备/流IF部接收到的数据与该数据存储目的地地址。具体地,在设备/流IF部接收到左眼用数据时,将地址1(第1存储区域)发送给存储器控制部609,在接收到右眼用数据时,将地址2(第2存储区域)发送给存储器控制部609,从而利用接收数据来切换其输出目的地(存储目的地)。存储器控制部609根据从DMAC发送的存储目的地地址来将数据存储在存储器602中。也可设置控制切换部653的专用电路来代替主控制部606。
这里,作为流处理部65的代表性构成,说明了设备/流IF部651、解复用部652、切换部653,但也可进一步具备解密接收到的加密数据或密钥数据等的加密引擎部、保持介质-再现装置间的设备认证协议等执行控制或私钥的安全管理部、直接存储器访问用控制器等。虽然说明了在将此前从介质接收到的数据存储在存储器602中时,切换部653利用左眼用数据、右眼用数据切换存储目的地的情况,但也可在将从介质接收到的数据暂时存储在存储器602中之后,向解复用部652传输数据时,分离左眼用数据、右眼用数据。
图100是表示AV输出部608的代表性构成的功能框图。AV输出部608具备图像重叠部681、视频输出格式变换部682、音频·视频输出IF部683等。
图像重叠部681重叠解码的影像***的数据。具体而言,以图片单位重叠左视角视频数据或右视角视频数据与PG(字幕)、IG(菜单)。图像重叠部681的模型例如是第11实施方式图71等。
视频输出格式变换部682根据需要对解码的影像类数据进行放大或缩小的调整大小处理、将扫描方式从逐行方式和隔行方式中的一方变换为另一方的IP变换处理、去除噪声的噪声减少处理、变换帧速率的帧速率变换处理等。
音频·视频输出IF部683按照数据发送形式,对图像重叠或格式变换后的影像类数据与解码的声音类数据进行编码等。如后所述,音频·视频输出IF部683也可部分配备在集成电路603以外。
图101是更详细地表示AV输出部608或再现装置的数据输出部分的构成例。本实施方式中的集成电路603和再现装置对应于多个影像类数据、声音类数据的数据发送形式。图100中的音频·视频输出IF部683对应于模拟视频输出IF部683a、模拟音频输出IF部683c、数字音频·输出IF部683b。
模拟视频输出IF部683a将图像重叠处理或输出格式变换后的影像类数据变换、编码为模拟影像信号形式并输出。例如,相当于对应于NTSC、PAL、SECAM这3方式之一的复合视频编码器、S影像信号(Y/C分离)用编码器、分量影像信号用编码器或DAC(D/A转换器)等。
数字音频·视频输出IF部683b一体化解码后的声音类数据与图像重叠处理或输出格式变换后的影像类数据,在进一步加密之后,按照数据发送标准,编码、输出。例如,相当于HDMI(High-Definition Multimedia InterFace)等。
模拟音频输出IF部683c相当于对解码的声音类数据进行D/A变换并输出模拟声音数据的音频DAC等。
这些影像类数据和声音类数据的发送形式可依赖于显示装置、扬声器侧支持的数据接收装置(数据输入端子)来切换,或通过用户选择来切换发送形式。并且,不仅单一的发送形式,也可并行以多个发送形式发送对应于同一内容的数据。
这里,作为AV输出部608的代表性构成,说明了图像重叠部681、视频输出格式变换部682、音频·视频输出IF部683,但也可进一步具备进行滤波处理、画面合成、曲线描绘、3D显示等图形处理的图形引擎部等。
以上是对本实施方式的再现装置构成的说明。所述集成电路603中包含的各功能块可全部不内置,也可相反,将图97的存储器602内置于集成电路603中。另外,在本实施方式中,主控制部606与信号处理部607说明为不同的功能块,但主控制部606也可执行信号处理部607的部分处理。
集成电路603中的控制总线或数据总线的路径利用各处理块的处理步骤或处理内容来任意配置,但例如也可如图102所示,直接连结各处理块彼此地配置数据总线,或如图103所示,经存储器602(存储器控制部609)连结各处理块彼此地配置数据总线。
另外,集成电路603也可是将多个芯片密封在一个封装中,外表看构成一个LSI的多芯片模块。另外,也可利用在LSI制造后可编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)、或可再构成LSI内部的电路单元连接或设定的可重构处理器。
下面,说明上述构成的再现装置的动作。
图104是简单表示从介质接收(读出)数据并解码后、作为影像信号和声音信号输出的再现动作步骤的流程图。
S601:从介质接收(读出)数据(介质IF部601→流处理部65)。
S602:将S601接收到的(读出的)数据分离成各种数据(影像类数据、声音类数据)(流处理部65)。
S603:以适当形式解码S602中分离的各种数据(信号处理部607)。
S604:对S603中解码处理后的各种数据中影像类数据进行重叠处理(AV输出部608)。
S606:输出在S602~S65中处理后的影像类数据和声音类数据(AV输出部608)。
图105是更详细表示再现动作步骤的流程图。各动作、处理在主控制部606的控制下进行。
S701:流处理部605的设备/流IF部651接收(读出)通过介质IF部601存储在介质中的要再现的数据以外的、再现数据所需的数据(播放列表、clip信息等),并存储在存储器602中(介质IF部601、设备IF部651、存储器控制部609、存储器602)。
S702:主控制部606根据接收到的clip信息中包含的流属性信息,识别介质中存储的影像数据和声音数据的压缩形式,进行信号处理部607的初始化,以可进行对应的解码处理(主控制部606)。
S703:流处理部605的设备/流IF部651接收(读出)通过介质IF部601存储在介质中的影像、声音等要再现的数据,经由切换部653、存储器控制部609存储在存储器602中。主控制部606控制切换部653,切换部653切换数据的输出目的地(存储目的地),以便以盘区单位接收(读出)数据,当接收(读出)左眼用数据时,存储到第1区域,当接收(读出)右眼用数据时,存储到第2区域(介质IF部601、设备IF部651、主控制部606、切换部653、存储器控制部609、存储器602)。
S704:将存储器602中存储的数据传输到流处理部605的解复用部652,解复用部652根据构成流数据的源数据包中包含的PID,识别是影像***(主影像、副影像、PG(字幕)、IG(菜单))、声音***(声音、副声音)中的哪个,以TS数据包单位传输到信号处理部607的对应各解码器。(解复用部652)。
S705:信号处理部607的各解码器对传输的TS数据包以适当方式进行解码处理(信号处理部607)。
S706:将信号处理部607中解码的影像数据中、对应于左视角视频流和右视角视频流的数据按显示装置来调整大小(视频输出格式变换部682)。
S707:重叠S706中调整大小后的视频流与PG(字幕)、IG(菜单)(图像重叠部681)。
S708:对S707中重叠的影像数据进行作为扫描方式变换的IP变换(视频输出格式变换部682)。
S709:对此前进行处理后的影像类数据和声音类数据,根据显示装置、扬声器4的数据输出方式或向显示装置、扬声器4的数据发送方式,进行编码或D/A变换等。例如,为了对应于模拟或数字输出,对影像类数据、声音类数据分别进行处理。作为影像类数据的模拟输出,支持复合影像信号或S影像信号或分量影像信号等。另外,影像***、声音类数据的数字输出支持HDMI(音频·视频输出IF部683)。
S710:将S709中处理后的影像类数据和声音类数据发送、输出到显示装置、扬声器(音频·视频输出IF部683、显示装置、扬声器4)。
以上是对本实施方式的再现装置的动作步骤的说明。也可对每个处理将处理结果暂时存储在存储器602中。另外,在本动作步骤中,说明了视频输出格式变换部682中进行调整大小处理和IP变换处理的情况,但必要时也可省略处理,或进行其它处理(噪声减小处理、帧速率变换处理等)。可能的话,还可变更处理步骤。
(备注)
以上说明了在本申请的申请时刻申请人得知的最佳实施方式,但对以下示出的技术主题可进行进一步的改良或变更实施。如各实施方式所示实施或是否实施这些改良、变更均是任意的,基于实施者主观情况。
(文件彼此的对应)
在第3实施方式中,在使用识别信息的对应具体例中,将向左视角的识别序号加上“1”后的序号设为右视角的识别序号。但也可采用向左视角的识别序号加上“10000”后的序号作为右视角的识别序号。
在以基于文件名的耦合方式来实现文件对应的情况下,需要再现装置侧找出耦合的文件用的机制,需要找出上述带规则的文件、未由播放列表参照的文件也再现的机制。在采用这些方法的情况下,3D对应再现装置需要上述机制,但2D影像与3D影像不必区分播放列表也可以用原来普及的2D再现装置安全动作。
如Depth方式用的灰度那样,对于不能以1条再现立体观察影像的流,改变扩展符加以区别,以便设备不会错误地单体再现该文件。由于识别单体不能再现的文件,所以可防止从现有设备经DLNA(Digital Living NetworkAlliance:数字生活网络联盟)参照3D对应文件等情况下的用户混乱。通过设文件序号相同,区别扩展符,也可仅由文件名来表现成对链接信息。
(立体观察方式)
第1实施方式中设为说明前提的视差图像方式为了在时间轴方向上交互显示左右影像,例如若是通常的2维电影,则在1秒内显示24张影像,与此相对地,左右影像一起在1秒内需要显示48张影像。因此,该方式适于一画面改写较快的显示装置。使用该视差图像的立体观察一般已用于游乐园的游戏设备等中,技术上也确立,所以认为最接近家庭中的实用化。使用视差图像的立体观察用方法除此之外,还提议2色分离方式等各种技术。在本实施方式中,使用序列分离方式或偏振光眼镜方式来加以说明,但只要使用视差图像,不限于这两个方式。
TV300不仅是双凸透镜式透镜,也可使用具有同样功能的设备、例如液晶元件。另外,也可在左眼用象素中设置纵向偏振光滤光器,在右眼用象素中设置横向偏振光滤光器,收看者使用左眼用设置了纵向偏振光、右眼用设置了横向偏振光的滤光器的偏振光眼镜,观看显示装置的画面,由此实现立体观察。
(左视角、右视角的适用对象)
准备左视角与右视角不仅是涉及正片的视频流,也可适用于缩略图像。与视频流的情况一样,2D再现装置显示现有的2D用缩略图,而3D再现装置将为3D用准备的左眼缩略图与右眼缩略图按3D显示方式输出。
同样地,菜单图像或章节搜索用的不同场景缩略图像、不同场景缩小画面中也可应用。
(程序的实施方式)
各实施方式中所示的应用程序可如下制作。首先,软件开发者使用编程语言,记述实现各流程图或功能构成要素的源程序。在该记述中,软件开发者根据编程语言的句法,使用类构造体或变量、数组变量、外部函数的调用,记述具体表现各流程图或功能构成要素的源程序。
将记述的源程序作为文件提供给编译器。编译器翻译这些源程序,生成目标程序。
编译器执行的翻译由句法解析、优化、资源分配、代码生成等过程构成。在句法解析中,进行源程序的字句解析、句法解析和含义解析,将源程序变换为中间程序。在优化中,对中间程序进行基本块化、控制流程解析、数据流解析等作业。在资源分配中,为了实现构成目标的处理器适合于命令集,将中间程序中的变量分配给目标处理器的处理器具有的寄存器或存储器。在代码生成中,将中间程序内的各中间命令变换为程序代码,得到目标程序。
这里生成的目标程序由让计算机执行各实施方式所示的流程图各步骤或功能构成要素各个步骤的一个以上程序代码构成。这里,程序代码有处理器的本地代码、JAVA(注册商标)字节代码等各个种类。利用程序代码来实现各步骤有各种方式。在可利用外部函数来实现各步骤的情况下,调用该外部函数的调用语句变为程序代码。另外,实现一个步骤的程序代码也归属于各个目标程序。在限制命令种类的RISC处理器中,通过组合算术运算命令或逻辑运算命令、分支命令等,也可实现流程图的各步骤。
若生成目标程序,则编程者对其启动连接器。连接器将这些目标程序或关联的库程序分配到存储器空间中,将其结合成一个,生成加载模块。如此生成的加载模块以计算机读取为前提,让计算机执行各流程图所示的处理步骤或功能构成要素的处理步骤。也可将这种程序记录在计算机可读取的记录介质中提供给用户。
(光盘的再现)
BD-ROM驱动器具备光学头,该光学头具有半导体激光器、准直透镜、分束器、物镜、聚光透镜、光检测器。从半导体激光器射出的光束通过准直透镜、分束器、物镜,聚光到光盘的信息面上。
聚光的光束在光盘上反射、衍射,通过物镜、分束器、聚光透镜,聚光到光检测器。对应于由光检测器聚光的光的光量,生成再现信号。
(记录介质的变更)
各实施方式中的记录介质包含光盘、半导体存储卡等封装介质全部。本实施方式的记录介质以事先记录必要数据的光盘(例如BD-ROM、DVD-ROM等现有可读取光盘)为例进行说明,但不必限于此,例如,也可利用具有将包含经由广播或网络分发的本发明实施所需数据的3D内容写入光盘的功能的终端装置(例如也可将上述功能嵌入再现装置中,也可是与再现装置不同的装置),记录在可写入的光盘(例如BD-RE、DVD-RAM等现有可写入光盘),将该记录的光盘适用于本发明的再现装置中,可实施本发明。
(半导体存储卡记录装置和再现装置的实施方式)
说明将各实施方式中说明的数据构造记录在半导体存储器中的记录装置和再现的再现装置的实施方式。
首先,作为前提技术,说明BD-ROM中记录的数据的著作权保护机制。
有时BD-ROM中记录的数据中、例如从著作权保护、数据隐匿性提高的观点看,部分数据根据需要被加密。
例如,BD-ROM中记录的数据中加密的数据例如是对应于视频流的数据、对应于音频流的数据、或对应于包含这些数据的流的数据。
下面,说明BD-ROM中记录的数据中加密数据的解读。
半导体存储卡再现装置将与解读BD-ROM内加密数据所需的密钥相对应的数据(例如设备密钥)事先存储在再现装置中。
另一方面,在BD-ROM中记录与解读加密数据所需密钥相对应的数据(例如对应于上述设备密钥的MKB(媒体密钥块))、和将解读加密数据用的密钥自身加密后的数据(例如与上述设备密钥和MKB相对应的加密标题密钥)。这里,设备密钥、MKB和加密标题密钥成对,并且,也与写入BD-ROM上通常不能拷贝的区域(称为BCA的区域)中的识别符(例如卷ID)对应。设若该组合不正确,则不能解读加密。仅在组合正确的情况下,才能导出加密解读需要的密钥(例如根据上述设备密钥、MKB和卷ID,对加密标题密钥进行解密得到的标题密钥),使用该加密解读所需的密钥,可解读加密的数据。
在再现装置再现装填的BD-ROM的情况下,例如若与BD-ROM内的加密标题密钥、MKB成对的(或对应的)设备密钥不在再现装置内,则不再现加密的数据。这是因为加密数据的解读所需的密钥(标题密钥),密钥自身被加密后(加密标题密钥)记录在BD-ROM上,若MKB与设备密钥的组合不正确,则不能导出加密解读需要的密钥。
相反,若加密标题密钥、MKB、设备密钥和卷ID的组合正确,则构成再现装置,以便使用例如上述加密解读所需的密钥(根据设备密钥、MKB和卷ID,对加密标题密钥进行解密得到的标题密钥),由解码器解码视频流,由音频解码器解码音频流。
以上是BD-ROM中记录的数据著作权保护的机制,但该机制未必限于BD-ROM,例如在适用于可读入/写入的半导体存储器(例如SD卡等具有可移动性半导体存储卡)的情况下也可实施。
说明半导体存储卡再现装置的再现步骤。光盘构成为例如经光盘驱动器读出数据,而在使用半导体存储卡的情况下,构成为经用于读出半导体存储卡内数据的I/F来读出数据。
具体而言,若半导体存储卡***再现装置的槽中,则经由半导体存储卡I/F电连接再现装置与半导体存储卡。只要构成为将半导体存储卡中记录的数据经半导体存储卡I/F读出即可。
(作为接收装置的实施方式)
各实施方式中说明的再现装置也可实现为从电子分发服务的分发服务器接收与本实施方式中说明的数据相对应的数据(分发数据)、并记录在半导体存储卡中的终端装置。
这种终端装置也可构成为各实施方式中说明的再现装置进行这种动作。与本实施方式的再现装置不同,也可由进行在半导体存储器中存储分发数据的专用终端装置来进行。这里说明再现装置进行的实例。另外,作为记录目的地的半导体存储器,以SD卡为例来说明。
在***再现装置具备的槽中的SD存储卡中记录分发数据的情况下,首先请求向存储分发数据的分发服务器发送分发数据。此时,再现装置从SD存储卡中读出唯一识别所***的SD存储卡用的识别信息(例如各个SD存储卡固有的识别序号,具体而言例如SD存储卡的序列号等),将读出的识别信息与分发请求一起,发送给分发服务器。
该唯一识别SD存储卡用的识别信息例如相当于上述卷ID。
另一方面,分发服务器加密分发数据中必要的数据(例如视频流、音频流等)并存储在服务器上,以便能使用加密解读所需的密钥(例如标题密钥)来解除加密。
例如,分发服务器构成为保持私钥,对半导体存储卡的固有识别序号的每个,可动态生成不同的公钥信息。
另外,分发服务器构成为可对加密数据解读所需的密钥(标题密钥)自身进行加密(即构成为可生成加密标题密钥)。
生成的公钥信息例如包含相当于上述MKB、卷ID和加密标题密钥的信息。加密的数据若例如半导体存储器固有的识别序号、后述的公钥信息中包含的公钥主体和事先记录在再现装置中的设备密钥的组合正确,则得到加密解读所需的密钥(例如根据设备密钥、MKB和半导体存储器固有的识别序号,对加密标题密钥进行解密得到的标题密钥),使用该得到的加密解读所需的密钥(标题密钥),可解读加密的数据。
接着,再现装置将接收到的公钥信息与分发数据记录在***槽中的半导体存储卡的记录区域中。
下面,说明解密并再现半导体存储卡的记录区域中记录的公钥信息与分发数据中包含的数据中的加密数据的方法一例。
接收到的公钥信息例如记录公钥主体(例如上述MKB和加密标题密钥)、签名信息、半导体存储卡的固有识别序号、和表示涉及应无效的设备的信息的设备列表。
签名信息中例如包含公钥信息的散列值。
设备列表中例如记载涉及有可能非法再现的设备的信息。这是例如事先记录在再现装置中的设备密钥、再现装置的识别序号或再现装置具备的解码器的识别序号等、唯一确定有可能非法再现的装置、装置中包含的部件或功能(程序)等的信息。
说明半导体存储卡的记录区域中记录的分发数据中加密的数据的再现。
首先,检查在利用公钥主体对加密数据进行解密之前是否使解密密钥主体起作用。
具体而言,进行:(1)公钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别序号是否一致的检查、(2)再现装置内算出的公钥信息的散列值与签名信息中包含的散列值是否一致的检查、(3)根据公钥信息中包含的设备列表示出的信息,进行再现的再现装置是否可能非法再现的检查(例如公钥信息中包含的设备列表示出的设备密钥与事先存储在再现装置中的设备密钥是否一致的检查)。进行这些检查的顺序按什么样的顺序进行均可。
在上述(1)~(3)检查中,若判断为满足公钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别序号不一致、再现装置内算出的公钥信息的散列值与签名信息中包含的散列值不一致、或进行再现的再现装置有可能非法再现中的某一个,则再现装置进行控制,以不解读加密的数据。
另外,若判断为公钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别序号一致、且再现装置内算出的公钥信息的散列值与签名信息中包含的散列值一致、且进行再现的再现装置不可能非法再现,则判断为半导体存储器固有的识别序号、公钥信息中包含的公钥主体和事先记录在再现装置中的设备密钥的组合正确,使用加密解读所需的密钥(根据设备密钥、MKB和半导体存储器固有的识别序号,对加密标题密钥进行解密得到的标题密钥),进行加密数据的解读。
例如在加密数据是视频流、音频流的情况下,视频解码器利用上述加密解读所需的密钥(对加密标题密钥进行解密得到的标题密钥),解密(解码)视频流,音频解码器利用上述加密解读所需的密钥,解密(解码)音频流。
通过上述构成,在知道有可能在电子分发时被非法利用的再现装置、部件、功能(程序)等的情况下,若将用于识别其的信息示于设备列表中分发,则在再现装置侧包含设备列表中所示的设备的情况下,可抑制使用公钥信息(公钥主体)的解密,所以即便半导体存储器固有的识别序号、公钥信息中包含的公钥主体和事先记录在再现装置中的设备密钥的组合正确,也由于可控制成不解读加密的数据,所以可抑制非法装置利用分发数据。
另外,期望半导体存储卡中事先记录的半导体存储卡固有的识别符采用存储在隐匿性高的记录区域中的构成。这是因为若篡改半导体存储卡中事先记录的固有识别序号(例如以SD存储卡为例,为SD存储卡的序列号等),则会容易违法拷贝。这是由于虽然向多个半导体存储卡分配各不相同的固有识别序号,但若篡改成该固有识别序号相同,则上述(1)的判定没有意义,有可能会进行相当于篡改次数的违法拷贝。
因此,期望半导体存储卡的固有识别序号等信息采用记录在隐匿性高的记录区域中的构成。
为了实现该构成,例如半导体存储卡构成为将记录半导体存储卡固有识别符等隐匿性高的数据所用的记录区域设置在存储通常数据的记录区域(称为第1记录区域)之外的记录区域(称为第2记录区域)中,以及设置用于访问该第2记录区域的控制电路,并且,访问第2记录区域可仅经控制电路来访问。
例如,第2记录区域中记录的数据进行加密,记录,控制电路嵌入例如对加密数据进行解密用的电路。在向控制电路进行对第2记录区域的数据访问的情况下,只要对加密进行解密并返回解密后的数据即可。或者,控制电路也可构成为保持第2记录区域中记录的数据的存储场所信息,若有数据访问要求,则确定对应的数据存储场所,返回从确定的存储场所读取的数据。
再现装置上动作的应用中、利用电子分发请求记录在半导体存储卡中的应用,若经存储卡I/F向控制电路发出对第2记录区域中记录的数据(例如半导体存储器固有的识别序号)的访问请求,则接受请求的控制电路读出第2记录区域中记录的数据,返回给再现装置上动作的应用。与该半导体存储卡固有的识别序号一起,向分发服务器请求必要的数据的分发请求,将从分发服务器发送的公钥信息和对应的分发数据记录在第1记录区域中。
另外,再现装置上动作的应用中、利用电子分发请求在半导体存储卡中记录的应用,在经存储卡I/F向控制电路发出对第2记录区域中记录的数据(例如半导体存储器固有的识别序号)的访问请求之前,期望事先检查应用是否被篡改。在篡改检查中可利用使用例如基于现有X.509标准的数字证书的检查等。
另外,对半导体存储卡的第1记录区域中记录的分发数据的访问,不一定经由半导体存储卡具有的控制电路来进行访问。
产业上的可利用性
本发明的信息记录介质存储3D影像,但由于再现2D影像的装置与再现3D影像的装置均可再现,所以可未意识到互换性地将存储了3D影像的电影标题等动态图像内容提供给市场,使电影市场或民生设备市场激活。因此,本发明的记录介质、再现装置在电影产业或民生设备产业中具有高的可利用性。
Claims (2)
1.一种再现装置,再现记录了图形流的记录介质,其特征在于:
具备:
解复用部;
解码器,对所述图形流进行解码;和
平面存储器,存储通过解码得到的非压缩的图形,
在所述图形流中,存在成对的左眼用图形流与右眼用图形流,
在立体观察再现模式中,在所述解码器对所述左眼用图形流与所述右眼用图形流进行解码的情况下,
当切换立体观察再现模式与平面观察再现模式时,删除图形显示。
2.一种集成电路,可组装在再现装置中,该再现装置进行记录了图形流的记录介质的再现,其特征在于:
该集成电路具备:
解复用部;和
解码器,对所述图形流进行解码,
在所述图形流中,存在成对的左眼用图形流与右眼用图形流,
在立体观察再现模式中,在所述解码器对所述左眼用图形流与所述右眼用图形流进行解码的情况下,
当切换立体观察再现模式与平面观察再现模式时,删除图形显示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-037226 | 2009-02-19 | ||
JP2009037226 | 2009-02-19 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010800010569A Division CN101933337B (zh) | 2009-02-19 | 2010-02-04 | 再现装置和记录方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102547359A true CN102547359A (zh) | 2012-07-04 |
CN102547359B CN102547359B (zh) | 2014-12-10 |
Family
ID=42633672
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012103347077A Pending CN102881304A (zh) | 2009-02-19 | 2010-02-04 | 集成电路 |
CN2012101233870A Expired - Fee Related CN102685435B (zh) | 2009-02-19 | 2010-02-04 | 再现装置、记录方法 |
CN2011104468360A Pending CN102547346A (zh) | 2009-02-19 | 2010-02-04 | 记录介质、再现装置 |
CN2010800010569A Active CN101933337B (zh) | 2009-02-19 | 2010-02-04 | 再现装置和记录方法 |
CN201110446733.4A Expired - Fee Related CN102547359B (zh) | 2009-02-19 | 2010-02-04 | 再现装置、集成电路 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012103347077A Pending CN102881304A (zh) | 2009-02-19 | 2010-02-04 | 集成电路 |
CN2012101233870A Expired - Fee Related CN102685435B (zh) | 2009-02-19 | 2010-02-04 | 再现装置、记录方法 |
CN2011104468360A Pending CN102547346A (zh) | 2009-02-19 | 2010-02-04 | 记录介质、再现装置 |
CN2010800010569A Active CN101933337B (zh) | 2009-02-19 | 2010-02-04 | 再现装置和记录方法 |
Country Status (17)
Country | Link |
---|---|
US (1) | US20110090305A1 (zh) |
EP (1) | EP2400771B1 (zh) |
JP (6) | JP4574748B2 (zh) |
KR (1) | KR20110126514A (zh) |
CN (5) | CN102881304A (zh) |
AR (1) | AR075527A1 (zh) |
AU (1) | AU2010203000B8 (zh) |
BR (1) | BRPI1001232A2 (zh) |
CA (1) | CA2708189C (zh) |
DK (1) | DK2400771T3 (zh) |
ES (1) | ES2526441T3 (zh) |
MX (1) | MX2010008147A (zh) |
MY (1) | MY152341A (zh) |
RU (1) | RU2525750C2 (zh) |
TW (1) | TW201127016A (zh) |
WO (1) | WO2010095382A1 (zh) |
ZA (1) | ZA201005044B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561263A (zh) * | 2018-11-23 | 2019-04-02 | 重庆爱奇艺智能科技有限公司 | 在vr设备的3d视频中实现3d字幕效果 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244630A (ja) * | 2009-04-07 | 2010-10-28 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及び、データ構造 |
RU2538307C2 (ru) * | 2009-05-12 | 2015-01-10 | Сони Корпорейшн | Структура данных и носитель данных, воспроизводящее устройство, способ воспроизведения, программа и носитель для хранения программы |
JP2011041249A (ja) | 2009-05-12 | 2011-02-24 | Sony Corp | データ構造および記録媒体、並びに、再生装置、再生方法、プログラム、およびプログラム格納媒体 |
JP2012089931A (ja) * | 2010-10-15 | 2012-05-10 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
CN102625092A (zh) * | 2011-01-27 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种移动设备播放视频的方法和装置 |
JP2012169730A (ja) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | 画像処理方法及び画像処理装置 |
BR112013020867A2 (pt) * | 2011-02-16 | 2016-09-27 | Panasonic Corp | codificador de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de reprodução de vídeo, método de reprodução de vídeo, e programa de reprodução de vídeo |
US20130286160A1 (en) * | 2011-02-17 | 2013-10-31 | Panasonic Corporation | Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program |
WO2012123982A1 (ja) * | 2011-03-11 | 2012-09-20 | 日立コンシューマエレクトロニクス株式会社 | 記録装置/方法/媒体、再生装置/方法 |
US8887206B2 (en) * | 2011-06-09 | 2014-11-11 | Cstereo3D, Llc | Device and method for rendering and delivering 3-D content |
JP2013026696A (ja) * | 2011-07-15 | 2013-02-04 | Sony Corp | 送信装置、送信方法および受信装置 |
JP2013066075A (ja) * | 2011-09-01 | 2013-04-11 | Sony Corp | 送信装置、送信方法および受信装置 |
US9041819B2 (en) | 2011-11-17 | 2015-05-26 | Apple Inc. | Method for stabilizing a digital video |
US8611642B2 (en) * | 2011-11-17 | 2013-12-17 | Apple Inc. | Forming a steroscopic image using range map |
WO2013099289A1 (ja) * | 2011-12-28 | 2013-07-04 | パナソニック株式会社 | 再生装置、送信装置、再生方法及び送信方法 |
US20150131455A1 (en) * | 2012-07-19 | 2015-05-14 | Electronics And Telecommnications Research Intitute | Method and apparatus for selectively performing packet error classification of multiple packet streams multiplexed to same port |
US10547713B2 (en) | 2012-11-20 | 2020-01-28 | Nvidia Corporation | Method and system of transmitting state based input over a network |
US20140195594A1 (en) * | 2013-01-04 | 2014-07-10 | Nvidia Corporation | Method and system for distributed processing, rendering, and displaying of content |
JP6303829B2 (ja) * | 2014-06-03 | 2018-04-04 | 富士通株式会社 | 多重化プログラム、多重化装置、及び多重化方法 |
CN104702919B (zh) * | 2015-03-31 | 2019-08-06 | 小米科技有限责任公司 | 播放控制方法及装置、电子设备 |
CN107925767A (zh) * | 2015-09-10 | 2018-04-17 | 索尼公司 | 发送设备、发送方法,接收设备和接收方法 |
US11027199B2 (en) | 2015-11-12 | 2021-06-08 | Nvidia Corporation | System and method for network coupled gaming |
US10630773B2 (en) | 2015-11-12 | 2020-04-21 | Nvidia Corporation | System and method for network coupled cloud gaming |
DE102017109021B4 (de) * | 2016-05-11 | 2022-10-27 | Carl Zeiss Meditec Ag | System für das stereoskopische Visualisieren eines Objektbereichs sowie Objektbereich-Visualisierungsverfahren |
TWI606724B (zh) * | 2016-10-03 | 2017-11-21 | 和碩聯合科技股份有限公司 | 多媒體播放裝置及其播放方法 |
CN108122558B (zh) * | 2017-12-22 | 2020-12-29 | 深圳国微技术有限公司 | 一种latm aac音频流的实时转容实现方法及装置 |
WO2019215984A1 (ja) * | 2018-05-09 | 2019-11-14 | オリンパス株式会社 | 画像処理装置及び画像生成方法 |
WO2020261690A1 (ja) * | 2019-06-28 | 2020-12-30 | ソニー株式会社 | 情報処理装置、情報処理方法、再生処理装置及び再生処理方法 |
CN112711817B (zh) * | 2019-10-24 | 2023-04-28 | 深圳市建筑设计研究总院有限公司 | 一种受弯构件的支座连接方法 |
CN112040264B (zh) * | 2020-09-06 | 2023-04-21 | 北京字节跳动网络技术有限公司 | 互动***、方法、装置、计算机设备及存储介质 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4739418A (en) * | 1985-03-20 | 1988-04-19 | Victor Company Of Japan, Ltd. | Information signal recording disc recorded with stereoscopic television signal |
JPS63151293A (ja) * | 1986-12-16 | 1988-06-23 | Mitsubishi Electric Corp | 映像再生装置 |
JPH01109990A (ja) * | 1987-10-23 | 1989-04-26 | Sanyo Electric Co Ltd | 立体ビデオディスクレコーダ |
TW436777B (en) * | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
US6484266B2 (en) * | 1995-09-29 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
WO1997032437A1 (en) * | 1996-02-28 | 1997-09-04 | Matsushita Electric Industrial Co., Ltd. | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
EP0944269B1 (en) * | 1996-12-04 | 2002-11-13 | Matsushita Electric Industrial Co., Ltd. | Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device |
WO1999012348A1 (en) * | 1997-08-29 | 1999-03-11 | Matsushita Electric Industrial Co., Ltd. | Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator |
US7184648B1 (en) * | 1999-06-25 | 2007-02-27 | Koninklijke Philips Electronics N.V. | Incomplete streams |
KR20030007447A (ko) * | 2000-03-03 | 2003-01-23 | 테너 네트워크스, 인크. | 내부 프로세서 메모리 공간을 이용한 고속 데이터 처리 |
KR100354840B1 (ko) * | 2000-05-09 | 2002-10-05 | 최부진 | 입체영상 취득을 위한 촬영기 및 촬영방법 |
JP4251864B2 (ja) * | 2002-12-13 | 2009-04-08 | シャープ株式会社 | 画像データ作成装置およびそのデータを再生する画像データ再生装置 |
EP1587317A1 (en) * | 2003-01-20 | 2005-10-19 | Pioneer Corporation | Information recording medium, information recording device and method, information reproduction device and method, information recording/reproduction device and method, recording or reproduction control computer program, and data structure containing a control signal |
JP4331488B2 (ja) * | 2003-02-20 | 2009-09-16 | パナソニック株式会社 | 集積回路及びそれを用いた電子機器 |
JP4251907B2 (ja) * | 2003-04-17 | 2009-04-08 | シャープ株式会社 | 画像データ作成装置 |
JP4228767B2 (ja) * | 2003-04-25 | 2009-02-25 | ソニー株式会社 | 再生装置、再生方法、再生プログラムおよび記録媒体 |
JP4121888B2 (ja) * | 2003-04-28 | 2008-07-23 | シャープ株式会社 | コンテンツ表示装置およびコンテンツ表示プログラム |
JP2004357156A (ja) * | 2003-05-30 | 2004-12-16 | Sharp Corp | 映像受信装置および映像再生装置 |
KR100884149B1 (ko) * | 2004-06-02 | 2009-02-17 | 파나소닉 주식회사 | 슬라이드 쇼에서 랜덤 액세스를 고속으로 실현할 수 있는 기록매체, 재생장치, 컴퓨터 판독 가능한 기록매체, 기록방법, 재생방법 |
US7859529B2 (en) * | 2004-08-18 | 2010-12-28 | Sharp Kabushiki Kaisha | Image data display apparatus |
US8116613B2 (en) * | 2005-04-07 | 2012-02-14 | Panasonic Corporation | Recording medium, reproducing device, recording method and reproducing method |
JP2007004896A (ja) * | 2005-06-23 | 2007-01-11 | Toshiba Corp | 情報記憶媒体、情報転送方法、情報再生方法、及び情報記録方法 |
KR100657322B1 (ko) * | 2005-07-02 | 2006-12-14 | 삼성전자주식회사 | 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치 |
JP2007129368A (ja) * | 2005-11-01 | 2007-05-24 | Matsushita Electric Ind Co Ltd | 情報記録装置およびその方法 |
JP2006230001A (ja) * | 2006-03-20 | 2006-08-31 | Sony Corp | 再生装置、再生方法、再生プログラムおよび記録媒体 |
JP5011842B2 (ja) * | 2006-06-22 | 2012-08-29 | 株式会社ニコン | 画像再生装置 |
US8385719B2 (en) * | 2007-03-22 | 2013-02-26 | Mitsubishi Electric Corporation | Video reproducing apparatus and method |
JP2009033348A (ja) * | 2007-07-25 | 2009-02-12 | Toshiba Corp | ビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラム |
KR20110036882A (ko) * | 2008-06-24 | 2011-04-12 | 파나소닉 주식회사 | 기록매체, 재생장치, 집적회로, 재생방법, 프로그램 |
-
2010
- 2010-02-04 US US12/812,626 patent/US20110090305A1/en not_active Abandoned
- 2010-02-04 MY MYPI2010003345 patent/MY152341A/en unknown
- 2010-02-04 DK DK10732833.8T patent/DK2400771T3/en active
- 2010-02-04 CN CN2012103347077A patent/CN102881304A/zh active Pending
- 2010-02-04 CN CN2012101233870A patent/CN102685435B/zh not_active Expired - Fee Related
- 2010-02-04 CA CA2708189A patent/CA2708189C/en active Active
- 2010-02-04 EP EP10732833.8A patent/EP2400771B1/en active Active
- 2010-02-04 KR KR1020107017009A patent/KR20110126514A/ko not_active Application Discontinuation
- 2010-02-04 JP JP2010523231A patent/JP4574748B2/ja active Active
- 2010-02-04 AU AU2010203000A patent/AU2010203000B8/en not_active Ceased
- 2010-02-04 CN CN2011104468360A patent/CN102547346A/zh active Pending
- 2010-02-04 ES ES10732833.8T patent/ES2526441T3/es active Active
- 2010-02-04 WO PCT/JP2010/000668 patent/WO2010095382A1/ja active Application Filing
- 2010-02-04 RU RU2010132152/08A patent/RU2525750C2/ru not_active IP Right Cessation
- 2010-02-04 CN CN2010800010569A patent/CN101933337B/zh active Active
- 2010-02-04 MX MX2010008147A patent/MX2010008147A/es active IP Right Grant
- 2010-02-04 CN CN201110446733.4A patent/CN102547359B/zh not_active Expired - Fee Related
- 2010-02-04 BR BRPI1001232A patent/BRPI1001232A2/pt not_active Application Discontinuation
- 2010-02-09 TW TW099103937A patent/TW201127016A/zh unknown
- 2010-02-19 AR ARP100100492A patent/AR075527A1/es unknown
- 2010-07-12 JP JP2010157852A patent/JP2011019228A/ja active Pending
- 2010-07-13 JP JP2010158539A patent/JP5336436B2/ja not_active Expired - Fee Related
- 2010-07-13 JP JP2010158537A patent/JP4588118B1/ja not_active Expired - Fee Related
- 2010-07-13 JP JP2010158536A patent/JP4701312B2/ja active Active
- 2010-07-13 JP JP2010158538A patent/JP4588119B1/ja not_active Expired - Fee Related
- 2010-07-15 ZA ZA2010/05044A patent/ZA201005044B/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561263A (zh) * | 2018-11-23 | 2019-04-02 | 重庆爱奇艺智能科技有限公司 | 在vr设备的3d视频中实现3d字幕效果 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101933337B (zh) | 再现装置和记录方法 | |
CN102172033B (zh) | 再生装置、记录方法、记录介质再生*** | |
CN102355590B (zh) | 3d 影像的记录介质、再现装置、***lsi、再现方法、眼镜、显示装置 | |
CN102833573B (zh) | 接收装置 | |
CN102160389B (zh) | 再现装置、集成电路、记录介质 | |
WO2010095381A1 (ja) | 記録媒体、再生装置、集積回路 | |
WO2010143439A1 (ja) | 再生装置、集積回路、記録媒体 | |
CN102232295A (zh) | 再现装置、记录介质及集成电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141210 Termination date: 20200204 |