背景技术
近来,随着在综合处理声频、视频和像素值的多媒体时代的到来,将信息传递给人的现有信息媒体,例如,报纸、杂志、电视、无线电和电话、以及其它装置已经被包括在多媒体的范围内。多媒体一般是指不仅将字符,而且也把图形符号、音频、特别是画面等相互关联在一起而显现的东西。但是,为了将上述现有信息媒体包括在多媒体的范围中,将以数字形式表示这种信息成为一个先决条件。
但是,如果以数字形式估算上述信息媒体中的每一种包含的信息量,每个字符的信息量需要1至2字节,而音频所需的信息量大于每秒64Kbits(电话质量),而对于运动画面则需要每秒100Mbits或更高的数据量(当前的电视接收质量)。因此,用上面提到的信息介质直接以数字形式处理如此巨大的信息量是不现实的。例如,尽管视频电话已经通过提供64Kbits/s至1.5Mbits/s传输速度的综合业务数字网(ISDN)而投入实际应用,但是,不能传输由TV摄像机拍摄的画面。
因此,需要信息压缩技术,例如,在视频电话的情况下,采用了符合国际电信同盟-电信标准化部(ITU-T)推荐的H.261和H.263标准的视频压缩技术的。根据符合MPEG-1标准的信息压缩技术,也使得能够将画面信息与声频信息一同存储在普通音乐光盘(CD)上。
在这里,运动画面专家组(MPEG)是标准化国际组织和国际电工委员会(ISO/IEC)标准化的一个运动画面信号压缩国际标准。MPEG-1是用于将视频信号压缩到1.5Mbit/s的标准,也就是说,将电视信号中包括的信息压缩到大约百分之一。由MPEG-1标准作为目标的画面质量是实现大约1.5Mbits/s的传输速度的中等程度的质量,所以使用为满足未来改进的画面质量而标准化的MPEG-2来实现具有压缩到2至15Mbits/s的运动画面信号的电视广播质量。
在目前的环境中,以前负责MPEG-1和MPEG-2标准化的工作组(ISO/IEC JTC1/SC29/WG11)正在进一步标准化具有超过MPEG-1和MPEG-2压缩率的,也允许在每个对象基础上编码、解码和操作,和实现了多媒体时代所需的新功能的MPEG-4。最初,在MPEG-4的标准化过程中,其目标是标准化低比特率编码方法。但是,现在这种标准已经扩展到进一步包括隔行扫描图像的高比特率编码的更为通用的编码方法。此外,ISO/IEC和ITU-T已经联合开发作为下一代画面编码方法的MPEG-4高级视频编码(AVC)的标准化,当前的运动画面和电视工程师协会(SMPTE)尝试标准化VC-1(提出的用于电视的SMPTE标准:VC-1压缩视频比特流格式和解码处理,最终的委员会草案1,修订6,2005.7.13)。VC-1的目标是根据MPEG-2和MPEG-4标准的方法来扩展编码工具等。VC-1被期待用于下一代光盘***设备,例如蓝光盘(BD)和高清晰(HD)DVD。
通常,在运动画面编码中,通过消除空间和时间方向中的冗余来压缩信息量。因此,目的在于减少时间冗余的画面间预测编码进行运动估计,和通过参考在前画面和随后画面,在一块接一块的基础上产生预测画面,然后对得到的预测画面和要编码的当前画面之间的差值进行编码。这里,“画面(Picture)”是代表一屏的术语,在用于逐行画面时它表示一帧,而在用于隔行画面时,它表示一帧或场。这里所述的“隔行画面”是指由分别具有不同时间的两个场构成的一帧。对隔行画面进行编码和解码,有三种可能的途径:根据帧中的块,将单帧或是作为一帧或是作为两场,或帧/场结构来处理。
不参考画面而对其进行画面内预测编码的画面被称作“I-画面”。参考一个画面而对其进行画面间预测编码的画面被称作“P-画面”。通过同时参考两个画面对其进行画面间预测编码的画面被称作“B-画面”。B-画面可以参考从其显示时间在当前要编码的画面的显示时间之前或之后的画面中任意选择的两个画面,作为任意组合。然而,作为对这些I-画面、P-画面、和B-画面进行编码或解码的条件,要求参考画面已经被编码或解码。
图1A和1B是显示现有MPEG-2的流结构的示意图。如图1B中所示,安装MPEG-2标准的流具有下面要说明的分层结构。流是由多个画面组(Group of Pictures)(GOP)构成的,并且通过在编码过程中将流用作基本单元而允许运动画面的编辑和随机存取。这意味着GOP中的开始画面是一个随机存取点。GOP由多个画面组成,每个画面为I-画面、P-画面、和B-画面。流、GOP、和画面分别包括指示各个单元之间的边界的同步信号(sync),和作为各个单元中共同包括的数据的首部。
图2A和2B是根据MPEG-2标准的画面的预测结构的例子。图2A中的阴影线是被用来查阅以预测其它画面的参考画面。如图2A中所示,在MPEG-2标准中,可以从其显示时间紧接在P-画面的显示时间之前的一个画面,I-画面或P-画面中预测P画面(画面P0,P6,P9,P12,或P15)。可以从其显示时间紧接在B-画面之前的一个画面,或其显示时间紧接在B-画面之后的一个画面预测B-画面(画面B1,B2,B4,B5,B7,B8,B10,B11,B13,B14,B16,B17,B19,或B20),两个画面可以是I-画面或P-画面。B-画面的位置排列在流中,紧接在I画面或P画面之后。因此,在进行随机存取时,当从I-画面开始解码时,能够解码和显示I-画面后的所有画画。关于GOP的结构。可以考虑将从I3到B14的画面作为一个GOP,例如,如图2B所示。
图3是显示根据VC-1的流结构的示意图。按照VC-1的流与针对MPEG-2标准描述的流具有相同结构。然而,随机存取点被称为被添加有入口点首部(Entry Point HDR)的“入口点”。从该入口点到下一个入口点的数据是一个随机存取单元(RAU),等效于按照MPEG-2标准的一个GOP。下文中,将按照VC-1的RAU称为“随机存取点(RAU)”。应该指出,RAU能够存储与RAU中的画面有关的用户数据(在入口点等级的用户数据),RAU紧接在入口点首部之后排列。
在此,描述按照VC-1的画面的类型。在VC-1中,同样定义了I-画面、P-画面、和B-画面。这些I-画面、P-画面、和B-画面与针对MPEG-2标准描述的预测结构具有相同的预测结构。在VC-1中,除了上述三种类型的画面之外,另外定义了两种类型,即,跳过画面(Skipped picture)和BI-画面。跳过画面是不包括任何像素数据,并作为按照解码顺序与前面的参考画面具有相同像素数据的P-画面处理的画面。例如,在下面的例子(1)和(2)中,画面S5被看作与画面P3具有相同的画面,以便在(1)和(2)中都执行对流进行解码的相同操作。
(1)显示顺序:画面I0、画面B2、画面P1、画面B4、画面P3、画面B6、画面S5(应该指出,由包括I的符号表示的画面是I-画面,由包括P的符号表示的画面是P-画面,由包括B的符号表示的画面是B-画面,由包括S的符号表示的画面是跳过画面。例如,画面S6是跳过画面。附加到画面的符号的数值表示解码顺序)。
(2)显示顺序:画面I0、画面B2、画面P1、画面B4、画面P3、画面B6、画面P5(P5与P3具有相同的像素数据)。
在画面静止时,跳过画面特别有用。例如,在画面在RAU中部静止的情况下,在画面静止的地方,例如,在有画面I0、画面P1、画面P2、画面P3、画面S4、画面S5、画面S6的地方使用跳过画面,以便减少要编码的数据量。
此外,BI-画面是具有B-画面和I-画面特征的画面。更具体地讲,BI-画面具有解码顺序与显示顺序不同(需要对BI-画面和I-画面或P-画面重排序。例如,安装形式顺序,BI-画面在RAU中的起始画面内编码之前,且按解码顺序在RAU中的起始画面内编码之后),且该画面不是其它画面的参考画面的B-画面特征。另外,BI-画面具有所有宏块被应用画面内编码和不从任何其它画面预测该画面的I-画面特征。
接下来,描述区分I-画面、P-画面、B-画面、跳过画面、和BI-画面的方法。基本上,能够根据流中的画面层中包括的画面类型来区分画面的类型。然而,由画面层指示的画面类型根据简档(profile)被定义如下。
例如,在简单简档中,画面类型被指示为I-画面和P-画面。在主简档中,画面类型被指示为I-画面、P-画面、和B-或BI-画面。在高级简档中,画面类型被指示为I-画面、P-画面、和B-画面、BI-画面、和跳过画面。
在此,在简单简档和主简档二者中,不能利用画面层中的画面类型来区分跳过画面,以致在任意画面具有一个或更小字节的情况下,该画面被定义为跳过画面。此外,在主简档中,一种画面类型被定义为表示B-画面或BI-画面,以致不能根据画面类型从BI-画面中区分B-画面。
图4是显示实现现有的图像编码方法的画面编码装置的方框图。
画面编码装置800对输入的画面信号Vin进行压缩编码,可变长度编码等,从而将画面信号Vin变换成要输出的比特流(流)。画面编码装置800包括运动估计单元801,运动补偿单元802,减法器803,正交变换单元804,量化单元805,逆量化单元806,逆正交变换单元807,加法器808,画面存储器809,开关810,可变长度编码单元811,和预测结构确定单元812。
画面信号Vin被输入到减法器803和运动估计单元801。减法器803计算输入的画面信号Vin与预测画面之间的差值,并将该差值输出到正交变换单元804。正交变换单元804将该差值变换成频率系数,并将该频率系数输出到量化单元805。量化单元805对输入的频率系数进行量化,并将得到的量化值Qc输出到可变长度编码单元811。
逆量化单元806对量化值Qc进行逆量化,以重构原始频率系数,并将得到的频率系数输出到逆正交变换单元807。逆正交变换单元807执行逆频率变换,以将频率系数变换成像素差值,并将像素差值输出到加法器808。加法器808将像素差值与从运动补偿单元802输出的预测画面相加,产生解码画面。当指令存储解码画面时,开关810为ON,并将解码画面存储在画面存储器809中。
另一方面,被以宏块为单位输入画面信号Vin的运动估计单元801搜索存储在画面存储器809中的解码画面(参考画面),检测与由画面信号Vin指示的宏块具有最相似图像的图像,和确定用于指示该图像的位置的运动向量MV。
运动补偿单元802利用确定的运动向量等从存储在画面存储器809中的解码画面检索最适合于预测画面的图像。
预测结构确定单元812根据RAU开始画面Uin来确定要被编码的画面在RAU开始位置,然后,利用画面类型Pt指令运动估计单元801和运动补偿单元802将画面编码(画面间编码)作为特定的随机可存取画面,并进一步指令可变长度编码单元811对画面类型Pt编码。
可变长度编码单元811对量化值Qc、画面类型Pt、和运动向量MV进行量化,以产生编码流Str。
图5显示是实现现有的图像解码方法的图像解码装置900的方框图。图4中的参考标记在图5中被分配给相同的单元,这些单元以与针对与图4中用于实现现有图像编码方法的画面编码装置描述的相同方式进行操作,因此在下文中省略了对这些单元的详细说明。
可变长度解码单元901对流Str解码,输出量化值Qc、参考画面规范信息Ind、画面类型Pt、运动向量MV等。画面存储器809获得运动向量MV,运动补偿单元802获得画面类型Pt、运动向量MV,和参考画面规范信息Ind,逆量化单元806获得量化值Qc。由画面存储器809、运动补偿单元802、和逆量化单元806、逆正交变换单元807、和加法器808进行解码。已经参考显示实现现有编码方法的画面编码装置800的图4的方框图描述了解码操作。
缓冲存取器902是用于存储从加法器808输出的解码画面Vout的存储器,显示单元903获得来自缓冲存取器902的解码画面Vout,和根据该解码画面Vout显示画面。应该指出,缓冲存取器809和画面存储器902可以共享同一个存储器。
图6是显示在诸如高速播放之类的特技播放期间由现有画面解码装置900执行的流程图。首先,在步骤S1001,现有的画面解码装置900从流Str检测要解码的画面的首部。然后,在步骤S1002,现有的画面解码装置900根据画面层中包括的首部中的画面类型检查是否需要对开始画面解码。在步骤S1003,现有的画面解码装置900确定该画面是否被检查要在步骤S1002中被解码,如果该画面要被解码,处理过程则进展到步骤S1004,而如果该画面不需要被解码,处理过程则进展到步骤S1005。最终,在步骤S1005,现有的画面解码装置900确定是否对要播放的最后画面,例如RAU或流中的最后画面完成了该处理过程,如果仍有要处理的静止画面,该处理过程重复从步骤S1001至S1005的步骤,如果处理了最后的画面,该处理过程结束。
然而,在上面的现有画面编码装置800和画面解码装置900中,在对包括跳过画面的流Str进行编码期间,特别是诸如高速播放之类的特技播放期间,存在大量处理负荷的问题。此外,在包括BI-画面的流Str的解码过程中,特别是在诸如从整个数据(下文称之为跳跃播放)的中部进行播放之类的特技播放中,存在着如上所述的、需要处理大量负荷的他有问题。
图7是显示上述现有画面编码装置800和画面解码装置900中的问题的示意图。
在图7的(a)中,示出了包括跳过画面的现有RAU的结构。RAU包括24幅画面,其中,按照解码顺序,图像在第4幅和后续的画面中是静止的,因此第5和后面的画面都是跳过画面。当以3倍速播放该RAU时,现有画面解码装置900尝试对第1,第4,第7,第10,第13,第16,第19和第22幅画面解码,随后进行播放。然而,实际被解码的画面只是第1幅I-画面和第4幅P-画面,如图7的(c)中所示。
这意味着,画面解码装置900不能确定在现有技术的流Str中的RAU中画面是否要被解码,除非搜索到每个画面(画面层)的头以获得画面类型,由于每个画面层包括画面的画面类型。因此,如图7的(b)中所示,画面解码装置900需要分析第7,第10,第13,第16,第19和第22幅跳过画面,以获得画面类型。
如上所述,对于现有RAU的高速播放,现有画面编码装置和画面解码装置需要分析甚至不需要被解码的画面,最后导致要对大量的数据进行解码。
此外,当从包括BI-画面的RAU进行跳跃播放时,上面的画面编码装置800和画面解码装置900在解码中需要较大的处理量。
这意味着,在现有的画面编码装置800中,当产生开放的GOP型RAU时,有可能将画面(下文称之为重新排序画面)编码为B-画面或BI-画面。
应该指出,按照显示顺序,重新排序画面位于按解码顺序处在RAU中第一画面的位置的开始I-画面之前,但按照解码顺序,该重新排序画面位于该开始I-画面之后。在此,当从开放的GOP型RAU进行跳跃播放时,如果上述重新排序画面是B-画面,则存在着即不能对B-画面解码也不显示B-画面的情况。然而,如果重新排序画面是BI-画面,则能够对BI-画面进行解码和显示。
因此,现有的画面解码装置900分析流Str中的RAU中包括的每个重新排序画面,从而确定重新排序画面是B-画面还是BI-画面。如果重新排序画面是B-画面,画面解码装置900则不对重新排序画面解码。另一方面,如果重新排序画面是BI-画面,画面解码装置900则对重新排序画面解码。
然而,上面描述的确定重新排序画面是B-画面还是BI-画面需要较大的处理量,有时导致处理的延时。
因此,当从开放的GOP型RAU进行跳跃播放时,现有的画面解码装置900在没有任何具体需要的情况下,无论重新排序画面是B-画面还是BI-画面,既不对重新排序画面解码,也不显示重新排序画面。结果是,当重新排序画面是BI-画面时,已经不可能有效地播放该BI-画面。
因此,本发明提出了上述问题,本发明的目的是提供能够减少解码负荷的画面编码装置和画面解码装置。
具体实施方式
以下参考附图描述根据本发明的实施方式。
(第一实施方式)
根据本发明的第一实施方式,RAU映射图被存储在VC-1流中的RAU的开始处,根据第一实施方式的画面解码装置通过分析RAU映射图来指定RAU中的静止画面序列。
图8是显示根据第一实施方式的VC-1流中包括的RAU的结构实施例的示意图。
RAU结构包括位于RAU开始处的入口点首部(Entry Point HDR)和用户数据,以及在用户数据后的多个画面。应该指出,在VC-1标准中,RAU被称为入口点分段(EPS)。
更具体地讲,根据第一实施方式的RAU与现有技术的RAU的区别在于该RAU包括安排在用户数据(在入口点等级的用户数据)中并指示RAU中是否出现跳过画面,以及指定RAU中的静止画面序列的RAU映射图MI。
因此,根据第一实施方式的画面解码装置通过参考RAU映射图MI能够检查RAU是否包括任何跳过画面,和能够指定静止画面序列,以致能够不分析RAU中的每个画面层而指定不需要被解码的画面,从而减少要被解码的数据量。
图9A是显示RAU映射图MI的语法实施例的示意图。
num_pic_in_RAU表示RAU中的画面数量。frame_field_flag表示是以场结构还是以帧结构对RAU中的每个画面进行编码。pic_type表示每个画面的画面类型(包括跳过画面类型)。应该指出,在解码顺序中指示了与每个画面有关的信息。这意味着RAU映射图MI通过指示每个RAU中画面的画面类型(包括跳过画面类型)来指定RAU中的静止画面序列。在此,第一实施方式中的静止画面序列是指在一系列多个跳过画面按解码顺序跟在参考画面(I-画面或P-画面)之后的情况下,从参考画面到最后的跳过画面的位置和范围。
例如,RAU映射图MI指示RAU中从第2画面到最后画面的画面是所有跳过画面。在上述情况下,通过参考RAU映射图MI中的pic_type,画面解码装置确定对开始画面解码,并重复显示该结果,而不对第2和后面的画面解码。
应该指出,RAU映射图MI可以进一步包括有关3:2下拉的信息,该信息指出一帧中多少场等效于现有的显示,或对每个画面而言,帧的解码是从顶场开始还是从底场开始等。
图9B是显示RAU映射图MI的语法的另一个实施例的示意图。
在VC-1标准中的高级简档中,由画面层中包括的场画面类型指示一帧场结构的第一场和第二场的画面类型。由八种码型定义场画面类型(第一画面和第二画面的画面类型),这八种码型是(I,I),(I,P),(P,I),(P,P),(B,B),(B,BI),(BI,B),和(BI,BI)。因此,在一幅画面包括场的情况下,通过指示场画面类型,能够指示帧中包括的第一场和第二场二者的画面类型。
因此,在画面包括场的情况下,图9B所示的RAU映射图MI的语法还指示画面的场画面类型。更具体地讲,num_frame_in_RAU表示RAU中的帧数量。field_coding_flag表示该画面是否包括场。在画面包括场的情况下,用field_type_flag来表示画面的场画面类型,在画面不包括场的情况下,用picture_type来表示画面的画面类型。
就是说,RAU映射图MI通过指示每个RAU中每个画面的画面类型,以与图9A所示的RAU映射图MI相同的方式指定RAU中的静止画面序列。
此外,在RAU仅包括I-画面和跳过画面,或仅包括I-画面,P-画面,和跳过画面的情况下,RAU的一部分或所有部分变成静止画面序列。这种情况下,画面编码装置依据被处理部分是静止画面序列还是正常的运动画面序列来改变解码和显示处理过程,使得RAU映射图MI可以进一步包括有关RAU是否包括任何静止画面序列的信息。
图9C是显示RAU映射图MI的语法的再一个实施例的示意图。
在该语法中,motionless_flag表示RAU是否包括任何静止画面序列,start_pic_num和end_pic_num指定RAU中的静止画面序列。更具体地讲,在motionless_flag是1的情况下,RAU映射图MI指示RAU包括静止画面序列。另外,在motionless_flag是1的情况下,RAU映射图MI指示静止画面序列以由start_pic_num表示的I-画面或P-画面开始,和以由end_pic_num表示的跳过画面结束。
应该指出,只在RAU的所有部分是静止画面序列或RAU包括持续时间比特定时间段长的静止画面序列的情况下,能够将motionless_flag设置为1。
图9D是显示RAU映射图MI的语法的再一个实施例的示意图。
在该语法中,number_of_pictures_in_EPS表示EPS中包括的画面的数量。picture_structure表示画面是场还是帧,或表示在显示中多少场等同于一帧。picture_type表示画面属于哪种类型,即I-画面,P-画面,B-画面,跳过画面,等等。另外,stuffing_bits用来按8比特的整数倍来排列stuffing_bits,picture_structure,和picture_type的所有比特。此外,在该语法中,关于EPS中包括的各个画面,按解码顺序指示stuffing_bits,picture_structure,和picture_type。
通过指示每个RAU(EPS)中画面的画面类型,RAU映射图MI以与图9A中所示的RAU映射图MI相同的方式来指定RAU中的画面中的静止画面序列。
应该指出,RAU映射图MI可以按显示画面的顺序存储有关各个画面的信息。还应该指出,RAU映射图MI可以进一步存储指示有关各个画面的信息是按解码顺序存储还是按显示顺序的信息。
还应该指出,可以把RAU映射图MI存储在与入口点层不同的层中的用户数据中,例如,存储在开始画面的用户数据中。还应该指出,在RAU不包括任何跳过画面的情况下,不需要产生RAU映射图MI。这种情况下,通过检查RAU映射图MI的存在与否,可以指示RAU是否包括任何跳过画面。
图10是显示第一实施方式中的画面解码装置100的方框图。
对包括图8中所示的RAU的流STR解码的第一实施方式的画面解码装置100包括:可变长度解码单元101,画面存储器102,运动补偿单元103,逆量化单元104,逆正交变换单元105,缓冲存储器106,显示单元107,加法器108,流提取单元109,和信息获得单元110。
该画面解码装置100与现有的画面解码装置900的区别在于加入了流提取单元109和信息获得单元110。
信息获得单元110从可变长度解码单元101获得RAU映射图MI,并且还从外部获得播放模式信号TM,用于指令诸如高速播放之类的特技播放的详细说明。然后,信息获得单元110根据播放模式信号TM分析RAU映射图MI,和确定(选择)要被解码的画面。信息获得单元110向流提取单元109输出指示该确定结果的解码画面指令信号SP。
例如,在RAU映射图MI包括图9C所示的语法的情况下,信息获得单元110根据motionless_flag确定要播放的RAU是否包括任何静止画面序列。然后,如果确定RAU包括静止画面序列,信息获得单元110则根据star_pic_num和end_pic_num指定静止区。指定静止画面序列之后,信息获得单元110从由播放模式信号TM指示的要播放的画面来确定只有静止画面序列未包括的画面作为要被解码的画面,信息获得单元110向解码画面指令信号SP输出确定结果。然而,如果播放模式信号TM指示的要播放的画面包括静止画面序列,确定静止画面序列的开始画面作为要被解码的画面。
另外,如果RAU映射图MI包括图9D所示的语法,信息获得单元110根据针对RAU中的每个画面指示的picture_type来指定静止画面序列。然后,信息获得单元110从由播放模式信号TM指示的要播放的画面来确定只有静止画面序列未包括的画面作为要被解码的画面,信息获得单元110向解码画面指令信号SP输出确定结果。然而,如上所述,如果播放模式信号TM指示的要播放的画面包括静止画面序列中的画面,则确定静止画面序列的开始画面作为要被解码的画面。
获得流STR之后,流提取单元109首先针对每个RAU检测位于RAU开始处的编码RAU映射图MI,和向可变长度解码单元101输出RAU映射图MI。根据RAU映射图MI获得从信息获得单元110输出的解码画面指令信号SP后,流提取单元109从流STR提取由解码画面指令信号SP指示的要被解码的画面的数据,和把该数据输出到可变长度解码单元101。
当可变长度解码单元101从流提取单元109获得编码的RAU映射图MI时,可变长度解码单元101对编码的RAU映射图MI进行可变长度解码,把解码的RAU映射图MI输出到信息获得单元110。另外,当可变长度解码单元101从流提取单元109获得包括在流STR中的画面的数据时,可变长度解码单元101对该数据进行可变长度解码,并输出量化值Qc,参考画面规范信息Ind,画面类型Pt,和运动向量MV。
运动补偿单元103从画面存储器102中存储的、并由参考画面规范信息Ind指示的解码画面(参考画面)中检索由运动向量MV指示的图像,并向加法器108输出该图像作为预测画面。
逆量化单元104对要重构成频率系数的量化值Qc进行逆量化,将频率系数输出到逆正交变换单元105。逆正交变换单元105对要变换成像素差值的频率系数进行逆频率变换,并将像素差值输出到加法器108。加法器108将像素差值与从运动补偿单元103输出的预测画面相加,产生解码画面Vout。然后,加法器108把解码的画面Vout存储到画面存储器102和缓冲存储器106中。显示单元107从缓冲存储器106获得解码的画面Vout,并显示与解码的画面Vout对应的画面。应该指出,画面存储器102和缓冲存储器106可以共享一个存储器。
还应该指出,流提取单元109可以把RAU中包括的所有画面的数据输出到可变长度解码单元101。这种情况下,可变长度解码单元101根据从信息获得单元110输出的解码画面指令信号SP,从RAU中包括的所有画面选择需要被解码的画面。然后,可变长度解码单元101对选择画面的数据进行可变长度解码。应该指出,信息获得单元110可以只对诸如高速播放和倒放之类的特技播放指定要被解码的画面。在正常播放的情况下,可以确定对所有画面解码,而不分析RAU映射图。
图11是显示由根据第一实施方式的画面解码装置100执行的操作的流程图。
当画面解码装置100接收到开始特技播放的指令时,画面解码装置100首先确定入口点层中的用户数据中是否存储了RAU映射图MI(步骤S100)。换句话说,画面解码装置100确定是否检测到RAU映射图MI。如果画面解码装置100检测到RAU映射图MI(步骤S100中为是),处理过程则进展到步骤S102,如果未检测到(步骤S100中为否),处理过程则直接跳到步骤S106。
更具体地说,如果画面解码装置100检测到RAU映射图MI(步骤S100中为是),画面解码装置100分析RAU映射图MI(步骤S102),和根据分析结果,从特技播放期间要被播放的RAU中的画面来确定要被解码的画面。
应该指出,当RAU的特技播放开始时,画面解码装置100一直在步骤S100检测RAU映射图MI,和指定RAU中要被解码的RAU。换句话说,当RAU的特技播放开始时,第一实施方式中的画面解码装置100根据RAU映射图MI,从RAU中包括的、并且在特技播放期间要被播放的画面中选择除跳过画面之外的画面作为要被解码的画面。
在步骤S100中未检测到RAU映射图MI的情况下,或在步骤S104指定要被解码的画面之后,画面解码装置100检测RAU中的、并且在特技播放期间要被播放的画面中画面的首部(开始码)(步骤S106)。
接下来,画面解码装置100检查已经在步骤S106检测到其首部并且作为特技播放期间要被特技播放画面的画面是否是在步骤S104中已经指定要被解码的画面中的画面(步骤S108)。在此,如果确定该画面是已经指定要被解码的画面中的画面(步骤S108中为是),画面解码装置100对画面解码(步骤S110)。
在确定该画面不是在步骤S104已经指定要被解码的画面中的画面的情况下(步骤S108中为否),或在步骤S110对画面解码之后,画面解码装置100检查是否还有任何要被处理的画面(步骤S112)。
如果没有发现要被处理的画面(步骤S112为否),画面解码装置100则结束所有操作,如果仍有要被处理的画面(步骤S112为是),画面解码装置100则重复从步骤S100开始的操作。例如,在在先的处理过程中已经在步骤S100检测到RAU映射图MI,和随后处理过程对同一个RAU进展到步骤S100的情况下,画面解码装置100不需要在S100检测RAU映射图MI(步骤S100为否),而是执行步骤S106的操作,即,检测特技播放期间要被播放的下一个画面的首部。
如上所述,第一实施方式中的图像解码方法与现有技术的图像解码方法的区别在于包括从步骤S100到步骤S104的操作。
图12是显示由根据第一实施方式的画面解码装置100执行的分析RAU映射图MI的操作的流程图。
例如,在RAU映射图MI包括如图9D所示的语法的情况下,画面解码装置100首先分析RAU映射图MI,和从RAU中包括的、并且在特技播放期间要被播放的画面中指定I-画面、P-画面、和跳过画面(步骤S120)。
接下来,在特技播放期间要被播放的画面是跳过画面的情况下,画面解码装置100确定使用对按解码顺序紧接在跳过画面之前的I-画面或P-画面解码的结果来作为与跳过画面对应的画面(步骤S122)。
应该指出,即使在不是特技播放的正常播放中,当RAU的播放开始时,也能够通过参考RAU映射图MI来指定跳过画面等。
当显示RAU中包括的跳过画面时,画面解码装置100显示对在步骤S122指定的、并且紧接在跳过画面之前的I-画面或P-画面解码的结果。
在此,通过参考图13A、13B、和13C,描述由根据第一实施方式的画面解码装置执行的高速播放操作。
图13A是显示以高速播放的RAU的示意图。
从画面的开始处数的第一画面是I-画面,第二和第三画面是B-画面,第四画面是P-画面。第五和随后的画面全是跳过画面。应该指出,所有画面为帧画面。
图13B是显示与图13A对应的RAU映射图MI的示意图。RAU映射图MI包括图9A所示的语法。在此,所有画面为帧画面,以致对所有画面将frame_field_flag设置为1。另外,对每个画面,将pic_type设置为I-画面、P-画面、B-画面或跳过画面。应该指出,在图13B中,pic_type被设置为“I”、“P”、“B”、或“跳过”,而在实际应用中,也可以将pic_type设置为表示画面类型的数值。
图13C是显示由根据第一实施方式的画面解码装置100对包括图13A中的RAU的流STR进行高速播放的操作的流程图。
首先,画面解码装置100确定以三倍速播放流STR中包括的图13A中的RAU(步骤S130)。应该指出,以三倍速播放是普通的高速播放,并且在RAU的流结构按解码顺序包括I-画面、B-画面、B-画面、P-画面、B-画面、B-画面、P-画面、B-画面、B-画面、......的情况下,是与只播放I-画面和P-画面相同的处理过程。
接下来,画面解码装置100根据对图13B所示的RAU映射图MI的分析结果来确定从第5画面到第24画面全部是跳过画面,以及从第4画面到第24画面的范围是静止画面序列。然后,由于用对第4画面的解码结果作为要针对第5和后续画面显示的画面,因此画面解码装置100确定只对第1和第4画面解码(步骤S132)。接下来,画面解码装置100解码和显示第1和第4画面(步骤S134)。此外,画面解码装置100重复显示对第4画面的解码结果,而不是显示对第7、第10、第13、第16、第19、和第22画面的解码结果。
应该指出,第一实施方式已经描述了VC-1流的每个RAU包括RAU映射图,以及画面解码装置100对该流解码,但不能应用于对除MPEG-4AVC和MPEG-2标准外的流进行编码的任何编码方法,直到该流包括RAU映射图。在此,即使应用未将相同画面定义为跳过画面的编码方法,该方法也能够通过把该画面看作是RAU映射图中的跳过画面来从其它画面中区分该画面,直到该画面类型实际上与跳过画面相同。
(第一变化)
下面描述由根据第一实施方式的画面解码装置100执行的播放方法的第一变化。
例如,可能有在从解码时间标记(DTS)到显现时间标记(PTS)范围的解码时间段内对静止画面序列中的开始画面解码未结束的情况。因此,在第一实施方式的该变化中,即使开始画面的解码到PTS为止仍未结束,也在解码结束之后显示开始画面。
图14是显示由根据第一实施方式的第一变化的画面解码装置执行的播放方法的说明示意图。
DTS2表示分组(被称为PES分组)的首部中包括的解码时间标记,所述分组具有静止画面序列中开始画面pic2的编码,换句话说,DTS2表示对开始画面pic2解码的时间。PTS2表示分组的首部中包括的显现时间标记,所述分组具有开始画面pic2的编码,换句话说,PTS2表示开始画面pic2的显现时间。DTS1、PTS1和PTS3表示与如上所述相同方式的各种时间。
例如,如图14所示,画面解码装置100在DTS2开始对开始画面pic2解码。然而,存在着解码结束时间在PTS2之后的情况。因此,在对静止画面序列中的开始画面的解码结束时间在PTS2之后的情况下,根据第一实施方式的第一变化的画面解码装置100在紧接解码结束时间的帧栅(frame-grid)时间开始显现。
因此,当解码在编码的开始画面中包括的解码时间标记开始,而在显现时间标记为止解码还未结束的情况下,根据第一实施方式的变化的画面解码装置100将一个边缘加到显现时间标记,并在带有边缘的显现时间标记显示解码的开始画面。
图15是显示由根据第一实施方式的第一变化的画面解码装置100执行的播放方法的流程图。
根据第一实施方式的第一变化的画面解码装置100在静止画面序列中的开始画面的DTS处开始对开始画面解码(步骤S140)。然后,画面解码装置100确定到开始画面的PTS为止该解码是否已经结束(步骤S142)。在此,如果确定解码已经结束(步骤S142为是),画面解码装置100则在PTS显示解码的开始画面(步骤S144)。另一方面,如果确定解码仍未结束(步骤S142为否),画面解码装置100则在紧接PTS之后的时间,即,紧接结束解码之后的帧栅时间显示解码的开始画面(步骤S146)。
因此,根据由第一实施方式变化的画面解码装置100执行的播放方法,在延迟静止画面序列中开始画面的解码和该解码到PTS为止仍未结束的情况下,也能够延迟开始画面的显示时间,以致与不显示开始画面的情况相比,能够改进静止画面序列中的画面质量。
(第二变化)
下面描述由根据第一实施方式的画面解码装置100执行的播放方法的第二变化。
根据第二变化的画面解码装置100能够减少对诸如蓝光盘(BD:Blu-ray Disc)之类的静止画面解码的负荷。
对于流,有两种产生画面在其中静止的序列的方法。按照一种方法,提供同样解码结果的一个或多个画面中的每一个被连续的定位。按照另一种方法,跟在开始画面之后的画面随后被依次定位,以便改善每个解码过程中同样画面的图像质量。为了区别由这两种方法产生的序列,前一种方法被称为完全静止画面序列,后一种被称为逐渐刷新静止画面序列。
在此,在完全静止画面序列中,通过对该序列中的开始画面解码,能够从该序列中任何希望的画面开始播放。另一方面,在逐渐刷新静止画面序列中,由于对开始画面解码提供了与对该序列中的开始画面之后其它画面解码的结果不同的结果,因此不能通过只对开始画面解码而从任何希望的位置开始播放。因此,当播放从逐渐刷新静止画面序列的中间的画面开始时,通过按顺序对该序列中的开始画面和开始画面之后的画面解码而对在播放开始位置的画面解码。如上所述,对于特技播放,例如,进行跳跃播放时,或高速播放改变回正常播放时,完全静止画面序列和逐渐刷新静止画面序列需要不同的过程,使得其需要区别这些序列。
于是,根据第二变化的RAU映射图指示RAU中有关静止画面的序列,并且还指示该序列是完全静止画面序列还是逐渐刷新静止画面序列。然后,根据第二变化的画面解码装置100参考RAU映射图,由此容易地指定要被解码的画面,以便执行解码过程。结果是,能够减少解码处理的负荷。
图16A是显示包括完全静止画面序列的RAU的示意图。
例如,RAU映射图通过指示如图9D所示的RAU中包括的每个画面的画面类型来指示该RAU具有完全静止画面序列的结构。
因此,画面解码装置100通过参考RAU映射图,能够容易地在该完全静止画面序列中指定只有开始I-画面作为要被解码的画面。
图16B是显示包括逐渐刷新静止画面序列的RAU的示意图。
例如,RAU映射图通过指示如图9D所示的RAU中包括的每个画面的画面类型来指示该RAU具有逐渐刷新静止画面序列的结构。图16B所示的逐渐刷新静止画面序列具有I-画面在RAU的开始处,多个P-画面I-画面之后(后续画面)的结构。在该逐渐刷新静止画面序列,每当依次对每个后续P-画面解码时,改善了作为开始I-画面的解码结果的画面的图像质量。这意味着该逐渐刷新静止画面序列适合于改善静止画面的图像质量,直到RAU中的最后一个画面。
因此,当播放的目的是从RAU中的逐渐刷新静止画面序列中的某个P-画面开始时,画面解码装置100通过参考该RAU映射图能够容易地指定逐渐刷新静止画面序列中的开始I-画面以及该I-画面和在播放开始位置的P-画面之间的每个P画面作为要被解码的画面。
图16C是显示包括另一个逐渐刷新静止画面序列的RAU的示意图。
例如,RAU映射图通过指示如图9D所示的RAU中包括的每个画面的画面类型,指示该RAU具有逐渐刷新静止画面序列的结构。图16C所示的逐渐刷新静止画面序列具有I-画面处在RAU的开始处,两个P-画面跟在所述I-画面之后(随后画面),和多个跳过画面的结构。在该逐渐刷新静止画面序列中,每当依次对两个P-画面解码时,改善了作为开始I-画面的解码结果的画面的图像质量,然后由跳过画面维持该图像质量。
因此,当播放的目的是从RAU中的逐渐刷新静止画面序列中的某个P-画面开始时,画面解码装置100通过参考该RAU映射图能够容易地指定逐渐刷新静止画面序列中的开始I-画面以及该I-画面和从其开始播放的P-画面之间的每个P画面作为要被解码的画面。此外,当播放的目的是从RAU中的逐渐刷新静止画面序列中的某个跳过画面开始时,画面解码装置100通过参考该RAU映射图能够容易地指定该开始I-画面和该逐渐刷新静止画面序列中的两个P-画面作为要被解码的画面。
应该指出,该第二变化已经描述了上述RAU映射位于流中,例如,在RAU的开始处,然而,RAU映射也可以被存储在管理信息等的时间映射图中。
还应该指出,该第二变化依据描述了当播放的目标是从逐渐刷新静止画面序列中间的某个画面开始时,指定开始I-画面以及在该I-画面和处在播放开始位置的P-画面之间的每个P-画面作为要被解码的画面,但不必指定所有画面作为要被解码的画面。更具体地讲,能够只指定开始I-画面,或只指定该开始I-画面和预定数量的P-画面作为要被解码的画面。这种情况下,虽然在播放开始位置不能实现画面的原始图像质量,但能够减小播放中的处理负荷。
(第二实施方式)
图17是显示根据本发明第二实施方式的画面编码装置的方框图。
根据第二实施方式的画面编码装置200包括:运动估计单元201,运动补偿单元202,减法器203,正交变换单元204,量化单元205,逆量化单元206,逆正交变换单元207,加法器208,画面存储器209,开关210,可变长度编码单元211,预测结构确定单元212,和信息产生单元213。
运动估计单元201以宏块为单位获得图像信号Vin。然后,运动估计单元201搜索存储在画面存储器209中的解码画面(参考画面),和检测具有与图像信号Vin指示的宏块最相似图像的图像。运动估计单元201确定指示该图像位置的运动向量MV,和输出运动向量MV。运动估计单元201输出指示已经被用来检测运动向量MV的解码画面的参考画面规范信息Ind。
运动补偿单元202从存储在画面存储器209中的、并由参考画面规范信息Ind指示的解码画面来检索由运动向量MV指示的图像,和输出该图像作为预测画面。
画面预测结构确定单元212根据RAU开始画面Uin确定要被编码的画面处在RAU开始位置,然后使用画面类型Pt指令运动估计单元801和运动补偿单元802将该画面编码(画面间编码)为随机存取画面,和进一步指令可变长度编码单元811对画面类型Pt编码。更具体地讲,预测结构确定单元212针对画面信号Vin中包括的要被编码的每个画面指定画面类型,例如,I-画面、P-画面、B-画面、跳过画面,等等。
减法器203获得画面信号Vin和预测画面,然后计算画面信号Vin和预测画面之间的差值,和将该差值输出到正交变换单元204。正交变换单元204将该差值变换成频率系数,并将该频率系数输出到量化单元205。量化单元205对从正交变换单元204输入的频率系数进行量化,向可变长度编码单元211输出得到的量化值Qc。
逆量化单元206对量化值Qc进行逆量化,以便重构原始频率系数,并把得到的频率系数输出到逆正交变换单元207。逆正交变换单元207对要变换成像素差值的频率系数进行逆频率变换,并向加法器208输出像素差值。加法器208将该像素差值与从运动补偿单元202输出的预测画面相加,产生解码的画面。当指令存储解码的画面时,开关210处在On状态,把解码的画面存储到画面存储器209中。
信息产生单元213根据预测结构确定单元212确定的画面类型Pt来产生如图9A至9D之一所示的RAU映射图MI,和向可变长度编码单元211输出产生的RAU映射图MI。
可变长度编码单元211对量化值Qc、画面类型Pt、RAU映射图MI、运动向量MV等进行可变长度编码,以便产生流STR。
如上所述,根据第二实施方式的画面编码装置200与现有技术的画面编码装置800的区别在于包括了信息产生单元213。
图18是显示由根据第二实施方式的画面编码装置200执行的操作的流程图。
首先,画面编码装置200利用预测结构确定单元212确定要被编码的画面是否是RAU中的开始画面(步骤S200)。在此,如果确定该画面是RAU中的开始画面(步骤S200为是),画面编码装置200利用可变长度编码单元211执行初始化处理,以产生RAU映射图MI,和获得把RAU映射图MI存储在入口点层的用户数据中的区域(步骤S202)。
此外,画面编码装置200利用预测结构确定单元212确定要被编码画面是否是跳过画面(步骤S204)。在此,如果确定该画面不是跳过画面(步骤S204为否),画面编码装置200则对要被编码的画面的像素数据进行编码(步骤S206)。
然后,画面编码装置200通过信息产生单元213,根据步骤S204的确定结果,产生和更新RAU映射图MI(步骤S208)。
例如,画面编码装置200产生如图9D所示的RAU映射图MI,以便包括在步骤S206编码的画面的画面类型,指示该画面是场或帧等的信息。画面编码装置200也可以产生如图9C所示的RAU映射图MI,以便包括静止画面序列的指示。
接下来,画面编码装置200确定在步骤S204确定的画面是否是RAU中的最后画面(步骤S210)。换句话说,画面编码装置200确定是否已经对RAU中包括的所有画面进行了处理。在此,如果确定该画面是最后画面(步骤S210为是),画面编码装置200则利用可变长度编码单元211指定和编码RAU映射图MI,把RAU映射图MI写入在步骤S202获得的区域(步骤S212)。
然后,画面编码装置200确定在流STR中包括的画面中是否仍有要被处理的画面(步骤S214)。在此,如果确定仍有要被处理的画面(步骤S214为是),画面编码装置200则重复从步骤S200起的操作,如果确定没有发现要被处理的画面(步骤S214为否),画面编码装置200则结束所有编码操作。
应该指出,在不知道与RAU映射图MI有关的信息的情况下,或在加入缓冲存储器以便缓存RAU中包括的画面的数据的情况下,可以跳过步骤S202。这种情况下,在步骤S212获得RAU映射图MI的存储区,将RAU映射图MI存储在入口点层的用户数据中。
还应该指出,画面编码装置200可以以固定比特率产生包括跳过画面的流STR。编码一个跳过画面的量是大约1字节,当以固定比特率对画面信号Vin编码时需要通过***填充数据来调节流STR的大小。在此,可以仅在跳过数据中***填充数据。由此能够对画面进行解码,而处理以数据片***画面中的填充数据不消耗时间。
还应该指出,在特技播放期间需要首先读出序列层和入口点层的信息,因此希望尽可能地减小数据规模。因此,能够确定不在序列层和入口点层之间***填充数据。
还可以把根据第二实施方式的编码方法产生的流STR与音频数据一起多路复用和对其进行记录。多路复用方法的实施例是对每个分组媒体等标准化的方法,例如,使用MPEG-2***的传送流分组或在蓝光盘(BD)中定义的分组的方法。
此外,在简单简档和主简档中,不能用画面层中的画面类型来识别跳过画面。
因此,即使每个画面的画面层中的画面类型是I-画面、P-画面、B-画面、或BI-画面,根据第二实施方式的画面编码装置200可以基于画面的大小来检查该画面是否是跳过画面,如果该画面是跳过画面,则产生RAU映射图MI,以指示该画面是跳过画面。这意味着由画面编码装置200产生的流STR中的RAU映射图MI指示包括跳过画面的各个画面的画面类型,即使是在简单简档和主简档中。
基于同样原因,在主简档中,也不能通过画面层中的画面类型来区分B-画面和BI-画面。
因此,根据第二实施方式的画面编码装置200根据通过由预测结构确定单元212区分B-画面和BI-画面指定的画面类型,产生指示RAU中包括的各个画面的画面类型的RAU映射图MI。这意味着由画面编码装置200产生的流STR中的RAU映射图MI能够区分B-画面和BI-画面,即使是在主简档中。与B-画面不同,能够独立地对BI-画面解码,以致B-画面和BI-画面的区分增加了选择在特技播放期间要被解码和播放的画面的灵活性。
在出现序列层的情况下,RAU包括序列层是可能的,例如,通过一直向入口点层添加序列层。另外,除RAU映射图MI,入口点层中的用户数据可以包括进一步的信息。
在特技播放中,重要的是指定要被解码的画面和有效地存取该画面。因此,RAU映射图MI可以指示与每个画面有关的地址信息。在此,地址信息可以是与从RAU的开始处数起的字节位置有关的信息,或在按传送流分组对编码数据分组时指定存储每个画面的分组的信息,等等。应该指出,不仅可以对所有画面,而且可以对在特技播放期间要被解码的画面,例如I-画面或P-画面,加入地址信息。
<变化>
下面描述根据第二实施方式的跳过画面的变化。
在第二实施方式中,产生跳过画面作为与按解码顺序紧接在跳过画面之前的参考画面具有相同像素数据的P-画面。因此,不能使用跳过画面来代替B-画面。
因此,第二实施方式的变化产生跳过画面作为未从任何其它画面预测的B-画面,和作为与按解码顺序紧接在跳过画面之前的参考画面的画面具有相同像素数据的画面(下文称作B-跳过画面)。更具体地讲,在第二实施方式的变化中,通过新引入B-跳过画面,能够形成GOP结构,例如,MPEG-2标准中一般使用的I-画面、B-画面、B-画面、P-画面、B-画面、B-画面、P-画面、B-画面、B-画面、......,以致在画面解码装置中能够容易地实现IP播放(仅播放I-画面和P-画面的特技播放)。
图19A和19B显示了使用B-跳过画面的实施例。应该指出,在图18A和18B中,包括在代码“I2”、“B0”、“P5”和“B-跳过6”等中的“I”、“B”、“P”和“B-跳过6”表示各个画面的画面类型,加入到画面类型中的数值指示显示顺序。应该指出,在图19A中,按解码顺序排列RAU中的画面,在图19B中,按显示顺序排列RAU中的画面。仅从按显示顺序作为紧接在该画面之前的参考画面的画面P5预测画面B-跳过6和画面B-跳过7,而不从画面P8预测。根据第二实施方式变化的画面编码装置200产生具有图19A和19B所示的RAU的流STR。
在此,由RAU映射图MI中的画面类型指示一幅画面是否是B-跳过画面。另一方面,即使该画面是B-跳过画面,该画面的画面层中包括的画面类型或场画面类型是B-画面。因此,该流STR能够保持与现有技术的流的兼容性,以致即使不能分析RAU映射图MI的现有技术的解码器也能够将B-跳过画面作为B-画面处理,并执行特技播放。
应该指出,画面层可以指示一幅画面是否是B-跳过画面。也能够产生B-跳过画面作为与按显示顺序紧接在B-跳过画面参考画面具有相同像素数据的画面。这种情况下,RAU映射图MI可以指示B-跳过画面是按显示顺序从紧接在B-跳过画面之前的参考画面预测的,还是从紧接在B-跳过画面之后的参考画面预测的。
(第三实施方式)
根据第三实施方式的画面解码装置参考指示BI-画面的RAU映射图,从而确定一个或多个BI-画面按照显示顺序是否位于紧接在开放的GOP型RAU中的开始I-画面之前。如果确定一个或多个BI-画面位于紧接在开始I-画面之前,画面解码装置从BI-画面的第一个画面开始解码。
在此,在第三实施方式中,开始I-画面按照解码顺序是位于RAU开始处,而按照显示顺序处在作为RAU中第一I-画面的画面。此外,重新排序的画面是按照解码顺序位于RAU中的开始I-画面之后,而按照显示顺序处在开始I-画面之前的画面。此外,BI-画面是具有B-画面和I-画面特性的画面(需要对BI-画面和I-画面或P-画面的重新排序)。更具体地讲,BI-画面具有B-画面的特性,其中虽然按照显示顺序-画面在I-画面或P-画面之前,但按照解码顺序BI-画面跟在I-画面或P-画面之后,并且该画面不是其它画面的参考画面。另外,BI-画面具有I画面的特性,其中所有宏块为编码内,并且该画面不参考任何其它画面。此外,在先进的简档等中,流STR中的BI-画面的画面层能够包括指示该层画面是BI-画面的画面层信息。
下面更详细地描述第三实施方式。
根据VC-1以及MPEG-2标准,RAU中包括开放的GOP型和封闭的GOP型。开放的GOP型RAU是其中的画面可以参考按照解码顺序位于紧接在当前RAU之前的另一个RAU中的画面的RAU。另一方面,封闭的GOP型RAU是其中的画面只能参考同一RAU中的画面的RAU。应该指出,利用在入口点等级的标记或针对流之外的特技播放的数据库,能够确定该RAU是开放的GOP型还是封闭的GOP型。
在此,当从开放的GOP型RAU的开始处进行跳跃播放时,如果有按照解码顺序位于该RAU中的开始画面(I-画面)之后,而按照显示顺序位于开始画面(I-画面)之前的B-画面,该B-画面不能参考紧接在当前RAU之前的另一个RAU中的画面,使得其不能对B-画面解码。因此,在跳跃播放期间不对B-画面解码。
另一方面,即使在从开放的GOP型RAU的开始处进行跳跃播放时,如果有按照解码顺序位于该RAU中的开始画面(I-画面)之后,而按照显示顺序位于开始画面(I-画面)之前的B-画面,能够不参考任何其它画面而对该B-画面解码,使得播放能够从该B-画面开始。
下面详细描述B-画面按照显示顺序位于开放的GOP型RAU中的开始I-画面之前的实例。
图20A是显示使用B-画面的跳跃播放的说明示意图。
例如,根据第三实施方式的画面解码装置通过按照显示顺序只对每个RAU中的开始I-画面解码并显示解码的画面来进行高速播放,然后从高速播放改变到正常播放,如图20A所示。更具体地讲,画面解码装置通过只对第一至第九RAU中的每个开始I-画面解码来进行高速播放,并从图20A中的第十RAU起将高速播放改变到正常播放。
在此,即使第十RAU是开放的GOP型RAU,按照显示顺序位于按照解码顺序是第一画面的I-画面之前的画面是B-画面,使得画面解码装置能够从第十RAU中的开始画面(显示顺序中的第一BI-画面)开始播放。
如上所述,通过设定为BI-画面,即在开放的GOP型RAU中的开始I-画面之前要被显示的重新排序的画面,能够实现从高速播放到正常播放的平滑改变。
图20B是显示使用BI-画面的另一个跳跃播放的说明示意图。
例如,如图20B所示,在RAU中,B-画面和BI-画面按照显示顺序依次位于开始I-画面之前。
在此,由于B-画面参考紧接在当前RAU之前的另一个RAU中的画面,在特技播放期间不能对B-画面解码,使得画面解码装置能够确定显示应该从该BI-画面开始。
图20C是显示使用BI-画面的再一个跳跃播放的说明示意图。
例如,如图20C所示,在RAU中,BI-画面和B-画面按照显示顺序依次位于开始I-画面之前。
这种情况下,能够确保对BI-画面解码,但不能对BI-画面后的B-画面解码。因此,如果RAU具有按照显示顺序位于作为第一画面的BI-画面和按照解码顺序是第一画面的开始I-画面之间,画面解码装置能够确定显示应该从I-画面开始。
根据第三实施方式的画面解码装置参考RAU映射图MIa以平滑地进行上述特技播放。RAU映射图Mia被存储在RAU中的用户数据中,如根据第一实施方式的图8中所示。
应该指出,根据第三实施方式的RAU映射图MIa的语法与根据图9D所示的第一实施方式的语法具有相同结构。更具体地讲,RAU映射图MIa包括number_of_pictures_in_EPS、picture_structure、和picture_type的信息。picture_type指示按照解码顺序,RAU中每个画面的画面类型属于:I-画面,P-画面,B-画面,或BI-画面。
就是说,根据第三实施方式的RAU映射图MIa通过按照解码顺序指示RAU中每个画面的画面类型,来指示是否有按照显示顺序位于紧接在开始I-画面之前的一个或多个连续的BI-画面。
因此,当从开放的GOP型RAU进行跳跃播放时,根据第三实施方式的画面解码装置通过参考RAU中存储的RAU映射图MIa,能够容易地确定应该从哪个画面开始播放。结果是,根据第三实施方式的画面解码装置能够如图20A至20C所示平滑地进行跳跃播放。
应该指出,在第三实施方式中,RAU映射图MIa包括如图9D所示按照解码顺序的有关画面的画面类型信息,但是也可以包括按照显示顺序的有关画面的画面类型信息。此外,在RAU映射图MIa中,有关画面等的画面类型信息可以包括指示以哪种顺序,即是解码顺序还是显示顺序来存储画面类型信息的信息。
图21是显示根据第三实施方式的映射图MIa的语法的另一个实施例的示意图。
该映射图MIa的语法使用independent_decodable_flag来指示BI-画面按照显示顺序是否位于紧接在RAU中的开始I-画面之前。此外,independent_decodable_flag是1时,换句话说,当BI-画面按照显示顺序位于紧接在开始I-画面之前时,该语法使用num_decodable_pictures指示位于紧接在开始I-画面之前的连续BI-画面的数量。
当从开放的GOP型RAU进行跳跃播放时,根据第三实施方式的画面解码装置参考RAU中存储的RAU映射图MIa。然后,画面解码装置确定RAU映射图MIa中包括的independent_decodable_flag是1还是0。如果确定independent_decodable_flag是1,画面解码装置则进一步指定由RAU映射图MIa中包括的num_decodable_pictures指示的画面数量作为连续画面的数量(连续数量),并从按照显示顺序位于紧接在开始I-画面之前该连续数量BI-画面进行播放。如果只有一个BI-画面紧接在开始I-画面之前,画面解码装置从该BI-画面开始播放。另一方面,如果有多个连续的BI画面紧接在开始I-画面之前,画面解码装置从该连续的BI-画面的第一画面进行播放。
应该指出,可以将RAU映射图MIa存储在与进入点层不同层的用户数据中,例如,存储在RAU中的开始画面的用户数据中。还应该指出,当RAU中没有BI-画面时,不需要生成RAU映射图MIa。这种情况下,RAU映射图MIa的存在能够用来指示RAU是否具有紧接在开始I-画面之前的任何BI-画面。
图22是显示第三实施方式的画面解码装置300的方框图。
根据第三实施方式的画面解码装置300包括:可变长度解码单元301,画面存储器302,运动补偿单元303,逆量化单元304,逆正交变换单元305,缓冲存储器306,显示单元307,加法器308,流提取单元309,和BI信息获得单元310。
该画面解码装置300与现有的画面解码装置900的区别在于加入了流提取单元309和BI信息获得单元310。
BI信息获得单元310从可变长度解码单元301获得组类型信息GT,用于指示要被解码的RAU是开放的GOP型还是封闭的GOP型。如果组类型信息GT指示RAU是开放的GOP型,BI信息获得单元310则进一步从可变长度解码单元301获得要被解码的RAU的RAU映射图MIa。此外,BI信息获得单元310从外部获得播放模式信号TM,用于指示诸如跳跃播放之类的特技播放的细节。然后,BI信息获得单元310根据播放模式信号TM分析RAU映射图MIa和组类型信息GT,和指定(选择)要被解码和显示的画面。
例如,当要被解码的RAU的组类型信息GT指示该RAU是封闭的GOP型时,BI信息获得单元310指定要被解码的RAU中的所有画面作为要被解码和显示的画面。
另一方面,当要被解码的RAU的组类型信息GT指示该RAU是开放的GOP型时,BI信息获得单元310根据RAU映射图MIa指定要被解码和显示的画面。
例如,当RAU映射图MIa具有图21所示的语法时,BI信息获得单元110根据independent_decodable_flag来确定是否有按照显示顺序紧接在RAU中的开始I-画面之前的一个或多个连续BI-画面要被播放。如果确定有该BI-画面,BI信息获得单元310则根据num_decodable_pictures指定播放开始位置,即按照显示顺序在RAU中的第一BI-画面。如果确定没有该BI-画面,BI信息获得单元310则指定RAU中的开始I-画面作为播放开始位置。
此外,当RAU映射图MIa具有图9D所示的语法时,BI信息获得单元310根据针对RAU中的每个画面的picture_type来确定按照显示顺序是否有位于紧接在RAU中的开始I-画面之前的一个或多个连续的BI-画面要被播放。如果确定有该BI-画面,BI信息获得单元310则指定按照显示顺序在RAU中的第一BI-画面作为播放开始位置。如果确定没有该BI-画面,BI信息获得单元310则指定RAU中的开始I-画面作为播放开始位置。
如上所述指定播放开始位置之后,BI信息获得单元310在进行由播放模式信号TM指示的跳跃播放的RAU中的画面中,按照显示顺序从播放开始位置选择现有的画面作为要被解码和显示的画面。
然后,BI信息获得单元310向流提取单元309输出指示上述结果的解码画面指令信号SP。
获得流STR之后,流提取单元309首先针对每个RAU检测位于RAU开始处的编码进入点首部和RAU映射图MIa,和向可变长度解码单元301输出这些数据。根据RAU映射图MIa获得从BI信息获得单元310输出的解码画面指令信号SP后,流提取单元309从流STR提取由解码画面指令信号SP指示的要被解码的画面的数据,和把该数据输出到可变长度解码单元301。
当可变长度解码单元301从流提取单元309获得编码的进入到点首部和RAU映射图MIa时,可变长度解码单元301对编码的进入点首部和RAU映射图MIa进行可变长度解码。然后,可变长度解码单元301把解码的进入到首部中存储的组类型信息GT输出到BI信息获得单元310。此外,可变长度解码单元301答复来自BI信息获得单元310的请求,向BI信息获得单元310输出解码的RAU映射图MIa。另外,当可变长度解码单元301从流提取单元309获得包括在流STR中的画面的数据时,可变长度解码单元301对该数据进行可变长度解码,并输出量化值Qc,参考画面规范信息Ind,画面类型Pt,和运动向量MV。
运动补偿单元303从画面存储器302中存储的、并由参考画面规范信息Ind指示的解码画面(参考画面)中检索由运动向量MV指示的图像区,并向加法器308输出该图像区作为预测图像。
逆量化单元304对要重构成频率系数的量化值Qc进行逆量化,将频率系数输出到逆正交变换单元305。逆正交变换单元305对要变换回像素差值的频率系数进行逆频率变换,并将像素差值输出到加法器308。加法器308将像素差值与从运动补偿单元303输出的预测画面相加,产生解码画面Vout。然后,加法器308把解码的画面Vout存储到画面存储器302和缓冲存储器306中。显示单元307从缓冲存储器306获得解码的画面Vout,并显示与解码的画面Vout对应的画面。应该指出,画面存储器302和缓冲存储器306可以共享一个存储器。
还应该指出,流提取单元309可以把RAU中包括的所有画面的数据输出到可变长度解码单元301,而不依赖于播放模式信号TM、RAU映射图MIa、或组类型信息GT。这种情况下,可变长度解码单元301根据从BI信息获得单元310输出的解码画面指令信号SP,从RAU中包括的所有画面选择要被解码和显示的画面。然后,可变长度解码单元301对所选画面的数据进行可变长度解码。应该指出,信息获得单元310可以只对诸如跳跃播放、倒放、和从高速播放改变回之类的特技播放指定要被解码的画面。对于正常播放,信息获得单元310可以指定所有画面作为要被解码和显示的画面,而不分析RAU映射图MIa等。特别是,在如第三实施方式中描述的从特技播放改变回正常播放的情况下,分析正常播放从其开始的第一RAU的RAU映射图MIa就足够了。
图23是显示由根据第三实施方式的画面解码装置300执行的操作的流程图。
首先,画面解码装置300根据要被解码的RAU的进入点首部中存储的组类型信息GT来确定要被解码的RAU是开放的GOP型还是封闭的GOP型(步骤S300)。
在此,如果确定RAU是开放的GOP型(步骤S300为是),画面解码装置300则获得要被解码的RAU中存储的RAU映射图MIa(步骤S302)。
然后,画面解码装置300根据RAU映射图MIa确定是否有按照显示顺序位于紧接在要被解码的RAU中的开始I-画面之前的一个或多个连续的BI-画面(步骤S304)。
如果确定有该BI-画面(步骤S304为是),画面解码装置300指定该连续的BI-画面和按照显示顺序位于连续的BI-画面之后的画面作为要被解码和显示的画面(步骤S306)。这意味着当只有一个按照显示顺序位于紧接在开始I-画面之前的BI-画面,而不是多个连续的BI-画面时,画面解码装置300指定该BI-画面和按照显示顺序位于该BI-画面之后的画面作为要被解码的画面。
此外,当有多个按照显示顺序位于紧接在开始I-画面之前的连续BI-画面时,画面解码装置300指定该BI-画面和按照显示顺序位于该连续的BI-画面之后的画面作为要被解码的画面。
另一方面,如果确定没有该BI-画面(步骤S308为否),画面解码装置300则在要被解码的RAU中包括的画面中,指定该开始I-画面和按照显示顺序位于该开始I-画面之后的画面作为要被解码和显示的画面。
此外,当在步骤S300确定要被解码的RAU是封闭的GOP型时(步骤S300为否),画面解码装置300则以与如上所述的相同方式(步骤S308),在要被解码的RAU中包括的画面中,指定该开始I-画面和按照显示顺序位于该开始I-画面之后的画面作为要被解码和显示的画面。这种情况下,画面解码装置300确定要被解码的RAU中包括的所有画面作为要被解码和显示的画面。
然后,画面解码装置300对在步骤S306和S308指定的画面解码(步骤S310)。
应该指出,可以总是通过从步骤S302开始该处理,而不是处理用于确定RAU是否是开放的GOP型RAU的步骤S302,根据对RAU映射图的分析结果来确定要被解码的画面。
因此,在第三实施方式中,当从RAU进行诸如跳跃播放之类的特技播放时,画面解码装置300通过参考RAU映射图MIa能够容易地确定是否有按照显示顺序位于紧接在按照解码顺序作为第一画面的开始I-画面之前的独立BI-画面。结果是,当BI-画面不是位于紧接在开始画面之前时,画面解码装置300能够在RAU中包括的画面中,迅速地提取开始I-画面和按照显示顺序位于始I-画面之后的画面作为要被解码的画面。此外,当BI-画面位于紧接在开始画面之前时,画面解码装置300能够在RAU中包括的画面中,迅速地也提取该BI-画面作为要被解码的画面。
因此,根据第三实施方式的画面解码装置300既不需要按常规分析RAU中包括的画面的每个画面层,也不需要确定一个画面是B-画面还是BI-画面以便确定要被解码的画面,使得其能够减小解码处理的负荷。此外,当BI-画面按照显示顺序位于紧接在开始I-画面之前时,能够容易地解码和显示BI-画面,使得其能够有效地使用BI-画面。
应该指出,第三实施方式已经描述了RAU映射图MIa指示按照显示顺序位于开始画面之前的画面是否是BI-画面,然而除了能够使用RAU映射图MIa指示之外,也可以采用其它方法。例如,可以使用进入点层的标记信息,管理信息的时间映射图,或VC-1流的用户数据。
<变化>
在此,描述根据第三实施方式的画面解码装置300的变化。
根据第三实施方式的画面解码装置300能够利用BI-画面改善特技播放的功能。
图24是显示由根据该变化的画面解码装置300执行的操作的说明示意图。例如,如图24所示,流按照显示顺序在I-画面和P-画面之间或在两个P-画面之间具有两个B-画面和一个BI-画面。
在上面的情况下,根据该变化的画面解码装置300通过只对如图24的(1)中所示的I-画面和P-画面解码,能够进行四倍速的播放。此外,根据该变化的画面解码装置300通过对除了如图24的(2)中所示的I-画面和P-画面解码外还对BI-画面解码,能够进行两倍速的播放。
如上所述,如果按照预定的周期定位BI-画面,根据该变化的画面解码装置300能够改善对流的特技播放。
此外,根据该变化的画面解码装置300通过参考,例如具有如图9D所示的语法的RAU映射图MIa,能够确定BI-画面按照解码顺序位于要被解码的RAU中的什么位置,或按照显示顺序位于要被解码的RAU中的什么位置。此外,画面解码装置300能够确定I-画面和P-画面位于何处。这意味着根据该变化的画面解码装置300通过参考RAU映射图MIa等,能够在特技播放期间迅速地指定要被解码和显示的画面。
应该指出,即使在开始I-画面前有一个要显示的B-画面,如果该B-画面不参考紧接在当前RAU之前的另一个RAU中的画面,在进入点等级的RAU映射图或标记可以指示该RAU是封闭的GOP型RAU。
还应该指出,第三实施方式的变化已经描述了RAU映射图MIa被存储在VC-1流的每个RAU中,以及画面解码装置300对该流解码,但是就将RAU映射图MIa存储在RAU中而言,该编码方法可以是除了VC-1之外的其它方法,例如,MPEG-4AVC和MPEG-2。这种情况下,VC-1的BI-画面对应于其宏块全部是编码内的B-画面。
(第四实施方式)
图25是显示根据本发明第四实施方式的画面编码装置的方框图。
根据第四实施方式的画面编码装置400包括:运动估计单元401,运动补偿单元402,减法器403,正交变换单元404,量化单元405,逆量化单元406,逆正交变换单元407,加法器408,画面存储器409,开关410,可变长度编码单元411,预测结构确定单元412,和BI信息产生单元413。
运动估计单元401以宏块为单位获得画面信号Vin。然后,运动估计单元401搜索存储在画面存储器409中的解码画面(参考画面),和检测具有与画面信号Vin指示的宏块最相似图像的图像区。运动估计单元401确定指示该图像区的位置的运动向量MV,和输出运动向量MV。运动估计单元401还输出用于指示用来检测运动向量MV的解码画面的参考画面规范信息Ind。
运动补偿单元402从存储在画面存储器409中的、并由参考画面规范信息Ind指示的解码画面来检索由运动向量MV指示的图像区,并输出检索的画面作为预测画面。
预测结构确定单元412根据RAU开始画面Uin确定要被编码的画面处在RAU开始位置,然后指令运动估计单元401和运动补偿单元402将该画面编码(画面间编码)为指定的随机存取画面,和进一步指令可变长度编码单元411对画面类型Pt编码。更具体地讲,预测结构确定单元412确定画面信号Vin中包括的要被编码的每个画面的画面类型,例如,I-画面、P-画面、B-画面、或BI-画面。
此外,预测结构确定单元412确定与要被编码的RAU有关的组类型信息GT,并使可变长度编码单元411对组类型信息GT编码。减法器403获得画面信号Vin和预测画面,然后计算画面信号Vin和预测画面之间的差值,和将该差值输出到正交变换单元404。正交变换单元404将该差值变换成频率系数,并将该频率系数输出到量化单元405。量化单元405对从正交变换单元404输入的频率系数进行量化,向可变长度编码单元411输出得到的量化值Qc。
逆量化单元406对量化值Qc进行逆量化,以便重构原始频率系数,并把得到的频率系数输出到逆正交变换单元407。逆正交变换单元407对要变换回像素差值的频率系数进行逆频率变换,并向加法器408输出像素差值。加法器408将该像素差值与从运动补偿单元402输出的预测画面相加,产生解码的画面。当指令存储解码的画面时,开关210处在On状态,把解码的画面存储到画面存储器409中。
BI信息产生单元413根据预测结构确定单元412确定的画面类型Pt来产生具有如图9D或图21所示的语法的RAU映射图MIa,并向可变长度编码单元411输出产生的RAU映射图MIa。
可变长度编码单元411对量化值Qc、画面类型Pt、RAU映射图MIa、运动向量MV等进行可变长度编码,以便产生流STR。更具体地讲,可变长度编码单元411把由BI信息产生单元413产生的RAU映射图MIa写入位于如图8中所示的任何画面之前的用户数据中。此外,可变长度编码单元411对组类型信息GP应用可变长度编码,并把编码的组类型信息GP加到RAU中的进入点首部。
如上所述,根据第四实施方式的画面编码装置400与现有技术的画面编码装置800的区别在于加入了BI信息产生单元413。
图26是显示由根据第四实施方式的画面编码装置400执行的操作的流程图。
首先,画面编码装置400利用预测结构确定单元412确定要被编码的画面是否是RAU中的开始画面(步骤S400)。在此,如果确定该画面是RAU中的开始画面(步骤S400为是),画面编码装置400利用可变长度编码单元411执行初始化处理,以产生RAU映射图MIa,和获得把RAU映射图MIa存储在入口点层的用户数据中的区域(步骤S402)。
此外,画面编码装置400利用预测结构确定单元412确定要被编码的画面是否是BI-画面(步骤S404)。在此,如果确定该画面是BI-画面(步骤S404为是),画面编码装置400则将要被编码的画面编码为BI-画面(步骤S406)。这意味着,当要被编码的RAU是允许其中的画面参考其它存取单元中的画面的开放的GOP型RAU时,画面编码装置400对要被编码的画面编码,由此产生按照显示顺序位于流STR的RAU中的开始I-画面之前的、且不参考任何其它画面的BI-画面。另一方面,如果确定该画面不是BI-画面(步骤S404为否),画面编码装置400则把要被编码的画面编码为不同画面类型的画面(步骤S408)。
然后,画面编码装置400利用BI信息产生单元413,根据步骤S404的确定结果,产生和更新RAU映射图MIa(步骤S410)。
例如,画面编码装置400产生具有如图9D所示的语法的RAU映射图MIa,以便RAU映射图MIa包括:有关在步骤S406或S408编码的画面的画面类型信息;指示该画面是被以场结构还是帧结构编码的信息等等。作为另一个实施例,画面编码装置400产生如图21所示的RAU映射图MIa,使得RAU映射图MIa能够清楚地指示标记,所述标记指示是否有一个或多个连续的BI-画面按照显示顺序位于开始I-画面之前,以及该BI-画面的数量。在生成图21所示的RAU映射图MIa的情况下,确定在RAU中的开始I-画面的编码之前能够完成RAU映射图。
接下来,画面编码装置400确定在步骤S404确定的画面是否是RAU中的最后画面(步骤S412)。换句话说,画面编码装置400确定是否已经对RAU中包括的所有画面进行了处理。在此,如果确定该画面是最后画面(步骤S412为是),画面编码装置400则利用可变长度编码单元411指定和编码RAU映射图MIa,把RAU映射图MIa写入在步骤S402获得的区域(步骤S414)。
然后,画面编码装置400确定在流STR中包括的画面中是否仍有要被处理的画面(步骤S416)。在此,如果确定仍有要被处理的画面(步骤S416为是),画面编码装置400则重复从步骤S400起的操作。另一方面,如果确定没有发现要被处理的画面(步骤S416为否),画面编码装置400则结束所有编码操作。
应该指出,在图26的操作中,预选获得RAU映射图存储区,但是,例如如果有足够的存储器缓存诸如RAU之类的数据,可以把RAU映射图数据和画面数据存储在存储器中,并在确定RAU映射图后将那些数据写入存储区。
(第五实施方式)
此外,通过将实现上述实施方式中描述的画面编码装置和画面解码装置的程序记录到诸如软盘之类的记录介质中,能够由独立的计算机***容易地实施上述实施方式中描述的处理过程。
图27A,27B,和27C是显示计算机***利用记录在诸如软盘之类的记录介质上的程序实现上述实施方式中描述的画面编码装置和画面解码装置时的情况的说明示意图。
图27B示出了软盘的正外观视图以及软盘的横截面结构,以及软盘主体的盘主体。图27A示出了作为记录介质主体的软盘主体的物理格式的实施例。软盘主体FD装配在外壳F中,从盘的外周向内周在盘的表面上以同心圆的形状形成有多个轨道(Tr),每个轨道在角度方向上被分割成16个扇区Se。因此,对于存储上述程序的软盘,上述程序被存储在软盘主体FD上分配给它的区中。
此外,图27C示出了软盘主体FD记录和播放程序的结构。在把用于实现画面编码装置和画面解码装置的上述程序记录在软盘主体FD上时,从计算机***通过软盘驱动器FDD写入程序。此外,当在软盘中的程序***中构造由画面编码装置和画面解码装置执行的处理时,通过软盘驱动器从软盘中读出程序,并将它传送到计算机***Cs。
应当指出,上述说明是利用软盘作为记录介质进行描述的,但是,可以使用光盘,而不是软盘来记录程序。还应该指出,记录介质不限于此,也可以使用诸如IC卡,ROM盒之类的能够记录程序的任何东西。
如上所述,根据本发明,画面编码装置将RAU映射图加入到RAU的首部,画面解码装置在对每个画面解码前参考加入的RAU映射图,使得能够减少解码操作,特别是改善分组媒体的播放质量,其中重要的是特技播放功能。因此,本发明具有较高的实用价值。
如上所述,已经利用上述实施方式和其各个变化描述了本发明,但是本发明不限于此。这意味着,为了实现本发明,本领域技术人员能够组合上述实施方式和变化,或者能够将本发明与其它的已知技术组合,只要这些组合是能够被注意到的。
应该指出,方框图(例如,图10和17)中所示的每个功能块是由作为典型的集成电路的大规模集成电路(LSI)实现的。这些功能块可以被分开集成,或者将它们的一部分或全部集成到单个芯片中(例如,除存储器外的功能块可以被集成为一个芯片)。
可以根据集成电路的集成度将集成电路称为IC,***LSI,超LSI或超大LSI。
集成电路技术不限于LSI,也可以由专用电路或通用目的的处理器来实施。它可以使用能够在制造LSI之后编程的现场可编程门阵列(FPGA),或LSI内的电路单元的连接和设置能够被重构的可重构处理器。
此外,如果由于半导体技术的发展或出现了派生技术,很显然,可以用成集成电路的新技术来代替LSI,当然,能够使用这些技术来实施包括的功能块作为集成电路。例如,生物技术,有机化学技术等等可以应用于上述实施。
应该指出,在这些功能块中,只有用于存储要被编码和解码的数据的单元不被集成到芯片中,而是实现为不同的功能
编码单元,用于对要被编码的画面编码而产生独立画面,所述独立画面按照显示顺序,在所述编码画面信号的所述存取单元中,位于开始画面之前,所述开始画面按照解码顺序被定位为第一画面,并且在存取单元是能够通过参考另一个存取单元而被编码的开放型存取单元时,能够不参考任何其它画面而对所述独立画面独立地解码;
其中所述信息产生单元产生补充信息,所述补充信息包括指示所述独立画面按照显示顺序是否位于紧接在所述开始画面之前的标记,以及按照显示顺序位于紧接在所述开始画面之前的、连续的独立画面的数量。
其中所述编码单元产生独立画面,所述独立画面具有所述独立画面按照显示顺序处在存储单元中的开始内编码画面之前,按照解码顺序处在所述存取单元中的所述开始内编码画面之后,且所述独立画面中的所有宏块为内编码的特性,并且所述编码单元将指示所述特性的画面类型信息添加到所述独立画面中。
所述编码画面信号的存取单元存储补充信息,所述补充信息指示独立画面按照显示顺序是否位于紧接在所述存取单元中的开始画面之前,其中所述开始画面按照解码顺序被定位为第一画面,所述独立画面按照显示顺序位于所述开始画面之前且能够不参考任何其它画面而被独立地解码,
当确定所述独立画面按照显示顺序位于紧接在所述开始画面之前时,提取所述独立画面作为要被解码的画面,而当确定所述独立画而按照显示顺序并非位于紧接在所述开始画面之前时,则不提取所述独立画面作为要被解码的画面。
当确定存在上述一个或多个连续的独立画面时,从所述存取单元中包括的画面提取上述一个或多个连续的独立画面,以及提取按照显示顺序位于所述独立画面之后的画面,作为要被解码的画面;
当确定不存在上述一个或多个连续的独立画面时,从所述存取单元中包括的画面提取按照解码顺序定位的开始画面,和提取按照显示顺序位于所述开始画面之后的画面,作为要被解码的画面。
当确定存在上述一个或多个连续的独立画面时,从所述存取单元中包括的画面提取上述一个或多个连续的独立画面,和按照显示顺序位于所述独立画面之后的画面,作为要被解码的画面;和
当确定不存在上述一个或多个连续的独立画面时,从所述存取单元中包括的画面提取按照解码顺序定位的开始画面,和提取按照显示顺序位于所述开始画面之后的画面,作为要被解码的画面。
补充信息,所述补充信息指示独立画面,在所述编码画面信号的所述存取单元中,按照显示顺序是否位于紧接在开始画面之前,其中所述开始画面按照解码顺序被定位为第一画面,所述独立画面按照解码顺序位于所述开始画面之前且能够不参考任何其它画面而被独立地解码。
通过对要被编码的画面编码而产生独立画面,所述独立画面按照显示顺序,在所述编码画面信号的所述存取单元中,位于开始画面之前,所述开始画面按照解码顺序被定位为第一画面,并且在存取单元是能够通过参考另一个存取单元而被编码的开放型存取单元时,能够不参考任何其它画面而对所述独立画面独立地解码;
所述编码画面信号的存取单元存储补充信息,所述补充信息指示独立画面按照显示顺序是否位于紧接在所述存取单元中的开始画面之前,其中所述开始画面按照解码顺序被定位为第一画面,所述独立画面按照显示顺序位于所述开始画面之前且能够不参考任何其它画面而被独立地解码,
通过对要被编码的画面编码而产生独立画面,所述独立画面按照显示顺序,在所述编码画面信号的所述存取单元中,位于开始画面之前,所述开始画面按照解码顺序被定位为第一画面,并且在存取单元是能够通过参考另一个存取单元而被编码的开放型存取单元时,能够不参考任何其它画面而对所述独立画面独立地解码;
所述编码画面信号的存取单元存储补充信息,所述补充信息指示独立画面按照显示顺序是否位于紧接在所述存取单元中的开始画面之前,其中所述开始画面按照解码顺序被定位为第一画面,所述独立画面按照显示顺序位于所述开始画面之前且能够不参考任何其它画面而被独立地解码,
编码单元,用于对要被编码的画面编码而产生独立画面,所述独立画面按照显示顺序,在所述编码画面信号的所述存取单元中,位于开始画面之前,所述开始画面按照解码顺序被定位为第一画面,并且在存取单元是能够通过参考另一个存取单元而被编码的开放型存取单元时,能够不参考任何其它画面而对所述独立画面独立地解码;
所述编码画面信号的存取单元存储补充信息,所述补充信息指示独立画面按照显示顺序是否位于紧接在所述存取单元中的开始画面之前,其中所述开始画面按照解码顺序被定位为第一画面,所述独立画面按照显示顺序位于所述开始画面之前且能够不参考任何其它画面而被独立地解码,