具体实施方式
本发明可以进行各种改变并且可以具有各种实施例,下面将参考附图详细地描述具体的实施例。然而,应当更理解的是,那些实施例不旨在将本发明限制于具体的公开形式,它们包含被包括在本发明的精神和范围内的所有变化、等效物或替代。在下面描述的附图中,相同的标号用于指示相同或相似的元件。
诸如“第一”、“第二”、“A”和“B”这样的术语可以用于搭配各种组件,但是那些组件不应当被术语所限制。术语仅用于区分一个组件与其他组件。例如,第一组件可以被指定为第二组件,并且第二组件可以以类似的方式被指定为第一组件,而不脱离基于本发明的范围的范围。术语“和/或”包括多个相关的所描述的项的组合或者多个相关的所描述的项中的任何一个。
在整个说明书中,应当更理解的是指示第一组件“连接”或“耦合”到第二组件的表述可以包括第一组件连接或耦合到第二组件、两者之间***一些其他组件的情况以及第二组件直接连接或耦合到第二组件的情况。相反地,应当理解的是,指示第一组件“直接连接”或“直接耦合”到第二组件的表述意味着在第一和第二组件之间没有***组件。
在本说明书中使用的术语仅用于描述具体的实施例,而不旨在限制本发明。单数表述包括复数表述,除非在上下文中特殊地指示相反的描述。在本说明书中,应当理解的是,诸如“包括”或“具有”这样的术语仅用于指示存在特征、数量、步骤、操作、组件、部分或其组合,而不用于排除将存在或添加一个或多个其他特征、数量、步骤、操作、组件、部分或其组合的可能性。
除非被不同地限定,在本文所使用的、包括技术或科学术语的所有术语具有与被本发明所属的领域的技术人员通常所理解的术语相同的含义。与在普遍使用的词典中定义的那些术语相同的术语应当被解释为具有与相关领域的上下文含义相同的含义,而不被解释为理想的或过分正式的含义,除非在本说明书中明确地定义。
以下,将在稍后描述的视频编码装置和视频解码装置可以是任何一种用户终端,诸如个人计算机(PC)、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏站(PlayStation Portable,PSP)、无线通信终端、智能电话或各种类似类型的设备、诸如电视应用服务器或服务服务器这样的服务器终端,或者各种类型的设备中的任何一种(包括通信设备,例如用于通过有线/无线通信网络执行通信的通信调制解调器、用于存储编码或解码图像或者执行图像间或图像内预测以便进行编码或解码的各种类型的程序和数据的存储器、用于执行程序以及执行操作和控制的微处理器),等等。
另外,通过视频编码装置在比特流中编码的图像通过诸如因特网、短距离无线通信网络、无线局域网(WLAN)、Wibro网络或移动通信网络这样的有线/无线通信网络或者通过诸如线缆或统一串行总线(USB)这样的各种通信接口被实时地或非实时地传送给视频解码装置,使得编码图像可以被视频解码装置解码,并且可以被重构并且播放为原始图像。
典型地,视频由一系列的画面组成,每个画面可以被划分为诸如帧或块这样的预定的区。当画面的区域被划分为块时,所划分的块可以根据编码方法被主要地分类成帧内块(intra block)或帧间块(inter block)。帧内块是指使用帧内预测(intra prediction)编码来编码的块。这里,帧内预测编码是如下方案:指通过使用在当前被编码的当前画面中的先前已经被编码和解码然后被重构的块中的像素预测当前块中的像素来产生预测块,且在其中对预测块中的像素值和当前块中的像素值之间的差异进行编码。另外,帧间块是指使用帧间预测(inter prediction)编码而编码的块。这里,帧间预测编码是指如下方案:通过参考一个或多个先前或随后的画面预测当前画面中的当前块来产生预测块,且在其中对预测块和当前块中的像素值之间的差异进行编码。在该情况下,在对当前画面进行编码或解码时所参考的帧被称为参考帧。另外,本发明所属的领域的技术人员将意识到,在下面所描述的术语“画面”可以被替换为另外的术语并且与另外的术语一起使用,诸如图像或帧,其具有与画面相同的含义。而且,本实施例所属的领域的技术人员将意识到,在本发明中所指的画面表示重构画面。
以下,将参考附图详细地描述本发明的优选实施例。
图1是示出根据本发明的实施例的用于执行用于多层视频的层间预测的编码装置的框图。
参考图1,根据本发明的实施例的用于执行用于多层视频的层间预测的装置可以包括用于参考层的编码装置100和用于增强层的编码装置200。另外,层间预测装置可以包括多路复用器320和***单元310。
每个编码装置100或200包括减法单元110或210、变换单元120或220、量化单元130或230、逆量化单元131或231、逆变换单元121或221、熵编码单元140或240、加法单元150或250、环内滤波器单元160或260、帧存储器170或270、帧内预测单元180或280以及运动补偿单元190或290。
减法单元110或210从作为所提供的输入图像的编码目标图像(当前图像)中减去经由帧内预测或帧间预测产生的预测图像,然后产生当前图像和预测图像之间的残差图像。
变换单元120或220用于将减法单元110或210所产生的残差图像从空间域变换到频域中。这里,变换单元120或220可以使用诸如Hadamard变换、离散余弦变换或离散正弦变换这样的技术将残差图像变换到频域中,以便将空间轴上的图像信号变换到频率轴上。
量化单元130或230对变换单元120或220所提供的变换的数据(频率系数)进行量化。即,量化单元130或230通过将频率系数除以量化步长来近似作为由变换单元120或220所变换的数据片段的频率系数,从而计算量化结果值。
熵编码单元140或240通过对量化单元130或230所计算的量化结果值进行熵编码来产生比特流。另外,熵编码单元140或240可以使用上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)技术对量化单元130或230所计算的量化结果值进行熵编码,并且除了量化结果值之外,还可以对解码图像所需的信息进行熵编码。
逆量化单元131或231对量化单元130或230所计算的量化结果值逆量化。即,逆量化单元131或231根据量化结果值重构频域中的值(频率系数)。
逆变换单元121或221通过将逆量化单元131或231所提供的频域值(频率系数)从频域变换到空间域来重构残差图像。加法单元150或250通过将逆变换单元121或221所重构的残差图像添加到经由帧内预测或帧间预测产生的预测图像来产生输入图像的重构图像,然后将重构图像存储在帧存储器170或270中。
帧存储器170可以存储经由参考层的预测编码产生的参考层中的重构画面。另外,帧存储器270可以存储经由增强层的预测编码产生的增强层中的重构画面,并且可以存储参考层中的重构画面或参考层中的重构画面的***画面。
预测单元可以包括帧内预测单元180或280以及运动补偿单元190或290,然后执行帧内预测或帧间预测。
帧内预测单元180或280执行帧预测,运动补偿单元190或290对帧间预测的运动向量进行补偿。
根据本发明的实施例的预测单元可以参考增强层中的画面或参考层中的重构画面进行层间预测以对增强层中的当前画面进行编码。这里,层间预测可以指在对增强层进行编码或解码时,参考参考层中的重构画面进行帧内预测或帧间预测。
首先,当在与增强层中的当前画面对应的时间位置处存在参考层中的重构画面时,预测单元可以参考在与增强层中的当前画面对应的时间(时间位置)处的参考层中的重构画面进行层间预测。
具体地,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考增强层中的当前画面的先前或随后的画面进行层间预测。
另外,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
另外,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
对重构图像进行滤波的环内滤波器单元160或260可以包括去块滤波器(DF)、样品自适应偏移(SAO)滤波器以及自适应循环滤波器(ALF)。
***单元310将重构画面***在参考层中。即,***单元310可以根据增强层的空间分辨率将重构画面***在参考层中。
多路复用器320接收来自参考层和增强层的编码的比特流,并且输出编码的比特流。
图2是示出根据本发明的实施例的用于多层视频的层间预测方法的概念图。
参考图2,增强层中的画面可以用IE020、IE121、IE222、IE323、IE424等表示。另外,增强层中的画面可以用IB025、IB226、IB427等表示。
在对应于增强层中的画面(即,IE020、IE222和IE424)的时间处存在参考层中的重构画面,即B025、IB226和IB427。然而,参考层中的重构画面可以不存在于对应于增强层中的画面(即IE121和IE323)的时间处。
即,当在对应于参考层的当前画面的时间处存在参考层中的重构画面时,可以参考参考层中的对应的重构画面对增强层中的当前画面进行编码或解码。这里,当前画面可以指要被编码或解码的目标画面。
例如,当增强层中的当前画面是IE021、IE222或IE424时,可以分别参考参考层中的重构画面(即IB025、IB226或IB427)对当前画面IE021、IE222或IE424进行编码或解码。
然而,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考增强层中的当前画面的先前或随后的画面对增强层中的当前画面进行编码或解码。
例如,当增强层中的当前层是IE121时,可以参考IE020或IE222对当前画面IE121进行编码或解码。
另外,当增强层中的当前画面是IE323时,可以参考IE222或IE424对当前画面IE323进行编码或解码。
即,根据本发明的实施例,对增强层中的当前画面,可以参考相同层(增强层)中的画面进行编码或解码,以支持时间可伸缩性。
图3是示出根据本发明的实施例的基于用于多层视频的层间预测方法的参考画面列表的示图。
参考图3,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,增强层中的当前画面的参考列表可以包括增强层中的当前画面的先前或随后的画面。
例如,当增强层中的当前画面是IE121时,在参考列表中可以包括画面IE020或IE222。
图4是示出根据本发明的另一实施例的用于多层视频的层间预测方法的概念图。
参考图4,增强层中的画面可以用IE040、IE141、IE242、IE343、IE444等表示。另外,增强层中的重构画面可以用IB045、IB246、IB447等表示。
参考层中的重构画面(即IB045、IB246和IB447)存在于对应于增强层中的画面(即IE040、IE242和IE444)的时间处。然而,参考层中的重构画面可以不存在于对应于增强层中的画面(即IE141和IE343)的时间处。
即,当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考参考层中的对应的重构画面对增强层中的当前画面进行编码或解码。
例如,当增强层中的当前画面是IE040、IE242或IE444时,可以分别参考参考层中的重构画面(即IB045、IB246或IB447)对当前画面IE040、IE242或IE444进行编码或解码。
然而,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对当前画面进行编码或解码。
例如,当增强层中的当前画面是IE141时,可以参考画面IB045或IB246对当前画面IE141进行编码或解码。
另外,当增强层中的当前画面是IE343时,可以参考画面IB246或IB447对当前画面IE343进行编码或解码。
即,根据本发明的实施例,可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对增强层中的当前画面进行编码或解码,以支持时间可伸缩性。
图5是示出根据本发明的另一实施例的基于用于多层视频的层间预测方法的参考画面列表的示图。
参考图5,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,增强层中的当前画面的参考列表可以包括与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面。
例如,当增强层中的当前画面是IE141时,在参考列表中可以包括画面IB045或IB246。
图6是示出根据本发明的又一实施例的用于多层视频的层间预测方法的概念图。
参考图6,增强层中的画面可以用IE060、IE161、IE262、IE363、IE464等表示。另外,增强层中的重构画面可以用IB065、IB266、IB467等表示。
参考层中的重构画面(即IB065、IB266和IB467)存在于对应于增强层中的画面(即IE060、IE262和IE464)的时间处。然而,参考层中的重构画面可以不存在于增强层中的画面(即IE161和IE363)的时间处。
即,当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考参考层中的重构画面对增强层中的当前画面进行编码或解码。
例如,当增强层中的当前画面是IE060、IE262或IE464时,可以分别参考参考层中的重构画面(即IB065、IB266或IB467)对当前画面IE060、IE262或IE464进行编码或解码。
然而,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对当前画面进行编码或解码。
例如,当增强层中的当前画面是IE161时,可以参考画面IE060或IE262以及IB065或IB266对IE161进行编码或解码。
另外,当增强层中的当前画面是IE363时,可以参考画面IE262或IE464以及IB266或IB467对IE363进行编码或解码。
即,根据本发明的实施例,可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面对增强层中的当前画面进行编码或解码,以便支持时间可伸缩性。
图7是示出根据本发明的又一实施例的基于用于多层视频的层间预测方法的参考画面列表的示图。
参考图7,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,参考画面列表可以包括增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面。
例如,当增强层中的当前画面是IE141时,在参考列表中可以包括画面IE060或IE262以及画面IB065或IB266。
图8是示出根据本发明的实施例的用于多层视频的层间预测方法的流程图。
参考图8,经由参考层的预测编码产生参考层中的重构画面,并且可以确定在与增强层中的当前画面对应的时间处是否存在参考层中的重构画面,以对增强层中的当前画面进行编码或解码。
另外,可以参考增强层中的画面或参考层中的重构画面进行层间预测。
首先,当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以使用在与增强层中的当前画面对应的时间处的参考层中的重构画面对增强层中的当前画面进行层间预测。
同时,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考增强层中的当前画面的先前或随后的画面进行层间预测。
另外,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
另外,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
例如,可以确定在与增强层中的当前画面对应的时间处是否存在参考层中的重构画面(S810)。即,可以确定在与增强层中的当前画面的时间位置相同的时间位置处是否存在参考层中的重构画面。
当确定在与增强层中的当前画面对应的时间处存在参考层中的重构画面时,可以使用与增强层中的当前画面对应的时间处的参考层中的重构画面进行层间预测(S820)。
当确定在与增强层中的当前画面对应的时间处不存在参考层中的重构画面时,对作为指示是否使用不同于增强层中的当前画面的时间的时间处的画面作为参考画面的语法元素的inter_layer_pred_ext_enable_flag进行解码。
可以确定是否满足inter_layer_pred_ext_enable_flag=1(S830)。当不满足inter_layer_pred_ext_enable_flag=1时,可以对增强层中的当前画面进行帧内预测(S840)。
当满足inter_layer_pred_ext_enable_flag=1时,可以根据语法元素inter_layer_pred_ext_mode的值确定使用哪个画面进行层间预测。
可以单独地确定inter_layer_pred_ext_mode的值是0还是1(S850,S870)。
当满足inter_layer_pred_ext_mode=0时,可以参考增强层中的当前画面的先前或随后的画面进行层间预测(S860)。即,可以使用在相同层中的重构画面进行帧内预测或帧间预测。
当满足inter_layer_pred_ext_mode=1时,可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测(S880)。
当不满足inter_layer_pred_ext_mode=1时(当inter_layer_pred_ext_mode=2时),可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测(S890)。
图9是图示根据本发明的实施例的在用于多层视频的层间预测中使用的语法元素。
参考图9,能够通过使用作为根据本发明的语法元素的inter_layer_pred_ext_enable_flag确定是否使用不同时间处的画面作为参考画面,并且还通过使用inter_layer_pred_ext_mode确定使用哪个画面作为参考画面。
图10是示出根据本发明的实施例的用于执行用于多层视频的层间预测的解码装置的框图。
参考图10,根据本发明的实施例的解码装置包括用于参考层的解码装置400和用于增强层的解码装置500。另外,解码装置包括***单元610。
每个解码装置400或500包括熵解码单元410或510、逆量化单元420或520、逆变换单元430或530、加法单元440或540、环内滤波器单元450或550、帧存储器460或560、帧内预测单元470或570以及运动补偿单元480或580。解码装置400或500的组件可以被理解为分别对应于图1的编码装置的那些组件,因此将省略其详细描述。
预测单元可以包括帧内预测单元470或570以及运动补偿单元480或580,以进行帧内预测或帧间预测。
根据本发明的实施例的解码装置的预测单元可以参考增强层中的画面或参考层中的重构画面进行层间预测,以便对增强层中的当前画面进行编码。
首先,当存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面进行层间预测。
具体地,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考增强层中的当前画面的先前或随后的画面进行层间预测。
另外,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
另外,当不存在与增强层中的当前画面对应的时间处的参考层中的重构画面时,预测单元可以参考增强层中的当前画面的先前或随后的画面以及与增强层中的当前画面对应的时间处的参考层中的重构画面的先前或随后的画面进行层间预测。
根据本发明的实施例的用于多层视频的层间预测方法和装置即使当在对增强层进行编码或解码时在与当前画面相同的时间位置处不存在参考层中的重构画面时,也可以通过自适应地利用增强层中的画面或参考层中的画面进行层间预测,从而经由高效的层间预测改进编码效率。
另外,虽然为了便于描述,将根据本发明的实施例的上述编码装置和解码装置的各个组件描述为被单独地列出并且作为各个组件而被包括,但是可以实现将各个组件中的至少两个组合成单个组件、或者将单个组件划分成多组件并且由那些组件单独地或组合地执行功能的方案。将各个组件组合或分开的那些实施例也包含在本发明的范围内,而不脱离本发明的实质特征。
另外,根据本发明的编码装置和解码装置可以存储在计算机可读取的存储介质中,并且可以实现为计算机可读取的程序或代码。计算机可读取的存储介质包括所有类型的记录设备,其中存储计算机***可读取的数据。另外,计算机可读取的存储介质可以跨越通过网络连接的计算机***地分布,并且可以以分布式的方式存储和执行计算机可读取的程序或代码。
虽然参考本发明的优选实施例描述了本发明,但是本领域的技术人员将意识到本发明可以以各种方式来改变或修改,而不脱离在所附的权利要求书中所公开的本发明的精神和范围。