CN101371571A - 处理多视图视频 - Google Patents
处理多视图视频 Download PDFInfo
- Publication number
- CN101371571A CN101371571A CN200780003083.8A CN200780003083A CN101371571A CN 101371571 A CN101371571 A CN 101371571A CN 200780003083 A CN200780003083 A CN 200780003083A CN 101371571 A CN101371571 A CN 101371571A
- Authority
- CN
- China
- Prior art keywords
- adjacent block
- luminance compensation
- deviant
- block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
对多视图视频信号进行解码包括:接收包括多视图视频信号的多个视图的编码的比特流。每一个视图包括被分段成多个段的多个图像。所述解码还包括从比特流提取与多视图视频信号的一部分相关联的标志信息,该标志信息指示是否能够对在多视图视频信号的所述部分中的段进行亮度补偿。对于根据所提取的标志信息能够执行亮度补偿的部分,从比特流提取与该部分中的段相关联的值,并且根据所述提取值确定是否将要对该段执行亮度补偿。
Description
技术领域
本发明涉及处理多视图视频。
背景技术
多视图视频编码(MVC)涉及压缩通常由对应照相机获取的视频序列(例如,图像或者“图像”序列)。视频序列或者“视图”能够根据标准例如MPEG编码。视频序列中的图像能够表示全视频帧或者视频帧的场。片段(slice)是图像的独立编码部分,片段包括图像中的一些或者所有的宏块,并且宏块包括图像元素(或者“像素”)的块。
视频序列能够根据H.264/AVC编解码器技术被编码成多视图视频序列,并且很多研发者对标准的修订进行研究以适应多视图视频序列。
在当前H.264标准中规定了用于支持特定功能的三个档(profile)。术语“档”指示用于视频编码/解码算法的技术元素的标准化。换言之,档是为解码压缩序列的比特流而规定的一组技术元素,并且可以被认为是子标准。上述三个档是基线档、主要档和扩展档。在H.264标准中定义了用于编码器和解码器的各种功能,从而编码器和解码器能够分别地与基线档、主要档和扩展档兼容。
根据用于处理运动图像编码(即序列编码)的视频编码层(VCL)以及与能够发送/存储编码信息的子***相关联的网络提取层(NAL),构造用于H.264/AVC标准的比特流。编码过程的输出数据是VCL数据,并且在它被发送或者存储之前被映射成NAL单元。每一个NAL单元包括对应于压缩视频数据或者头部信息的原始字节序列载荷(RBSP)。
NAL单元包括NAL头部和RBSP。NAL头部包括标志信息(例如,nal_ref_idc)和标识(ID)信息(例如,nal_unit_type)。标志信息“nal_ref_idc”指示用作NAL单元参考图像的片段是否存在。ID信息“nal_unit_type”指示NAL单元的档型。RBSP存储压缩后的原始数据。RBSP末位能够被添加到RBSP的最后部分,从而RBSP的长度能够由8比特的倍数来表示。
存在各种NAL单元,例如,即时解码刷新(IDR)图像、序列参数集(SPS)、图像参数集(PPS)和补充增强信息(SEI)等。
该标准通常使用各种档和级定义目标产品,从而能够以适当成本实现目标产品。解码器满足在对应的档和级处的预定约束。
档和级能够指示解码器的功能或者参数,从而它们指示解码器能够处理哪些压缩图像。指示多个档中的哪一个对应于比特流的特定信息能够利用档ID信息来标识。档ID信息“profile_idc”提供用于标识与比特流相关联的档的标志。H.264/AVC标准包括三个档标识符(IDs)。如果档ID信息“profile_idc”被设为“66”,则比特流基于基线档。如果档ID信息“profile_idc”被设为“77”,则比特流基于主要档。如果档ID信息“profile_idc”被设为“88”,则比特流基于扩展档。上述“profile_idc”信息可以例如被包含在SPS(序列参数集)中。
发明内容
在一个方面,通常,一种用于解码多视图视频信号的方法包括:接收包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段(例如,例如单个块或者宏块的图像块段,或者例如图像片段的段)的多个图像;从比特流提取与多视图视频信号的一个部分相关联的标志信息,该标志信息指示是否能够对在多视图视频信号的所述部分中的段进行亮度补偿;并且对于根据所提取的标志信息能够进行亮度补偿的部分,从比特流提取与该部分中的段相关联的值,并且根据所述提取的值确定是否将要执行对该段的亮度补偿。
本发明的方面能够包括下面的特征中的一个或者多个。
段包括图像块。
该方法还包括,对于与指示将要执行亮度补偿的值相关联的第一块,使用用于对邻近于第一块的至少一个相邻块执行亮度补偿的偏移值,来获得用于对第一块执行亮度补偿的预测器。
通过形成包括用于相邻块的亮度补偿的预测器和残值的和,获得用于相邻块的亮度补偿的偏移值。
使用用于对邻近于第一块的至少一个相邻块执行亮度补偿的偏移值来获得用于对第一块执行亮度补偿的预测器包括:在相邻块中根据预定次序选择该至少一个相邻块。
根据预定次序选择该至少一个相邻块包括:按照一个或者多个垂直或者水平相邻者之后接着一个或者多个对角相邻者的次序来确定相邻块是否满足一个或者多个条件。
标志信息使得能够对包含该块的序列、视图、一组图像、图像和片段的一个或多个进行亮度补偿。
该标志信息使得能够对含有所述块的片段进行亮度补偿。
所提取值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
所提取值包括用于含有所述块的宏块的标志信息。
在另一方面,通常,一种用于解码多视图视频信号的方法包括:接收包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;并且使用用于对邻近于第一段的至少一个相邻段执行亮度补偿的偏移值,获得用于对第一段执行亮度补偿的预测器,包括在相邻段中根据预定次序选择该至少一个相邻段。
本发明的方面能够包括下面的特征中的一个或者多个。
第一段和至少一个相邻段包括图像块。
通过形成包括用于相邻块的亮度补偿的预测器和残值的和,获得用于相邻块的亮度补偿的偏移值。
根据预定次序选择该至少一个相邻块包括:按照一个或者多个垂直或者水平相邻者之后接着一个或者多个对角相邻者的次序确定相邻块是否满足一个或者多个条件。
根据预定次序选择该至少一个相邻块包括按照以下顺序确定对于相邻块是否满足一个或者多个条件:左相邻块,随后接着上相邻块,随后为右上相邻块,随后为左上相邻块。
根据预定次序选择该至少一个相邻块包括按照以下顺序确定对于相邻块是否满足一个或者多个条件:上相邻块,随后为左相邻块,随后为右上相邻块,随后为左上相邻块。
确定对于相邻块是否满足一个或者多个条件包括:从比特流提取与相邻块相关联的值,该值指示是否要执行相邻块的亮度补偿。
所提取值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
获得所述预测器包括:确定使用用于单个相邻块的亮度补偿的偏移值还是使用用于对应相邻块的亮度补偿的多个偏移值。
该方法还包括,当使用多个偏移值时,通过组合多个偏移值来获得用于执行第一块的亮度补偿的预测器。
组合该多个偏移值包括采用偏移值的平均值或者中值。
在另一方面,通常,一种用于解码多视图视频信号的方法包括:接收包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;获得用于相对于参考图像对第一段进行亮度补偿的偏移值,其中,使用用于基于与相邻段相关联的特性所确定的至少一个相邻段的亮度补偿的偏移值来预测所述偏移值;并且使用用于第一段的亮度补偿来解码所述比特流,包括形成包括以下值的总和:用于从参考图像获得的第一段的像素的预测器,用于第一段的像素的残值,以及用于亮度补偿的对应的偏移值。
本发明的方面能够包括下面的特征中的一个或者多个。
第一段和至少一个相邻段包括图像块。
通过形成包括用于相邻块的亮度补偿的预测器和残值的和,获得用于相邻块的亮度补偿的偏移值。
该方法还包括:基于按照一个或者多个垂直或者水平相邻者之后接着一个或者多个对角相邻者的次序对于相邻块是否满足一个或者多个条件,选择至少一个相邻块。
选择至少一个相邻块包括按照以下顺序确定对于相邻块是否满足一个或者多个条件:左相邻块,随后为上相邻块,随后为右上相邻块,随后为左上相邻块。
确定对于相邻块是否满足一个或者多个条件包括:从比特流提取与相邻块相关联的值,该值指示是否要执行相邻块的亮度补偿。
所提取值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
选择至少一个相邻块包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应相邻块的亮度补偿的多个偏移值。
该方法还包括,当使用多个偏移值时,通过组合多个偏移值而获得用于执行第一块的亮度补偿的预测器。
组合该多个偏移值包括采用偏移值的平均值或者中值。
在另一方面,通常,一种用于解码多视图视频信号的方法包括:接收包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;获得用于相对于参考图像对第一段进行亮度补偿的预测器;确定用于第一段的亮度补偿的偏移值包括形成包括预测器和残余值的和;并且使用用于第一段的亮度补偿来解码所述比特流包括形成包括以下值的和:用于从参考图像获得的第一段的像素的预测器,用于第一段的像素的残值,以及用于亮度补偿的对应的偏移值。
本发明的方面能够包括下面的特征中的一个或者多个。
所述的段包括图像块。
对于第一段使用亮度补偿包括:通过形成包括用于相邻块的亮度补偿的预测器和残值的和,获得用于相邻块的亮度补偿的偏移值。
该方法还包括:基于按照一个或者多个垂直或者水平相邻者之后接着一个或者多个对角相邻者的次序对于相邻块是否满足一个或者多个条件,来选择至少一个相邻块。
选择至少一个相邻块包括按照以下顺序确定对于相邻块是否满足一个或者多个条件:左相邻块,随后为上相邻块,随后为右上相邻块,随后为左上相邻块。
确定对于相邻块是否满足一个或者多个条件包括:从比特流提取与相邻块相关联的值,该值指示是否要执行相邻块的亮度补偿。
所提取值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
选择至少一个相邻块包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应的相邻块的亮度补偿的多个偏移值。
该方法还包括,当要使用多个偏移值时,通过组合多个偏移值而获得用于执行第一块的亮度补偿的预测器。
组合该多个偏移值包括采用偏移值的平均值或者中值。
在另一方面,通常,一种用于解码多视图视频信号的方法包括:接收包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;以及根据与第一段相关联的参考图像是否与与相邻段相关联的参考图像相同,使用用于对邻近于第一段的至少一个相邻段进行亮度补偿的偏移值,获得相对于参考图像对第一段进行亮度补偿的预测器。
本发明的方面能够包括下面的特征中的一个或者多个。
所述的段包括图像块。
对于第一段使用亮度补偿包括:通过形成包括用于相邻块的亮度补偿的预测器和残值的和,获得用于相邻块的亮度补偿的偏移值。
该方法还包括:基于按照一个或者多个垂直或者水平相邻者之后接着一个或者多个对角相邻者的次序对于相邻块是否满足一个或者多个条件,来选择至少一个相邻块。
选择至少一个相邻块包括按照以下顺序判定对于相邻块是否满足一个或者多个条件:左相邻块,随后为上相邻块,随后为右上相邻块,随后为左上相邻块。
确定对于相邻块是否满足一个或者多个条件包括:从比特流提取与相邻块相关联的值,该值指示是否要执行相邻块的亮度补偿。
所提取值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
选择至少一个相邻块包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应的相邻块的亮度补偿的多个偏移值。
该方法还包括,当要使用多个偏移值时,通过组合多个偏移值而获得用于执行第一块的亮度补偿的预测器。
组合该多个偏移值包括采用偏移值的平均值或者中值。
在另一方面,通常,对于每一种相应的解码方法,一种用于编码视频信号的方法包括:产生能够利用该种相应解码方法被解码成视频信号的比特流。
例如,在另一方面,通常,一种用于编码比特流的方法包括:形成包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;在比特流中提供与多视图视频信号的一部分相关联的标志信息,该标志信息指示是否使得能够对在多视图视频信号的所述部分中的段进行亮度补偿;以及对于根据所提取标志信息在能够执行亮度补偿的部分,在比特流中提供与该部分中的段相关联的值,并且根据所述提取值来确定是否要对该段执行亮度补偿。
在另一方面,通常,一种用于编码比特流的方法包括:形成包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;以及使用用于对邻近于第一段的至少一个相邻段执行亮度补偿的偏移值,提供用于对第一段执行亮度补偿的预测器,包括在相邻段中根据预定次序选择该至少一个相邻段。
在另一方面,通常,一种用于编码比特流的方法包括:形成包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;提供用于相对于参考图像对第一段进行亮度补偿的偏移值,其中,能够使用用于基于与相邻段相关联的特性所确定的至少一个相邻段的亮度补偿的偏移值来预测所述偏移值;以及基于包括下述值的和来提供用于对第一段进行亮度补偿的信息:用于从参考图像获得的第一段的像素的预测器,用于第一段的像素的残值,以及用于亮度补偿的对应的偏移值。
在另一方面,通常,一种用于编码比特流的方法包括:形成包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;提供用于相对于参考图像对第一段进行亮度补偿的预测器;基于包括预测器和残余值的和,提供用于对第一段进行亮度补偿的偏移值;以及基于包括下述值的和来提供用于对第一段进行亮度补偿的信息:用于从参考图像获得的第一段的像素的预测器,用于第一段的像素的残值,以及用于亮度补偿的对应的偏移值。
在另一方面,通常,一种用于编码比特流的方法包括:形成包括多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;以及根据与第一段相关联的参考图像是否与与相邻段相关联的参考图像相同,使用对邻近于第一段的至少一个相邻段进行亮度补偿的偏移值,提供用于相对于参考图像对第一段进行亮度补偿的预测器。
在另一方面,通常,对于每一种对应的解码方法,在计算机可读介质上存储的计算机程序包括用于致使计算机执行该对应的解码方法的指令。
在另一方面,通常,对于每一种对应的解码方法,在机器可读信息载体上实施的图像数据能够利用该对应的解码方法解码成视频信号。
在另一方面,通常,对于每一种对应的解码方法,解码器包括用于执行对应的解码方法的装置。
在另一方面,通常,对于每一种对应的解码方法,编码器包括用于产生能够利用对应的解码方法解码成视频信号的比特流的装置。
在另一方面,通常,一种用于编码视频序列的方法,包括:a)从当前块的相邻块和另一视图的参考块获得至少一个块的平均像素值;b)从所得到的至少一个块的平均像素值,推导当前块的预测平均像素值;以及c)获得在当前块的预测平均像素值和当前块的平均像素值之间的差值。
在另一方面,通常,提供一种用于解码视频序列的方法,包括:1)获得能够从视频信号重构当前块的平均像素值的差值;m)从另一视图的参考块推导当前块的预测平均像素值;和n)基于预测平均像素值和差值来重构当前块的平均像素值。
在又一方面,通常,提供一种用于编码视频序列的设备,包括:用于获得当前块的相邻块和另一视图的参考块的平均像素值的平均像素值获得单元;用于从所获得的平均像素值来推导当前块的预测平均像素值的平均像素值预测单元;和用于获得在当前块的预测平均像素值和平均像素值之间的差值的差值编码单元。
在又一方面,通常,提供一种用于解码视频序列的设备,包括:用于从所接收的比特流获得差值的差值解码单元;用于从另一视图的参考块推导当前块的预测平均像素值的平均像素值预测单元;和用于基于预测平均像素值和差值来重构当前块的平均像素值的亮度补偿单元。
在又一方面,通常,一种用于解码视频信号的方法包括:使用邻近于当前块的至少一个相邻块的偏移值,来获得用于执行当前块的亮度补偿的预测器;以及使用该预测器重构当前块的偏移值,其中,通过确定当前块的参考索引是否等于相邻块的参考索引来确定所述预测器。
在又一方面,通常,提供一种用于解码视频信号的方法,包括:重构当前块偏移值,该当前块偏移值指示在当前块的平均像素值和至少一个参考块的平均像素值之间的差异;以及如果利用两个或者更多参考块对当前块进行预测编码,则使用该偏移值分别地获得当前块的参考块的偏移值。
在又一方面,通常,一种用于解码视频信号的方法,包括:获得指示是否对当前块执行亮度补偿的标志信息;以及如果根据该标志信息执行亮度补偿,则重构指示在当前块的平均像素值和参考块的平均像素值之间的差异的偏移值。
在又一方面,通常,提供一种用于解码视频信号的方法,包括:a)获得用于允许对视频信号的特定级进行亮度补偿的标志信息;和b)对利用标志信息进行亮度补偿的视频信号的特定级进行解码,其中,该视频信号的特定级对应于序列级、视图级、GOP(图像组)级、图像级、片段级、宏块级和块级中的任何一个。
在又一方面,通常,提供一种用于编码视频信号的方法,包括:获得指示在当前块和参考块的平均像素值之间的差异的当前块的偏移值;以及使用该偏移值搜索与当前块最优匹配的参考块;以及从匹配的参考块获得运动矢量,并且编码该运动矢量。
本发明的方面能够具有下面的一个或者多个优点。
用于编码/解码视频序列的方法或者设备基于周边块来预测要被编码的当前块的平均值,以及发送在当前块和周边块之间的差值,由此减少将被发送用于亮度补偿的信息量。
该方法有效执行需要大量数据的多视图视频序列的亮度补偿,由此增加编码速率。该方法使用在块或者视图之间的相关性实现了一种有效的编码/解码***。
由不同照相机捕获多视图视频数据的视图序列,从而由于照相机内部或者外部因素而存在亮度差异。为了解决该问题,该方法使用相邻块的信息来预测当前块的偏移值,仅仅发送在当前块和相邻块之间的残值,从而它能够减少被发送用于亮度补偿的信息量。在预测当前块的偏移值的情形中,该方法判定当前块的参考索引是否等于相邻块的参考索引,结果实现了准确预测。
该方法预测指示是否对当前块执行亮度补偿的标志信息,并且仅仅发送在标志信息之间的残值,由此减少被发送的信息量。该方法判定当前块的参考索引是否等于相邻块的参考索引,结果实现了准确预测。该方法使用在块或者视图之间的相关性,结果实现了有效编码过程。
由不同照相机捕获多视图视频数据的视图序列,从而由于照相机内部或者外部因素而存在亮度差异。为了解决上述问题,该方法使用相邻块的信息来预测当前块的偏移值,仅仅发送在当前块和相邻块之间的残值,从而它能够减少被发送用于进行亮度补偿的信息量。该方法预测指示是否对当前块执行亮度补偿的标志信息,并且仅仅发送残值,由此使得发送的信息量最少。
如果使用两个或者更多参考块来执行预测编码过程,则该方法使用至少一种方法采用偏移值和标志信息,结果实现了有效编码过程。分配指示是否对视频信号的每一个区域执行亮度补偿的标志位,从而能够有效使用亮度补偿技术。该方法通过反映在运动估计过程中的亮度差异而计算成本,结果实现了正确的预测编码。
从下面的说明以及从权利要求可以清楚其它特征和优点。
附图简要说明
图1是示例性解码设备。
图2是示出用于编码视频序列的方法的流程图。
图3是示出用于从其它视图的参考块推导当前块的预测平均像素值的过程的框图。
图4是示出用于从其它视图的参考块推导当前块的预测平均像素值的过程的详细框图。
图5是示出16×16宏块的图示。
图6A-6B是示出16×8宏块的图示。
图7A-7B是示出8×16宏块的图示。
图8A-8B是指示8×8宏块的图示。
图9是示出用于获得当前块的偏移值的过程的图示。
图10是示出用于执行当前块的亮度补偿的过程的流程图。
图11是示出用于通过确定当前块的参考索引是否等于相邻块的参考索引而获得预测器的方法的流程图。
图12是示出基于当前块的预测类型来执行亮度补偿的方法的流程图。
图13是示出用于使用指示是否执行块的亮度补偿的标志信息来执行亮度补偿的方法的流程图。
图14是示出用于通过确定当前块的参考索引是否等于相邻块的参考索引来预测当前块的标志信息的方法的流程图。
图15是示出用于当当前块利用两个或者更多参考块来预测编码时执行亮度补偿的方法的流程图。
图16是示出用于不仅使用指示是否执行当前块的亮度补偿的标志而且使用当前块的偏移值来执行亮度补偿的方法的流程图。
图17A-17B是示出用于使用与P和B片段的块相关联的标志和偏移值来执行亮度补偿的方法的图示。
图18是示出用于当当前块利用两个或者更多参考块预测编码时执行亮度补偿的方法的流程图。
图19是示出用于使用指示是否执行当前块的亮度补偿的标志来执行亮度补偿的方法的流程图。
图20A-20C是示出指示是否执行当前块的亮度补偿的标志信息的范围的图示。
图21是示出用于考虑到当前块的偏移值而获得运动矢量的方法的流程图。
具体实施方式
为了有效处理多视图序列,输入比特流包括允许解码设备确定输入比特流是否与多视图档有关的信息。在确定输入比特流涉及多视图档的情形中,与多视图序列相关联的补充信息根据语法被添加到比特流并且发送到解码器。例如,多视图档ID能够指示用于根据H.264/AVC标准的修订来处理多视图视频数据的档模式。
MVC(多视图视频编码)技术是H.264/AVC标准的修订技术。即,作为补充信息为MVC模式添加特定语法。用于支持MVC技术的这种修订能够比使用无条件语法的备选方案更加有效。例如,如果AVC技术的档标识符指示多视图档,则添加多视图序列信息可以提高编码效率。
H.264/AVC比特流的序列参数集(SPS)指示包括与全序列编码相关联的信息(例如档和级)的头部信息。
全压缩运动图像(即序列)能够以序列头部开始,从而对应于头部信息的序列参数集(SPS)早于由参数集参考的数据到达解码器。结果,序列参数集RBSP在进口S1处用作运动图像的压缩数据的头部信息(图2)。如果接收到比特流,则档ID信息“profile_idc”标识数个档中的哪一个档对应于接收到的比特流。
档ID信息“profile_idc”能够被例如设为“MULTI_VIEW_PROFILE”,从而包括档ID信息的语法能够确定所接收的比特流是否涉及多视图档。当所接收的比特流涉及多视图档时,能够添加下面的配置信息。
图1是示出用于解码含有多视图视频序列的视频信号的多视图视频***的示例性解码设备(或者“解码器”)的框图。多视图视频***包括对应的编码设备(或者“编码器”)以提供多视图视频序列作为比特流,该比特流包括在机器可读信息载体(例如机器可读存储介质或者在发送器和接收器之间传播的机器可读能量信号)上实施的编码图像数据。
参考图1,解码设备包括解析单元10、熵解码单元11、反量化/反变换单元12、帧间预测单元13、帧内预测单元14、解块滤波器15和解码图像缓存器16。
帧间预测单元13包括运动补偿单元17、亮度补偿单元18和亮度补偿偏移预测单元19。
解析单元10对在NAL单元中接收的视频序列执行解析以解码所接收的视频序列。一般地,在对片段头部和片段数据解码之前,一个或者多个序列参数集和图像参数集被发送到解码器。在此情形中,NAL头部或者NAL头部的扩展区域可以包括各种配置信息,例如,时域级信息、视图级信息、锚定图像ID信息和视图ID信息等。
术语“时间级信息”表示用于从视频信号提供时域缩放性的分层结构信息,从而能够经由上述时域级信息将各种时间区的序列提供给用户。
术语“视图级信息”表示用于从视频信号提供视图缩放性的分层结构信息。多视图视频序列能够限定时域级和视图级,从而可以根据所限定的时域级和视图级将各种时域序列和视图序列提供给用户。
以此方式,如果如上所述限定级信息,则用户可以采用时域缩放性和视图缩放性。因此,用户能够查看对应于期望时间和视图的序列,或者能够查看对应于另一限制的序列。也可以根据参考条件以各种方式建立上述级信息。例如,可以根据照相机位置改变级信息,并且也可以根据照相机布局类型来改变级信息。另外,也可以不加任何特定参考地任意建立级信息。
术语“锚定图像”表示其中所有的片段仅仅指的是当前视图中的片段而非其它视图中的片段的编码图像。在视图之间的随机访问能够基于锚定图像以进行多视图序列解码。
锚定图像ID信息能够被用于执行随机访问过程以访问特定视图的数据而不需要解码大量数据。
术语“视图ID信息”表示用于区别当前视图的图像和另一视图的图像的特定信息。当视频序列信号被编码时,为了将一个图像从其它图像区别开,能够使用图像序列号(POC)和帧数信息(frame_num)。
如果当前序列被确定为多视图视频序列,则能够执行视图间预测。标识符被用于区别当前视图的图像与另一视图的图像。
能够定义视图标识符以指示图像的视图。解码设备能够使用上述视图标识符来获得不同于当前图像的视图的视图中的图像的信息,从而它能够使用图像的信息来解码视频信号。上述视图标识符能够被应用于视频信号的全部编码/解码过程。而且,考虑到视图上述视图标识符也能够被应用于使用帧数信息“frame_num”的多视图视频编码过程。
一般地,多视图序列具有大量数据,并且每一个视图的分层编码功能(也被称为“视图缩放性”)能够被用于处理大量数据。为了执行视图缩放性功能,可以定义考虑到多视图序列的视图的预测结构。
可以通过结构化预测次序或者数个视图序列的方向而定义上述预测结构。例如,如果给定要被编码的数个视图序列,则全部布局的中心位置被设于基础视图,从而要被编码的视图序列能够被分层选择。全部布局的端部或者其它部分可以被设为基础视图。
如果照相机视图的数目由“2”的指数幂表示,可以基于由“2”的指数幂表示的照相机视图的上述情形来形成数个视图序列之间的分层预测结构。在其它情形中,如果照相机视图的数目不由“2”的指数幂表示,能够使用虚拟视图并且可以基于虚拟视图来形成预测结构。如果照相机布局指的是二维布局,则可以沿着水平或者垂直方向交替(by turns)建立预测次序。
被解析的比特流由熵解码单元11进行熵解码,并且数据例如每一个宏块的系数、运动矢量等被提取。反量化/反变换单元12用预定常数去乘所接收的量化值以获取变换后的系数值,并且对所获取的系数值执行反变换,从而它重构像素值。帧间预测单元13使用重构的像素值由当前图像的解码样本来执行帧间预测功能。
同时,解块滤波器15被应用于每一个解码宏块以降低块失真程度。解块滤波器15执行块边缘的平滑,从而它提高解码帧的图像质量。滤波过程的选择依赖于边界强度和在边界附近布局的图像样本的梯度。滤波后的图像被存储在解码图像缓存器16中,从而它们能够被输出或者被用作参考图像。
解码图像缓存器16存储或者输出预编码图像以执行帧间预测功能。在此情形中,图像的帧数信息“frame_num”和POC(图像序列号)信息被用于存储或者输出预编码图像。在MVC技术的情形中,其它视图的图像可以存在于上述预编码图像中。因此,为了使用上述图像作为参考图像,可以根据需要不仅使用“frame_num”和POC信息,而且使用指示图像视图的视图标识符。
帧间预测单元13使用在解码图像缓存器16中存储的参考图像来执行帧间预测。帧间编码宏块可以被划分成宏块部分。每一个宏块部分能够利用一个或者两个参考图像预测。
运动补偿单元17使用从熵解码单元11接收的信息来补偿当前块的运动。运动补偿单元17从视频信号提取当前块的相邻块的运动矢量,并且获得当前块的运动矢量预测器。运动补偿单元17使用从视频信号和所获得的运动矢量预测器提取的运动矢量和预测器之间的差值来补偿当前块的运动。上述运动补偿可以利用仅仅一个参考图像执行,或者也可以利用多个参考图像执行。
因此,如果上述参考图像被确定为不同于当前视图的其它视图的图像,则可以根据指示其它视图的视图标识符来执行运动补偿。
直接模式表示用于基于被完全解码的块的运动信息来预测当前块的运动信息的编码模式。上述直接模式能够减少用于编码运动信息所需要的位数,结果提高了压缩效率。
例如,时域直接模式使用时域方向的运动信息的相关性来预测当前块的运动信息。类似于时域直接模式,解码器能够使用视图方向的运动信息的相关性来预测当前块的运动信息。
如果所接收的比特流对应于多视图序列,则可以分别地由不同照相机捕获视图序列,从而由于照相机的内部或者外部因素可以发生亮度差异。为了减少与亮度差异相关联的潜在的效率低下问题,亮度补偿单元18执行亮度补偿功能。
在执行亮度补偿功能的情形中,标志信息可以用于指示是否执行在视频信号的特定级处的亮度补偿。例如,亮度补偿单元18可以使用指示是否执行对应的片段或者宏块的亮度补偿的标志信息来执行亮度补偿功能。而且,用于使用上述标志信息执行亮度补偿的上述方法可以被应用于各种宏块类型(例如,帧间16×16模式、B跳过(B-skip)模式、直接模式等)。
当执行亮度补偿时为了重构当前块,可以使用相邻块的信息或者不同于当前块的视图的视图中的块的信息,并且也可以使用当前块的偏移值。
在此情形中,当前块的偏移值指示在当前块的平均像素值与对应于当前块的参考块的平均像素值之间的差值。作为使用上述偏移值的实例,可以通过使用当前块的相邻块来获得当前块偏移值的预测器,并且可以使用在偏移值和预测器之间的残值。因此,解码器能够使用残值和预测器来重构当前块的偏移值。
为了获得当前块的预测器,可以根据需要使用相邻块的信息。
例如,能够通过使用相邻块的偏移值来预测当前块的偏移值。在预测当前块偏移值之前,确定当前块的参考索引是否等于相邻块的参考索引。根据确定结果,亮度补偿单元18能够确定将使用哪一个相邻块或者使用哪个值。
亮度补偿单元18可以使用当前块的预测类型来执行亮度补偿。如果利用两个参考块对当前块预测编码,则亮度补偿单元18可以使用当前块的偏移值来获得对应于每一个参考块的偏移值。
如上所述,通过亮度补偿和运动补偿获取的帧间预测图像或者帧内预测图像根据预测模式来选择,并且重构当前图像。
在该文献中将在以后描述用于重构当前图像的编码/解码方法的各种实例。
图2是示出用于编码视频序列的方法的流程图。
参考图2,在步骤S131,视频序列编码方法的实例获得当前块的相邻块和另一视图的参考块中的至少一个块的平均像素值。当接收到所获得的值时,视频序列编码方法在步骤S132使用数个模式中的至少一种模式推导当前块的预测平均像素值。视频序列编码方法在步骤S133获得在当前块的预测平均像素值和实际平均像素值之间的差值。视频序列编码方法在步骤S134测量上述数个模式的各个编码效率,并且从该数个模式中选择最优模式。能够以各种方式选择上述最优模式,例如,能够使用用于从所获得差值中选择最小差值的方法,和用于使用指示率失真(rate-distortion,RD)的关系的等式的方法等。
在此情形中,上述RD等式不仅认出在对应块的编码期间产生的编码位数而且认出指示与实际图像相关联的差值的失真值,从而它使用编码位数和失真值来计算成本。更加详细地,视频序列编码方法用由量化系数确定的拉格朗日乘子去乘位数,并且将失真值添加到乘积结果,从而它计算成本。如果选择最优模式,视频序列编码方法能够编码指示所选择模式的标识(ID)信息,并且发送编码结果。可替代地,如果选择最优模式,则视频序列编码方法能够不仅编码指示所选择模式的ID信息而且编码利用所选择模式获得的差值,并且在步骤S135发送编码结果。
图3是示出用于从另一视图的参考块推导当前块的预测平均像素值的过程的框图。
参考图3,假定Bc块的平均像素值是mc,Br,1块的平均像素值是mr,1,并且其余块的平均像素值由上述块符号表示。具有用于根据一个或者多个相邻块的信息来预测mc信息的各种方法。为了方便说明,假定在编码Bc块的情形中使用参考帧#1作为候选参考帧。
用于根据一个或者多个相邻块的信息预测mc信息的第一方法是用于基于对应于当前块的另一视图的参考块的平均像素值来预测mc信息的第一模式方法(Mode1)。更加详细地,第一模式方法(Mode1)指示用于使用参考帧#1的Br,1块的平均像素值来预测mc信息的方法。差值能够由下面的等式1表示:
[等式1]
e=mc—mr,1
用于预测在当前块的平均像素值和对应于当前块的另一视图的参考块的平均像素值之间的差值的第二方法是用于基于在当前块的每一个相邻块和参考块的平均像素值之间的差异来预测差值的第二模式方法(Mode2)。更加详细地,第二模式方法(Mode2)使用在相邻块之间的平均像素值的差值来预测在当前块的平均像素值和参考帧#1的Br,1块的平均像素值之间的差值。
该差值能够由下面的等式2表示:
[等式2]
用于预测在当前块的平均像素值和对应于当前块的另一视图的参考块的平均像素值之间的差值的第三方法是用于使用在当前块的相邻块的平均像素值和参考块的平均像素值之间的差异来预测差值的第三模式方法(Mode3)。更加详细地,第三模式方法(Mode3)基于在相邻块的平均像素值和参考帧#1的Br,1块的平均像素值之间的差异来预测mc信息。在此情形中,差值能够由下面的等式3表示:
[等式3]
在通过使用另一视图的参考块的相邻块来编码当前块的相邻块的情形中,具有用于基于当前块的相邻块的预测平均像素值来预测mc信息的第四模式方法(Mode4)。换言之,如果通过参考参考帧#2的块而对块预编码,则在当前块(Bc)和对应于当前块的参考块(Br,1)的平均像素值之间的差值能够利用在当前块的相邻块的平均像素值和另一视图参考块的相邻块的平均像素值之间的差值来预测。
在此情形中,差值能够由下面的等式4表示:
[等式4]
在使用上述Mode2、Mode3和Mode4方法使用相邻块信息的情形中,虽然上述Mode2、Mode3和Mode4方法已经公开仅仅示例性地使用下一上块的一个信息,应该注意,围绕当前块的数个相邻块的信息的组合也可以被用作实例。
图4是示出用于从其它视图的参考块来推导当前块的预测平均像素值的过程的详细框图。
更加详细地,图4示出当前块、每一个与当前块共享边界的预编码块以及每一个与参考块共享边界的其它块。在此情形中,Mode2方法等式、Mode3方法等式和Mode4方法等式能够由下面的等式5表示:
[等式5]
在等式5中,wi指示加权系数。用于预测的相邻块不限于不限于共享边界的块,并且根据需要也可以包括邻近于上述相邻块的其它块。在其它情形中,上述相邻块也可以采用其它块的仅仅一些部分。上述相邻块的范围可以由wi调整。以此方式,差值(e)被量化并且被熵编码,从而熵编码信息被发送到解码单元。
在计算数个步骤到实际比特流阶段之后,考虑到速率和失真因子,上述Mode1、Mode2、Mode3和Mode4方法的参考帧被确定为最优帧。具有用于选择最优模式的各种方法,例如,用于从所获得差值中选择最小差值的特定模式的方法和用于使用RD关系的方法。
上述RD-关系方法计算各个模式的实际比特流,并且考虑到速率和失真(rate and the distortion)而选择最优模式。在计算块残值的情形中,上述RD关系方法从当前块推断每一个块的平均像素值,从参考块推断每一个块的平均像素值,并且计算在当前块和参考块的所推断结果之间的差值,如由下面的等式6所表示:
[等式6]
在等式6中,ΔxΔy表示差异矢量,并且I是像素值。如果利用相邻块的信息预测的值和差值被量化,并且预测值和差值的量化结果值被重构,并且重构的结果值被添加,则所添加结果由等式6的表示。在此情形中,的值适于从编码单元和解码单元获得相同值。mr指示参考块的平均像素值。在解码图像的情形中,编码单元具有与解码单元相同的mr。实际上,在时间域中搜索参考块,并且在空间-时间域中搜索最优块。因此,指示是否将使用亮度补偿的ID信息被与各个帧和块相关联地设为“0”或者“1”,并且所得到的ID信息被熵编码。
如果选择最优模式,则能够编码仅仅所选择模式,从而所选择模式的编码结果可以被发送到解码单元。除了所选择模式的编码结果,利用所选择模式获得的差值也能够被编码和发送。所选择模式信息由索引类型表示,并且也能够利用相邻模式信息来预测。另外,在当前选择模式的索引和预测模式的索引之间的差值也能够被编码和发送。
根据需要,可以考虑所有的上述模式,可以选择上述模式中的一些,或者也可以仅仅选择上述模式中的一个。在使用所有可用方法中的单个方法的情形中,无需分别地编码模式索引。
在获得平均像素值并且推导预测平均像素值的情形中,预解码像素值可以被应用于要被编码的参考帧和目标帧的当前块。
基本上,左侧像素的预解码值和上侧像素的预解码值被用于预测当前块的平均像素值。在编码实际视频序列的情形中,基于宏块来编码视频序列。16×16宏块被划分成16×8块、8×16块和8×8块,并且然后被解码。8×8块也可以被划分成8×4块、4×8块和4×4块。具有用于基于单个宏块来预测子块的平均像素值的各种方法。
图5是示出用于解释在推导当前块的平均像素值和预测平均像素值的情形中位于整个块的左和上部的预解码像素值的使用的16×16宏块的概念图示。
参考图5,16×16宏块能够使用左和上部的所有的像素值。因此,在预测当前块的平均像素值的情形中,计算上部像素(h1~h16)和左部像素(v1~v16)的平均像素值,并且利用计算出的像素(v1~v16,h1~~h16)的平均像素值来预测当前块的平均像素值。在此情形中,16×16块(由“B16×16”表示)的平均像素值能够由下面的等式7表示:
[等式7]
图6A是示出16×8宏块的概念图示,用于解释在推导划分块的平均像素值和预测平均像素值的情形中包围划分块的所有的像素的使用。图6B是示出16×8宏块的概念图示,用于解释在推导划分块的平均像素值和预测平均像素值的情形中仅仅包围划分块的像素的使用。
在图6A中,在使用包围划分块的所有的像素的情形中,B16×8_0块和B16×8_1块的平均值能够由下面的等式8表示:
[等式8]
在图6B中,在使用包围划分块的所有的像素的情形中,B16×8_0块的平均值能够由下面的等式9表示,并且B16×8_1块的平均值能够由下面的等式10表示:
[等式9]
[等式10]
在图6A-6B的上述情形中,位于宏块的角部处的值h0也可以根据需要被添加到计算结果。在此情形中,图6A的B16×8_0块的平均像素值能够由下面的等式11表示,并且图6B的B16×8_0的平均像素值能够由下面的等式12表示:
[等式11]
[等式12]
在图6A-6B的上述情形中,位于宏块的角部处的值h0和v8也可以根据需要被添加到计算结果。在此情形中,图6A的B16×8_1块的平均像素值能够由下面的等式13表示,并且图6B的B16×8_1的平均像素值能够由下面的等式14表示:
[等式13]
[等式14]
图7A是示出8×16宏块的概念图示,用于解释在推导划分块的平均像素值和预测平均像素值的情形中包围划分块的所有的像素的使用。图7B是示出8×16宏块的概念图示,用于解释在推导划分块的平均像素值和预测平均像素值的情形中仅仅包围划分块的像素的使用。用于推导划分块的平均像素值的方法与图6A-6B的相同。
图8A是示出8×8宏块的概念图示,用于解释在推导划分块的平均像素值和预测平均像素值的情形中包围划分块的所有的像素的使用。图8B是示出8×8宏块的概念图示,用于解释在推导划分块的平均像素值和预测平均像素值的情形中仅仅包围划分块的像素的使用。用于推导划分块的平均像素值的方法与图6A-6B的相同。
该8×8块能够被划分成多个子块。
从每一个块的所有的像素推断每一个预测平均像素值,并且能够由下面的等式15,来计算在使用参考块预测的像素值和当前块的像素值之间的差值:
[等式15]
在等式15中,(Δx,Δy)指示差异矢量,并且I是像素值。具有最小块残值的参考块被选择作为亮度补偿最优块。在此情形中,差异矢量由(Δx,Δy)表示。实际上,***比较上述亮度补偿情形和其中亮度未被补偿的另一情形,并且选择这两种情形中的较好的一个。
作为上述方案的一个修改实例,参考块的平均像素值不利用相邻块的像素值预测,而是利用在实际块中包含的所有像素的平均像素值来直接计算。
作为上述方案的另一修改实例,可以增加左和上部像素的数目。更加详细地,可以使用当前层的两个或者更多相邻层的像素以代替邻近当前层的仅仅一个层的像素。
解码单元使用ID信息来确定是否执行对应块的亮度补偿。如果执行亮度补偿,则解码单元计算差值(e)的解码值,并且根据上述预测方法来获得预测值。差值(e)的解码值被添加到预测值,从而值 能够被解码。从参考块推断的值,所述参考块是预测块,就是所谓的用于当前块的预测器,并且所推断结果被添加到残余块的解码值,从而能够最后获得当前块的值。当前块能够如下被重构:
其中B是当前块的值,参考块是用于当前块的预测器,是平均像素值的预测差异,即用于当前块的亮度补偿的预测偏移值,并且e是差值。解码单元获得在当前块的亮度补偿的偏移值和预测差之间的差,并且能够使用所获得残余块值和预测差来重构当前块的亮度补偿的偏移值。
图9是示出用于获得当前块的偏移值的过程的图示。
可以在运动估计期间执行亮度补偿。当它比较当前块与参考块时,考虑在两个块之间的亮度差异。新的运动估计和新的运动补偿被用于补偿亮度差异。新的SAD(差的绝对值的总和)能够由下面的等式16和17表示:
[等式16]
[等式17]
参考等式16和17,Mc表示当前块的平均像素值,并且Mr表示参考块的平均像素值。Ic(x,y)表示在当前块的特定坐标(x,y)处的像素值,并且Ir(x+Δx,y+Δy)表示在参考块的运动矢量(Δx,Δy)处的像素值。基于由等式16表示的新的SAD来执行运动估计,从而能够获得在当前块的平均像素值和参考块的平均像素值之间的差值。在当前块和参考块之间的平均像素值的差值被称为偏移值(IC_offset)。
如果执行应用于亮度补偿的运动估计,则获得偏移值和运动矢量。能够使用偏移值和运动矢量利用下面的等式18来执行亮度补偿:
[等式18]
R(x,y)=Ic(x,y)-Ir(x+Δx,y+Δy)-(Mc-Mr)
参考等式18,R(x,y)表示亮度补偿残值。
偏移值(IC_offset=Mc-Mr)被发送到解码单元。能够利用下面的等式19执行解码单元的亮度补偿:
[等式19]
为了重构当前块,偏移值被发送到解码单元,并且能够利用相邻块的数据来预测偏移值。为了进一步减少用于编码偏移值的位数,在当前块偏移值(IC_offset)和相邻块偏移值(IC_offset_pred)之间的差值(RIC_offset)能够被发送到解码单元50,如由下面的等式20所表示:
[等式20]
RIC_offset=IC_offset-IC_offset_pred
图10是示出用于执行当前块的亮度补偿的过程的流程图。
参考图10,如果当前块的亮度补偿标志被设为“0”,则不执行当前块的亮度补偿。否则,如果当前块的亮度补偿标志被设为“1”,则执行用于重构当前块的偏移值的过程。在获得当前块的预测器的情形中,能够采用相邻块的信息。在步骤S210判定当前块的参考索引是否等于相邻块的参考索引。在步骤S211基于该判定结果来获得用于执行当前块的亮度补偿的预测器。在步骤S212通过使用所获得的预测器来重构当前块的偏移值。在此情形中,将在下文中参考图11描述用于确定当前块的参考索引是否等于相邻块的参考索引的步骤S210和用于基于该确定结果来获得预测器的步骤S211。
图11是示出用于通过确定当前块的参考索引是否等于相邻块的参考索引来获得预测器的方法的流程图。
参考图11,为了执行亮度补偿,解码单元从视频信号提取各种信息,例如,当前块的相邻块的标志信息和偏移值,以及当前和相邻块的参考块的参考索引,从而解码单元能够使用所提取的信息来获得当前块的预测器。解码单元获得在当前块的偏移值和预测器之间的残值,以及能够使用所获得的残值和预测器来重构当前块的偏移值。
在获得当前块的预测器的情形中,能够采用相邻块的信息。例如,能够利用相邻块的偏移值来预测当前块的偏移值。在预测当前块的偏移值之前,能够确定当前块的参考索引是否等于相邻块的参考索引,从而能够通过参考确定结果来确定将使用哪一个值或者哪一个相邻块。而且,确定相邻块的标志信息是否被设为“真”,从而能够通过参考确定结果来确定是否使用相邻块。
根据第一实例,在步骤S220确定是否存在具有与当前块相同的参考索引的相邻块。如果确定存在仅仅一个具有与当前块相同的参考索引的相邻块,则在步骤S221,将具有该相同参考索引的相邻块的偏移值分配给当前块的预测器。如果在步骤S220确定存在每一个具有与当前块相同的参考索引的两个相邻块,则在步骤S222,将该两个相邻块的偏移值的平均值分配给当前块的预测器。如果在步骤S220确定存在每一个具有与当前块相同的参考索引的三个相邻块,则在步骤S223,将该三个相邻块的偏移值的中值分配给当前块的预测器。如果根据在步骤S220的确定结果确定不存在具有与当前块相同的参考索引的相邻块,则在步骤S224,将当前块的预测器设为“0”。如果需要,用于确定当前块的参考索引是否等于相邻块的参考索引的步骤S220还可以包括用于确定相邻块的标志是否被设为“1”的另一步骤。
根据第二实例,确定相邻块是否具有与当前块相同的参考索引,并且确定相邻块的标志是否被设为“1”。如果确定相邻块具有与当前块相同的参考索引,并且具有“1”的标志,则相邻块的偏移值可以被设为当前块的预测器。在此情形中,可以按照左相邻块->上相邻块->右上相邻块->左上相邻块的顺序检查多个相邻块。如果需要,也可以按照上相邻块->左相邻块->右上相邻块->左上相邻块的顺序检查相邻块。如果没有能够满足该两个条件的相邻块,并且该三个相邻块(即左相邻块、上相邻块和右上(或者左上)相邻块)的标志分别地被设为“1”,则该三个块的偏移值的中值被设为预测器。否则,当前块的预测器可以被设为“0”。
图12是示出用于基于当前块的预测类型来执行亮度补偿的方法的流程图。
参考图12,可以根据当前块的预测类型来改变用作参考块的相邻块。例如,如果当前块具有与相邻块相同的形状,则利用相邻块的中值来预测当前块。否则,如果当前块的形状不同于相邻块的形状,则将采用另一种方法。
例如,如果位于当前块左侧的块被划分成数个子块,则子块中的最上子块被用于预测。并且,如果位于当前块上部的块被划分成数个子块,则最左子块被用于预测。在此情形中,可以根据当前块的预测类型来改变预测值。因此,图12的实例在步骤S231根据当前块的预测类型来确定相邻块。在步骤S232确定所确定的相邻块的参考索引是否等于当前块的参考索引。用于确定相邻块的参考索引是否等于当前块的参考索引的步骤S232还可包括用于确定相邻块的标志是否被设为“1”的另一步骤。能够在步骤S233基于确定结果来获得用于执行当前块的亮度补偿的预测器。利用所获得的预测器重构当前块的偏移值,从而能够在步骤S234执行亮度补偿。在此情形中,将在下文中详细描述用于通过参考步骤S232的结果来执行步骤S233的过程,并且其详细说明将类似于图11。
例如,如果当前块的预测类型指示通过使用位于当前块左侧的相邻块执行预测,则确定左侧相邻块的参考索引是否等于当前块的参考索引。如果当前块的参考索引等于左侧相邻块的参考索引,则左侧相邻块的偏移值被分配给当前块的预测器。并且,如果当前块的预测类型指示通过参考当前块的左相邻和上相邻块来执行预测,或者如果通过参考三个相邻块(即左相邻块、上相邻块和右上相邻块)执行预测,则将如图11的方法那样类似地应用各个情形。
图13是示出用于使用指示是否执行块的亮度补偿的标志信息来执行亮度补偿的方法的流程图。
参考图13,指示是否执行当前块的亮度补偿的标志信息(IC_flag)也可以被用于重构当前块的偏移值。另外,也可以使用图11的用于检查参考索引的方法和用于预测标志信息的方法来获得预测器。首先,在步骤S241确定是否存在具有与当前块相同的参考索引的相邻块。在步骤S242利用该确定结果获得用于执行当前块的亮度补偿的预测器。在此情形中,用于确定相邻块的标志是否为“1”的过程也可以被包括在步骤S242中。在步骤S243,基于该确定结果来预测当前块的标志信息。通过使用所获得的预测器和预测标志信息来重构当前块的偏移值,从而能够在步骤S244执行亮度补偿。在此情形中,可以如图11的方法那样类似地应用步骤S242,并且将参考图14在下文中描述步骤S243。
图14是示出用于通过确定当前块的参考索引是否等于相邻块的参考索引来预测当前块的标志信息的方法的流程图。
参考图14,在步骤S250确定是否存在具有与当前块相同的参考索引的相邻块。如果确定仅仅存在一个具有与当前块相同的参考索引的相邻块,则在步骤S251利用具有该相同参考索引的相邻块的标志信息来预测当前块的标志信息。如果在步骤S250确定存在每一个具有与当前块相同的参考索引的两个相邻块,则在步骤S252利用具有该相同参考索引的该两个相邻块的标志信息中的任何一个来预测当前块的标志信息。
如果在步骤S250确定存在每一个具有与当前块相同的参考索引的三个相邻块,则在步骤S253利用该三个相邻块的标志信息的中值来预测当前块的标志信息。此外,如果根据步骤S250的确定结果不存在具有与当前块相同的参考索引的相邻块,则在步骤S254不预测当前块的标志信息。
图15是示出当利用两个或者更多参考块对当前块进行预测编码时用于执行亮度补偿的方法的流程图。
参考图15,在执行亮度补偿期间,如果通过使用两个参考块来预测编码当前块,则解码单元不能直接识别出对应于每一个参考块的偏移值,因为当获得当前块的偏移值时它使用该两个参考块的平均像素值。因此,在一个实例中,获得对应于每一个参考块的偏移值,结果实现了正确预测。在步骤S261,通过使用当前块的预测器和残值来重构当前块的偏移值。如果通过使用两个参考块来预测编码当前块,则在步骤S262利用该偏移值获得对应于每一个参考块的偏移值,如由下面的等式21所表示:
[等式21]
IC_offset=mc-w1×mr,1-w2×mr,2
IC_offsetL0=mc-mr,1=IC_offset+(w1-1)×mr,1+w2×mr,2
IC_offsetL1=mc-mr,2=IC_offset+w1×mr,1+(w2-1)×mr,2
在等式21中,mc是当前块的平均像素值。mr,1和mr,2分别地指示参考块的平均像素值。w1和w2分别地指示用于双预测编码过程的加权系数。
在亮度补偿方法的一个实例中,***独立地获得对应于每一个参考块的准确的偏移值,从而它能够正确地执行预测编码过程。在步骤S262重构当前块的偏移值的情形中,***将重构的残值和预测器值相加,从而它获得偏移值。在此情形中,分别地获得List0的参考图像的预测器和List1的参考图像的预测器并且将这些预测器进行组合,从而该***能够获得用于重构当前块的偏移值的预测器。
根据另一实例,该***也能够被应用于跳过宏块(skip-marcoblock)。在此情形中,执行预测以获得用于亮度补偿的信息。利用相邻块预测的值被用作指示是否执行亮度补偿的标志信息。利用相邻块预测的偏移值可以被用作当前块的偏移值。例如,如果标志信息被设为“真”,则偏移值被添加到参考块。在应用P-跳过(P-skip)模式的宏块的情形中,通过使用左相邻块和上相邻块的标志和偏移值执行预测,从而能够获得宏块的标志和偏移值。如果仅仅一个块具有“1”的标志,则当前块的标志和偏移值可以分别地被设为该块的标志和偏移值。如果两个块具有“1”的标志,则当前块的标志被设为“1”,并且当前块的偏移值被设为该两个相邻块的平均偏移值。
根据另一实例,该***也能够被应用于直接模式,例如,时域直接模式、B-跳过(B-skip)模式等。在此情形中,执行预测以获得亮度补偿的信息。通过使用用于预测标志和偏移的可变方法能够获得每一个预测器。该预测器可以被设为当前块的实际标志和实际偏移值。如果每一个块具有一对标志和偏移信息,则能够获得每一个块的预测值。在此情形中,如果具有两个参考块并且检查该两个参考块的参考索引,则确定当前块的参考索引是否等于相邻块的参考索引。此外,如果每一个参考块包括唯一偏移值,则能够获得第一预测标志信息、第一预测偏移值、第二预测标志信息和第二预测偏移值。在此情形中,利用相邻块预测的值可以被用作标志信息。该两个参考块的偏移值可以被分别地用作第一预测偏移值和第二预测偏移值。在此情形中,当前块的偏移值可以被设为各个参考块的平均偏移值。
在直接模式或者跳过宏块(skip macroblock)模式中,该***可以编码/解码指示直接模式或者跳过宏块模式是否被应用于当前块的标志信息。更加详细地,根据标志值添加或者不添加偏移值。在偏移值和预测偏移值之间的残值也可以被编码/解码。在此情形中,能够更加正确地重构期望数据,并且可以考虑到RD(率失真)关系来选择最优模式。如果参考图像不能被用于预测过程,即,如果参考图像数目小于“1”,则标志信息或者预测标志信息可以被设为“假”,并且偏移值或者预测偏移值也可以被设为“0”。
根据另一实例,该***也能够被应用于熵编码过程。与标志信息相关联地,根据相邻块(例如位于当前块的左和上部的块)的标志值可以使用三个上下文模型(context model)。
如果确定标志值被设为“真”,则产生值“1”。如果确定标志值被设为“假”,则产生值“0”。如果该两种情形的该两个值“1”和“0”相加,则能够获得三种情形。通过使用三个上下文模型来编码/解码标志信息。变换系数级编码方法能够被用于偏移值的预测残值。换言之,利用UEG0执行数据二进制化,单个上下文模型能够被应用于第一bin值,并且另一上下文模型被应用于一元前缀部分(unaryprefix part)的其余bin值。利用旁路(bypass)模式编码/解码符号位。根据标志信息的另一实例,根据预测标志值可以考虑两个上下文,从而能够执行编码/解码过程。
图16是示出用于不仅使用指示是否执行当前块的亮度补偿的标志信息而且还使用当前块的偏移值来执行亮度补偿的方法的流程图。
参考图16,为了执行亮度补偿,解码单元从视频信号提取各种信息,例如,当前块的以及当前块的相邻块的标志信息和偏移值,以及当前和相邻块的参考块的索引信息,从而解码单元能够使用上述所提取的信息来获得当前块的预测器。解码单元50获得在当前块的偏移值和预测器之间的残值,并且能够使用所获得的残值和预测器来重构当前块的偏移值。在重构当前块的偏移值的情形中,可以使用指示是否执行当前块的亮度补偿的标志信息(IC_flag)。
解码单元在步骤S271获得指示是否执行当前块的亮度补偿的标志信息。如果根据上述标志信息(IC_flag)执行亮度补偿,则在步骤S272能够重构指示在当前块和参考块之间的平均像素值的差异的当前块的偏移值。以此方式,上述亮度补偿技术编码在不同图像的块之间的平均像素值的差值。如果当指示是否执行亮度补偿的标志被应用于每一个块时在P片段中包含对应的块,则单个标志信息和单个偏移值被编码/解码。然而,如果在B片段中包含对应的块,则能够使用各种方法,并且将参考图17A`17B在下文中对其详细说明进行描述。
图17A-17B是示出用于使用与P和B片段的块相关联的标志信息和偏移值来执行亮度补偿的方法的图示。
参考图17A,“C”表示当前块,“N”表示当前块(C)的相邻块,“R”表示当前块(C)的参考块,“S”表示当前块(C)的相邻块(N)的参考块,并且“mc”表示当前块(C)的平均像素值,“mr”表示当前块(C)的参考块的平均像素值。如果当前块(C)的偏移值由“IC_offset”表示,则“IC_offset”信息能够由“IC_offset=mc-mr”表示。
以此方式,如果相邻块(S)的偏移值由“IC_offset_pred”表示,则编码单元能够将当前块的偏移值(IC_offset)和相邻块的偏移值(IC_offset_pred)之间的残值(RIC_offset)发送到解码单元,从而它能够重构当前块(C)的偏移值“IC_offset”。在此情形中,“RIC_offset”信息也能够由上述等式20表示。
在基于相邻块的标志信息或者偏移值来产生当前块的预测器的情形中,能够使用各种方法。例如,可以采用仅仅一个相邻块的信息,或者也可以采用两个或者更多相邻块的信息。在采用两个或者更多相邻块的信息的情形中,可以采用平均值或者中值。以此方式,如果利用单个参考块来预测编码当前块,则能够使用单个偏移值和单个标志信息来执行亮度补偿。
然而,如果在B片段中包含对应的块,即,如果利用两个或者更多参考块来预测编码当前块,则能够使用各种方法。
例如,如图17B所示,假定“C”表示当前块,“N”表示当前块(C)的相邻块,“R0”表示位于由当前块参考的List0的参考图像(1)处的参考块,“S0”表示位于由相邻块参考的List0的参考图像(1)处的参考块,“R1”表示位于由当前块参考的List1的参考图像(3)处的参考块,并且“S1”表示位于由相邻块参考的List1的参考图像(3)处的参考块。在此情形中,当前块的标志信息和偏移值与每一个参考块相关联,从而每一个参考块包括两个值。因此,能够分别地采用标志信息和偏移值中的至少一个。
根据第一实例,能够经由运动补偿通过组合两个参考块的信息而获得当前块的预测器。在此情形中,单个标志信息指示是否执行当前块的亮度补偿。如果标志信息被确定为“真”,则从当前块和预测器获得单个偏移值,从而能够执行编码/解码过程。
根据第二实例,在运动补偿过程中,确定亮度补偿是否被应用于两个参考块的每一个。标志信息被分配给两个参考块的每一个,并且通过使用上述标志信息获得的单个偏移值可以被编码或者解码。在此情形中,应该注意到,可以基于参考块来使用两个标志信息,并且可以基于当前块使用单个偏移值。
根据第三实例,单个标志信息可以基于当前块指示亮度补偿是否被应用于对应的块。能够对于两个参考块编码/解码各个偏移值。如果在编码过程期间亮度补偿未被应用于参考块中的任何一个,则对应的偏移值被设为“0”。在此情形中,可以基于当前块使用单个标志信息,并且可以基于参考块使用两个偏移值。
根据第四实例,能够对于各个参考块编码/解码标志信息和偏移值。在此情形中,能够基于参考块使用两个标志和两个偏移值。
根据上述第一到第四实例,偏移值不被无任何改变地编码(notencoded without any change),而是利用相邻块的偏移值进行预测,从而它的残值被编码。
图18是示出用于当利用两个或者更多参考块来预测编码当前块时执行亮度补偿的方法的流程图。
参考图18,为了在B片段中包含当前块的条件下执行亮度补偿,从视频信号提取当前块的相邻块的标志信息和偏移值,并且提取当前和相邻块的对应的参考块的索引信息,从而能够通过使用所提取的信息来获得当前块的预测器。解码单元获得在当前块的偏移值和预测器之间的残值,并且能够使用所获得的残值和预测器来重构当前块的偏移值。在重构当前块的偏移值的情形中,根据需要可以使用指示是否执行当前块的亮度补偿的标志信息(IC_flag)。
解码单元在步骤S291获得指示是否执行当前块的亮度补偿的标志信息。如果根据上述标志信息(IC_flag)执行亮度补偿,则能够在步骤S292重构指示在当前块和参考块之间的平均像素值的差异的当前块的偏移值。
然而,如果利用两个参考块来预测编码当前块,则解码器不能直接识别出对应于每一个参考块的偏移值,因为当获得当前块的偏移值时它使用两个参考块的平均像素值。因此,根据第一实例,获得对应于每一个参考块的偏移值,结果实现了正确预测。因此,如果利用两个参考块来预测编码当前块,则在步骤S293能够通过使用上述偏移值来获得对应于每一个参考块的的偏移值,如由下面的等式22所表示:
[等式22]
IC_offset=mc-w1×mr,1-w2×mr,2
IC_offsetL0=mc-mr,1=IC_offset+(w1-1)×mr,1+w2×mr,2
IC_offsetL1=mc-mr,2=IC_offset+w1×mr,1+(w2-1)×mr,2
在等式22中,mc是当前块的平均像素值。mr,1和mr,2分别地表示参考块的平均像素值,w1和w2分别地表示用于双预测编码过程的加权系数。
在使用上述方法执行亮度补偿的情形中,该***独立地获得对应于每一个参考块的准确偏移值,从而它能够更加准确地执行预测编码过程。在重构当前块的偏移值的情形中,***将重构的残值和预测器值相加,从而它获得偏移值。在此情形中,List0的预测器和List1的预测器被获得和组合,从而***能够获得用于重构当前块的偏移值的预测器值。
图19是示出用于使用指示是否执行当前块的亮度补偿的标志信息执行亮度补偿的方法的流程图。
亮度补偿技术适用于补偿亮度差异或者颜色差异。如果扩展亮度补偿技术的范围,则也可以在由相同照相机捕获到的所获得序列之间应用扩展的亮度补偿技术。亮度补偿技术能够防止亮度或者颜色差异显著影响运动估计。然而,实际上,编码过程采用指示是否执行亮度补偿的标志信息。亮度补偿的应用范围可以被扩展到序列、视图、GOP(图像组)、图像、片段、宏块和子块等。
如果亮度补偿技术被应用于小尺寸区域,也可以控制局部区域,然而,应该注意到,消耗用于标志信息的许多位数。可能不需要亮度补偿技术。因此,指示是否执行亮度补偿的标志位被分配给各个区域,从而该***能够有效地使用亮度补偿技术。该***在步骤S201获得能够允许对视频信号的特定级进行亮度补偿的标志信息。
例如,下面的标志信息可以被分配给各个区域。“seq_IC_flag”信息被分配给序列级,“view_IC_flag”信息被分配给视图级,“GOP_IC_flag”信息被分配给GOP级,“pic_IC_flag”信息被分配给图像级,“slice_IC_flag”信息被分配给片段级,“mb_IC_flag”信息被分配给宏块级,并且“blk_IC_flag”信息被分配给块级。将参考图20A-20C对上述标志信息的详细说明进行描述。能够在步骤S302对利用标志信息执行亮度补偿的视频信号的特定级进行解码。
图20A-20C是示出标志信息的范围的概念图示,该标志信息指示是否执行当前块的亮度补偿。
参考图20A-20C,指示是否执行亮度补偿的标志信息能够以分层方式被分类。例如,如从图20A-20C可见,“seq_IC_flag”信息311被分配给序列级,“view_IC_flag”信息312被分配给视图级,“GOP_IC_flag”信息313被分配给GOP级,“pic_IC_flag”信息314被分配给图像级,“slice_IC_flag”信息315被分配给片段级,“mb_IC_flag”信息316被分配给宏块级,并且“blk_IC_flag”信息317被分配给块级。
在此情形中,每一个标志均由1个位构成。上述标志的数目可以被设为至少一。上述序列/视图/图像/片段级标志可以位于对应的参数集或者头部处,或者也可以位于另一参数集处。例如,“seq_IC_flag”信息311可以位于序列参数集处,“view_IC_flag”信息312可以位于视图参数集处,“pic_IC_flag”信息314可以位于图像参数集处,并且“slice_IC_flag”信息315可以位于片段头部处。
如果存在两个或者更多标志,则指示是否执行上级的亮度补偿的特定信息可以控制是否执行下级的亮度补偿。换言之,如果每一个标志位值均被设为“1”,则亮度补偿技术可以被应用于下级。
例如,如果“pic_IC_flag”信息被设为“1”,在对应的图像中包含的每一个片段的“slice_IC_flag”信息可以被设为“1”或者“0”,每一个宏块的“mb_IC_flag”信息可以被设为“1”或者“0”,或者每一个块的“blk_IC_flag”信息可以被设为“1”或者“0”。如果在存在视图参数集的条件下“seq_IC_flag”信息被设为“1”,则每一个视图的“view_IC_flag”值可以被设为“1”或者“0”。否则,如果“view_IC_flag”信息被设为“1”,对应的视图的GOP、图像、片段、宏块或者块的标志位值可以被设为“1”或者“0”,如图20A所示。显然,根据需要,对应的视图的GOP、图像、片段、宏块或者块的上述标志位值可以不被设为“1”或者“0”。如果对应的视图的GOP、图像、片段、宏块或者块的上述标志位值可以不被设为“1”或者“0”,则这表示GOP标志、图像标志,片段标志、宏块标志或者块标志不由视图标志信息控制,如图20B所示。
如果上范围的标志位值被设为“0”,下范围的标志位值被自动设为“0”。例如,如果“seq_IC_flag”信息被设为“0”,则这指示亮度补偿技术未被应用于对应的序列。因此,“view_IC_flag”信息被设为“0”,“GOP_IC_flag”信息被设为“0”,“pic_IC_flag”信息被设为“0”,“slice_IC_flag”信息被设为“0”,“mb_IC_flag”信息被设为“0”,并且“blk_IC_flag”信息被设为“0”。如果需要,根据亮度补偿技术的特定实现方法,可以采用仅仅一个“mb_IC_flag”信息或者仅仅一个“blk_IC_flag”信息。如果需要,当视图参数集被新应用于多视图视频编码时,可以采用“view_IC_flag”信息。根据用作最低级单元的宏块或者子块的标志位值,当前块的偏移值可以被另外地编码/解码。
如从图20C可见,指示IC技术应用的标志也可以被应用于片段级和宏块级。例如,如果“slice_IC_flag”信息被设为“0”,则这指示IC技术未被应用于对应的片段。如果“slice_IC_flag”信息被设为“1”,则这指示IC技术被应用于对应的片段。在此情形中,如果“mb_IC_flag”信息被设为“1”,对应的宏块的“IC_offset”信息被重构。如果“mb_IC_flag”信息被设为“0”,则这指示IC技术未被应用于对应的宏块。
根据另一实例,如果高于宏块级的上级的标志信息被确定为“真”,该***能够获得指示在当前块和参考块之间的平均像素值的差异的当前块的偏移值。在此情形中,根据需要,宏块级的标志信息或者块级的标志信息可以不被采用。亮度补偿技术能够使用标志信息指示是否对每一个块执行亮度补偿。亮度补偿技术也可以使用特定值例如运动矢量来指示是否对每一个块执行亮度补偿。上述实例也能够被应用于亮度补偿技术的各种应用。与上范围(即序列、视图、GOP和图像)相关联地,上述实例能够使用标志信息来指示是否对下范围执行亮度补偿。用作最低范围的宏块或者块级能够使用偏移值有效地指示是否执行亮度补偿而不使用标志位。类似于使用运动矢量的方法,能够执行预测编码过程。例如,如果预测编码过程被应用于当前块,则相邻块的偏移值被分配给当前块的偏移值。如果预测编码方案被确定为双预测编码方案,则通过计算从List0和List1检测到的参考块来获得各个参考块的偏移值。因此,在编码当前块的偏移值的情形中,没有利用相邻块的偏移值对每一个参考块的偏移值直接编码,并且残值被编码/解码。用于预测偏移值的方法可以被确定为上述偏移预测方法或者用于获得用于预测运动矢量的中值的方法。在双向预测的直接模式的情形中,没有使用与运动矢量相同的方法对补充信息进行编码/解码,并且能够利用预定信息来获得偏移值。
根据另一实例,使用解码单元(例如基于H.264的解码单元)来替代MVC解码单元。应该利用传统解码单元来解码与传统解码单元兼容的视图序列,从而“view_IC_flag”信息被设为“假”或者“0”。在此情形中,需要解释基础视图概念。应该指出可能需要与H.264/AVC解码器兼容的单个视图序列。因此,能够被独立解码的至少一个视图,被定义并且称为基础视图。该基础视图表示数个视图(即多视图)中的参考视图。利用普通视频编码方案(例如MPEG-2、MPEG-4、H.263和H.264等)对在MVC方案中对应于基础视图的序列进行编码,从而它以独立比特流的形式产生。上述基础视图序列能够与H.264/AVC方案兼容,或者不能与之兼容。然而,能够与H.264/AVC方案兼容的视图序列总是被设为基础视图。
图21是示出用于考虑到当前块的偏移值获得运动矢量的方法的流程图。
参考图21,该***能够在步骤S321获得当前块的偏移值。该***在步骤S322使用该偏移值搜索与当前块最佳匹配的参考块。该***在步骤S323从参考块获得运动矢量,并且编码运动矢量。为进行亮度补偿,在运动估计期间对各种因素加以考虑。例如,在用于通过偏移第一和第二块的平均像素值来比较第一块和第二块的方法的情形中,在运动估计期间从每一个块的像素值推断该两个块的平均像素值,从而能够计算在该两个块之间的相似性。在此情形中,在该两个块之间的偏移值被独立编码,从而在运动估计过程中反映出用于独立编码的成本。能够由下面的等式23计算传统成本:
[等式23]
COST=SAD+λMOTION·GenBit
在使用亮度补偿的情形中,SAD(差的绝对值的总和)能够由下面的等式24表示:
[等式24]
在等式24中,Ic表示当前块的像素值,并且Ir表示参考块的像素值。Mc表示当前块的平均像素值,并且Mr表示参考块的平均像素值。偏移成本能够被包括在上述SAD计算过程中,如由下面的等式25和26所表示:
[等式25]
COSTIC=SADIC+λMOTION·GenBit
[等式26]
SADIC=α|offset-offset_pred|+∑|(Ic(m,n)-Mc)-(Ir(m,n)-Mr)|
参考等式25和26,α表示加权系数。如果α的值被设为“1”,反映出则偏移值的绝对值。对于用于反映亮度补偿成本的另一种方法,具有一种通过预测用于编码偏移值所需要的位数而反映亮度补偿成本的方法。下面的等式27表示一种用于预测偏移编码位的方法。在此情形中,能够与偏移残值的大小成比例地预测编码位。
[等式27]
GenBitIC=GenBit+BitIC
在此情形中,能够由下面的等式28计算新的成本:
[等式28]
Cost=SAD+λMOTION·GenBitIC
Claims (50)
1.一种用于对多视图视频信号进行解码的方法,包括:
接收包括所述多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;
从所述比特流中提取与所述多视图视频信号的一部分相关联的标志信息,该标志信息指示是否能够对在所述多视图视频信号的所述部分中的段进行亮度补偿;以及
对于根据所述提取的标志信息能够执行亮度补偿的部分,从所述比特流中提取与该部分中的段相关联的值,并且根据所述提取的值来确定是否将要对该段执行亮度补偿。
2.根据权利要求1所述的方法,其中,所述段包括图像块。
3.根据权利要求2所述的方法,还包括:对于与指示将要执行亮度补偿的值相关联的第一块,使用用于对邻近于所述第一块的至少一个相邻块执行亮度补偿的偏移值来获得用于对所述第一块执行亮度补偿的预测器。
4.根据权利要求3所述的方法,其中,通过形成包括用于所述相邻块的亮度补偿的预测器和残值的总和,来获得用于相邻块的亮度补偿的偏移值。
5.根据权利要求3所述的方法,其中,使用用于对邻近于所述第一块的至少一个相邻块执行亮度补偿的偏移值获得用于对所述第一块执行亮度补偿的预测器包括:在所述相邻块中根据预定次序选择所述至少一个相邻块。
6.根据权利要求5所述的方法,其中,根据所述预定次序选择所述至少一个相邻块包括:确定对于按照一个或者多个垂直或者水平相邻者之后根据一个或者多个对角相邻者的次序的相邻块来说,是否满足一个或者多个条件。
7.根据权利要求2所述的方法,其中,所述标志信息使得能够对序列、视图、图像组、图像和含有所述块的片段的一个或多个进行亮度补偿。
8.根据权利要求7所述的方法,其中,所述标志信息使得能够对含有所述块的所述片段进行亮度补偿。
9.根据权利要求7所述的方法,其中,所述提取的值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
10.根据权利要求9所述的方法,其中,所述提取的值包括用于含有所述块的所述宏块的标志信息。
11.一种用于解码多视图视频信号的方法,包括:
接收包括所述多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;并且
使用用于对邻近于第一段的至少一个相邻段执行亮度补偿的偏移值来获得用于对所述第一段执行亮度补偿的预测器,包括在相邻段中根据预定次序选择所述至少一个相邻段。
12.根据权利要求11所述的方法,其中,所述第一段和所述至少一个相邻段包括图像块。
13.根据权利要求12所述的方法,其中,通过形成包括用于相邻块的亮度补偿的预测器和残值的总和,来获得用于所述相邻块的亮度补偿的偏移值。
14.根据权利要求12所述的方法,其中,根据所述预定次序选择所述至少一个相邻块包括:确定对于按照一个或者多个垂直或者水平相邻者之后接着一个或者多个对角相邻者的次序的相邻块来说,是否满足一个或者多个条件。
15.根据权利要求14所述的方法,其中,根据所述预定次序选择所述至少一个相邻块包括确定对于按照以下次序的相邻块来说是否满足一个或者多个条件:左相邻块,随后为上相邻块,随后为右上相邻块,随后为左上相邻块。
16.根据权利要求14所述的方法,其中,确定对于相邻块是否满足一个或者多个条件包括:从所述比特流中提取与所述相邻块相关联的值,该值指示是否要执行所述相邻块的亮度补偿。
17.根据权利要求16所述的方法,其中,所述提取的值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
18.根据权利要求12所述的方法,其中,获得所述预测器包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应的相邻块的亮度补偿的多个偏移值。
19.根据权利要求18所述的方法,还包括:当要使用多个偏移值时,通过组合所述多个偏移值而获得用于执行所述第一块的亮度补偿的所述预测器。
20.根据权利要求19所述的方法,其中,组合所述多个偏移值包括求取所述偏移值的平均值或者中值。
21.一种用于解码多视图视频信号的方法,包括:
接收包括所述多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;
获得用于相对于参考图像对第一段进行亮度补偿的偏移值,其中,使用用于基于与相邻段相关联的特性所确定的至少一个相邻段的亮度补偿的偏移值来预测所述偏移值;以及
使用用于对所述第一段执行的亮度补偿来解码所述比特流,包括形成总和,该总和包括:用于从所述参考图像获得的所述第一段的像素的预测器,用于所述第一段的像素的残值,以及用于亮度补偿的对应的偏移值。
22.根据权利要求21所述的方法,其中,所述第一段和所述至少一个相邻段包括图像块。
23.根据权利要求22所述的方法,其中,通过形成包括用于相邻块的亮度补偿的预测器和残值的总和,来获得用于所述相邻块的亮度补偿的偏移值。
24.根据权利要求22所述的方法,还包括:基于对于按照一个或者多个垂直或者水平相邻者之后跟随一个或者多个对角相邻者的次序的相邻块来说是否满足一个或者多个条件,来选择所述至少一个相邻块。
25.根据权利要求24所述的方法,其中,选择至少一个相邻块包括确定对于按照以下次序的相邻块来说是否满足一个或者多个条件:上相邻块,随后为左相邻块,随后为右上相邻块,随后为左上相邻块。
26.根据权利要求24所述的方法,其中,确定对于相邻块来说是否满足一个或者多个条件包括:从所述比特流中提取与所述相邻块相关联的值,该值指示是否要执行所述相邻块的亮度补偿。
27.根据权利要求26所述的方法,其中,所述提取的值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
28.根据权利要求24所述的方法,其中,选择至少一个相邻块包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应的相邻块的亮度补偿的多个偏移值。
29.根据权利要求28所述的方法,还包括:当要使用多个偏移值时,通过组合所述多个偏移值来获得用于执行所述第一块的亮度补偿的所述预测器。
30.根据权利要求29所述的方法,其中,组合所述多个偏移值包括求取所述偏移值的平均值或者中值。
31.一种用于解码多视图视频信号的方法,包括:
接收包括多视图视频信号的多个视图的编码的比特流,每一个视图均包括被分段成多个段的多个图像;
获得用于相对于参考图像对第一段进行亮度补偿的偏移值;
确定用于所述第一段进行亮度补偿的偏移值包括形成包括所述预测器和残值的总和;以及
使用对于所述第一段的亮度补偿来解码所述比特流,包括形成总和,该总和包括用于从所述参考图像获得的所述第一段的像素的预测器、所述第一段的像素的残值以及用于亮度补偿的对应的偏移值。
32.根据权利要求31所述的方法,其中,所述段包括图像块。
33.根据权利要求32所述的方法,其中,使用对于所述第一段的亮度补偿包括:通过形成包括用于相邻块的亮度补偿的预测器和残值的总和,来获得用于所述相邻块的亮度补偿的偏移值。
34.根据权利要求33所述的方法,还包括:基于对于按照一个或者多个垂直或者水平相邻者之后跟随一个或者多个对角相邻者的次序的相邻块来说是否满足一个或者多个条件,来选择至少一个相邻块。
35.根据权利要求34所述的方法,其中,选择至少一个相邻块包括确定对于按照以下次序的相邻块来说是否满足一个或者多个条件:左相邻块,随后为上相邻块,随后为右上相邻块,随后为左上相邻块。
36.根据权利要求34所述的方法,其中,确定对于相邻块来说是否满足一个或者多个条件包括:从所述比特流中提取与所述相邻块相关联的值,该值指示是否要执行所述相邻块的亮度补偿。
37.根据权利要求36所述的方法,其中,所述提取的值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
38.根据权利要求34所述的方法,其中,选择至少一个相邻块包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应的相邻块的亮度补偿的多个偏移值。
39.根据权利要求38所述的方法,还包括:当要使用多个偏移值时,通过组合所述多个偏移值来获得用于执行所述第一块的亮度补偿的所述预测器。
40.根据权利要求39所述的方法,其中,组合所述多个偏移值包括采用所述偏移值的平均值或者中值。
41.一种用于解码多视图视频信号的方法,包括:
接收包括所述多视图视频信号的多个视图的编码的比特流,每一个视图包括被分段成多个段的多个图像;并且
根据与第一段相关联的参考图像是否与与相邻段相关联的参考图像相同,使用用于邻近于所述第一段的至少一个相邻段的亮度补偿的偏移值,获得用于相对于所述参考图像对所述第一段进行亮度补偿的预测器。
42.根据权利要求41所述的方法,其中,所述段包括图像块。
43.根据权利要求42所述的方法,其中,使用对于所述第一段的亮度补偿包括:通过形成包括用于相邻块的亮度补偿的预测器和残值的总和,来获得用于所述相邻块的亮度补偿的偏移值。
44.根据权利要求43所述的方法,还包括:基于对于按照一个或者多个垂直或者水平相邻者之后根随一个或者多个对角相邻者的次序的相邻块来说是否满足一个或者多个条件,来选择至少一个相邻块。
45.根据权利要求44所述的方法,其中,选择至少一个相邻块包括确定对于按照以下次序的相邻块来说是否满足一个或者多个条件:左相邻块,随后为上相邻块,随后为右上相邻块,随后为左上相邻块。
46.根据权利要求44所述的方法,其中,确定对于相邻块来说是否满足一个或者多个条件包括:从所述比特流中提取与所述相邻块相关联的值,该值指示是否要执行所述相邻块的亮度补偿。
47.根据权利要求46所述的方法,其中,所述提取的值包括用于含有所述块的宏块的标志信息或者用于所述块的标志信息。
48.根据权利要求44所述的方法,其中,选择至少一个相邻块包括:确定使用用于单个相邻块的亮度补偿的偏移值,还是使用用于对应的相邻块的亮度补偿的多个偏移值。
49.根据权利要求48所述的方法,还包括:当使用多个偏移值时,通过组合所述多个偏移值来获得用于执行所述第一块的亮度补偿的预测器。
50.根据权利要求49所述的方法,其中,组合所述多个偏移值包括求取所述偏移值的平均值或者中值。
Applications Claiming Priority (28)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US75823406P | 2006-01-12 | 2006-01-12 | |
US60/758,234 | 2006-01-12 | ||
KR20060004956 | 2006-01-17 | ||
KR10-2006-0004956 | 2006-01-17 | ||
KR1020060004956 | 2006-01-17 | ||
US75962006P | 2006-01-18 | 2006-01-18 | |
US60/759,620 | 2006-01-18 | ||
US76253406P | 2006-01-27 | 2006-01-27 | |
US60/762,534 | 2006-01-27 | ||
KR20060027100 | 2006-03-24 | ||
KR10-2006-0027100 | 2006-03-24 | ||
KR1020060027100 | 2006-03-24 | ||
US78719306P | 2006-03-30 | 2006-03-30 | |
US60/787,193 | 2006-03-30 | ||
KR1020060037773A KR20070076356A (ko) | 2006-01-18 | 2006-04-26 | 비디오 영상의 부호화/복호화 방법 및 장치 |
KR1020060037773 | 2006-04-26 | ||
KR10-2006-0037773 | 2006-04-26 | ||
US81827406P | 2006-07-05 | 2006-07-05 | |
US60/818,274 | 2006-07-05 | ||
US83008706P | 2006-07-12 | 2006-07-12 | |
US60/830,087 | 2006-07-12 | ||
US83032806P | 2006-07-13 | 2006-07-13 | |
US60/830,328 | 2006-07-13 | ||
KR1020060110337 | 2006-11-09 | ||
KR10-2006-0110337 | 2006-11-09 | ||
KR10-2006-0110338 | 2006-11-09 | ||
KR1020060110338 | 2006-11-09 | ||
PCT/KR2007/000225 WO2007081176A1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101371571A true CN101371571A (zh) | 2009-02-18 |
CN101371571B CN101371571B (zh) | 2013-06-19 |
Family
ID=40414074
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007800031120A Pending CN101375593A (zh) | 2006-01-12 | 2007-01-12 | 处理多视图视频 |
CN200780003083.8A Expired - Fee Related CN101371571B (zh) | 2006-01-12 | 2007-01-12 | 处理多视图视频 |
CN2007800031205A Active CN101375594B (zh) | 2006-01-12 | 2007-01-12 | 处理多视图视频 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007800031120A Pending CN101375593A (zh) | 2006-01-12 | 2007-01-12 | 处理多视图视频 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800031205A Active CN101375594B (zh) | 2006-01-12 | 2007-01-12 | 处理多视图视频 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN101375593A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102065290A (zh) * | 2009-11-11 | 2011-05-18 | 联发科技股份有限公司 | 视讯译码装置、存储运动矢量信息的方法及存储器分配方法 |
CN102326391A (zh) * | 2009-02-23 | 2012-01-18 | 日本电信电话株式会社 | 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置、多视点图像编码程序以及多视点图像译码程序 |
CN102656890A (zh) * | 2009-12-17 | 2012-09-05 | 瑞典爱立信有限公司 | 用于视频编码的方法和设备 |
CN104768010A (zh) * | 2011-11-08 | 2015-07-08 | 三星电子株式会社 | 用于在视频编码或解码中的运动矢量确定的方法和设备 |
CN105120270A (zh) * | 2011-05-16 | 2015-12-02 | 联发科技股份有限公司 | 采用样本自适应偏移处理重构视频的方法及装置 |
CN105247863A (zh) * | 2013-07-08 | 2016-01-13 | 联发科技(新加坡)私人有限公司 | 三维视频编码中简化的cabac编码方法 |
CN107071469A (zh) * | 2010-12-13 | 2017-08-18 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202007019463U1 (de) | 2006-01-12 | 2012-10-09 | Lg Electronics Inc. | Multiview-Video-Verarbeitungsvorrichtung |
KR101276847B1 (ko) | 2006-01-12 | 2013-06-18 | 엘지전자 주식회사 | 다시점 비디오의 처리 |
JP5346076B2 (ja) * | 2008-04-25 | 2013-11-20 | トムソン ライセンシング | 奥行きを用いた視点間スキップモード |
JP4825321B2 (ja) * | 2009-05-25 | 2011-11-30 | パナソニック株式会社 | 再生装置、再生方法、プログラム |
BR112012020993A2 (pt) * | 2010-02-24 | 2016-05-03 | Nippon Telegraph & Telephone | método de codificação de vídeo de múltiplas visões , método de decodificação de vídeo de múltiplas visões, aparelho de codificação de vídeo de múltiplas visões, aparelho de decodificação de vídeo de múltiplas visões , e programa |
JP5393573B2 (ja) * | 2010-04-08 | 2014-01-22 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム |
US9055305B2 (en) * | 2011-01-09 | 2015-06-09 | Mediatek Inc. | Apparatus and method of sample adaptive offset for video coding |
US9172961B2 (en) | 2012-01-17 | 2015-10-27 | Infobridge Pte. Ltd. | Method of applying edge offset |
US10447990B2 (en) | 2012-02-28 | 2019-10-15 | Qualcomm Incorporated | Network abstraction layer (NAL) unit header design for three-dimensional video coding |
KR20150034729A (ko) * | 2012-07-11 | 2015-04-03 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
WO2015053330A1 (ja) * | 2013-10-10 | 2015-04-16 | シャープ株式会社 | 画像復号装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000513167A (ja) * | 1997-01-13 | 2000-10-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ディジタルビデオ信号内に補足データを埋め込む方法及び装置 |
JPH11252552A (ja) * | 1998-03-05 | 1999-09-17 | Sony Corp | ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置 |
EP1515550A4 (en) * | 2002-06-20 | 2010-06-02 | Sony Corp | DECODING DEVICE AND DECODING METHOD |
MXPA04001511A (es) * | 2002-06-20 | 2004-05-31 | Sony Corp | Aparato de descodificacion y metodo de descodificacion. |
-
2007
- 2007-01-12 CN CNA2007800031120A patent/CN101375593A/zh active Pending
- 2007-01-12 CN CN200780003083.8A patent/CN101371571B/zh not_active Expired - Fee Related
- 2007-01-12 CN CN2007800031205A patent/CN101375594B/zh active Active
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102326391A (zh) * | 2009-02-23 | 2012-01-18 | 日本电信电话株式会社 | 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置、多视点图像编码程序以及多视点图像译码程序 |
CN102326391B (zh) * | 2009-02-23 | 2014-07-09 | 日本电信电话株式会社 | 多视点图像编码装置及方法、多视点图像译码装置及方法 |
CN102065290B (zh) * | 2009-11-11 | 2014-03-19 | 联发科技股份有限公司 | 视讯译码装置、存储运动矢量信息的方法及存储器分配方法 |
CN102065290A (zh) * | 2009-11-11 | 2011-05-18 | 联发科技股份有限公司 | 视讯译码装置、存储运动矢量信息的方法及存储器分配方法 |
CN102656890B (zh) * | 2009-12-17 | 2016-01-06 | 瑞典爱立信有限公司 | 用于视频编码的方法和设备 |
CN102656890A (zh) * | 2009-12-17 | 2012-09-05 | 瑞典爱立信有限公司 | 用于视频编码的方法和设备 |
CN107105290A (zh) * | 2010-12-13 | 2017-08-29 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107454420A (zh) * | 2010-12-13 | 2017-12-08 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
US11843795B2 (en) | 2010-12-13 | 2023-12-12 | Electronics And Telecommunications Research Institute | Method and device for determining reference unit |
US11252424B2 (en) | 2010-12-13 | 2022-02-15 | Electronics And Telecommunications Research Institute | Method and device for determining reference unit |
CN107105292B (zh) * | 2010-12-13 | 2020-09-08 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107454420B (zh) * | 2010-12-13 | 2020-08-07 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107105293B (zh) * | 2010-12-13 | 2020-05-12 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107071469A (zh) * | 2010-12-13 | 2017-08-18 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107087194A (zh) * | 2010-12-13 | 2017-08-22 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107105291A (zh) * | 2010-12-13 | 2017-08-29 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107105290B (zh) * | 2010-12-13 | 2020-05-12 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107105292A (zh) * | 2010-12-13 | 2017-08-29 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107105293A (zh) * | 2010-12-13 | 2017-08-29 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107105291B (zh) * | 2010-12-13 | 2020-04-07 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107071469B (zh) * | 2010-12-13 | 2020-03-03 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
CN107087194B (zh) * | 2010-12-13 | 2020-02-11 | 韩国电子通信研究院 | 基于帧间预测对视频信号进行解码的方法 |
US10425653B2 (en) | 2010-12-13 | 2019-09-24 | Electronics And Telecommunications Research Institute | Method and device for determining reference unit |
CN105120270A (zh) * | 2011-05-16 | 2015-12-02 | 联发科技股份有限公司 | 采用样本自适应偏移处理重构视频的方法及装置 |
CN104768010A (zh) * | 2011-11-08 | 2015-07-08 | 三星电子株式会社 | 用于在视频编码或解码中的运动矢量确定的方法和设备 |
CN104796724B (zh) * | 2011-11-08 | 2017-07-07 | 三星电子株式会社 | 用于在视频编码或解码中的运动矢量确定的方法和设备 |
CN104768010B (zh) * | 2011-11-08 | 2017-07-07 | 三星电子株式会社 | 用于在视频编码或解码中的运动矢量确定的方法和设备 |
US9451282B2 (en) | 2011-11-08 | 2016-09-20 | Samsung Electronics Co., Ltd. | Method and apparatus for motion vector determination in video encoding or decoding |
CN104796724A (zh) * | 2011-11-08 | 2015-07-22 | 三星电子株式会社 | 用于在视频编码或解码中的运动矢量确定的方法和设备 |
CN105247863B (zh) * | 2013-07-08 | 2018-09-07 | 寰发股份有限公司 | 三维或多视图视频编码或解码的方法 |
US9973759B2 (en) | 2013-07-08 | 2018-05-15 | Hfi Innovation Inc. | Method of simplified CABAC coding in 3D video coding |
CN105247863A (zh) * | 2013-07-08 | 2016-01-13 | 联发科技(新加坡)私人有限公司 | 三维视频编码中简化的cabac编码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101371571B (zh) | 2013-06-19 |
CN101375594B (zh) | 2011-09-07 |
CN101375594A (zh) | 2009-02-25 |
CN101375593A (zh) | 2009-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101371571B (zh) | 处理多视图视频 | |
JP5192393B2 (ja) | 多視点ビデオの処理 | |
CN102845060B (zh) | 用于视频的数据压缩 | |
CN106797477B (zh) | 用于解码及编码视频数据的方法和设备 | |
CN109257598B (zh) | 解码器、编码器、介质及重构、编码和解码方法 | |
CN109525846B (zh) | 用于编码和解码的设备和方法 | |
CN105393536B (zh) | 使用位移向量从预测性块的帧内预测 | |
CN104769949B (zh) | 用于视差向量导出的图片的选择的方法和装置 | |
CN105379282B (zh) | 用于纹理译码的先进残余预测(arp)的方法和设备 | |
CN104170380B (zh) | 视频译码中的视差矢量预测 | |
CN104025602B (zh) | 三维视频译码中用信号通知视图合成预测支持 | |
CN102484698B (zh) | 用于对图像进行编码和解码方法、编码装置和解码装置 | |
CN109644272A (zh) | 用于建构候选列表的几何型优先级 | |
CN110463202A (zh) | 色彩分量当中的滤波器信息共享 | |
KR20150109282A (ko) | 다시점 비디오 신호 처리 방법 및 장치 | |
SG189114A1 (en) | Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method | |
CN102308586A (zh) | 用于视频编码器和解码器隐式和半隐式帧内模式信令的方法和装置 | |
KR20150110357A (ko) | 다시점 비디오 신호 처리 방법 및 장치 | |
CN101945277B (zh) | 处理多视图视频 | |
CN104956676A (zh) | 层间语法预测控制 | |
TW202205852A (zh) | 一種編解碼方法、裝置及其設備 | |
CN107278373A (zh) | 用于使用自适应瓦片大小的视频译码的方法和设备 | |
KR101276847B1 (ko) | 다시점 비디오의 처리 | |
CN102792687B (zh) | 用于视频的数据压缩 | |
CN102792687A (zh) | 用于视频的数据压缩 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130619 Termination date: 20180112 |