CN105122801A - 视频信号处理方法及装置 - Google Patents

Abstract

本发明涉及视频信号处理方法及装置，更详细地，涉及对视频信号进行编码或解码的视频信号处理方法及装置。为此本发明提供视频信号处理方法及利用其的视频信号处理装置，该视频信号处理方法的特征在于，包括：接收包含基础层和增强层的可分级视频信号的步骤；接收层间约束分区集合信息的步骤，上述层间约束分区集合信息用于表示是否只在指定的分区集合内执行层间预测；对基础层的图片进行解码的步骤；以及利用被解码的上述基础层的图片，来对上述增强层的图片进行解码的步骤，在对上述增强层的图片进行解码的步骤中，基于上述层间约束分区集合信息，来只在指定的分区集合内执行层间预测。

Description

视频信号处理方法及装置

技术领域

本发明涉及视频信号处理方法及装置，更详细地，涉及对视频信号进行编码或解码的视频信号处理方法及装置。

背景技术

压缩编码是指用于通过通信线路传送经数字化处理的信息或以适合于存储介质的形式存储经数字化处理的信息的一系列信号处理技术。压缩编码的对象有声音、图像、字符等，尤其，以图像作为对象来进行压缩编码的技术被称作视频图像压缩。通过考虑空间上的相互关系、时间上的相互关系、概率上的相互关系等来对视频信号去除冗余信息来形成对视频信息的压缩编码。但是，随着近来多种媒体及数据传送介质的发展，更高效的视频信号处理方法及装置成为了一种需求。

另一方面，近来在多种多媒体环境下，随着网络状况或终端的分辨率等用户环境的变化，用于从空间上、时间上和/或图像质量等方面分级提供视频内容的可分级视频编码方式的需求逐渐增加。

发明内容

要解决的技术问题

本发明的目的在于提高视频信号的编码效率。尤其，本发明的目的在于，提供对可分级视频信号有效进行编码的方法。

解决技术问题的手段

为了解决如上所述的问题，根据本发明实施例的视频信号处理方法的特征在于，包括：接收包含基础层和增强层的可分级视频信号的步骤；接收层间约束分区集合信息的步骤，上述层间约束分区集合信息用于表示是否只在指定的分区集合内执行层间预测；对上述基础层的图片进行解码的步骤；以及利用被解码的上述基础层的图片，来对上述增强层的图片进行解码的步骤，在对上述增强层的图片进行解码的步骤中，基于上述层间约束分区集合信息，来只在指定的分区集合内执行层间预测。

并且，根据本发明实施例的视频信号处理装置的特征在于，包括：解复用器，用于接收包含基础层和增强层的可分级视频信号及层间约束分区集合信息，上述层间约束分区集合信息表示是否只在指定的分区集合内执行层间预测；基础层解码器，用于对上述基础层的图片进行解码；以及增强层解码器，利用被解码的上述基础层的图片，对上述增强层的图片进行解码，上述增强层解码器基于上述层间约束分区集合信息，来只在指定的分区集合内执行层间预测。

发明的效果

根据本发明的实施例，可对采用多路解码(multi-loopdecoding)方式的可分级视频信号有效支持层间预测。

附图说明

图1为本发明实施例的视频信号编码器装置的简要框图。

图2为本发明实施例的视频信号解码器装置的简要框图。

图3为示出根据本发明实施例来分割编码单元的一例的图。

图4为示出以分级方式表示图3中分割结构的方法的一实施例的图。

图5为示出本发明实施例的各种大小及形式的预测单元的图。

图6为示出一个图片被分割成多个切片的实施例的图。

图7为示出一个图片被分割成多个片的实施例的图。

图8为根据本发明实施例的可分级视频编码***的简要框图。

图9为示出根据本发明实施例的可分级视频信号的基础层图片和与之相对应的上采样图片的图。

图10为示出根据本发明的分区边界上的多个上采样样本的图。

图11为示出具有多个分区的基础层图片、上采样的基础层图片及增强层图片的一实施例的图。

图12为示出本发明一实施例的用于指示上采样方式的上采样模式信息的图。

图13至图15为示出本发明其他实施例的用于表示是否按各个分区类型来执行上采样的标志信息的图。

图16为示出存在于本发明实施例的基础层图片40a及增强层图片40c的片集合的图。

图17为示出分区边界互不相同的基础层图片和增强层图片的一实施例的图。

具体实施方式

在本说明书中所使用的术语在考虑在本发明中的功能的情况下，尽可能选择了当前广泛使用的普通术语，但这可根据本发明所属技术领域的技术人员的意图、惯例或新技术的出现等而不同。并且，在特定情况下，还存在申请人任意选定的术语，在此情况下，将在相应的发明说明部分记述其含义。因此，需明确，在本说明书中所使用的术语应以该术语所具有的实质性的含义和本说明书的全部内容为基础来解释，而非术语的单纯字面含义。

在本发明中，以下术语可按如下基准来解释，即使是未记载的术语，也可按如下主旨来解释。根据情况，可将编码解释为编码或解码，并且信息(information)作为包含值(values)、参数(parameter)、系数(coefficients)、元素(elements)等全部的术语，可根据情况解释成不同含义，因而本发明并不限定于此。“单元”用作指定图像(图片)处理的基本单位或图片的特定位置的含义，可根据情况与“块”、“分区(partition)”或“区域”等术语相互混用。并且，在本说明书中，单元可以作为包含编码单元、预测单元、变换单元等全部的概念来使用。

图1为根据本发明的一实施例的视频信号编码装置的简要框图。参照图1，本发明的编码装置100大致包括变换部110、量化部115、逆量化部120、逆变换部125、滤波部130、预测部150及熵编码部160。

变换部110通过变换所接收的视频信号的像素值来获得变换系数值。例如，可采用离散余弦变换(DiscreteCosineTransform，DCT)或小波变换(WaveletTransform)等。尤其，离散余弦变换可通过使所输入的图片信号分为规定大小的块形式来执行变换。在变换的过程中，编码效率可根据变换区域内的多个值的分布和特性而不同。

量化部115对从变换部110输出的变换系数值进行量化。在逆量化部120，对变换系数值进行逆量化，而在逆变换部125，利用所逆量化的变换系数值来复原成原来的像素值。

滤波部130执行用于改善所复原的图片的质量的滤波运算。例如，可包括去块效应滤波器及自适应环路滤波器等。为了进行输出或用作参考图片，经滤波的图片存储于解码图片缓冲器(DecodedPictureBuffer)156。

为了提高编码效率，并不对图片信号直接进行编码，而是采用以下方法：通过预测部150，利用已经被编码的区域来预测图片，并在所预测的图片加上原图片和预测图片之间的残值(residualvalue)来获得复原图片。帧内预测部152在当前图片内执行帧内预测，帧间预测部154利用存储于解码图片缓冲器156的参考图片来预测当前图片。帧内预测部152通过从当前图片内的复原的区域执行帧内预测，来向熵编码部160传递帧内编码信息。帧间预测部154还可包括运动估计部154a及运动补偿部154b。在运动估计部154a，通过参考复原的特定区域来获得当前区域的运动矢量值。在运动估计部154a，通过向熵编码部160传递参考区域的位置信息(参考帧、运动矢量等)等，来可使比特流包含参考区域的位置信息。在运动补偿部154b，利用从运动估计部154a传递的运动矢量值来执行帧间运动补偿。

熵编码部160对量化的变换系数、帧间编码信息、帧内编码信息及从帧间预测部154输入的参考区域信息等进行熵编码，来生成视频信号比特流。其中，在熵编码部160可采用可变长编码(VariableLengthCoding，VLC)方式和算术编码(arithmeticcoding)等。在可变长编码(VCL)方式中，将所输入的多个符号变换成连续的码字，而码字的长度可变。例如，以短的码字表示经常发生的多个符号，以长的码字表示不经常发生的多个符号。作为可变长编码方式，可采用基于上下文的自适应可变长编码(Context-basedAdaptiveVariableLengthCoding，CAVLC)方式。算术编码将连续的多个数据符号变换成一个小数，而算术编码可得到表示各个符号所需的最佳小数位(bit)。作为算数编码，可采用基于上下文的自适应算数编码(Context-basedAdaptiveBinaryArithmeticCode，CABAC)。

所生成的上述比特流以网络抽象层(NetworkAbstractionLayer，NAL)单元为基本单位来被封装。网络抽象层单元包括被编码的片段(slicesegment)，上述片段由整数个编码树单元(CodingTreeUnit)构成。为了在视频解码器中对比特流进行解码，首先使比特流以网络抽象层单元为单位进行分离，之后对所分离的各个网络抽象层单元进行解码。

图2为根据本发明一实施例的视频信号解码装置200的简要框图。参照图2，本发明的解码装置200大致包括熵解码部210、逆量化部220、逆变换部225、滤波部230、及预测部250。

熵解码部210对视频信号比特流进行熵解码，来抽取各个区域的变换系数、运动矢量等。逆量化部220对经熵解码的变换系数进行逆量化，逆变换部225利用经逆量化的变换系数来复原成原来的像素值。

另一方面，滤波部230通过对图片执行滤波来提高图像质量。其中，可包括用于减少块扭曲现象的去块效应滤波器和/或用于去除图片整体扭曲的自适应环路滤波器等。经滤波的图片，或者进行输出，或者为了用作对下一帧的参考图片而存储于解码图片缓冲器(DecodedPictureBuffer)256。

并且，本发明的预测部250包括帧内预测部252及帧间预测部254，利用通过上述的熵解码部210被解码的解码类型、各个区域的变换系数、运动矢量等信息来复原预测图片。

对此，将在上述帧内预测部252从当前图片内的被解码图片样本执行帧内预测。帧间预测部254利用存储于解码图片缓冲器256的参考图片及运动矢量来生成预测图片。帧间预测部254还可包括运动估计部254a及运动补偿部254b。在运动估计部254a，通过获得表示当前块和用于编码的参考图片的参考块之间的位置关系的运动矢量，向运动补偿部254b传递所获得的运动矢量。

通过从上述帧内预测部252或帧间预测部254输出的预测值和从逆变换部225输出的像素值相加，来生成复原的视频帧。

以下，对上述编码装置100和解码装置200的操作方面，参照图3至图5来说明对编码单元及预测单元等进行分割的方法。

编码单元是指在上述中所说明的视频信号的处理过程中，例如在帧内(intra)/帧间(inter)预测、变换(transform)、量化(quantization)和/或熵编码(entropycoding)等过程中，用于处理图片的基本单位。在对一个图片进行编码的过程中所使用的编码单元的大小可不固定。编码单元可呈四角形形式，一个编码单元可重新分割为多个编码单元。

图3为示出根据本发明实施例来分割编码单元的一例的图。例如，大小为2N×2N的一个编码单元可重新被分割成四个大小为N×N的编码单元。这种编码单元的分割可以以递归方式(recursively)执行，所有编码单元无需被分割成相同的形式。但是，为了便于进行编码及处理过程，可存在对编码单元32的最大大小和/或编码单元34的最小大小的限制。

对一个编码单元，可存储用于表示相应的编码单元是否被分割的信息。图4为示出利用标志值来以分级方式表示图3所示编码单元的分割结构的方法的一实施例的图。关于表示编码单元是否被分割的信息，可在相应单元被分割的情况下配置为“1”值，在相应单元不被分割的情况下配置为“0”值。如图4所示，若用于表示相应编码单元是否被分割的标志值为“1”，则与相应节点相对应的编码单元将重新被分成四个编码单元，若用于表示相应编码单元是否被分割的标志值为“0”，则不再分割编码单元，并可执行对相应编码单元的处理程序。

在上述中所说明的编码单元的结构可利用递归树(recursivetree)结构来表示。即，以一个图片或最大大小的编码单元作为根(root)，被分割成其他编码单元的编码单元具有所被分割的编码单元的数量相当的子(child)节点。因此，不再被分割的编码单元成为叶(leaf)节点。当假设对一个编码单元仅可进行正方形分割时，由于一个编码单元最多可被分割成4个其他编码单元，因而表示编码单元的树结构可呈四叉树(Quardtree)形状。

在编码器中，根据视频图片的特性(例如，分辨率)或考虑编码的效率来选择编码单元的最佳大小，而比特流可包含关于所选择最佳大小的信息或可导出所选择最佳大小的信息。例如，可定义最大编码单元的大小及树结构的最大深度。若分割成正方形，编码单元的高度及宽度为主节点(parentnode)的编码单元的高度及宽度的一半，因此利用如上所述的信息，可求得最小编码单元的大小。或者，相反地，可通过预先定义并利用最小编码单元的大小及树结构的最大深度，并由此导出最大编码单元的大小来加以利用。在进行正方形分割的情况下，由于单元的大小以2的倍数形式变化，因而可通过以2为底数的对数值来表示实际编码单元的大小，从而提高传送效率。

在解码器中，可获得用于表示当前编码单元是否被分割的信息。若仅在特定条件下获得(传送)这种信息，则可提高效率。例如，可使当前编码单元被分割的条件为在当前位置加上当前编码单元大小的值小于图片的大小，且当前单元大小大于已设定的最小编码单元的大小，因而仅在这种情况下，才可获得用于表示当前编码单元是否被分割的信息。

若上述信息表示编码单元被分割，则将要被分割出的编码单元的大小为当前编码单元的一半，以当前处理位置为基准，被分割成四个正方形编码单元。可对被分割出的各编码单元反复执行如上所述的处理。

用于编码的图片预测(运动补偿)将不再被分割的编码单元(即，编码单元树的叶节点)作为对象。以下，执行这种预测的基本单位被称作预测单元(predictionunit)或预测块(predictionblock)。

图5示出根据本发明实施例的各种大小及形式的预测单元。预测单元可在编码单元内具有正方形、长方形等多种形式。例如，一个预测单元不能被分割(2N×2N)，或如图5所示，可被分割成具有N×N、2N×N、N×2N、2N×N/2、2N×3N/2、N/2×2N、3N/2×2N等多种大小及形式。并且，预测单元的可分割的形式可在帧内编码单元和帧间编码单元中以分别不同的方式定义。例如，可设定成在帧内编码单元中仅可分割成2N×2N或N×N形式，而在帧间编码单元中可分割成在上述中所提及的所有形式。此时，比特流可包含表示上述预测单元是否被分割的信息或上述预测单元以何种形式被分割的信息。或者，还可从其他信息导出这种信息。

以下，可将在本说明书中所使用的“单元”这一术语用作代替作为执行预测的基本单位的上述预测单元的术语。但是，本发明并不限定于此，更宽泛地，可将上述“单元”这一术语理解为包括上述编码单元的概念。

为了使执行解码的当前单元复原，可利用包括当前单元的当前图片或其他多个图片的被解码的部分。对在复原的过程中仅使用当前图片的情况，即，仅执行帧内预测的图片(切片)被称作帧内图片或I图片(切片)，可执行帧内预测和帧间预测两者的图片(切片)被称作帧间图片(切片)。为了在帧间图片(切片)中预测各个单元而利用最多一个运动矢量及参考索引的图片(切片)被称作预测图片(predictivepicture)或P图片(切片)，利用最多两个运动矢量及参考索引的图片(切片)被称作双向预测图片(Bi-predictivepicture)或B图片(切片)。

在帧内预测部中，从当前图片内的被复原的区域执行预测对象单元的像素值的帧内预测(Intraprediction)。例如，可以以当前单元为中心，从位于上端、左侧、左侧上端和/或右侧上端的多个单元的被编码的像素预测当前单元的像素值。

另一方面，在帧间预测部中，不是利用当前图片而是被复原的其他多个图片的信息来执行预测对象单元的像素值的帧间预测(Interprediction)。此时，用于预测的图片被称作参考图片(referencepicture)。在帧间预测过程中，可利用用于表示包括相应参考区域的参考图片的索引及运动矢量(motionvector)信息等，来表示利用哪个参考区域对当前单元进行预测。

帧间预测可包括前向预测(forwarddirectionprediction)、向后预测(backwarddirectionprediction)及双向预测(Bi-prediction)。前向预测意味着利用时间上在当前图片之前显示(或输出)的一个参考图片来进行的预测，向后预测意味着利用时间上在当前图片之后显示(或输出)的一个参考图片来进行的预测。为此，有可能需要一组运动信息(例如，运动矢量及参考图片索引)。在双向预测方式中，可利用最多两个参考区域，该两个参考区域可存在于相同的参考图片，也可分别存在于互不相同的图片。即，在双向预测方式中，可利用最多两组运动信息(例如，运动矢量及参考图片索引)，两个运动矢量可具有相同的参考图片索引，也可具有互不相同的参考图片索引。此时，多个参考图片在时间上均可显示(或输出)于当前图片之前或当前图片之后。

可利用运动矢量及参考图片索引来获得当前单元的参考单元。上述参考单元存在于具有上述参考图片索引的参考图片内。并且，可将借助上述运动矢量来特定的单元的像素值或内插(interpolation)的值用作上述当前单元的预测值(predictor)。为了进行具有子像素(sub-pel)单位的像素准确度的运动预测，例如，可对亮度信号使用8抽头内插滤波器，可对色差信号使用4抽头内插滤波器。如上所述，利用运动信息来执行从之前被解码的图片预测当前单元的图片的运动补偿(motioncompensation)。

另一方面，对于当前图片，可由用于帧间预测而使用的多个图片来构成参考图片列表。在B图片的情况下，需要两个参考图片列表，以下，上述两个参考图片列表分别被称作参考图片列表0(或L0)、参考图片列表1(或L1)。

一个图片可被分割为切片、片段及片等。图6及图7示出图片被分割的多种实施例。

首先，图6示出一个图片被分割成多个切片slice0、slice1的实施例。图6中的粗线表示切片边界，虚线表示片段边界。

切片可由一个独立的片段构成，或者可由一个独立的片段和连续的至少一个从属片段的集合来构成。片段为编码树单元30(CTU)的序列。即，独立或从属片段由至少一个编码树单元30来构成。

根据图6中的实施例，一个图片被分割为两个切片，即切片0和切片1。其中，切片0由共三个片段构成，三个片段分别为包含4个编码树单元的独立片段、包含35个编码树单元的从属片段及包含15个编码树单元的另一从属片段。并且，切片1由包含42个编码树单元的一个独立的片段构成。

接着，图7示出一个图片被分割成多个片Tile0、Tile1的实施例。图7中的粗线表示片的边界，虚线表示片段的边界。

与切片相同，片为编码树单元30的序列，具有矩形形状。根据图7中的实施例，一个图片被分割成两个片，即片0和片1。并且，在图7中，相应的图片由一个切片构成，这包括一个独立片段和连续的四个从属片段。虽然在图7中未示出，一个片还可被分割成多个切片。即，一个片可由一个以上的切片所包含的编码树单元构成。同样，一个切片可由一个以上的片所包含的编码树单元构成。但是，各个切片和片应满足以下条件中的至少一个条件。i)一个切片所包含的所有编码树单元属于相同的片。ii)一个片所包含的所有编码树单元属于相同的切片。如上所述，一个图片可被分割成切片和/或片，各个分区(切片、片)可以以并列的方式被编码或被解码。

图8为本发明实施例的可分级视频编码(或可分级高效视频编码)***的简要框图。

可分级视频编码方式为用于根据在多种多媒体环境下的网络状况或终端的分辨率等多种用户环境，来从空间上、时间上和/或图像质量等方面，分级提供视频内容的压缩方法。空间可分级性(scalability)可通过以不同的分辨率按各个层对相同的图片进行编码来支持，时间可分级性可通过调节图片的每秒钟帧的再生率来体现。并且，质量可分级性可通过使每个层的量化参数各不相同的方式进行编码，来提供多种图像质量的图片。此时，分辨率、每秒钟帧数和/或质量低的图片序列被称作基础层，分辨率、每秒钟帧数和/或质量相对高的图片序列被称作增强层。

以下，参照图8，对本发明的可分级视频编码***的结构进行更加具体的说明。可分级视频编码***包括编码装置300和解码装置400。上述编码装置300可包括基础层编码部100a、增强层编码部100b及多路复用器(multiplexer)180，解码装置400可包括解复用器(demultiplexer)280、基础层解码部200a及增强层解码部200b。基础层编码部100a可通过对输入信号X(n)进行压缩来生成基础比特流。增强层编码部100b可通过利用输入信号X(n)和借助基础层编码部100a生成的信息，来生成增强层比特流。多路复用器180可通过利用上述基础层比特流和增强层比特流来生成可分级比特流。

上述基础层编码部100a及增强层编码部100b的基本结构可与图1中所示的编码装置100相同或相似。但是，增强层编码部100b的帧间预测部可通过利用在基础层编码部100a生成的运动信息来执行帧间预测。并且，增强层编码部100b的解码图片缓冲器(DPB)可对存储于基础层编码部100a的解码图片缓冲器(DPB)的图片进行采样并存储。上述采样如后所述可包括重采样、上采样等。

以如上所述的方式生成的可分级比特流可通过规定通道向解码装置400传送，所传送的可分级比特流可借助解码装置400的解复用器280来分为增强层比特流和基础层比特流。基础层解码部200a接收基础层比特流，并对基础层比特流进行复原来生成输出信号Xb(n)。并且，增强层解码部200b接收增强层比特流，并参考在基础层解码部200a复原的信号来生成输出信号Xe(n)。

上述基础层解码部200a及增强层解码部200b的基本结构可与图2中所示的解码装置200相同或相似。但是，增强层解码部200b的帧间预测部可利用在基础层解码部200a生成的运动信息来执行帧间预测。并且，增强层解码部200b的解码图片缓冲器(DPB)可对存储于基础层解码部200a的解码图片缓冲器(DPB)的图片进行采样并存储。上述采样可包括重采样、上采样等。

另一方面，为了进行有效预测，可在可分级视频编码过程中采用层间预测(interlayerprediction)。所谓层间预测，意味着利用下层的运动(motion)信息、语法(syntax)信息和/或纹理(texture)信息来预测上层的图片信号。此时，在上层的编码过程中被参考的下层可被称作参考层。例如，增强层可将基础层作为参考层来被编码。

上述基础层的参考单元可通过采样(sampling)被扩大或被缩小来使用。所谓采样，可意味着改变图片分辨率(imageresolution)或改变图片质量。上述采样可包括重采样(re-sampling)、下采样(down-sampling)、上采样(up-sampling)等。例如，为了执行层间预测，可对多个帧内样本进行重采样。或可通过采用下采样滤波器来重新生成像素数据，来降低图片分辨率，这被称作下采样。或者，通过采用上采样滤波器来制作出追加性的像素数据，以此提高图片分辨率，这被称作上采样。在本说明书中，可根据实施例的技术思想及技术范围来适当解释“采样”这一术语。

可分级视频编码的解码方式大致包括单路(single-loop)方式和多路(multi-loop)方式。在单路方式中，仅对实际所要再生的层的图片进行解码，而对其下层，并不对除了帧内单元之外的其他图片进行解码。因此，虽然在增强层可参考下层的运动矢量、语法信息等，但无法参考帧内单元之外的其他单元的纹理信息等。另一方面，多路方式为不仅对当前所要再生成的层，还对其下层均进行复原的方式。因此，若采用多路方式，不仅可参考下层的语法信息，还可参考全部纹理信息。

图9示出根据本发明实施例的可分级视频信号的基础层图片40a和与之相对应的上采样图片40b。在图9的实施例中，基础层图片40a及上采样图片40b分别被分割成两个切片。

在可分级视频编码过程中，具有参考关系的基础层和增强层图片均可被分割成多个切片或多个片。如上所述，各个切片及片由具有相同大小的编码树单元的集合来构成。在本说明书中，作为包含分割图片的切片和片两者的概念，可使用“分区”这一术语。

在对增强层的编码单元进行处理的过程中，可使用层间预测。为了在具有空间可分级性(spatialscalability)的视频信号中执行层间预测，应对与增强层的当前单元相对应的参考层(例如，基础层)的参考单元执行上采样。此时，上述当前单元和参考单元可以为在再生顺序上位于相同时间点的多个图片分别所包含的并置(collocated)的单元。但是，若以图片为单位来对参考层的多个样本执行上采样，则可在未考虑参考图片的分区(切片或片)边界的状态下，执行上述上采样。

图10示出根据本发明的分区边界上的多个上采样样本。在图10中，以实线显示的样本1、样本2及样本3表示基础层图片的多个原样本，以虚线显示的样本A～F表示通过上采样生成的多个新的样本。

如上所述，若以图片为单位来执行上采样，则即使在相邻的两个原样本位于不同的分区的情况下，也可用于生成新的样本。例如，位于不同的分区的原样本2和原样本3可用于生成新的样本D及样本E。但是，若如上所述执行图形单位的上采样，则在对可分级视频信号进行解码时有可能成为并行处理过程中的阻碍因素。

图11示出具有多个分区的基础层图片40a、上采样的基础层图片40b及增强层图片40c的一实施例。在图11的实施例中，各个图片分别被分为两个切片(切片A和切片B、切片A′和切片B′、切片0和切片1)，各个切片的边界相互整齐地对齐(aligned)。

在图11的实施例中，若要以各个图片的切片为单位来对基础层图片40a和增强层图片40c执行并行处理，则需要能够对上采样的基础层图片40b的多个个别切片(切片A′、切片B′)执行独立处理。但是，若以图片为单位来对基础层图片40a执行上采样，则直到对基础层图片40a的切片A完成处理为止，上采样的基础层图片40b的切片B′将无效。

为了解决如上所述的问题，根据本发明的实施例，可执行以分区为单位的上采样。以分区为单位的上采样意味着仅利用位于相同分区内的多个相邻的样本来生成上采样的样本。在本发明中，以分区为单位的上采样包括以切片为单位的上采样及以片为单位的上采样。

图12示出本发明一实施例的用于指示上采样方式的上采样模式(upsampling_mode)信息。上述上采样模式信息可包含在视频参数组(VPS)、序列参数组(SPS)、图片参数组(PPS)或它们的扩展组中，或者包含在补充增强信息(SEI，SupplementalEnhancementInformation)中，并且大小可以为2比特。

根据一实施例，当上述上采样模式信息值为0时，采用以图片为单位的上采样，当上采样模式信息值为1时，采用以切片为单位的上采样。并且，当上采样模式信息值为2时，可采用以片为单位的上采样。另一方面，上采样模式信息值为3的情况可表示以切片及片为单位的上采样，或可使用已预约的值。但是，所列举的上述上采样模式信息分别所指示的上采样方式仅仅属于一实施例，还可以以与之不同的方式设定与各个上采样方式相匹配的上采样模式信息。

图13至图15示出本发明其他实施例的用于表示是否按各个分区类型来执行上采样的标志信息。

具体地，可采用基于图片的上采样标志(picture_based_upsampling_flag)、基于切片的上采样标志(slice_based_upsampling_flag)及基于片的上采样标志(tile_based_upsampling_flag)。上述多个标志可包含在视频参数组(VPS)、序列参数组(SPS)、图片参数组(PPS)或它们的扩展组中，或者包含在补充增强信息(SEI，SupplementalEnhancementInformation)中。

首先，参照图13，可利用上述三个标志的组合来对上采样方式进行指示。若基于图片的上采样标志值为1，则可采用以图片为单位的上采样。相反，若基于图片的上采样标志值为0，则可采用基于切片的上采样及基于片的上采样中的至少一个。此时，若基于切片的上采样标志值为1，则可采用基于切片的上采样，若基于切片的上采样标志值为0，则可以不采用基于切片的上采样。同样，若基于片的上采样标志值为1，则可采用基于片的上采样，若基于片的上采样标志值为0，则可以不采用基于片的上采样。若基于图片的上采样标志值为1，则执行以图片为单位的上采样，这是不言而喻的，因而比特流可以不包含上述基于切片的上采样标志及基于片的上采样标志。

另一方面，为了编码效率，可制约成不同时采用基于切片的上采样和基于片的上采样。即，若不采用基于图片的上采样，则采用基于切片的上采样或基于片的上采样，但只可采用两种上采样方法中的一种。假如，在多个切片和多个片同时存在的情况下，若不采用基于图片的上采样，则可制约成仅采用基于片的上采样。

接着，参照图14，可利用上述三个标志中的两个标志的组合来对上采样方式进行指示。例如，如图14所示，可采用基于图片的上采样标志(picture_based_upsampling_flag)和基于切片的上采样标志(slice_based_upsampling_flag)的组合。

若基于图片的上采样标志值为1，则采用以图片为单位的上采样，若基于图片的上采样标志值为0，则可采用基于切片的上采样或基于片的上采样。若基于切片的上采样标志值为1，则采用基于切片的上采样，若基于切片的上采样标志值为0，则可采用基于片的上采样。另一方面，若基于图片的上采样标志值为1，则比特流可以不包含上述基于切片的上采样标志。另一方面，根据本发明的其他实施例，也可以通过利用基于图片的上采样标志和基于片的上采样标志的组合，以相似的方法来对上采样方式进行指示。

接着参照图15，可通过仅利用一个标志，即，仅利用基于图片的上采样标志(picture_based_upsampling_flag)来对上采样方式进行指示。若基于图片的上采样标志值为1，则采用以图片为单位的上采样，若基于图片的上采样标志值为0，则可采用基于切片的上采样或基于片的上采样。若上述基于图片的上采样标志值为0，且未对相应的图片执行片分割(即，整个图片为一个片的情况)，则可采用基于切片的上采样。但是，若基于图片的上采样标志值为0，且相应图片中存在一个以上的片，则可采用基于片的上采样。

另一方面，根据本发明的另一实施例，若在图片内存在多个切片和/或多个片，则可对相应的图片执行基于分区(切片和/或片)的环路(in-loop)滤波。环路滤波器为为了生成向再生装置进行输出及向解码图片缓冲器***的图片而用于复原的图片的滤波器。

根据一实施例，若对基础层图片采用基于分区的上采样，则可在相应图片中禁止执行分区之间的环路滤波。根据另一实施例，若在基础层图片中允许执行分区之间的环路滤波，则可禁止执行相应图片的基于分区的上采样。

图16示出根据本发明实施例的基础层图片40a及增强层图片40c中所存在的片集合(set)。本发明中的片集合表示由一个或一个以上的片构成的区域。参照图16，基础层图片40a被分割成四个片，即，片A、片B、片C及片D，增强层图片40c同样也被分割成与此相对应的四个片，即，片0、片1、片2及片3。此时，增强层图片40c的片0和片2形成相同的片集合(即，片集合0)，片1和片3形成相同的片集合(即，片集合1)。另一方面，如图16的实施例，若增强层图片40c和基础层图片40a的片边界对齐(align)，则在增强层图片40c中特定的片集合区域也可以以相同或相对应的方式适用于基础层图片40a。

根据本发明的实施例，“层间约束片集合信息(inter-layerconstrainedtilesetsSEImessage)”可用于可分级视频编码。即，可通过利用上述“层间约束片集合信息”来限制，使得只在指定的片集合内执行层间预测。更具体地，上述“层间约束片集合信息”可使存在于指定的片集合之外的样本(Type(类型)-2样本)和利用存在于指定的片集合之外的上述样本(Type-2样本)来衍生的分数单位样本位置上的样本(Type-3样本)不用于对相应的指定片集合内的样本(Type-1样本)执行的层间预测。此时，上述Type-1样本可以为增强层图片40c的样本，Type-2样本及Type-3样本可以为基础层图片40a的样本。参照图16，在对存在于片集合0内的当前单元36c进行解码/编码时，存在于指定的片集合内的基础层图片40a的参考单元36a可用于当前单元36c的层间预测，但位于指定片集合之外的多个样本5则无法用于当前单元36c的层间预测。

根据本发明的实施例，可通过利用另外的索引信息来设定对片集合的这种限制事项。例如，可利用大小为2比特的索引信息。上述索引信息值1可表示：存在于指定的片集合之外的样本(Type-2样本)和利用存在于指定的片集合之外的至少一个上述样本(Type-2样本)来衍生的分数单位样本位置上的样本(Type-3样本)不用于对相应的指定片集合内的样本(Type-1样本)执行的层间预测。此时，上述Type-1样本可以为增强层图片40c的样本，Type-2样本及Type-3样本可以为基础层图片40a的样本。

并且，上述索引信息值2可表示对位于增强层图片40c的指定的片集合内的所有单元不执行层间预测。即，对位于增强层图片40c的指定片集合内的所有单元不执行以基础层图片40a为参考图片的层间预测。

并且，上述索引信息值0可表示对位于增强层图片40c的指定的片集合内的多个单元，有可能限制层间预测，也有可能不限制层间预测。另一方面，上述索引信息值3可被用作已预约的值。

“层间约束片集合信息”可包含之前所述的上述索引信息。并且，可以对特定片集合单独设定上述索引信息，也可以对所有片集合相同地设定上述索引信息。

本发明的编码装置可生成上述“层间约束片集合信息”和/或上述索引信息，来使比特流包含上述“层间约束片集合信息”和/或上述索引信息。解码装置接收“层间约束片集合信息”和/或索引信息，并可基于所接收的信息来执行层间预测。

以上，对“层间约束片集合信息(inter-layerconstrainedtilesetsSEImessage)”进行了说明，但可采用相似的方法来使“层间约束切片集合信息(inter-layerconstrainedslicesetsSEImessage)”或“层间约束分区集合信息(inter-layerconstrainedpartitionsetsSEImessage)”用于可分级视频编码。

图17示出本发明又一实施例，示出分区边界互不相同的基础层图片40a和增强层图片40c。若基础层图片和增强层图片的分区边界未相互对齐(align)，则执行基于分区的上采样有可能会导致无法有效地并行处理。在本发明中，分区边界对齐意味着：分别与属于增强层图片的相同分区的任意两个样本相对应的基础层图片的并置的多个样本属于相同的分区，并且分别与属于增强层图片的互不相同的分区的任意两个样本相对应的基础层图片的并置的多个样本属于互不相同的分区。

因此，为了编码的效率，可采用如下限制。若采用基于分区的上采样，则增强层图片40c的分区边界应与基础层图片40a的分区边界对齐。或者，若增强层图片40c的分区边界与基础层图片40a的分区边界不对齐，则禁止基于分区的上采样。

另一方面，可通过另外的标志来传递增强层图片40c的分区边界与基础层图片40a的分区边界是否对齐。例如，可通过比特流接收“用于表示层间片边界是否对齐的标志(tile_boundaries_aligned_flag)”、“用于表示层间切片边界是否对齐的标志(slice_boundaries_aligned_flag)”及“用于表示层间分区边界是否对齐的标志(partition_boundaries_aligned_flag)”中的至少一个。

根据本发明的实施例，只有在“用于表示层间片边界是否对齐的标志(tile_boundaries_aligned_flag)”值为1的情况下，可接收之前所述的“层间约束片集合信息(inter-layerconstrainedtilesetsSEImessage)”。但是，若所有图片参数组的“用于表示层间片边界是否对齐的标志”值均不为1，则可以不存在上述“层间约束片集合信息”。

以上，通过具体实施例来对本发明进行了说明，但本发明所属技术领域的技术人员可在不脱离本发明的主旨及范围的情况下，对本发明进行修改、变更。因此，应解释为，可由本发明所属技术领域的技术人员容易地从本发明的详细说明及实施例推导出的内容属于本发明的保护范围。

发明的实施形态

如上所述，在本发明的具体实施方式部分记载了相关事项。

产业上的可利用性

本发明可适用于处理并输出视频信号。

Claims (7)

1.一种视频信号处理方法，其特征在于，包括：

接收包含基础层和增强层的可分级视频信号的步骤；

接收层间约束分区集合信息的步骤，所述层间约束分区集合信息用于表示是否只在指定的分区集合内执行层间预测；

对所述基础层的图片进行解码的步骤；以及

参考被解码的所述基础层的图片，来对所述增强层的图片进行解码的步骤，

在对所述增强层的图片进行解码的步骤中，基于所述层间约束分区集合信息，来只在指定的分区集合内执行层间预测。

2.根据权利要求1所述的视频信号处理方法，其特征在于，

在对所述增强层的图片进行解码的步骤中，存在于被指定的分区集合之外的样本不用于对相应的被指定的分区集合内的样本所执行的层间预测。

3.根据权利要求2所述的视频信号处理方法，其特征在于，利用存在于所述被指定的分区集合之外的至少一个样本来衍生的分数单位样本位置上的多个样本，不用于对相应的被指定的分区集合内的样本所执行的层间预测。

4.根据权利要求1所述的视频信号处理方法，其特征在于，

还包括接收用于表示层间分区边界是否对齐的标志信息的步骤，

若所述标志信息表示所述层间分区边界对齐，则接收所述层间约束分区集合信息。

5.根据权利要求1所述的视频信号处理方法，其特征在于，所述分区包含作为整数个编码树单元序列的片。

6.根据权利要求1所述的视频信号处理方法，其特征在于，所述分区包含作为整数个编码树单元序列的切片。

7.一种视频信号处理装置，其特征在于，包括：

解复用器，用于接收包含基础层和增强层的可分级视频信号及层间约束分区集合信息，所述层间约束分区集合信息表示是否只在指定的分区集合内执行层间预测；

基础层解码器，用于对所述基础层的图片进行解码；以及

增强层解码器，利用被解码的所述基础层的图片，对所述增强层的图片进行解码，

所述增强层解码器基于所述层间约束分区集合信息，来只在指定的分区集合内执行层间预测。