CN104982037A - 用于基于时间子层信息的层间预测的方法和设备 - Google Patents

用于基于时间子层信息的层间预测的方法和设备 Download PDF

Info

Publication number
CN104982037A
CN104982037A CN201480006735.3A CN201480006735A CN104982037A CN 104982037 A CN104982037 A CN 104982037A CN 201480006735 A CN201480006735 A CN 201480006735A CN 104982037 A CN104982037 A CN 104982037A
Authority
CN
China
Prior art keywords
layer
inter
information
sublayer
time sublayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480006735.3A
Other languages
English (en)
Other versions
CN104982037B (zh
Inventor
李河贤
李镇浩
姜晶媛
崔振秀
金镇雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Priority to CN202010805133.1A priority Critical patent/CN112243128B/zh
Publication of CN104982037A publication Critical patent/CN104982037A/zh
Application granted granted Critical
Publication of CN104982037B publication Critical patent/CN104982037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于具有包括至少一个时间子层的多个层的图像的层间预测方法。根据本发明的方法包含步骤：获取用于层间预测的时间子层信息；基于所述时间子层信息引入用于当前图片的层间预测的参考图片；并基于所述参考图片来进行当前图片的层间预测。

Description

用于基于时间子层信息的层间预测的方法和设备
技术领域
本发明涉及作为多层结构的图像编码和解码技术的层间预测以利用下层的信息来对上层进行编码和解码。更具体地，本发明涉及用于基于时间子层信息来执行层间预测的有效信令发送方法。
背景技术
近年来，随着多媒体环境的建立，各种终端和网络投入使用，相应地用户的要求也变得多样化。
举例来说，随着终端性能和计算能力的多样化，对于每种设备，所支持的性能也变得多样化。此外，例如通过其传输信息的有线/无线网络的网络具有各种功能，例如外观结构、所传输信息的形式、以及信息量和速率。用户根据所需功能来选择要使用的终端和网络。另外，企业提供给用户的终端和网络的系列也变得多样化了。
相应地，最近，具有高清(HD)分辨率的广播在国内和国际上得到推广及应用，使得许多用户习惯于观看具有高分辨率和高质量的图像。因此，多个图像服务关系中心已大力致力于发展下一代图像装置。
另外，随着对HDTV和分辨率比HDTV高4倍甚至更多的超高清(UHD)的兴趣越来越大，非常需要压缩和处理具有高分辨率的高质量图像的技术。
为了压缩和处理图像，可使用对包含在前面和/或后面图片与当前图片之间的图片中的像素值进行预测的帧间预测技术，利用当前图片中的像素信息来预测包括在当前图片中的其他像素值的帧内预测技术，以及给具有高出现频率的符号分配短码且给具有低出现频率的符号分配长码的熵编码技术。
如上所述，当考虑具有不同支持功能的各终端和网络，以及各种用户需求时，需要改变所支持图像的质量、大小和帧。
以这种方式，由于异构通信网络及终端的各种功能和类型，以各种方式支持图像的质量、分辨率、大小、帧速率和视图的可扩展性成为视频格式的一项重要功能。
相应地，为了基于高效视频编码方法来在各种环境中提供用户所要求的服务，需要提供可扩展性功能，以使得可在时间、空间、图像质量和视图方面实现有效的视频编码和解码。
发明内容
技术问题
本发明力图解决上述问题，并提供基于时间子层信息的层间预测方法及其设备。
本发明还通过分配指示符以控制基于时间子层信息的层间预测来提供有效信令发送信息的方法及其设备。
本发明还提供将相同的最大时间子层信息应用于多层结构中所有层的方法。
技术方案
根据本发明的一个方面，提供了包括具有至少一个时间子层的多个层的图像的层间预测方法。层间预测方法可包括：获得时间子层信息以用于层间预测，基于所述时间子层信息引入要用于当前图片的层间预测的参考图片，并基于所述参考图片来执行当前图片的层间预测。
时间子层上的信息可包含最大时间子层信息，其表明被参考用于每层中层间预测的最大时间子层，以及表明是否控制每层中最大时间子层信息的指示符信息。
根据本发明的另一方面，提供了包括具有至少一个时间子层的多个层的图像的层间预测设备。该层间预测设备可包括：用来获得时间子层信息以用于层间预测的熵编码器，和预测器，其用来基于时间子层信息引入要用于当前图片的层间预测的参考图片，并基于所述参考图片来执行当前图片的层间预测。
时间子层上的信息可包含最大时间子层信息，其表明被参考用于每层中层间预测的最大时间子层，以及表明是否控制每层中最大时间子层信息的指示符信息。
有益效果
通过分配指示符或标识以基于时间子层信息来控制层间预测，可有效地信令发送关系信息以用于层间预测。因为通过将相同的最大时间子层信息应用于多层结构中的所有参考层，省略了与所有参考层相关的最大时间子层信息的分开传输，所以关系信息的信令开销可得以减少。
附图说明
图1是示出根据本发明示例性实施例的图像编码装置配置的方框图。
图2是示出根据本发明示例性实施例的图像解码装置配置的方框图。
图3是示意性示出根据本发明示例性实施例的利用多个层的可扩展视频编码结构示例的示意图。
图4是示出说明根据本发明示例性实施例的可扩展视频编码的层结构的示例的图。
图5是示出根据本发明示例性实施例的基于时间子层信息的层间预测方法的流程图。
具体实施方式
将参照附图来描述实施例。在随后的描述中，如果关于众所周知的功能或配置的详细描述会使得所公布的主题不清楚，将省略其详细描述。
另外，当部件被称作“连接到”或“链接到”另一部件时，所述部件可直接连接或链接到另一部件，或者它们之间可存在中间部件。相反，如果部件被称作“直接连接到”或“直接链接到”另一部件，它们之间将不存在中间部件。
术语“第一”和“第二”可用于指各种部件，但部件并不限于以上术语。该术语将用于区分一部件与其他部件。举例来说，第一部件可被称作第二部件，反之亦然，而不脱离本公布的合理性。
此外，尽管本发明的实施例各自独立地说明组成元件以代表不同的特征功能，但是这并不表示各组成元件由单独的硬件或一个软件组成单元构成。也就是说，各组成元件包括为了方便的目的而分别布置的组成元件，且至少两个组成元件可组成一个组成元件，或者一个组成元件可被分成多个组成元件以实现功能。每个配置的集成示例和单独示例都将落在本发明原理的精神和范围内。
此外，一些组成元件可以是选择性的组成元件以简单改善性能，而不是用于实现必要功能的必要组成元件。本发明可通过在除用于简单改善性能的组成元件之外，仅包括用来实施本发明的范围的必要组成元件来实现。除用于简单改善性能的选择性组成元件之外仅包括必要组成元件的结构包括在本发明的范围内。
图1是示出根据本发明示例性实施例的图像编码装置配置的方框图。
支持多层结构的可扩展视频编码装置可通过扩展单层结构的一般图像编码装置来实现。图1的框图示出图像编码装置的实施例，其可成为可应用于多层结构的可扩展视频解码装置的基础。
参考图1，图像编码装置100包括帧间预测器110、转换开关115、帧内预测器120、减法器125、转换模块130、量化器140、熵编码器150、反向量化器160、反向转换模块170、加法器175、滤波器180和参考图片缓存190。
图像编码装置100可将输入图像编码为帧内模式或帧间模式以输出比特流。
在帧内模式中，转换开关115可切换至帧内。在层间模式中，转换开关115可切换至帧间。帧内预测表示屏幕内的预测，而帧间预测表示屏幕间的预测。图像编码装置100可生成与输入图像的输入块相关的预测块，以对输入块和预测块之间的残差进行编码。在这种情况下，输入图像可表示原始图片。
在帧内模式的情况下，帧内预测器120可使用当前块周围的图像已编码/已解码块的样本值作为参考样本。帧内预测器120可利用所述参考样本以生成与当前块相关的预测样本来执行空间预测。
在帧间模式的情况下，帧间预测器110可在运动预测程序中从存储在参考图片缓存190的参考图片中获得指定参考块的运动矢量，所述参考块具有和输入块(当前块)最小的差别。帧间预测器110可通过利用运动矢量和存储在参考图片缓存190中的参考图片实现运动补偿来生成与当前块相关的预测块。
在多层结构的情况中，应用于帧间模式的帧间预测可包括层间预测。帧间预测器110可对参考层的图片进行采样以配置层间参考图片，并可通过将层间参考图片添加到参考图片列表来实现层间预测。层间的参考关系可通过指定层间依赖关系的信息来信令发送。
同时，当当前层图片和参考层图片具有相同大小时，应用于参考层图片的采样可表示根据参考层图片的样本拷贝生成了参考样本。当当前层图片和参考层图片具有不同分辨率时，应用于参考层图片的采样可表示上采样。
举例来说，作为层间分辨率不同的情况，可通过对支持关于分辨率的可扩展性的层之间的参考层的重构图片进行上采样来配置层间参考图片。
可鉴于利用某层图片的编码成本来配置层间参考图片。编码装置可传输指定某层的信息，要用于所述层作为层间参考图片的图片属于解码装置。
此外，图片用于预测在层间预测中所参考的层中的当前块，也就是说，参考层可以是具有与当前图片(当前层中的预测目标图片)相同的接入单元(AU)的图片。
减法器125可根据输入块和所生成预测块之间的残差来生成残差块。
转换模块130可转换残差块以输出转换因子。在这种情况下，转换因子可表示通过转换残差块和/或残差信号所生成的因子值，在本说明书中，通过量化转换因子所生成的量化转换因子级别可指转换因子。
当应用转换省略模式时，转换模块130可跳过关于残差块的转换。
量化器140可根据量化参数来量化输入转换因子以输出量化因子。量化因子可指量化转换因子级别。在这种情况下，量化器140可利用量化矩阵来量化输入转换因子。
熵编码器150可根据概率分布对由量化器140计算的值或在编码过程期间所计算的编码参数值进行熵编码以输出比特流。熵编码器150可对除视频的像素信息外用于视频解码的信息(例如，句法元素等)进行熵编码。
编码参数是编码和解码所必需的信息，其可包括由编码装置编码并传输至解码装置的信息，和可在编码或解码过程期间类推的信息。
举例来说，编码参数可包括例如帧内/帧间预测模式的值或统计数据、运动矢量、参考图像索引、编码块格式、残差信号的出现、转换因子、已量化转换因子、量化参数、块大小和块划分信息。
残差信号可表示原始信号和预测信号之间的差。此外，原始信号和预测信号之间的差可表示转换信号或通过转换或量化原始信号和预测信号之间的差所获得的信号。残差信号可指块单元中的残差块。
当应用熵编码时，可通过给具有高生成概率的符号分配少量比特而给具有低生成概率的符号分配大量比特来表达符号以减小与编码目标符号相关的比特流的大小。相应地，可通过熵编码来增强图像编码的压缩性能。
熵编码器150可使用例如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算法编码(CABAC)的编码方法用于熵编码。举例来说，熵编码器150可利用可变长度编码/码(VLC)来实现熵编码。此外，熵编码器150可获得目标符号的二值化方法和目标符号/二进制文件的概率模型以利用所获得的目标符号的二值化方法和目标符号/二进制文件的概率模型来实现熵编码。
因为根据图1实施例的图像编码装置100实现帧间预测编码(即屏幕间的预测编码)，需要对要用作参考图像的当前已编码图像进行解码和存储。相应地，量化因子通过反向量化器160来反向量化，并可通过反向转化模块170来反向转换。加法器175将已反向量化和反向转换的因子添加到预测块以生成重构块。
重构块通过滤波器180滤波。滤波器180可将去块滤波器、取样自适应偏离(SAO)和自适应环路滤波器(ALF)中的至少一种应用于重构块或重构图片。滤波器180可指自适应环路滤波器。去块滤波器可去除在块间边界处所生成的块失真。SAO可对像素值增加适当的偏移值以补偿编码误差。ALF可基于原始图像和重构图像的比较值来实现滤波。经过滤波器180的重构块可存储在参考图片缓存190中。
图2是示出根据本发明示例性实施例的图像解码装置配置的方框图。
支持多层结构的可扩展视频解码装置可通过扩展单层结构的一般图像解码装置来实现。图2的框图示出图像解码装置的实施例，其可成为可应用于多层结构的可扩展视频解码装置的基础。
参考图2，图像解码装置200包括熵解码器210、反向量化器220、反向转换模块230、帧内预测器240、帧间预测器250、加法器225、滤波器260和参考图片缓存270。
图像解码装置200可接收从图像编码装置100输出的比特流，并将其解码为帧内模式或帧间模式，以输出重配置图像，即重构图像。
在帧内模式中，转换开关115切换至帧内。在层间模式中，转换开关115可切换至帧间。
图像解码装置200可从输入比特流获得重构的残差块以生成预测块，并可将重构的残差块添加至预测块以生成重配置块，即重构块。
熵解码器210可根据概率分布对输入比特流进行熵解码以输出例如量化因子和句法元素的信息。
量化因子由反向量化器125反向量化，并由反向转换模块230反向转换。量化因子被反向量化/反向转换，以使得可生成重构残差块。在这种情况中，反向量化器220可将量化矩阵应用于量化因子。
在帧内模式的情况中，帧内预测器240可利用当前块周围的图像的已解码块的采样值来实现空间预测以生成与当前块相关的预测样本。
在帧间模式的情况中，帧间预测器250可通过利用运动矢量和存储在参考图片缓存270中的参考图片实现运动补偿来生成与当前块相关的预测块。
在多层结构的情况中，应用于帧间模式的帧间预测可包括层间预测。帧间预测器250可对参考层的图片进行采样以配置层间参考图片，并可通过将层间参考图片添加到参考图片列表来实现层间预测。层间的参考关系可通过指定层间依赖关系的信息来信令发送。
同时，当当前层图片和参考层图片具有相同大小时，应用于参考层图片的采样可表示根据参考层图的样本拷贝生成了参考样本。当当前层图片和参考层图片具有不同分辨率时，应用于参考层图片的采样可表示上采样。
举例来说，作为层间分辨率不同的情况，在支持关于分辨率的可扩展性的层之间应用层间预测，层间参考图片可通过对参考层的重构图片进行上采样来配置。
在这种情况中，编码装置可传输指定某层的信息，要用于所述层作为层间参考图片的图片属于解码装置。
此外，图片用于预测在层间预测中所参考的层中的当前块，也就是说，参考层可以是具有与当前图片(当前层中的预测目标图片)相同的接入单元(AU)的图片。
加法器255将重构的残差块添加到预测块以生成重构块。换句话说，将重构的残差块添加到预测块，以使得生成重构样本或重构图片。
重构图片通过滤波器260滤波。滤波器260可将去块滤波器、SAO和ALF中的至少一种应用于重构块或重构图片。滤波器260输出已修改或已滤波的重构图片。重构图像存储在参考图片缓存270中，并可用于帧间预测。
此外，图像解码装置200还可包括解析单元(未示出)以解析包含在比特流中的已编码图像上的信息。解析单元可包括熵解码器210，并可包括在熵解码器210中。解析单元可由解码单元的一个组成元件来实现。
尽管图1和2示出一个编码装置/解码装置处理与多层相关的所有编码/解码过程，但这只是为了说明的目的，编码装置/解码装置也可逐层配置。
在这种情况中，上层的编码装置/解码装置可利用上层信息和下层信息来实现对应上层的编码/解码。例如，上层的预测器(帧间预测器)可利用上层的像素信息或图片信息来实现与当前块相关的帧内预测或帧间预测。上层的预测器可接收根据下层所重构的图片信息以利用所接收的图片信息来实现与上层的当前块相关的帧间预测(层间预测)。层间的预测只是为了说明的目的。尽管编码装置/解码装置可逐层配置或一个装置处理多个层，但是所述装置可利用另一层的信息来实现对当前层的编码/解码。
在本发明中，层可包括视图。在本例中，在层间预测的情况下，上层的预测不是仅仅利用下层信息来实现的。也就是说，根据指定层间依赖关系的信息，可利用具有依赖关系的指定层之间的另一层的信息来实现层间预测。
图3是示意性示出根据本发明示例性实施例的利用多层的可扩展视频编码结构示例的示意图。在图3中，图片组(GOP)代表一组图片。
需要传输介质来传输图像数据。传输介质的性能根据各种网络环境随传输媒介所改变。可扩展视频编码方法可提供用于各种传输媒介或网络环境。
支持可扩展性的视频编码方法(以下称作“可扩展编码”或“可扩展视频编码”)是通过利用文本信息、运动信息和层间残差信号来去除层间冗余以增强编码和解码性能的编码方法。可扩展视频编码方法可根据例如传输比特率、传输误码率和***资源等***条件，在空间、时间、图像质量(或质量)和视图方面提供各种可扩展性。
可利用多层结构来实现可扩展视频编码，以使得可提供适用于各种网络状况的比特流。举例来说，可扩展视频编码结构可包括基础层以利用一般图像解码方法来压缩和处理图像数据。可扩展视频编码结构可包括基础层和增强层的解码信息以共同利用一般图像解码方法来压缩和处理图像数据。
基础层可指下层。增强层可指增强层或下层。在本例中，下层可表示支持比指定层低的可扩展性的层。上层可表示支持比指定层高的可扩展性的层。此外，在另一层的编码/解码中所参考的层可指参考层，而利用另一层的已编码/已解码层可指当前层。参考层可以是比当前层低的层，而当前层可以是比参考层高的层。
层表示一组图像和比特流，其基于空间(例如，图像大小)、时间(例如，解码顺序、图像输出顺序和帧速率)、图像质量、复杂度、视图等来分类。
参考图3，例如，可以标清(SD)、15Hz的帧速率和1Mbps比特率来定义基础层。第一增强层可定义为高清(HD)、30Hz的帧速率和3.9Mbps比特率。第二增强层可定义为4K-UHD(超高清)、60Hz的帧速率和27.2Mbps比特率。
格式、帧速率和比特率可随示例的需要而改变。此外，所用层的数量并不限于本实施例，而可根据情况来改变。举例来说，如果传输带宽是4Mbps，可通过减小第一增强层HD的帧速率来传输具有小于或等于15Hz帧速率的第一增强层。
可扩展视频编码方法可根据图3实施例中的上述方法来提供时间、空间、图像质量和视图的可扩展性。在本说明书中，在编码方面，可扩展视频编码(coding)具有和可扩展视频编码(encoding)相同的意思，对于可扩展视频解码亦然。
如上所述，可扩展视频编码可包括多层结构以提供时间、空间、图像质量和视图的可扩展性。因为支持多层的可扩展视频编码结构在层间具有强相关性，所以当利用该相关性来实现编码/解码时，可去除数据的冗余元素，并可改善图像的编码/解码性能。
举例来说，在多层结构中，当预测在其中实现编码/解码的层(当前层)的图片(图像)时，可实现利用当前层信息的帧间预测或帧内预测，以及利用另一层信息的层间预测。
多个层可具有不同分辨率、不同帧速率、不同颜色格式和不同视图中的至少一项。此外，每层可由至少一个在时间上衡量的时间子层来配置。换句话说，可扩展视频编码可包括具有至少一个时间子层的多个层的结构。
如上所述，当在具有至少有一个时间子载波的多个层的可扩展视频编码中实现层间预测时，在其中实现当前层间预测的层需要将要被参考用于层间预测的参考层上的信息，并需要包括在参考层中的时间子载波是否可被参考用于层间预测的信息。
下面，本发明提供有效表达和信令发送关于每层的时间子层是否可被参考用于层间预测的信息的方法，以及基于所信令发送的信息来实现层间预测的方法。
图4是示出说明根据本发明示例性实施例的可扩展视频编码的层次结构的示例的图。
为了便于描述的目的，尽管图4示出具有两层的图像，可扩展并应用具有至少三层的图像。此外，可扩展视频编码的层结构可提供空间、图像质量和视图的可扩展性。每层可包括时间子层以支持时间可扩展性。尽管为了便于说明的目的，图4的实施例示出每层由四个时间子层来配置，然而每层可由不同数量的时间子层来配置。
在图4所示的可扩展视频编码结构中，当上层实现层间预测时，需要参考层的时间子层上的信息，所述参考层可被参考用于上层的层间预测。
相应地，编码装置可确定允许除最上层外的每层的层间预测的时间子层，并可由解码器信令发送所述信息。此外，解码装置可通过所信令发送的信息识别每层的时间子层是否可被参考用于上层的层间预测。可基于可被参考的每层的时间子层信息来实现层间预测。
举例来说，如图4所示，当每层由四个时间子层配置时，编码装置可确定不允许与具有大于或等于2(可以是指定时间子层的标识，例如，temporal_id)的时间级别的下层的时间子层相关的层间预测，而允许与具有小于2的时间级别的下层的时间子层相关的层间预测。参考图4，允许与时间子层“0”和“1”相关的层间预测(即可被参考用于上层的层间预测)，图片(以条状标出的)可被用作参考图片以用于上层的层间预测。此外，因为具有大于或等于2的时间级别的下层的时间子层“2”和“3”不被允许(即不会被参考用于层间预测)，对应于下层的时间子层“2”和“3”的图片(图4中以点状线标出的)不会被用作参考图片以用于上层的层间预测。
也就是说，编码装置可确定时间子层图片是否包括在除最上层外的每层中，并可利用句法元素来信令发送所确定的每层的时间子层信息。解码装置可对所信令发送的来自编码装置的每层的时间子层信息进行解码，并可确定包括在每层中的时间子层图片是否可被用作参考图片以用于基于已解码信息的层间预测。此外，解码装置可基于参考图片上的信息来实现层间预测。
以下将描述有效信令发送用于层间预测的时间子层信息的方法。如上所述，用于层间预测的时间子层信息指能够识别允许参考层中的层间预测的时间子层的信息。具体地，时间子层上用于层间预测的信息表示参考层的哪个时间子层图片被用作实现层间预测的层(上层)的参考图片。
用于层间预测的时间子层信息可通过视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和划分分段头(slice segment header)来传输。
具体地，参照下面的表1-11，利用句法元素来表达用于层间预测的时间子层信息。将描述通过VPS、SPS、PPS和划分分段头来信令发送用于层间预测的时间子层信息的方法。
表1是表明除最上层外的每层的最大时间子层信息的句法的示例，根据本发明的实施例，所述信息可通过VPS来传输。
在这种情况下，最大时间子层信息表示允许对应层的层间预测的最大时间子层级别上的信息。也就是说，该时间子层具有比在对应层中所描述的最大时间子层信息更大的时间级别。
表1
参照表1，max_tid_il_ref_pics_plus1[i]可代表大力支持第i层中的层间预测的时间子层信息。举例来说，具有比第i层的max_tid_il_ref_pics_plus1[i]-1更大的时间级别temporal_id的子层不可用于利用第i层作为参考层的第n层(n的值大于i)的层间预测。换句话说，具有比第i层的max_tid_il_ref_pics_plus1[i]小的时间级别temporal_id的子层可被用作参考图片以用于利用第i层作为参考层的第i层(n的值大于i)的层间预测。在表1中，“vps_max_layers_minus1+1”表示允许在已编码视频序列中的最大层数。
如表1所列，不是为每层传输最大时间子层信息max_tid_il_ref_pics_plus1[i]，而是相同的最大时间子层信息可应用于全部的层。
表2是表明同等应用于所有层的最大时间子层信息的句法的示例，根据本发明的实施例，所述信息可通过VPS来传输。
表2
vps extension(){
max tid il ref pics plus1 u(3)
}
表3是表明除最上层外的每层的最大时间子层信息的句法的另一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表3
参照表3，举例来说，仅当“max_tid_il_ref_pics_plus1_present_flag”句法具有值“1”时，除最上层外的每层有“max_tid_il_ref_pics_plus1[i]”信息。如表1所列，不允许与具有高于每层的“max_tid_il_ref_pics_plus1[i]-1”值的时间级别TemporalId的子层图片相关的层间预测。
当“max_tid_il_ref_pics_plus1_present_flag”句法具有值“0”时，它表示不是每层都有“max_tid_il_ref_pics_plus1[i]”信息。在这种情况下，除最上层外的每层的“max_tid_il_ref_pics_plus1[i]”值可被类推为“7”，这是可允许的最大时间级别TemporalId值。也就是说，“max_tid_il_ref_pics_plus1[i]”值表示可允许与全部比特流中除最上层外的所有层的全部时间子层图片相关的层间预测。换句话说，全部比特流中所有层的全部时间子层图片可被用作参考图片以用于层间预测。
在以上实施例中，当“max_tid_il_ref_pics_plus1_present_flag”为“0”时，确定如不考虑“max_tid_il_ref_pics_plus1[i]”值，在大于当前层的层(上层)中是否参考了当前正在其中实现解码的层(当前层)的最上层时间子层图片。如果在上层没有参考当前层的最上层时间子层图片，所述当前层的最上层时间子层图片可标记为“未用于参考”。在这种情况下，最上层时间子层可指当前层中具有最大时间级别的子层。标记为“未用于参考”的当前层的最上层时间子层图片不被用作用于层间预测的参考图片。
举例来说，假设可扩展编码结构中层的总数是4，且4层中的每层由4个时间子层Temporal_Id＝0～3来配置。在这种情况下，当当前解码层是第二层时，确认第三层和第四层是否参考了第二层的第四时间子层Temporal_Id＝3。如果第二层的最上层时间子层Temporal_Id＝3没有在第三层和第四层被参考，所述第二层的最上层时间子层Temporal_Id＝3可被标记为“未用于参考”。
表3-1是表明最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表3-1
参照表3-1，举例来说，当“max_tid_ref_present_flag”句法具有值“1”时，可分开来描述在与利用第“i”层作为直接参考层的第“j”层相关的第“i”层被允许的最大时间子层信息(例如，max_tid_il_ref_pics_plus1[i][j])。
层间的参考关系可从句法“direct_dependency_flag[j][i]”来类推。direct_dependency_flag[j][i]可以是表明第i层是否可被用作第j层的直接参考层的信息。举例，当direct_dependency_flag[j][i]为0时，第i层不被用作第j层的直接参考层。相反地，当direct_dependency_flag[j][i]为1时，第i层可被用作第j层的直接参考层。
当“max_tid_ref_present_flag”句法具有值“0”时，没有报告允许逐层进行层间预测的时间子层信息的最大时间子层信息，且“max_tid_ref_present_flag”句法的值可被类推为“7”，这是比特流中可允许的最大时间级别。当“max_tid_il_ref_pics_plus1[i][j]”具有值“0”时，指明具有等于“layer_id_in_nuh[i]”的“nuh_layer_id”的非IRAP图片不可被用作用于与具有等于“layer_id_in_nuh[j]”的“nuh_layer_id”的图片相关的层间预测的参考图片。当“max_tid_il_ref_pics_plus1[i][j]”的值大于“0”时，它表示具有等于“max_tid_il_ref_pics_plus1[i][j]”的“nuh_layer_id”且包括大于“max_tid_il_ref_pics_plus1[i][j]-1”的时间级别信息Temporal_Id的图片不被用作用于关于具有等于“layer_id_in_nuh[j]”的“nuh_layer_id”的图片的层间预测的参考图片。
在表3-1中，MaxLayersMinus1等于Min(62,vps_max_layers_minus1)的值，且vps_max_layers_minus1是表明由VPS传输的比特流中所允许的最大层数的信息。
如表3中所描述的，不是为每层传输最大时间子层信息max_tid_il_ref_pics_plus1[i]，而是相同的最大时间子层信息可应用于所有层。
表4是表明同等应用于除最上层外所有层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表4
参照表4，当“max_tid_il_ref_pics_plus1_present_flag”为“0”时，如上所述，如果“max_tid_il_ref_pics_plus1[i]”值被类推为最大时间级别“7”，或者如果确定如不考虑“max_tid_il_ref_pics_plus1[i]”，在大于当前层的层中参考了当前层的最上层时间子层，还是在大于当前层的层中没有参考当前层的最上层时间子层，“max_tid_il_ref_pics_plus1[i]”值可被标记为“未用作参考”。
当“max_tid_il_ref_pics_plus1_present_flag”为“0”时，可表示允许或不允许与所有层的时间子层相关的层间预测。
表5是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表5
参照表5，不同于上面的表3，在对应层有标志max_tid_il_ref_pics_plus1_present_flag[i]。仅当该标志为1时，在对应层中包括max_tid_il_ref_pics_plus1[i]信息。
当max_tid_il_ref_pics_plus1_present_flag[i]为1时，不允许与具有比第i层的max_tid_il_ref_pics_plus1-1大的时间级别TemporalId的子层图片相关的层间预测。
当max_tid_il_ref_pics_plus1_present_flag[i]值为“0”时，表示max_tid_il_ref_pics_plus1[i]信息不包括在第i层中。在这种情况下，max_tid_il_ref_pics_plus1[i]可类推为“7”，这是比特流中可允许的最大时间级别TemporalId。也就是说，可允许与第i层的所有子层图片相关的层间预测。换句话说，它可代表第i层的所有子层图片可被用作用于层间预测的参考图片。
此外，当max_tid_il_ref_pics_plus1_present_flag为0时，确定如不考虑max_tid_il_ref_pics_plus1[i]，在大于当前层的层(上层)中是否参考了当前解码层(当前层)的最大时间子层。如果在上层中没有参考当前层的最大时间子层，当前层的最大时间子层可标记为“未用作参考”。标记为“未用作参考”的当前层的最大时间子层代表当前层的最大时间子层不被用作用于层间预测的参考图片。
当max_tid_il_ref_pics_plus1_present_flag为0时，max_tid_il_ref_pics_plus1_present_flag可表明允许或不允许与所有层的时间子层相关的层间预测。
表6是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表6
参照表6，仅当max_tid_il_ref_pics_plus1_present_flag值为“1”时，存在max_tid_il_ref_pics_plus1_not_predicted_flag[i]和max_tid_il_ref_pics_plus1[i]信息。
仅当max_tid_il_ref_pics_plus1_not_predicted_flag[i]为1时，可传输对应于第i层的max_tid_il_ref_pics_plus1[i]。也就是说，与具有比max_tid_il_ref_pics_plus1-1大的时间级别TemporalId的子层图片相关的层间预测不被允许。
当max_tid_il_ref_pics_plus1_not_predicted_flag[i]为0时，第(i-1)层的max_tid_il_ref_pics_plus1[i-1]的值可被用作第i层的max_tid_il_ref_pics_plus1[i]。当不存在max_tid_il_ref_pics_plus1_not_predicted_flag[i]时，第i层的max_tid_il_ref_pics_plus1[i]可被类推为1。
当max_tid_il_ref_pics_plus1_present_flag值为“0”时，不存在对应层的max_tid_il_ref_pics_plus1_not_predicted_flag[i]和max_tid_il_ref_pics_plus1[i]信息。在这种情况下，max_tid_il_ref_pics_plus1[i]可被类推为“7”，这是比特流中所允许的最大时间级别TemporalId。也就是说，可允许与全部比特流中的所有时间子层图片相关的层间预测(即用作用于层间预测的参考图片)。
此外，当max_tid_il_ref_pics_plus1_present_flag为0时，确定如不考虑max_tid_il_ref_pics_plus1[i]值，与大于当前层的层相关的层是否参考了当前层的最大时间子层。当所述相关层没有参考当前层的最大时间子层时，当前层的最大时间子层可被标记为“未用作参考”。
当max_tid_il_ref_pics_plus1_present_flag为0时，在所有层的时间子层中可允许或不允许层间预测。
表7是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表7
参照表7，传输可应用于全部层的max_tid_il_ref_pics_plus1。另外，当max_tid_il_ref_pics_plus1_predicted_flag[i]为1时，可应用于全部层的max_tid_il_ref_pics_plus1被使用。当max_tid_il_ref_pics_plus1_predicted_flag[i]为0时，将描述和使用仅可应用于对应层的max_tid_il_ref_pics_plus1[i]值。
表8是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表8
参照表8，根据从i大于0的层传输来的max_tid_il_ref_pics_plus1_predicted_flag[i]值，每层的最大时间子层信息可通过相对前一层(i-1)的max_tid_il_ref_pics_plus1[i-1]的增量值来表达。
当max_tid_il_ref_pics_plus1_predicted_flag[i]不存在时，delta_max_tid_il_ref_pics_plus1[i]可被认为是0。
也就是说，当max_tid_il_ref_pics_plus1_predicted_flag[i]为1时，相对前一层(i-1)的增量值delta_max_tid_il_ref_pics_plus1[i]被传输。当max_tid_il_ref_pics_plus1_predicted_flag[i]为0时，对应层的max_tid_il_ref_pics_plus1[i]被传输。
表9是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表9
参照表9，当“max_tid_il_ref_present_flag”句法具有值“1”时，与利用第“i”层作为直接参考层的第“j”层相关的第“i”层中所允许的最大时间子层信息(max_tid_il_ref_pics_plus1[i][j])可根据“default_max_tid_il_ref_flag”来单独描述，或可类推为基础值(例如，default_max_tid_il_ref_pics_plus1)。当“max_tid_il_ref_present_flag”句法具有值“0”时，不存在除最上层外的每层中的最大时间子层。
当“default_max_tid_il_ref_flag”句法具有值“1”时，“max_tid_il_ref_pics_plus1[i][j]”句法不存在。在解码过程期间，“max_tid_il_ref_pics_plus1[i][j]”可被类推为“default_max_tid_il_ref_pics_plus1”值。当“default_max_tid_il_ref_flag”具有值“0”时，存在与利用第“i”层作为直接参考层的第“j”层相关的第“i”层中所允许的最大时间子层信息(max_tid_il_ref_pics_plus1[i][j])。
当“max_tid_il_ref_pics_plus1[i][j]”句法存在时，“default_max_tid_il_ref_pics_plus1”可被用作“max_tid_il_ref_pics_plus1[i][j]”值。相同的最大时间子层信息可应用于所有层。
当“max_tid_il_ref_pics_plus1[i][j]”值为“0”时，具有与“layer_id_in_nuh[i]”相同的“nuh_layer_id”的非IRAP图片可被用作参考图片以用于与具有与“layer_id_in_nuh[j]”相同的“nuh_layer_id”值的图片相关的层间预测。当max_tid_il_ref_pics_plus1[i][j]的值大于“0”时，具有与“layer_id_in_nuh[i]”相同的“nuh_layer_id”且具有值大于“max_tid_il_ref_pics_plus1[i][j]-1”的时间级别TemporalId的图片不被用作用于与具有与“layer_id_in_nuh[j]”相同的“nuh_layer_id”的图片相关的层间预测的参考图片。当“max_tid_il_ref_pics_plus1[i][j]”句法不存在时，如果“max_tid_il_ref_present_flag”句法为“0”时，“max_tid_il_ref_pics_plus1[i][j]”值可被类推为“7”。当“max_tid_il_ref_present_flag”句法为“1”时，“max_tid_il_ref_pics_plus1[i][j]”值可被类推为“default_max_tid_il_ref_pics_plus1”。
表10是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表10
参照表10，当“default_max_tid_il_ref_flag”句法具有值“1”时，如果“max_tid_il_ref_pics_plus1[i][j]”不存在，“max_tid_il_ref_pics_plus1[i][j]”可被类推为“default_max_tid_il_ref_pics_plus1”。当default_max_tid_il_ref_flag具有值“0”时，存在与利用第“i”层作为直接参考层的第“j”层相关的第“i”层中所允许的最大时间子层信息max_tid_il_ref_pics_plus1[i][j]。
当“max_tid_il_ref_pics_plus1[i][j]”句法存在时，“default_max_tid_il_ref_pics_plus1”可被用作“max_tid_il_ref_pics_plus1[i][j]”。相同最大时间子层信息可应用于所有层。
当“max_tid_il_ref_pics_plus1[i][j]”具有值“0”时，指明具有等于“layer_id_in_nuh[i]”的“nuh_layer_id”的非IRAP图片可被用作参考图片以用于与具有等于“layer_id_in_nuh[j]”的“nuh_layer_id”的图片相关的层间预测。当“max_tid_il_ref_pics_plus1[i][j]”的值大于“0”时，表示具有等于“layer_id_in_nuh[i]”的“nuh_layer_id”且具有大于“max_tid_il_ref_pics_plus1[i][j]-1”的时间级别信息TemporalId的图片不被用作用于与具有等于“layer_id_in_nuh[j]”的“nuh_layer_id”的图片相关的层间预测的参考图片。当“max_tid_il_ref_pics_plus1[i][j]”不存在时，“max_tid_il_ref_pics_plus1[i][j]”可被类推为“default_max_tid_il_ref_pics_plus1”。
表11是表明每层的最大时间子层信息的句法的又一示例，根据本发明的实施例，所述信息可通过VPS来传输。
表11
参照表11，当“default_max_tid_il_ref_flag”具有值“1”时，如果“max_tid_il_ref_pics_plus1[i][j]”句法不存在，“max_tid_il_ref_pics_plus1[i][j]”可被类推为“default_max_tid_il_ref_pics_plus1[i]”。当“default_max_tid_il_ref_flag”具有值“0”时，存在与利用第“i”层作为直接参考层的第“j”层相关的第“i”层中所允许的最大时间子层信息max_tid_il_ref_pics_plus1[i][j]。
当“max_tid_il_ref_pics_plus1[i][j]”存在时，“default_max_tid_il_ref_pics_plus1[i]”可被用作第i层的“max_tid_il_ref_pics_plus1[i][j]”。i可为从0到MaxLayersMinus1-1的值。MaxLayersMinus1等于Min(62,vps_max_layers_minus1)，且vps_max_layers_minus1是表明从VPS传输的比特流中所允许的最大层数的信息。
当“max_tid_il_ref_pics_plus1[i][j]”具有值“0”时，指明具有等于“layer_id_in_nuh[i]”的“nuh_layer_id”的非IRAP图片不可被用作用于与具有等于“layer_id_in_nuh[j]”的“nuh_layer_id”的图片相关的层间预测的参考图片。当“max_tid_il_ref_pics_plus1[i][j]”的值大于“0”时，表示具有等于“layer_id_in_nuh[i]”的“nuh_layer_id”且具有大于“max_tid_il_ref_pics_plus1[i][j]-1”的时间级别信息TemporalId的图片不可被用作用于与具有等于“layer_id_in_nuh[j]”的“nuh_layer_id”的图片相关的层间预测的参考图片。当max_tid_il_ref_pics_plus1[i][j]不存在时，第i层的max_tid_il_ref_pics_plus[i][j]值可被类推为“default_max_tid_il_ref_pics_plus1[i]”。
根据本发明实施例的利用时间子层信息的信令方法可通过综合上述参照以上表1至11的实施例来表达。
另外，当在所有时间子层图片中都允许层间预测时，根据本发明实施例利用时间子层信息的信令方法可将相同的最大时间子层信息应用于所有层，而无需向利用当前层作为直接参考层的所有层单独报告最大时间子层信息。相应地，***开销可减少至为每一层分别信令发送关系信息。
此外，根据本发明的上述实施例利用时间子层信息的信令方法可通过利用表明是否逐层控制用于层间预测的时间子层的指示符来有效地信令发送关系信息。
当利用允许通过以上实施例所描述的对应层中的层间预测的最大时间子层信息来实现对于当前图片的层间预测时，可如下来获得确实可用于对当前图片进行解码的参考层图片的数量numRefLayerPics。
利用表明从在VPS扩展中所描述的句法元素“direct_dependency_flag”所计算的当前层直接参考的参考层的数量的变量“NumDirectRefLayers[]”，表明每层的最大时间子层(级别)信息的句法元素“sub_layers_vps_max_minus1[i]”，表明允许每层中层间预测的最大时间子层信息的句法元素“max_tid_il_ref_pics_plus1[i][j]”信息，表明当前图片的时间级别信息的句法元素“TemporalId”，和表明可用来对用于层间预测的当前图片进行解码的参考层图片的数量的变量“numRefLayerPics”可如下表12中所示来获得。
表12
当参考层的“sub_layers_vps_max_minus1[]”大于或等于当前图片的“TemporalId”值，且与当前层相关的参考值的“max_tid_il_ref_pics_plus1[][]”大于当前图片直接参考的参考层图片中当前图片的“TemporalId”值时，仅对应参考层的图片可被认作可用来对用于层间预测的当前图片进行解码的参考层图片。
图5是示出根据本发明的示例性实施例基于时间子层信息的层间预测方法的流程图。
图5的方法描述在对包括具有至少一个时间子层的多层的图像进行编码和解码的过程中，利用时间子层信息以生成对目标块进行编码/解码的预测样本的层间预测过程。相应地，图5的方法可应用于对图像进行编码以及解码的方法。为了方便的目的，下列描述聚焦在解码过程。
参照图5，解码装置获取用于层间预测(S500)的时间子层信息。
所述时间子层信息可包括表明可被参考用于每层中的层间预测的最大时间子层的最大时间子层信息和表明是否控制每层中的最大时间子层信息的指示符信息。
举例来说，最大时间子层信息可以是以上表1至11中所描述的max_tid_il_ref_pics_plus1句法元素。指示符信息可以是以上表1至11中所描述的max_tid_il_ref_pics_plus1_present_flag句法元素。
此外，所述时间子层信息是为了了解允许根据当前解码层的参考层的层间预测的时间子层的信令发送信息，并可以上述表1至11中所描述的各种方法来表达。
如以上表1至11中所示，解码装置可通过凭借VPS、SPS、PPS和划分分段头等从编码装置接收时间子层信息来获取指示符信息，最大时间子层信息等。
举例来说，当指示符信息表明控制每层中的最大时间子层信息时，解码装置可获取与每层相关的最大时间子层信息。在这种情况下，解码装置可获取具有基于层间参考关系信息的直接参考关系的层的最大时间子层信息，例如，利用当前层作为直接参考层的层的信息(例如，direct_dependency_flag)。相反地，当指示符信息表明不显式控制每层中的最大时间子层信息时，解码装置可类推与每层相关的最大时间子层信息为指定值。例如，该指定值可以是最大时间级别7。
解码装置引入将要用于基于时间子层信息的层间预测的参考图片(S510)。
解码装置可确定比由最大时间子层信息所表明的最大时间子层大或相等的时间子层所对应的图片不被用作用于当前图片的层间预测的参考图片。
解码装置可确定比由最大时间子层信息所表明的最大时间子层小的时间子层所对应的图片可被用作用于当前图片的层间预测的参考图片。
如表12中所描述的，解码装置可利用最大时间子层信息来获得确实可用于对用于层间预测的当前图片进行解码的参考层图片。
解码装置基于参考图片来实现当前图片的层间预测(S520)。
解码装置可基于可被参考用于当前图片的层间预测的参考图片来生成参考图片列表。解码装置可利用参考图片列表来实现当前图片的层间预测。
解码装置可实现与当前图片相关的层间预测以生成预测信号，并可将预测信号添加到残差信号以获得当前图片的重构信号(重构图片)。
计算机可读的记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置，并可以载波(例如，通过互联网传输)的形式来实现。根据本发明的方法可以在计算机中执行并存储在计算机可读介质中的程序的形式来实现。计算机可读的记录介质包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读的记录介质可以载波(例如，通过互联网传输)的形式来实现。
计算机可读的记录介质可分布于通过网络彼此相连的计算机***中，可由分布式体系中的计算机读取的代码可被存储在计算机可读的记录介质中并在其中执行。相关领域的程序员可容易地推断出用于实施所述方法的功能性程序、代码和代码段。
尽管上述实施例描述了基于作为一系列步骤或块的流程图的方法，本发明并不限于所述步骤的顺序，某些步骤可以上述步骤的顺序或同时地来实现。另外，应该理解，包括在所述流程图中的步骤不排除包括其他步骤，或者所述流程图的至少一个步骤可由本发明所涉及领域的普通技术人员省略，而不影响本发明的精神和范围。
当本发明倾向于各种修改和替换形式时，其特定实施例通过图中的示例示出，并将在这里详细描述。然而，应该理解，所附图和详细描述并非意欲将本发明限制于所公开的具体形式，而是相反地，如所附权利要求书所定义的，本发明将涵盖在本发明精神和范围之内的所有修改、等同和替换形式。

Claims (12)

1.一种包括具有至少一个时间子层的多个层的图像的层间预测方法，所述方法包含：
获取时间子层信息以用于层间预测；
基于所述时间子层信息引入要用于当前图片的层间预测的参考图片；和
基于所述参考图片来执行当前图片的层间预测，
其中，所述时间子层信息包含：表明被参考用于每层中层间预测的最大时间子层的最大时间子层信息，以及表明是否控制每层中最大时间子层信息的指示符信息。
2.如权利要求1所述的层间预测方法，其中，所述获取时间子层信息包含：当所述指示符信息表明控制最大时间子层信息时，获取与每层相关的最大时间子层信息。
3.如权利要求1所述的层间预测方法，其中，所述获取时间子层信息包含：当所述指示符信息表明不控制最大时间子层信息时，将与每层相关的最大时间子层信息类推为最大时间级别值7。
4.如权利要求1所述的层间预测方法，其中，所述引入要用于当前图片的层间预测的参考图片包含：确定比每层最大时间子层信息所表明的最大时间子层大或相等的时间子层所对应的图片不被用作用于当前图片的层间预测的参考图片。
5.如权利要求1所述的层间预测方法，其中，所述引入要用于当前图片的层间预测的参考图片包含：确定比每层最大时间子层信息所表明的最大时间子层小的时间子层所对应的图片被用作用于当前图片的层间预测的参考图片。
6.如权利要求1所述的层间预测方法，其中，通过视频参数集(VPS)扩展句法来信令发送所述时间子层信息。
7.一种包括具有至少一个时间子层的多个层的图像的层间预测设备，所述设备包含：
熵编码器，用来获取时间子层信息以用于层间预测；和
预测器，用来基于所述时间子层信息引入要用于当前图片的层间预测的参考图片，并基于所述参考图片来执行当前图片的层间预测，
其中，所述时间子层信息包含：表明被参考用于每层中层间预测的最大时间子层的最大时间子层信息，以及表明是否控制每层中最大时间子层信息的指示符信息。
8.如权利要求7所述的层间预测设备，其中，当所述指示符信息表明控制最大时间子层信息时，所述熵编码器获取与每层相关的最大时间子层信息。
9.如权利要求7所述的层间预测设备，其中，当所述指示符信息表明不控制最大时间子层信息时，所述熵编码器将与每层相关的最大时间子层信息类推为最大时间级别值7。
10.如权利要求7所述的层间预测设备，其中，所述预测器确定比每层最大时间子层信息所表明的最大时间子层大或相等的时间子层所对应的图片不被用作用于当前图片的层间预测的参考图片。
11.如权利要求7所述的层间预测设备，其中，所述引入要用于当前图片的层间预测的参考图片包含：确定比每层最大时间子层信息所表明的最大时间子层小的时间子层所对应的图片被用作用于当前图片的层间预测的参考图片。
12.如权利要求7所述的层间预测设备，其中，通过视频参数集(VPS)扩展句法来信令发送所述时间子层信息。
CN201480006735.3A 2013-07-15 2014-07-15 用于基于时间子层信息的层间预测的方法和设备 Active CN104982037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010805133.1A CN112243128B (zh) 2013-07-15 2014-07-15 层间预测方法和传输比特流的方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20130082813 2013-07-15
KR10-2013-0082813 2013-07-15
KR10-2014-0030739 2014-03-17
KR20140030739A KR20150009424A (ko) 2013-07-15 2014-03-17 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
KR1020140089177A KR102219842B1 (ko) 2013-07-15 2014-07-15 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
KR10-2014-0089177 2014-07-15
PCT/KR2014/006401 WO2015009036A1 (ko) 2013-07-15 2014-07-15 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010805133.1A Division CN112243128B (zh) 2013-07-15 2014-07-15 层间预测方法和传输比特流的方法

Publications (2)

Publication Number Publication Date
CN104982037A true CN104982037A (zh) 2015-10-14
CN104982037B CN104982037B (zh) 2020-09-04

Family

ID=52572663

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480006735.3A Active CN104982037B (zh) 2013-07-15 2014-07-15 用于基于时间子层信息的层间预测的方法和设备
CN202010805133.1A Active CN112243128B (zh) 2013-07-15 2014-07-15 层间预测方法和传输比特流的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010805133.1A Active CN112243128B (zh) 2013-07-15 2014-07-15 层间预测方法和传输比特流的方法

Country Status (6)

Country Link
US (3) US9838702B2 (zh)
EP (2) EP3913920A1 (zh)
JP (2) JP6725415B2 (zh)
KR (3) KR20150009424A (zh)
CN (2) CN104982037B (zh)
WO (1) WO2015009036A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150009424A (ko) * 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
CN105519114A (zh) 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
JP6472442B2 (ja) * 2013-10-11 2019-02-20 シャープ株式会社 復号方法
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10412422B2 (en) 2015-04-23 2019-09-10 Lg Electronics Inc. Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
GB2538531A (en) * 2015-05-20 2016-11-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP4035359A1 (en) * 2019-09-24 2022-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and data stream for gradual decoder refresh coding and scalable coding
EP4032293A4 (en) * 2019-10-07 2022-11-30 Huawei Technologies Co., Ltd. ERROR PREVENTION IN A SUB-BITSTREAM EXTRACTION
WO2023129913A1 (en) * 2021-12-29 2023-07-06 Innopeak Technology, Inc. Layer-based and temporal sublayer-based coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101385355A (zh) * 2006-01-09 2009-03-11 Lg电子株式会社 用于视频信号的层间预测方法
US20120183076A1 (en) * 2011-01-14 2012-07-19 Jill Boyce High layer syntax for temporal scalability
US20120269276A1 (en) * 2011-01-14 2012-10-25 Vidyo, Inc. Nal unit header

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679031B1 (ko) 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
EP1977607A4 (en) 2006-01-09 2014-12-17 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
CN103430458B (zh) 2011-03-10 2016-03-02 维德约股份有限公司 可伸缩视频编码的依存参数集
KR20130037161A (ko) 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
KR20150095625A (ko) * 2012-12-14 2015-08-21 엘지전자 주식회사 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
CN105122816A (zh) * 2013-04-05 2015-12-02 夏普株式会社 层间参考图像集的解码和参考图像列表构建
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
KR20150009424A (ko) * 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
KR102182166B1 (ko) * 2013-12-01 2020-11-24 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101385355A (zh) * 2006-01-09 2009-03-11 Lg电子株式会社 用于视频信号的层间预测方法
US20120183076A1 (en) * 2011-01-14 2012-07-19 Jill Boyce High layer syntax for temporal scalability
US20120269276A1 (en) * 2011-01-14 2012-10-25 Vidyo, Inc. Nal unit header

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, QUALCOMM: "SHVC Working Draft 2", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
KR102219842B1 (ko) 2021-02-25
KR20210024510A (ko) 2021-03-05
KR102273183B1 (ko) 2021-07-05
EP3913920A1 (en) 2021-11-24
US9838702B2 (en) 2017-12-05
US20160119632A1 (en) 2016-04-28
EP3024237A4 (en) 2016-12-21
EP3024237B1 (en) 2021-09-08
JP2020167733A (ja) 2020-10-08
US20190335185A1 (en) 2019-10-31
JP6725415B2 (ja) 2020-07-15
CN104982037B (zh) 2020-09-04
CN112243128B (zh) 2024-04-02
US10397589B2 (en) 2019-08-27
US10924752B2 (en) 2021-02-16
JP2016528806A (ja) 2016-09-15
CN112243128A (zh) 2021-01-19
KR20150009424A (ko) 2015-01-26
US20180054625A1 (en) 2018-02-22
WO2015009036A1 (ko) 2015-01-22
EP3024237A1 (en) 2016-05-25
KR20150009472A (ko) 2015-01-26
JP7171654B2 (ja) 2022-11-15

Similar Documents

Publication Publication Date Title
CN104982037A (zh) 用于基于时间子层信息的层间预测的方法和设备
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
US11032559B2 (en) Video encoding and decoding method and apparatus using the same
JP2012526426A (ja) スケーラブルビデオ符号化方法、符号器及びコンピュータプログラム
CN105122799A (zh) 用于解码图像的方法以及使用其的设备
CN105723712A (zh) 基于多层的图像编码/解码方法和设备
CN104969554A (zh) 图像编码/解码方法和装置
KR20130085088A (ko) 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
KR101420718B1 (ko) 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20150043972A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant