CN105765978A - 用于编码/解码图像的方法和使用其的装置 - Google Patents

用于编码/解码图像的方法和使用其的装置 Download PDF

Info

Publication number
CN105765978A
CN105765978A CN201480064335.8A CN201480064335A CN105765978A CN 105765978 A CN105765978 A CN 105765978A CN 201480064335 A CN201480064335 A CN 201480064335A CN 105765978 A CN105765978 A CN 105765978A
Authority
CN
China
Prior art keywords
picture
layer
decoding
output
target picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480064335.8A
Other languages
English (en)
Other versions
CN105765978B (zh
Inventor
姜晶媛
李河贤
李镇浩
崔振秀
金镇雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20140031880A external-priority patent/KR20150042683A/ko
Priority claimed from KR1020140132543A external-priority patent/KR102246634B1/ko
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Priority claimed from PCT/KR2014/009409 external-priority patent/WO2015053525A1/ko
Publication of CN105765978A publication Critical patent/CN105765978A/zh
Application granted granted Critical
Publication of CN105765978B publication Critical patent/CN105765978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

根据本发明的一种解码包括多个层的比特流的方法包括步骤：如果已发生随机接入，则设置用于从已发生随机接入的点解码比特流的参数；和解码要解码的画面，其中所述设置参数的步骤能包括步骤：如果已发生随机接入，则设置指示是否能输出要解码的画面的初始化标志，因为要解码的画面是帧内随机接入点(IRAP)画面，并且要解码的画面所属的目标层的所有参考层被正常解码；设置指示是否已将要解码的画面用作随机接入点的标志变量(NoRaslOutputFlag)；和如果要解码的画面是IRAP画面并且标志变量是1，则重置初始化标志。

Description

用于编码/解码图像的方法和使用其的装置
技术领域
本发明涉及视频编码和解码，并更具体地，涉及支持对比特流的随机接入的编码/解码视频的方法和使用其的设备。
背景技术
最近几年，随着高清晰度(HD)广播服务在全国和全世界的发展，大量用户正习惯于高分辨率和高质量视频，并因此多个组织促进下一代视频装置的开发。而且，随着对于具有比HDTV高四倍的分辨率的超高清晰度(UHD)服务的增长兴趣，需要用于高质量视频的压缩技术。
关于视频压缩，可使用根据当前画面的时间上在前和/或在后的画面来预测当前画面中包括的像素值的帧间预测技术、使用当前画面中的像素信息来预测当前画面中包括的像素值的帧内预测技术、或向具有高出现频率的码元分配短代码并向具有低出现频率的码元分配长代码的熵编码技术。
视频压缩技术可包括在硬件的有限操作环境下提供恒定网络带宽、而不考虑可变网络环境的技术。然而，为了压缩对于涉及带宽的频繁改变的网络环境所使用的视频数据，需要新压缩技术，其中可采用可伸缩视频编码/解码方法。
发明内容
【技术问题】
本发明的一方面是提供一种用于从随机点解码比特流的方法和使用该方法的设备。
详细来说，本发明的一方面提供一种当随机接入点处的接入单元(AU)包括帧内随机接入点(IRAP)画面和非IRAP画面、或者仅包括具有两个或更多不同网络抽象层(NAL)单元类型的IRAP画面时、逐层启动从随机接入点解码比特流的方法。
【技术方案】
本发明的一方面提供一种解码包括多个层的比特流的方法，该方法包括：当发生随机接入时，设置用于从随机接入点解码比特流的参数；和解码解码目标画面，其中该参数的设置步骤包括：当发生随机接入时，设置指示是否正确解码和输出该解码目标画面的初始化标志；设置指示是否将该解码目标画面用作随机接入点的标志变量(NoRaslOutputFlag)；和当该解码目标画面是帧内随机接入点(IRAP)画面、标志变量是1、解码目标画面的初始化标志为0、并且目标层的所有参考层的初始化标志为1时，将目标层的初始化标志重置为1。
所述初始化标志的设置步骤可将发生随机接入的接入单元(AU)的基础层的初始化标志设置为1，并将比该基础层更高的层的初始化标志设置为0。
当解码目标画面是瞬时解码刷新(IDR)画面、断链接接入(BLA)画面、或作为比特流的目标层的第一画面的帧内随机接入点(IRAP)画面时，所述标志变量(NoRaslOutputFlag)的设置步骤可将该标志变量设置为1。
当目标画面是IRAP画面、包括该目标画面的目标层的初始化标志是0、并且包括该目标画面的目标层的所有参考层的初始化标志是1时，所述标志变量(NoRaslOutputFlag)的设置步骤可将该标志变量设置为1。
该方法可进一步包括：计算该解码目标画面的画面顺序计数(POC)作为标识符；构造参考画面集，并标记参考画面类型用于解码目标画面的帧间预测；基于该初始化标志确定是否输出该解码目标画面；和使用基于该参考画面集生成的参考画面列表中的参考画面，对该解码目标画面执行运动估计和运动补偿。
当该解码目标画面是IRAP画面并且该目标层的初始化标志是0时，所述是否输出该解码目标画面的确定步骤可确定不输出该解码目标画面。
当目标层不是作为输出目标的输出层、确定不输出属于该目标层所属的AU中的输出层的输出目标画面、使用目标层用于输出层用于参考使得将该解码目标画面用作该输出目标画面的参考画面、并且该解码目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，所述确定是否输出该解码目标画面的步骤可确定输出该解码目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
当目标层不是作为输出目标的输出层、确定不输出属于目标层所属的AU中的输出层的输出目标画面、使用目标层用于输出层用于参考使得将该解码目标画面用作该输出目标画面的参考画面、目标层的初始化标志为1、并且该解码目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，所述确定是否输出该解码目标画面的步骤可确定输出该解码目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
该方法可进一步包括：解码在对应于随机接入点的第一AU中包括的画面；确定是否个别输出第一AU中的画面；解码在该第一AU之后的第二AU中包括的画面；和确定是否个别输出第二AU中的画面。
该方法可进一步包括：确定输出第一AU画面，其输出第一AU中的画面之中的、被确定要输出的画面，其中所述输出第一AU画面的步骤，当比特流包括基础层到最高层、从基础层到第n层(0<＝n)的所有画面是IRAP画面、并且基础层到第n层包括输出层时，输出输出层的输出画面，并且当第(n+1)层到最高层包括输出层时，输出第n层中的解码后画面。
该方法可进一步包括：确定输出第二AU画面，其输出第二AU中的画面之中的、被确定要输出的画面，其中所述输出第二AU画面的步骤，当第二AU中包括的第(n+1)层到第k层(n+1<＝k)包括IRAP画面、并且基础层到第k层包括输出层时，输出该输出层的输出画面，并且当第(k+1)层到最高层包括输出层时，输出第k层中的解码后画面或被确定要输出的画面。
所述计算POC的步骤，当相同AU中的基础层的画面是IDR画面时，可将该解码目标画面的POC设置为0，并且当基础层的画面是BLA画面或比特流的第一CRA画面时，可将该解码目标画面的POC_最高有效位(MSB)设置为0。
本发明的另一方面提供了一种解码包括多个层的比特流的设备，该设备包括：预测模块，当发生随机接入时，设置用于从随机接入点解码比特流的参数，并解码解码目标画面，其中该预测模块，当发生随机接入时，设置指示是否正确解码和输出该解码目标画面的初始化标志，设置指示是否将该解码目标画面用作随机接入点的标志变量(NoRaslOutputFlag)，并且当解码目标画面是帧内随机接入点(IRAP)画面、标志变量是1、解码目标画面的初始化标志为0并且目标层的所有参考层的初始化标志为1时，将目标层的初始化标志重置为1。
【有利效果】
根据本发明的实施例，提供了一种用于从随机点解码比特流的方法和使用该方法的设备。
详细来说，根据本发明的实施例，提供了一种当随机接入点处的AU包括IRAP画面和非IRAP画面、或者仅包括具有两个或更多不同NAL单元类型的IRAP画面时、从随机接入点解码比特流的方法、和使用该方法的设备。
附图说明
图1是图示了根据实施例的视频编码设备的配置的框图。
图2是图示了根据实施例的视频解码设备的配置的框图。
图3是示意性图示了根据本发明实施例的使用多层的可伸缩视频编码结构的概念图。
图4图示了根据本发明的逐层启动解码比特流的方法。
图5图示了根据本发明实施例的包括随机接入点的比特流结构。
图6图示了根据本发明另一实施例的包括随机接入点的比特流结构。
图7图示了根据本发明另一实施例的包括随机接入点的比特流结构。
图8图示了根据本发明另一实施例的包括随机接入点的比特流结构。
图9是图示了根据本发明实施例的视频解码方法的流程图。
图10图示了根据本发明实施例的设置解码参数的方法。
图11是图示了根据本发明实施例的解码层间视频的方法的流程图。
具体实施方式
其后，参考附图来详细描述本发明的实施例。在描述本发明的实施例时，将省略相关已知元件或功能的详细描述，如果认为其使得本发明的要义不必要的模糊的话。
将理解的是，当元件被称为“连接到”或“耦接到”另一元件时，该元件可直接连接或耦接到另一元件或居间元件。而且，当认为“包括”特定元件时，其可意味着不排除除了特定元件之外的元件，并且附加元件可被包括在本发明的实施例中或本发明的技术精神的范围中。
尽管可使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受到这些术语的限制。使用这些术语仅区分一个元件与另一元件。例如，第一元件可被称为第二元件，而不脱离本发明的范围。类似地，第二元件可被称为第一元件。
尽管独立图示本发明的实施例中描述的组件以便示出不同特性功能，但是这样的配置并不指示每一组件由单独硬件构成单元或软件构成单元构造。即，每一组件包括为了便于描述而安排的个别组件，其中至少两个组件可组合为单一组件，或者单一组件可被划分为多个组件来执行功能。要注意的是，其中一些组件被合并为一个组合组件和/或组件被划分为多个单独组件的实施例被包括在本发明的范围中，而不脱离本发明的要义。
一些构成元件不是执行本发明的基本功能所必需的，并且可以是用于仅改进性能的可选构成元件。本发明可通过仅包括除了用于仅改进性能的构成元件之外的、实现本发明的精神所必需的构成元件来实施。仅包括除了用于仅改进性能的可选构成元件之外的必要构成元件的结构也属于本发明的范围。
图1是图示了根据实施例的视频编码设备的配置的框图。可伸缩视频编码/解码方法或设备可通过不提供可伸缩性的一般视频编码/解码方法或设备的扩展实现，并且图1的框图图示了可形成可伸缩视频编码设备的基础的视频编码设备的示例。
参考图1，该视频编码设备100包括运动估计模块111、运动补偿模块112、帧内预测模块120、开关115、减法器125、变换模块130、量化模块140、熵编码模块150、反量化模块160、逆变换模块170、加法器175、滤波模块180、和参考画面缓冲器190。
视频编码设备100可按照帧内模式或帧间模式来对输入画面图像进行编码，并输出比特流。帧内预测意味着帧内部的预测，而帧间预测意味着帧之间的预测。在帧内模式中，开关115切换到“帧内”，而在帧间模式中，开关115切换到“帧间”。视频编码设备100可生成用于输入画面的输入块的预测块，并然后可对输入块和预测块之间的差进行编码。
在帧内模式中，帧内预测模块120可通过使用当前块周围的预先编码的块的像素值来执行空间预测，以生成预测块。
在帧间模式中，运动估计模块111可在运动估计处理期间获得参考画面缓冲器190中存储的参考画面中、与输入块最匹配的区域，以导出运动向量。运动补偿模块112可通过使用运动向量和参考画面缓冲器190中存储的参考画面来执行运动补偿，由此生成预测块。
减法器125可基于输入块和生成的预测块之间的差来生成残差块。变换模块130可对残差块进行变换，以输出变换系数。量化模块140可根据量化参数对变换系数进行量化，以输出量化后参数。
熵编码模块150可基于量化模块140导出的值或在编码时导出的编码参数值，根据概率分布对码元进行熵编码，由此输出比特流。熵编码是接收具有不同值的码元、并在去除统计冗余度的同时、将码元表示为可解码二进制序列或串的方法。
这里，码元意味着作为编码/解码目标的语法元素、编码参数、残差信号的值等。作为用于编码和解码所必需的参数的编码参数可包括编码设备所编码并向解码设备传递的信息(诸如语法元素)、以及在编码或解码处理期间要推断的信息，并且意味着编码和解码画面所必需的信息。编码参数可包括例如帧内/帧间预测模式的值或统计值、移动/运动向量、参考画面索引、编码块图案、残差信号的存在或不存在、变换系数、量化后变换系数、块尺寸和块分区信息。残差信号可表示原始信号和预测信号之间的差、原始信号和预测信号之间的差的变换后信号、或者原始信号和预测信号之间的差的变换后和量化后信号。以块为单位，残差信号可被称为残差块。
当应用熵编码时，在码元的表示中向具有高概率的码元分配少数目比特，并向具有低概率的码元分配多数目比特，由此降低用于要编码的码元的比特串的尺寸。因此，熵编码可增强视频编码的压缩性能。
关于熵编码，可使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)的编码方法。例如，可在熵编码模块150中存储诸如可变长度编码/代码(VLC)表格的、用于执行熵编码的表格，并且熵编码模块150可使用存储的VLC表格来执行熵编码。此外，熵编码模块150可导出目标码元的二值化方法以及目标码元/仓(bin)的概率模型，并使用导出的二值化方法或概率模型来执行熵编码。
量化后系数可由反量化模块160反量化并可由逆变换模块170逆变换。反量化和逆变换的系数由加法器175添加到预测块，由此生成重构的块。
重构的块经受滤波模块180，并且滤波模块180可向重构的块或重构的画面应用解块滤波、样本自适应偏移(SAO)、和自适应环路滤波(ALF)中的至少一个。经由滤波模块180获得的重构的块可被存储在参考画面缓冲器190中。
图2是图示了根据实施例的视频解码设备的配置的框图。如上面在图1中描述的，可通过不提供可伸缩性的一般视频编码/解码方法或设备的扩展来实现可伸缩视频编码/解码方法或设备，并且图2的框图图示了可形成可伸缩视频解码设备的基础的视频解码设备的示例。
参考图2，视频解码设备200包括熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和参考画面缓冲器270。
视频解码设备200接收从编码设备输出的比特流，并按照帧内模式或帧间模式对该比特流进行解码，以输出重组的画面，即重构的画面。在帧内模式中，开关可切换到“帧内”，而在帧间模式中，开关可切换到“帧间”。视频解码设备200可获得从输入比特流重构的残差块，生成预测块，并将残差块与预测块相加，以生成重组的块，即重构的块。
熵解码模块210可根据概率分布对输入比特流进行熵解码，以生成包括量化后系数形式的码元的码元。熵解码是接收二进制序列以生成码元的方法。熵解码方法与前述熵编码方法类似。
量化后系数由反量化模块220反量化，并由逆变换模块230逆变换，由此生成重构的残差块。
在帧内模式中，帧内预测模块240可使用当前块周围的预先编码的块的像素值来执行空间预测，以生成预测块。在帧间模式中，运动补偿模块250可使用运动向量和参考画面缓冲器270中存储的参考画面来执行运动补偿，由此生成预测块。
重构的残差块和预测块由加法器255相加，并且相加的块经受滤波模块260。滤波模块260可向重构的块或重构的画面应用解块滤波、SAO、和ALF中的至少一个。滤波模块260输出重组的画面，即重构的画面。重构的画面被存储在参考画面缓冲器270中，以被用于帧间预测。
在解码设备200的熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250、滤波模块260、和参考画面缓冲器270之中，与视频解码直接相关的组件，诸如熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补偿模块250和滤波模块260可被其它组件分离地定义为解码器或解码单元。
此外，解码设备200可进一步包括解析模块(未示出)，以解析关于比特流中包括的编码后视频的信息。解析模块可包括熵解码模块210，或者可被包括在熵解码模块210中。解析模块可被提供为解码单元的一个组件。
图3是示意性图示了根据本发明实施例的使用多层的可伸缩视频编码结构的概念图。在图3中，画面组(GOP)表示画面组，即，一组画面。
为了传送视频数据，需要传送介质，并且其性能可根据各种网络环境针对每一传送介质而不同。为了应用到各种传送介质或网络环境，可提供可伸缩视频编码方法。
可伸缩视频编码方法是这样的编码方法，其利用纹理信息、运动信息、或层间的残差信号等来去除层间冗余，由此改进编码和解码性能。可伸缩视频编码方法可根据诸如传送比特率、传送误差率、和***资源的周围条件，在空间、时间和质量方面，提供各种可伸缩性。
可通过使用多层结构来执行可伸缩视频编码，以便提供可向各种网络状况应用的比特流。例如，可伸缩视频编码结构可包括其中使用一般视频解码方法来压缩和处理视频的基础层，并且还包括其中使用基础层的解码信息和一般视频解码方法两者来压缩和处理视频数据的增强层。
这里，层表示根据空间方面(例如，画面尺寸)、时间方面(例如，编码顺序、画面输出顺序和帧频)、画面质量、复杂度等分类的画面和比特流的集合。此外，基础层可意味着更低层、参考层或基本层，而增强层可意味着更高层或增强层。多层可具有彼此之间的从属性。
参考图3，例如，基础层可通过标准清晰度(SD)、15Hz帧频和1Mbps比特率来定义，第一增强层可通过高清晰度(HD)、30Hz帧频和3.9Mbps比特率来定义，并且第二增强层可通过4K-超高清晰度(UHD)、60Hz帧频和27.2Mbps来定义。这些格式、帧频和比特率仅为了示意性目的而提供，并且可根据需要改变和修改。此外，使用的层的数目可取决于情况改变，而不限于当前实施例。
例如，当传送带宽是4Mbps时，可按照降低为15Hz或更少的帧频来传送第一增强层HD。可伸缩视频编码方法可通过使用在上面参考图3描述的方法来提供空间、时间、质量和视点可伸缩性。
在支持比特流中的多层的视频编码和解码(即，可伸缩编码)中，由于这些层具有强相关性，所以使用这样的相关性执行预测，由此去除数据的冗余元素并增强视频编码性能。其后，使用关于另一层的信息对于作为预测目标的当前层的预测被称为层间预测。可伸缩视频编码可表示编码时的可伸缩视频编码、以及解码时的可伸缩视频解码。
多个层可在分辨率、帧频和颜色格式的至少一个的方面彼此不同，并且可在层间预测中对层执行上采样或下采样以调整分辨率。
将考虑到下面来描述可伸缩视频编码(SVC)中的随机接入。
比特流可支持至少一个可伸缩性，例如空间、质量或时间可伸缩性，并且可编码/解码具有至少一层或多层的结构的视频，使得随机接入是可能的。
可提供多个层，例如一个或更多层，其中最低层可被称为基础层。在以下描述中图示了三个层。然而，可在不限制层的数目的情况下应用本发明。
可通过单环或多环方法来编码/解码更高层和更低层。
当在编码设备中生成比特流的随机接入点时，解码设备可从编码设备生成的随机接入点解码比特流。
随机接入点处的接入单元(AU)中包括的基础层可被编码为帧内随机接入点(IRAP)画面，并且更高层可被编码为非IRAP画面或IRAP画面。AU表示具有相同输出时间的网络抽象层(NAL)单元或画面的集合。
其间，仅当随机接入点处的层的所有画面被编码为可随机接入形式时，从该点解码比特流才是可能的。即，当不可随机接入的画面被包括在随机接入点处的层中时，不可能从该点解码比特流。
本发明提出了即使当随机接入点处的层的画面包括不可随机接入的画面时、用于从随机接入点解码比特流的方法。
图4图示了根据本发明的逐层启动解码比特流的方法。
如图4中所示，存在三层(层0、层1和层2)，每一层可包括IRAP画面和非IRAP画面。
在AUA中的画面之中，第一层(层0)中的画面是IRAP画面，而第二层(层1)和第三层(层2)中的画面是非IRAP画面。其间，在AUB中的画面之中，第二层(层2)中的画面是IRAP画面，而第一层(层0)和第三层(层2)中的画面是非IRAP画面。在AUC中的画面之中，第三层(层2)的画面是IRAP画面，而第一层(层0)和第二层(层1)的画面是非IRAP画面。
在本发明中，可编码/解码比特流，使得画面从正确解码的较低层到最高层逐渐显示，以如图4中显示的那样最终显示。
图5到8图示了根据本发明实施例的包括随机接入点的比特流结构。
在图5中，如同图4中那样，每一AU包括单一IRAP画面，其中最低到最高层在时间上依次包括IRAP画面。在图5的比特流中，第一层(层0)可从AUA解码，第一层(层0)和第二层(层1)可从AUB解码，并且所有层(层0、层1和层2)可从AUC解码。
在图6中，第一层(层0)和第二层(层1)中的画面是AUA中包括的画面之中的IRAP画面，并且仅第二层(层1)中的画面是AUB中的IRAP画面。
在图6的比特流中，第一层(层0)和第二层(层1)可从AUA解码，并且从第一到第三层，即，所有层(层0、层1和层3)可从AUC解码。
在图7中，在AUA中包括的画面之中，第一层(层0)中的画面是IRAP画面并且第二层(层1)和第三层(层2)中的画面是非IRAP画面。在AUB中包括的画面之中，第一层(层0)和第二层(层1)中的画面是IRAP画面，并且在AUC中包括的画面之中，第二层(层1)和第三层(层2)中的画面是IRAP画面。
在图7中，如同图5中那样，第一层(层0)可从AUA解码，第一层(层0)和第二层(层1)可从AUB解码，并且所有层(层0、层1和层2)可从AUC解码。
在图8中，在AUA中包括的画面之中，仅第一层(层0)中的画面是IRAP画面并且第二层(层1)和第三层(层2)中的画面是非IRAP画面。在AUB中包括的画面之中，第一层(层0)和第三层(层2)中的画面是IRAP画面，并且在AUC中包括的画面之中，仅第二层(层1)中的画面是IRAP画面。在AUD中，仅第三层(层2)中的画面是IRAP画面。
在图8中，第一层(层0)可从AUA解码，而在AUB中，第二层(层1)中的画面不是IRAP画面而是非IRAP画面，并由此不被解码。在该情况下，参考第二层(层1)的第三层(层2)中的画面可以不被正常输出。由此，第一层(层0)和第二层(层1)可从AUC解码，然后，所有层(层0、层1和层2)可从在第二层(层1)中包括IRAP画面的AUD解码。
本发明提供了具有图5到8的结构的比特流中使能从AUA随机接入的编码和解码方法。然而，根据本发明的编码和解码方法不局限性地应用到图5到8的比特流结构。
在从随机接入点解码比特流时，当具有作为IRAP画面的基础层并具有较高层的AU是比特流中的第一AU时，如下图示从AU编码/解码比特流的处理。
根据本发明的从随机接入点解码比特流的方法也可应用到其中输入和解码比特流直到第n层、并然后层开始被输入直到第(n+k)层(这里，k>0)的情况，即，层切换。
当从随机接入点开始逐层启动时，比特流可具有这样的结构，其中第n层具有比第(n+1)层(0<＝n<＝62)更短的IRAP画面周期。
图9是图示了根据本发明实施例的视频解码方法的流程图。参考图9提及的细节可不仅应用到视频解码方法而且应用到视频编码方法。
首先，视频解码设备可设置解码所需要的参数(S910)。
当从随机接入点解码比特流时，解码所需要的参数可根据以下处理初始化或重置。(4)和(5)的顺序不改变。具体来说，初始化处理(5)在(3)和(4)之后进行，并且可仅当在(3)或(4)中NoRaslOutputFlag为1时执行。
(1)当在接入点处的AU中包括的基础层是IRAP画面、即瞬时解码刷新(IDR)画面、断链接接入(BLA)画面或清除随机接入(CRA)画面时，指示在接入点处的AU中包括的所有画面是比特流中包括的每一层的第一画面的标志(例如，FirstPicInLayerDecodedFlag)可如下初始化。
当当前编码/解码目标画面是随机接入点处的AU中的基础层(nuh_layer_id＝0)中包括的IRAP画面时，所有可能较高层的标志(FirstPicInLayerDecodedFlag)可被初始化为0。
即，当可能较高层的最大数目是例如63时，即，nuh_layer_id＝63时，FirstPicInLayerDecodedFlag[i](其中0<i<＝63)可被设置为0。
(2)当其中在随机接入点处的AU中包括的基础层是IRAP画面(即，IDR画面、BLA画面或CRA画面)的比特流从随机接入点解码时，指示比特流中包括的层之中的对应层是IRAP画面、并且该层的所有参考层被正常初始化、使得将该层的解码后画面用作解码设备的输出的初始化标志(例如，称为LayerInitialisedFlag)可如下设置。即，初始化标志指示解码目标画面是否被正确解码和输出。
当当前编码/解码目标画面是IRAP画面并被包括在随机接入点处的AU中包括的基础层(nuh_layer_id＝0)中时，LayerInitialisedFlag[0]被设置为1。其它层(1<＝i<＝63)的LayerInitialisedFlag[i]被设置为0。
初始化标志当解码比特流开始时可对于每一个别层被设置为0或1，并然后可取决于标志变量和是否正确解码对应层所参考的参考层来重置，这将在下面提及。
(3)当当前编码/解码目标画面是IDR画面、BLA画面或IRAP画面(包括CRA)时，NoRaslOutputFlag可被设置为1，该画面是比特流中的层(具有与当前编码/解码目标画面的层相同的nuh_layer_id)的第一画面。NoRaslOutputFlag是指示是否将IRAP画面用作随机接入点的标志变量。
(4)当按照解码顺序在随机接入点之后解码的AU中包括的当前编码/解码目标画面是IRAP画面(IDR、BLA或CRA画面)、nuh_layer_id＝n、LayerInitialisedFlag[n]为0、并且包括当前编码/解码目标画面的层的所有较低参考层被正常初始化(即，LayerInitialisedFlag[RefLayerId[n][j]]＝1，其中RefLayerId[n][j]是第n较高层(nuh_layer_id＝n)中的当前编码/解码目标画面的第j参考层的nuh_layer_id)时，NoRaslOutputFlag可被设置为1。
即，当解码目标画面是IRAP画面、包括解码目标画面的层的初始化标志被设置为0、并且包括解码目标画面的层的所有参考层的初始化标志为1时，标志变量被设置为1。
(5)当当前编码/解码目标画面是第n较高层(nuh_layer_id＝n)的IRAP画面而不是基础层(nuh_layer_id＝0)的画面、具有等于1的NoRaslOutputFlag、并且具有等于0的LayerInitialisedFlag[n]时，如果包括当前编码/解码目标画面的层的所有较低参考层被正常初始化(即，LayerInitialisedFlag[RefLayerId[n][j]为1，其中RefLayerId[n][j]表示第n较高层(nuh_layer_id＝n)中的当前编码/解码目标画面的第j参考层的nuh_layer_id)，则LayerInitialisedFlag[n]可被设置为1。
即，当解码目标画面是IRAP画面、标志变量为1、解码目标画面的初始化标志被设置为0、并且包括解码目标画面的层的所有参考层的初始化标志为1时，目标层的初始化标志被从0重置为1。
解码设备计算当前编码/解码目标画面的标识符(画面顺序计数(POC))，POC值根据输出顺序增加(S920)。
POC是标识编码后视频流中具有相同nuh_layer_id的层的画面的标识符，并且从解码后画面缓冲器(DPB)输出的在后画面具有增加POC。即，POC是从DPB输出并显示的画面的显示顺序，并且IDR可具有0的POC。
相同AU中的所有画面可具有相同POC。
当相同AU不一起包括IRAP画面和非IRAP画面、或者仅包括具有相同NAL单元类型的IRAP画面时，POC可通过如下一般方法来计算。
POC包括POC_最高有效位(MSB)和POC_最低有效位(LSB)，并且总体POC可以是MSB和LSB之和(POC＝POC_MSB+POC_LSB)。这里，POC_LSB值经由画面的片段报头用信令传输，并且最大LSB(MaxPOCLSB)可经由序列参数集用信令传输。
非IRAP画面的POC_MSB可使用具有temporal_id0的画面之中的与当前画面接近的画面的POC_MSB("prevPOCMSB")和POC_LSB("prevPOCLSB")、以及当前编码/解码目标画面的POC_LSB来计算，temporal_id代表先前编码/解码的时间子层的标识符。
可假设IDR画面的POC总是0。假设作为比特流的第一画面的CRA画面或BLA画面的POC_MSB为0，并且其POC_LSB可经由片段报头用信令传输。当CRA画面不是比特流的第一画面时，POC可按照与非IRAP画面相同的方式计算。
当相同AU一起包括IRAP画面和非IRAP画面、或者仅包括具有两个或更多不同NAL单元类型的IRAP画面时，这些画面可具有相同POC。为此，诸如poc_reset_flag的标志信息可经由片段报头用信令传输。当poc_reset_flag为1时，解码设备可将包括该片段的AU中的所有画面的POC设置为0。这里，解码设备可通过一般方法计算当前编码/解码目标画面的原始POC值(POC1)，将包括DPB中存在的画面的层的参考层的POC降低POC1，并将当前目标画面的POC设置为0。
其后，将参考以下两种情况来详细描述计算画面的POC。
第一情况
当利用没被剪切(即，没被用作随机接入点)的AU解码包括先前编码的AU的比特流时，可通过以下处理来解码AU中包括的画面。
(a)可如下设置当前编码/解码目标画面的初始POC。
当画面是IDR画面时，POC可被设置为0。
当画面是BLA画面或作为比特流的对应层的第一画面的CRA画面时，POC_MSB为0并且POC可被设置为经由片段报头用信令传输的POC_LSB。
当画面是CRA画面或非IRAP画面时，POC(POC1)可使用经由片段报头用信令传输的POC_LSB(如上所述，使用具有temporal_id0的先前编码/解码的画面之中的与当前画面接近的画面的POC_MSB("prevPOCMSB")和POC_LSB("prevPOCLSB")、以及当前编码/解码目标画面的POC_LSB)，通过一般POC设置方法来设置。
(b)当在DPB中存在包括具有等于1的poc_reset_flag的片段的画面时，DPB中包括的所有画面的POC可降低POC1。
(c)包括具有等于1的poc_reset_flag的片段的画面的POC可被设置为0。
第二情况
当AU被剪切并被用作随机接入点时，即，当AU被解码为比特流的第一AU时，例如，当基础层(层0)中的画面是作为编码后比特流的第一画面的IRAP画面或BLA画面时，AU中包括的画面可通过以下处理解码。
(a)可如下设置当前编码/解码目标画面的初始POC。
当画面是IDR画面时，POC可被设置为0。
当画面是BLA画面或作为比特流的对应层的第一画面的CRA画面时，POC_MSB为0并且POC可被设置为经由片段报头用信令传输的POC_LSB。
当画面是非IRAP画面(例如，当前层具有nuh_layer_id＝i和FirstPicInLayerDecodedFlag[i]＝0)时，POC(POC1)可通过以下方法之一来设置。
(a-1)POC(POC1)可使用经由片段报头用信令传输的POC_LSB通过前述一般POC设置方法来设置。这路，因为当前AU被用作随机接入点，所以不存在具有等于0的temporal_id的先前编码/解码的画面，并且由此prevPOCMSB和prevPOCLSB两者可被设置为0。
(a-2)当在相同AU的基础层中存在BLA或CRA画面时，当前解码目标画面的POC_MSB可被设置为0。在该情况下，当前解码目标画面的POC(POC1)被设置为经由当前画面的片段报头用信令传输的POC_LSB。
(a-3)可以不计算当前解码目标画面的POC。
(a-4)当在相同AU的基础层中存在IDR画面时，当前解码目标画面的POC可被设置为0，而不被计算。
(b)在计算当前解码目标画面的POC之后，当在DPB中存在包括具有等于1的poc_reset_flag的片段的画面时，DPB中的所有画面的POC可降低POC1。
(c)包括具有等于1的poc_reset_flag的片段的画面的POC可被设置为0。
接下来，视频解码设备构造参考画面集，并进行参考画面标记，用于当前编码/解码目标画面的帧间预测(S930)。
当初始化POC的poc_reset_flag为0时，可如下计算该画面的片段参考画面的POC或POC_LSB。
(1)短期参考画面的(STRP)的POC使用代表经由对应片段报头用信令传输的每一STRP的delta_POC、和当前画面的POC(POC1)来计算。
这里，delta_POC可以是当前画面和第i个STRP之间的POC差或第(i+1)个STRP和第i个STRP之间的POC差。
(2)长期参考画面的(LTRP)的POC_LSB或POC使用每一LTRP的POC_LSB、用于计算POC_MSB的delta_poc_msb_cycle_lt、和作为当前画面的POC的POC1来计算。delta_poc_msb_cycle_lt可经由对应片段报头用信令传输。
关于LTRP，仅POC_LSB基本上用信令传输，并且LTRP的POC仅通过用信令传输的POC_LSB来标识。这里，当多个参考画面之中存在和对应LTRP具有相同POC_LSB的参考画面时，附加用信令传输用于计算POC_MSB的delta_poc_msb_cycle_lt，由此标识每一参考画面的POC。
其间，当poc_reset_flag为1时，可如下计算该画面的片段参考画面的POC或POC_LSB。
(1)STRP的POC使用使用代表经由对应片段报头用信令传输的每一STRP的delta_POC、和等于0的当前画面的POC来计算。
这里，delta_POC可以是当前画面和第i个STRP之间的POC差、或第(i+1)个STRP和第i个STRP之间的POC差。
(2)LTRP的POC_LSB或POC使用每一LTRP的POC_LSB、用于计算POC_MSB的delta_poc_msb_cycle_lt、等于0的当前画面的POC、和经由当前画面的片段报头用信令传输的POC_LSB来计算。delta_poc_msb_cycle_lt可经由对应LTRP的片段报头用信令传输。
关于LTRP，仅POC_LSB基本上用信令传输，并且LTRP的POC仅通过用信令传输的POC_LSB来标识。这里，当多个参考画面之中存在和对应LTRP具有相同POC_LSB的参考画面时，附加用信令传输用于计算POC_MSB的delta_poc_msb_cycle_lt，由此标识每一参考画面的POC。
这样，当poc_reset_flag为1时，经由包括具有等于1的poc_reset_flag的片段的画面的片段报头用信令传输的参考画面的POC或POC_LAB、可使用当前画面的POC1调整，以对应于DPB中的画面的降低的POC。
当计算参考画面的POC时，构造参考画面集，并可取决于在DPB中是否存在参考画面，而标记参考画面的类型。
视频解码设备可生成在参考画面集中包括的但是在DPB中不存在的虚拟参考画面(S940)。
当nuh_layer_id＝0、当前编码/解码目标画面是IRAP画面并且NoRaslOutputFlag＝1时，或者当nuh_layer_id>0时(当当前编码/解码目标画面是IRAP画面、其中FirstPicInLayerDecodedFlag[nuh_layer_id]＝1和NoRaslOutputFlag＝1时，或者当FirstPicInLayerDecodedFlag[nuh_layer_id]＝0时),(S930中构造的)用于当前编码/解码目标画面的参考画面集中包括的画面之中的、DPB中不存在的画面可被虚拟生成并存储在DPB中。
生成的虚拟画面和S920中计算的参考画面具有相同POC。指示是否从DPB输出虚拟参考画面的PicOutputFlag被设置为0，此处不输出虚拟参考画面。
生成的虚拟参考画面可被标记为在参考画面集中用信令传输的STRP或LTRP。详细来说，虚拟参考画面可被标记为当前画面所参考的并且按照显示顺序在当前画面之前的STRP、当前画面所参考的并且按照显示顺序在当前画面之后STRP、当前画面所参考的LTRP、当前画面的在后画面所参考的STRP、或当前画面的在后画面所参考的LTRP。
接下来，视频解码设备可确定是否输出当前编码/解码目标画面(S950)。指示是否输出解码后画面的PicOutputFlag可如下设置。当PicOutputFlag为1时，该画面从DPB发送作为解码设备的输出。当PicOutputFlag为0时，该画面可以不从DPB发送作为解码设备的输出。
(1)当当前画面是随机接入跳过领先(leading)(RASL)画面、并且当前画面的先前编码/解码的IRAP画面之中的与当前画面最接近的IRAP画面的NoRaslOutputFlag为1时，PicOutputFlag可被设置为0。
这里，RASL画面是按照编码/解码顺序在当前画面的先前编码/解码的IRAP画面之中的与当前画面最接近的IRAP画面之后的、但是按照显示顺序在该IRAP画面之前的领先画面，并且使用在该IRAP画面之前的编码/解码后画面作为参考画面来编码/解码。
(2)当不满足条件(1)时，该画面具有等于n的nuh_layer_id并且LayerInitialisedFlag[n]＝0，PicOutputFlag可被设置为0。
(3)当不满足条件(1)和(2)时，可通过以下方法来设置PicOutputFlag。
a.PicOutputFlag可被设置为经由片段报头用信令传输的pic_output_flag。
b.当对应层是输出层时，PicOutputFlag可被设置为经由片段报头用信令传输的pic_output_flag，而当对应层不是输出层时，PicOutputFlag可被设置为0。
c.当对应层不是输出层、正好在该层之上的较高层是IRAP画面、并且较高层的所有较低参考层的LayerInitialisedFlag是1时，PicOutputFlag可被设置为0。
d.当对应层不是输出层、正好在该层之上的较高层是IRAP画面、在该较高层的较低参考层之中存在具有等于0的LayerInitialisedFlag的较低参考层、并且在该层的较高层之中存在输出层时，该层的PicOutputFlag可被设置为经由片段报头用信令传输的pic_output_flag。这里，如果在与该层接近的较低层之中存在不是输出层的具有等于1的PicOutputFlag的层，则该层的PicOutputFlag可被设置为0。
e.当对应层不是输出层、在相同AU中不存在与输出层对应的画面、该层是输出层画面的直接参考画面(对应层直接参考的层的画面)或间接参考画面(需要由对应层直接参考的层用于编码/解码的层)、该画面是输出层画面的直接或间接参考画面、并且是经由片段报头用信令传输的具有等于1的pic_output_flag的解码后画面之中的最高画面(即，具有最大nuh_layer_id的画面)时，该画面的PicOutputFlag可被设置为1。否则，PicOutputFlag可被设置为0。
f.当对应层不是输出层、在相同AU中不存在与输出层对应的画面、该层是输出层画面的直接参考画面(对应层直接参考的层的画面)或间接参考画面(需要由对应层直接参考的层用于编码/解码的层)、并且该画面是具有等于1的LayerInitializedFlag的输出层画面的直接或间接参考画面、并且是经由片段报头用信令传输的具有等于1的pic_output_flag的解码后画面之中的最高画面(即，具有最大nuh_layer_id的画面)时，该画面的PicOutputFlag可被设置为1。否则，PicOutputFlag可被设置为0。
在c、d、e和f中，解码设备可控制DPB中的画面的输出，以实现与设置PicOutputFlag的结果相同的结果。
当确定是否输出画面时，视频解码设备使用参考画面列表中的参考画面对当前编码/解码目标画面执行运动估计和运动补偿(S960)。
这里，可通过一般帧间预测方法使用参考画面列表中的参考画面对当前编码/解码目标画面执行运动估计和运动补偿。
在使用参考画面执行帧间预测之后，可重置用于解码所需要的参数(S970)。当FirstPicInLayerDecodedFlag[i]为0时，视频解码设备可将包括当前编码/解码目标画面的层(例如具有nuh_layer_id＝i的层)的FirstPicInLayerDecodedFlag[i]设置为1。
解码设备可按照层从S910到S970进行该解码方法。当完成用于第一AU的解码处理时，可输出第一AU中的层之中的、具有等于1的PicOutputFlag的画面。
例如，当基础到第n层中的画面是IRAP画面时，如果在基础到第n层中包括原始输出的输出层(0<＝n)，则输出该输出层中的解码后画面。如果在第(n+1)到最高层中包括输出层，则可输出第n层中的解码后画面。
随后，当在解码随后AU的处理中解码包括从第(n+1)层到第k层的IRAP画面的AU时，如果在基础到第k层中包括在从第0到第k层中的解码后画面之中的、原始输出的输出层，则输出该输出层中的解码后画面。如果在第(n+1)到最高层中包括输出层，则可输出第k层中的解码后画面或具有等于1的PicOutputFlag的画面。
解码设备可对AU重复以上处理，直到解码了最高层中的画面为止，由此解码比特流。
图10图示了根据本发明实施例的设置解码参数的方法。
当在比特流中出现第一随机接入时，解码设备可将基础层的初始化标志设置为1，并且将除了基础层之外的较高层的初始化标志设置为0(S1010)。
当其中在随机接入点处的AU中包括的基础层是IRAP画面(即，IDR画面、BLA画面或CRA画面)的比特流在随机接入点处解码时，初始化标志(LayerInitialisedFlag)指示是否比特流中包括的层之中的层是IRAP画面、并且该层的所有参考层被正常初始化、使得该层中的解码后画面可用作来自解码设备的输出。参考层被正常初始化可意味着画面被正确解码并且可从解码设备输出。
解码设备可在解码比特流之前设置指示该层中的解码后画面是否可用作来自编码设备的输出的初始化标志。当当前编码/解码目标画面是随机接入点处的AU中包括的基础层(nuh_layer_id＝0)中的IRAP画面时，解码设备可将LayerInitialisedFlag[0]设置为1，并将其它层的LayerInitialisedFlag[i](1<＝i<＝63)设置为0。
在设置初始化标志之后，解码设备可设置指示是否将画面用作随机接入点的标志变量(NoRaslOutputFlag)。
当目标画面是IDR画面、BLA画面、或作为比特流中的层(与当前编码/解码目标画面的层具有相同nuh_layer_id)的第一画面的IRAP画面时，解码设备可将标志变量设置为1。当目标画面是IRAP画面、目标画面的层的初始化标志是0、并且目标画面的层中的所有参考层的初始化标志是1时，解码设备可将标志变量设置为1(S1020)。
当目标画面是IRAP画面并且将目标画面的标志变量确定为1时，解码设备可确定目标画面的初始化标志是否是0、并且目标画面的层中的所有参考层的初始化标志是否是1。当确定目标画面的初始化标志是0、并且目标画面的层中的所有参考层的初始化标志是1时，解码设备可将目标层的初始化标志从0设置为1(S1030)。
即，当满足要正确解码的目标画面的层的条件时，在S1010设置为0的初始化标志可改变为1。
当设置初始化标志时，如同图9的方法中那样解码目标画面，并因此可取决于是否输出解码后画面而逐渐输出较高层的画面。
图11是图示了根据本发明实施例的解码层间视频的方法的流程图。图11图示了由每一AU解码画面、并向多个层应用这样的解码以最终解码比特流的方法。
当发生随机接入时，解码设备如同图9和图10的S910中那样设置用于解码的参数，并解码第一AU中包括的画面(S1110)。解码画面的处理可对应于图9的S910到S970，并由此这里省略其描述以避免重复。
当完成解码第一AU中的画面时，解码设备可确定是否输出第一AU中的个别画面(S1120)。
在确定是否输出个别画面时，当包括解码目标画面的目标层的初始化标志为0时，解码设备可确定不输出解码目标画面。
而且，当包括解码目标画面的目标层不是输出层、在包括目标层的AU中不存在该输出层中包括的输出目标画面(即，确定不输出该输出目标画面)、使用目标层用于输出层用于参考使得将该目标画面用作该输出画面的参考画面、并且该目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，解码设备可确定输出该目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
此外，当包括解码目标画面的目标层不是输出层、在包括目标层的AU中不存在该输出层中包括的输出目标画面(即，确定不输出该输出目标画面)、使用目标层用于输出层用于参考使得将该目标画面用作该输出画面的参考画面、目标层具有初始化标志1、并且该目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，解码设备可确定输出目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
当完成确定第一AU的输出的处理时，解码设备可解码下一AU(即，第二AU)中包括的画面(S1130)，并确定是否输出个别画面(S1140)。
确定是否输出第二AU中的画面的方法可与用于第一AU所使用的方法相同。
解码设备可对应于每一画面的输出时间输出被确定要输出的画面。
如上所述，当发生随机接入时，解码设备确定是否个别输出AU中的画面以输出可输出画面，并且随后确定是否输出下一AU中的画面，由此输出可能正确解码和输出的层中的画面。因此，可逐渐解码和输出较高层的画面。
根据本发明，提供了当随机接入点处的AU包括IRAP画面和非IRAP画面、或者仅包括具有两个或更多不同NAL单元类型的IRAP画面时、从随机接入点解码比特流的方法、以及使用该方法的设备。
在前述实施例中，已基于作为一连串步骤或块的流程图描述了方法，但是这些方法不限于本发明的步骤的顺序，并且可按照与前述步骤或顺序不同的步骤或顺序、或者可与前述步骤或顺序同时，发生任何步骤。此外，本领域技术人员能理解的是，流程图中示出的步骤不是排他的，并且可包括其他步骤，或者一个或更多步骤不影响本发明的范围并且可被删除。
前述实施例包括示例的各个方面。尽管这里可以不描述图示各个方面的所有可能组合，但是本领域技术人员将理解的是，可在这里进行各种组合，而不脱离所附权利要求所限定的本发明的精神和范围。所以，该范围内的所有差别、改变和修改将被解释为包括在本发明中。

Claims (20)

1.一种解码包括多个层的比特流的方法，该方法包括：
当发生随机接入时，设置用于从随机接入点解码比特流的参数；和
解码解码目标画面，
其中该参数的设置步骤包括
当发生随机接入时，设置指示是否正确解码和输出该解码目标画面的初始化标志；
设置指示是否将该解码目标画面用作随机接入点的标志变量(NoRaslOutputFlag)；和
当该解码目标画面是帧内随机接入点(IRAP)画面、标志变量是1、解码目标画面的初始化标志为0、并且目标层的所有参考层的初始化标志为1时，将目标层的初始化标志重置为1。
2.根据权利要求1的方法，其中所述初始化标志的设置步骤将发生随机接入的接入单元(AU)的基础层的初始化标志设置为1，并将比该基础层更高的层的初始化标志设置为0。
3.根据权利要求2的方法，其中当解码目标画面是瞬时解码刷新(IDR)画面、断链接接入(BLA)画面、或作为比特流的目标层的第一画面的帧内随机接入点(IRAP)画面时，所述标志变量(NoRaslOutputFlag)的设置步骤将该标志变量设置为1。
4.根据权利要求2的方法，其中当目标画面是IRAP画面、包括该目标画面的目标层的初始化标志是0、并且包括该目标画面的目标层的所有参考层的初始化标志是1时，所述标志变量(NoRaslOutputFlag)的设置步骤将该标志变量设置为1。
5.根据权利要求1的方法，进一步包括
计算该解码目标画面的画面顺序计数(POC)作为标识符；
构造参考画面集，并标记参考画面类型用于解码目标画面的帧间预测；
基于该初始化标志确定是否输出该解码目标画面；和
使用基于该参考画面集生成的参考画面列表中的参考画面，对该解码目标画面执行运动估计和运动补偿。
6.根据权利要求5的方法，其中当该解码目标画面是IRAP画面并且该目标层的初始化标志是0时，所述是否输出该解码目标画面的确定步骤确定不输出该解码目标画面。
7.根据权利要求5的方法，其中当目标层不是作为输出目标的输出层、确定不输出属于该目标层所属的AU中的输出层的输出目标画面、使用目标层用于输出层用于参考使得将该解码目标画面用作该输出目标画面的参考画面、并且该解码目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，所述确定是否输出该解码目标画面的步骤确定输出该解码目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
8.根据权利要求5的方法，其中当目标层不是作为输出目标的输出层、确定不输出属于目标层所属的AU中的输出层的输出目标画面、使用目标层用于输出层用于参考使得将该解码目标画面用作该输出目标画面的参考画面、目标层的初始化标志为1、并且该解码目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，所述确定是否输出该解码目标画面的步骤确定输出该解码目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
9.根据权利要求1的方法，进一步包括
解码在对应于随机接入点的第一AU中包括的画面；
确定是否输出第一AU中的个别画面；
解码在该第一AU之后的第二AU中包括的画面；和
确定是否输出第二AU中的个别画面。
10.根据权利要求9的方法，进一步包括
确定输出第一AU画面，其输出第一AU中的画面之中的、被确定要输出的画面，
其中所述输出第一AU画面的步骤，当比特流包括基础层到最高层、从基础层到第n层(0<＝n)的所有画面是IRAP画面、并且基础层到第n层包括输出层时，输出输出层的输出画面，并且当第(n+1)层到最高层包括输出层时，输出第n层中的解码后画面。
11.根据权利要求10的方法，进一步包括
确定输出第二AU画面，其输出第二AU中的画面之中的、被确定要输出的画面，
其中所述输出第二AU画面的步骤，当第二AU中包括的第(n+1)层到第k层(n+1<＝k)包括IRAP画面、并且基础层到第k层包括输出层时，输出该输出层的输出画面，并且当第(k+1)层到最高层包括输出层时，输出第k层中的解码后画面或被确定要输出的画面。
12.根据权利要求5的方法，其中所述计算POC的步骤，当相同AU中的基础层的画面是IDR画面时，将该解码目标画面的POC设置为0，并且当基础层的画面是BLA画面或比特流的第一CRA画面时，将该解码目标画面的最高有效位(MSB)设置为0。
13.一种解码包括多个层的比特流的设备，该设备包括：
预测模块，当发生随机接入时，设置用于从随机接入点解码比特流的参数，并解码解码目标画面，
其中该预测模块，当发生随机接入时，设置指示是否正确解码和输出该解码目标画面的初始化标志，设置指示是否将该解码目标画面用作随机接入点的标志变量(NoRaslOutputFlag)，并且当解码目标画面是帧内随机接入点(IRAP)画面、标志变量是1、解码目标画面的初始化标志为0并且目标层的所有参考层的初始化标志为1时，将目标层的初始化标志重置为1。
14.根据权利要求13的设备，其中该预测模块将发生随机接入的接入单元(AU)的基础层的初始化标志设置为1，并将比该基础层更高的层的初始化标志设置为0。
15.根据权利要求14的设备，其中当解码目标画面是瞬时解码刷新(IDR)画面、断链接接入(BLA)画面或作为比特流的目标层的第一画面的帧内随机接入点(IRAP)画面时，该预测模块将该标志变量设置为1。
16.根据权利要求14的设备，其中当目标画面是IRAP画面、包括该目标画面的目标层的初始化标志是0、并且包括该目标画面的目标层的所有参考层的初始化标志是1时，该预测模块将该标志变量设置为1。
17.根据权利要求13的设备，其中该预测模块计算该解码目标画面的画面顺序计数(POC)作为标识符，构造参考画面集并标记参考画面类型用于解码目标画面的帧间预测，基于该初始化标志确定是否输出该解码目标画面，并使用基于该参考画面集生成的参考画面列表中的参考画面，对该解码目标画面执行运动估计和运动补偿。
18.根据权利要求17的设备，其中当该解码目标画面是IRAP画面并且该目标层的初始化标志是0时，该预测模块确定不输出该解码目标画面。
19.根据权利要求17的设备，其中当目标层不是作为输出目标的输出层、确定不输出属于该目标层所属的AU中的输出层的输出目标画面、使用目标层用于输出层用于参考使得将该解码目标画面用作该输出目标画面的参考画面、并且该解码目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，该预测模块确定输出该解码目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
20.根据权利要求17的设备，其中当目标层不是作为输出目标的输出层、确定不输出属于目标层所属的AU中的输出层的输出目标画面、使用目标层用于输出层用于参考使得将该解码目标画面用作该输出目标画面的参考画面、目标层的初始化标志为1、并且该解码目标画面是具有等于1的标志信息的解码后画面之中的最高画面时，该预测模块确定输出该解码目标画面，该标志信息经由片段报头用信令传输并代表是否输出画面。
CN201480064335.8A 2013-10-11 2014-10-07 用于编码/解码图像的方法和使用其的装置 Active CN105765978B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR20130121357 2013-10-11
KR20130121430 2013-10-11
KR10-2013-0121357 2013-10-11
KR10-2013-0121430 2013-10-11
KR20140031880A KR20150042683A (ko) 2013-10-11 2014-03-18 점진적 계층전환을 이용한 영상 부호화/복호화 방법 및 그 장치
KR10-2014-0031880 2014-03-18
KR1020140132543A KR102246634B1 (ko) 2013-10-11 2014-10-01 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR10-2014-0132543 2014-10-01
KR10-2014-0134240 2014-10-06
KR1020140134240A KR102257754B1 (ko) 2013-10-11 2014-10-06 영상의 부호화/복호화 방법 및 이를 이용하는 장치
PCT/KR2014/009409 WO2015053525A1 (ko) 2013-10-11 2014-10-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
CN105765978A true CN105765978A (zh) 2016-07-13
CN105765978B CN105765978B (zh) 2019-01-29

Family

ID=56341177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480064335.8A Active CN105765978B (zh) 2013-10-11 2014-10-07 用于编码/解码图像的方法和使用其的装置

Country Status (2)

Country Link
US (2) US10142638B2 (zh)
CN (1) CN105765978B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113826387A (zh) * 2019-12-30 2021-12-21 腾讯美国有限责任公司 在编码视频流中进行分层随机访问的方法
CN114270868A (zh) * 2019-05-16 2022-04-01 诺基亚技术有限公司 用于在视频编码中处理随机访问图片的装置、方法和计算机程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
US10701364B2 (en) * 2017-10-26 2020-06-30 Google Llc Golden-frame group structure design using stillness detection
CN109963176B (zh) 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
KR20210107121A (ko) 2019-01-04 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
MX2021013978A (es) 2019-05-15 2022-04-01 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319340A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
KR20080114500A (ko) * 2007-06-25 2008-12-31 한국전자통신연구원 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템
CN102342103A (zh) * 2009-03-02 2012-02-01 汤姆森特许公司 显示画面序列的方法及设备
US20130077687A1 (en) * 2011-09-23 2013-03-28 Ye-Kui Wang Coding reference pictures for a reference picture set
CN103098471A (zh) * 2010-09-14 2013-05-08 三星电子株式会社 用于多层画面编码/解码的设备和方法
CN103155568A (zh) * 2010-07-08 2013-06-12 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的***和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60311231T2 (de) 2002-01-22 2007-11-15 Microsoft Corp., Redmond Verfahren zum ermöglichen von direktzugriff und spleissen in einem verschlüsselten videostrom
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
MX347522B (es) * 2012-04-13 2017-04-27 Mitsubishi Electric Corp Dispositivo de codificación de imagen, dispositvo de decodificación de imagen, método de codificación de imagen, y método de decodificación de imagen.
KR101728285B1 (ko) * 2013-06-12 2017-04-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319340A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
KR20080114500A (ko) * 2007-06-25 2008-12-31 한국전자통신연구원 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템
KR101345544B1 (ko) * 2007-06-25 2013-12-26 세종대학교산학협력단 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템
CN102342103A (zh) * 2009-03-02 2012-02-01 汤姆森特许公司 显示画面序列的方法及设备
CN103155568A (zh) * 2010-07-08 2013-06-12 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的***和方法
CN103098471A (zh) * 2010-09-14 2013-05-08 三星电子株式会社 用于多层画面编码/解码的设备和方法
US20130077687A1 (en) * 2011-09-23 2013-03-28 Ye-Kui Wang Coding reference pictures for a reference picture set

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI ET AL.: "On random access point for HEVC extension", 《JCT-VC》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114270868A (zh) * 2019-05-16 2022-04-01 诺基亚技术有限公司 用于在视频编码中处理随机访问图片的装置、方法和计算机程序
CN113826387A (zh) * 2019-12-30 2021-12-21 腾讯美国有限责任公司 在编码视频流中进行分层随机访问的方法

Also Published As

Publication number Publication date
US10142638B2 (en) 2018-11-27
CN105765978B (zh) 2019-01-29
US20190045199A1 (en) 2019-02-07
US10306244B2 (en) 2019-05-28
US20160241866A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
KR101053628B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100913088B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
CN103843342B (zh) 图像解码方法
CN103380622B (zh) 帧内预测模式编码/解码方法和用于其的设备
CN104335585B (zh) 图像解码方法和使用其的装置
CN105765978A (zh) 用于编码/解码图像的方法和使用其的装置
US10931945B2 (en) Method and device for processing prediction information for encoding or decoding an image
KR20060043115A (ko) 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
US20150078446A1 (en) Method and apparatus for inter-layer intra prediction
EP2428042A1 (en) Scalable video coding method, encoder and computer program
US20140286415A1 (en) Video encoding/decoding method and apparatus for same
CN105122799A (zh) 用于解码图像的方法以及使用其的设备
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR102150671B1 (ko) 영상 부호화/복호화 방법 및 장치
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US20150016548A1 (en) Video decoding method and apparatus using the same
US10412383B2 (en) Compressing groups of video frames using reversed ordering
KR20150043974A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20150043972A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US20060133499A1 (en) Method and apparatus for encoding video signal using previous picture already converted into H picture as reference picture of current picture and method and apparatus for decoding such encoded video signal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant