CN106464919B - 用于编码和解码具有视频数据的多层位流的方法和装置 - Google Patents

用于编码和解码具有视频数据的多层位流的方法和装置 Download PDF

Info

Publication number
CN106464919B
CN106464919B CN201580030429.8A CN201580030429A CN106464919B CN 106464919 B CN106464919 B CN 106464919B CN 201580030429 A CN201580030429 A CN 201580030429A CN 106464919 B CN106464919 B CN 106464919B
Authority
CN
China
Prior art keywords
ols
vps
video
layer
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580030429.8A
Other languages
English (en)
Other versions
CN106464919A (zh
Inventor
王益魁
阿达许·克里许纳·瑞玛苏布雷蒙尼安
伏努·亨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106464919A publication Critical patent/CN106464919A/zh
Application granted granted Critical
Publication of CN106464919B publication Critical patent/CN106464919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了用于对解码视频数据进行编码的***和方法。所述用于解码视频数据的方法可以包含接收具有视频数据的多个层的位流。视频数据的多个层可以包含基础层和视频参数集VPS。VPS可以指示多个输出层集合OLS以及用于所述多个OLS中包含第0个OLS的每个OLS的简档、层次和层级PTL信息。用于解码的方法也可以包含从一或多个层中选择OLS作为目标OLS，以及基于在所述VPS中用信号发送的PTL信息对所述目标OLS进行解码。

Description

用于编码和解码具有视频数据的多层位流的方法和装置
技术领域
本申请涉及视频译码和压缩的领域，例如，在视频编码器和视频解码器中。具体而言，本申请涉及可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC，以及用于高效视频译码(HEVC)的SVC，除了HEVC的3D和多视图扩展之外，其也被称作可缩放HEVC(SHVC)。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码过程，例如描述于以下各者中的那些技术：由 MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC) 定义的标准、目前在发展中的HEVC标准及此类标准的扩展。视频装置可通过实施此类视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频译码方法包含空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，所述视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测产生待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描一开始按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
可通过例如从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可发射左眼和右眼视图以支持3D 视频。替代地，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且还含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量和一个深度视图分量。
发明内容
一般而言，本发明描述涉及视频译码的方法和***，且更确切地说涉及HEVC。在当前SHVC和MV-HEVC标准中，由激活的视频参数集(VPS)规定的第0个输出层集合 (OLS)是指仅包含视频数据的基础层的OLS。然而，除非整个位流仅包含基础层，否则第0个OLS的层次和层级信息并未用信号发送。这防止视频译码***以HEVC中的最佳水平操作。
本发明的***、方法及装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
本发明一方面提供用于编码具有视频数据的多个层的位流的方法，所述视频数据的多个层包含基础层。该方法可包含在所述位流内产生指示多个输出层集合(OLS)的一或多个语法元素。每个OLS可以具有所述多个层中的一或多个层。语法元素也可以指示用于所述多个OLS的每个OLS的简档、层次和层级(PTL)信息。该方法也可以包含编码所述多个层，包含在视频参数集(VPS)中编码一或多个语法元素。
本发明另一方面提供用于编码具有视频数据的多个层的位流的装置，所述视频数据的多个层包含基础层。该装置可以具有经配置以存储视频数据的多个层的存储器。该装置也可以具有至少一个可操作地耦合到存储器的处理器。所述至少一个处理器可以在所述位流内产生指示多个输出层集合(OLS)的一或多个语法元素。每个OLS可以具有所述多个层中的一或多个层。语法元素也可以指示用于所述多个OLS的每个OLS的简档、层次和层级(PTL)信息。所述至少一个处理器也可以编码所述多个层，包含在视频参数集(VPS)中编码一或多个语法元素。
本发明的另一方面提供用于解码视频数据的方法。该方法可包含接收具有视频数据的多个层的位流。视频数据的多个层可以包含基础层和视频参数集(VPS)。VPS可以指示用于多个OLS的每个OLS的多个输出层集合(OLS)以及简档、层次和层级(PTL)信息。该方法也可以包含选择来自一或多个层的一个OLS作为目标OLS。该方法也可以包含基于在VPS中用信号发送的PTL信息解码目标OLS。
本发明的另一方面提供用于解码视频数据的装置。该装置可以包含经配置以存储具有视频数据的多个层的位流的存储器。视频数据的多个层可以包含基础层和视频参数集(VPS)。VPS可以指示用于所述多个OLS中的每个OLS的多个输出层集合(OLS)以及简档、层次和层级(PTL)信息。该装置也可以具有至少一个可操作地耦合到存储器的处理器。所述至少一个处理器也可以选择来自一或多个层的一个OLS作为目标OLS。所述至少一个处理器也可以基于在VPS中用信号发送的PTL信息解码目标OLS。
通过借助于实例说明本发明的方面的以下描述，本发明的其它特征和优点应变得显而易见。
附图说明
本发明的实施例的关于其结构与操作两者的细节可通过研究附图而被部分地搜集，其中相同参考标号指代相同部分，且其中：
图1是视频译码***的功能方块图；
图2是图1的视频编码器的功能方块图；
图3是说明图1的视频解码器的功能方块图；
图4是示出在视频编码器与视频解码器之间的示例性信号流的信号流图；
图5是用于编码位流的方法的流程图；以及
图6是用于解码位流的方法的流程图。
具体实施方式
本发明提供可能包含多层视频译码中的若干改进中的一或多个的译码的***和方法，包含用信号发送互操作性信息，例如，用于第0个输出层集合(OLS)的构型、层和水平。如本文所使用，“第0个层”可以大体上指代位流的基础层。在当前SHVC和 MV-HEVC标准中，由激活的VPS规定的第0个OLS是指仅包含基础层的OLS。然而，除非整个位流仅包含基础层，否则第0个OLS的层和层级信息并未用信号发送。
下文参考附图更充分地描述新颖***、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反地，提供这些方面以使得本发明将透彻且完整，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖本文中所公开的无论是独立于本发明的任一其它方面还是与之组合而实施的新颖***、设备和方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围意图涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所公开的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化及排列落入本发明的范围内。尽管提及了优选方面的一些益处及优点，但本发明的范围并非意图限于特定益处、用途或目标。而是，本发明的方面意图广泛地适用于不同无线技术、***配置、网络及发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
视频译码***
图1是视频译码***的功能方块图。视频译码***(“***”)10可以利用根据本发明中描述的方面的方法。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。
如图1所示，***10包含源装置12，该源装置可以产生待稍后通过目的地装置14解码的经编码的视频数据。源装置12和目的地装置14可包括各种各样裝置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话，所谓的“智能”平板)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可以用于无线通信。
目的地装置14可通过链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。源装置12可以根据例如无线通信协议的通信标准调制经编码的视频数据，且发射到目的地装置14。通信媒体可以包括任何无线或有线通信媒体，例如射频(RF)或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
经编码数据可从输出接口22输出到存储装置34。类似地，可通过输入接口从存储装置34访问经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置34可对应于文件服务器或可保存源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置34存取所存储的视频数据。文件服务器可为任何类型的能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接式存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
本发明的方法不一定限于无线应用或设置。所述方法可应用于视频译码以支持多种多媒体应用中的任一种，例如，空中电视广播、有线电视传输、***传输、流式视频传输(例如，经由因特网)、对视频数据进行编码以存储于数据存储媒体上、对存储在数据存储媒体上的数字视频进行解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如，摄像机)、含有先前所捕获视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据以作为源视频的计算机图形***等源，或此类源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12及目的地装置14可以形成所谓的摄像机电话或视频电话。然而，本发明中描述的方法一般可适用于视频译码，且可应用于无线和/或有线应用。
视频编码器20可以对捕获、预捕获或计算机产生的视频进行编码。另外，在一些实施例中，视频解码器30可以基于第一位流的参数集ID和唯一参数集ID区分第一位流与第二位流。在其它实例中，源装置12的输出接口22可以经由链路16将经编码的视频数据直接地传输到目的地装置14。经编码视频数据也可以(或替代地)存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于解码和/或播放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16 接收经编码视频数据。经由链路16传送或在存储装置34上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。
显示装置32可以与目的地装置14集成或者在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可以是显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当在软件中部分地实施方法时，装置可以存储指令以用于合适的非暂时性计算机可读媒体中的软件并且使用一或多个处理器执行硬件中的指令以执行本发明的方法。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合式编码器/解码器(编解码器)的一部分。
HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-T H.264/AVC相对于现有装置的若干额外容量。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含按译码顺序的若干连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树***成译码单元(CU)。举例来说，作为四叉树的根节点的树块可***成四个子节点，且每一子节点又可为父代节点且可***成另外四个子节点。最后的未经***的子节点(作为四叉树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可限定树块可***的最大次数，且还可限定译码节点的最小大小。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可从8×8像素到具有 64×64像素或更大像素的最大值的树块的大小变化。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过还是经直接模式编码、帧内预测模式编码或帧间预测模式编码之间不同。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。TU可为正方形或非正方形形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。可基于针对经分割LCU定义的给定CU内的PU的大小而对TU进行大小设定，但是情况可能并不总是如此。TU可与PU大小相同或小于PU。在一些实例中，可以使用被称为“残余四分树”(RQT)的四分树结构将对应于CU的残余样本细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时， PU可以包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时， PU可包含定义PU的运动向量的数据。举例来说，定义PU的运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可以包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数以用于熵译码。如本文所使用，术语“视频块”可通常指代CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”指代包含译码节点以及PU及TU 的树块，即，LCU或CU。
视频编码器20可产生包括经编码视频数据的位流。位流可包含一系列网络抽象层(NAL)单元。NAL单元中的每一者可包含NAL单元标头，且可囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头规定的NAL单元类型代码指示NAL单元的类型。位流的NAL单元可包含视频译码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元可包含图片的经译码切片。
非VCL NAL单元可包含VPS、序列参数集(SPS)、图片参数集(PPS)、SEI或其它类型的数据。VPS是可含有适用于0或大于0个完整经译码视频序列的语法元素的语法结构。SPS是可含有适用于0或大于0个完整经译码视频序列的语法元素的语法结构。单个VPS可适用于多个SPS。PPS为可含有适用于0或大于0个完整经译码图片的语法元素的语法结构。单个SPS可适用于多个PPS。VPS、SPS和PPS的各个方面可一般而言如HEVC标准所限定的形成。视频编码器20可使用SEI消息以在位流中包含正确解码图片的样本值所不需要的元数据。然而，视频解码器30或其它装置可使用包含于SEI 消息中的元数据用于各种其它目的。举例来说，视频解码器30可使用SEI消息中的元数据用于图片输出计时、图片显示、丢失检测及错误隐藏。
高级语法
NAL单元可以包含由视频编码器20编码并且传输到视频解码器30的语法元素。描述位流的结构或提供应用于多个图片或应用于图片内的多个经译码块区域的信息的语法元素，例如，参数集(例如，SPS、VPS、PPS等)、参考图片管理语法和SEI消息，被称为HEVC的“高级语法”(HLS)部分。
具体而言，与本发明相关，HEVC采用以下方面：参数集结构：参数集包含可以共享用于解码经解码视频的若干区域的信息。参数集结构提供用于传送解码过程所必需的数据的稳固机制。辅助增强信息(SEI)：语法包含对被称为SEI的各种类型的元数据的支持。此类数据提供关于视频图片的计时的信息、用于视频信号的色彩空间的适当解译、 3-D立体帧填充信息，其它显示暗示信息等等。
图2是图1的视频编码器的功能方块图。视频编码器20可以包含分割模块35，该分割模块经配置以接收所捕获的视频数据并且将视频数据分割成视频块。分割模块35 可以将视频数据分割成切片、单元片或其它较大单元。分割模块35也可以例如根据LCU 和CU的四分树结构来分割视频块。视频编码器20可以将切片划分成多个视频块(并且可能划分成被称作单元片的视频块的集合)。
视频编码器20也可以具有可操作地耦合到分割模块35且经配置以接收分割的视频数据的预测模块41。预测模块41可以基于错误结果(例如，译码速率和失真的水平)选择多个可能的译码模式中的一个(例如，多个帧内译码模式中的一或多个帧间译码模式中的一个)用于当前视频块。预测模块41可以允许视频编码器20执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。
预测模块41可以包含运动估计模块42、运动补偿模块44及帧内预测模块46。这些组件中的每一个可以可操作地连接或集成在视频编码器20内的一或多个处理器中。虽然出于概念性目的单独地论述，但是运动估计模块42、运动补偿模块44和帧内预测模块46可以高度集成。
运动估计模块42可经配置以根据用于视频序列的预定模式为视频切片确定帧间预测模式。当前视频块的此类帧间预测或帧间预测译码相对于一或多个参考图片中的一或多个预测块可以提供时间压缩。预定模式可将序列中的视频切片标明为P切片、B切片或GPB切片。如本文所使用，运动估计可以通常指代产生运动向量的过程，该过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧或参考图片内的预测块的移位。参考帧可以存储在可操作地耦合到预测模块41 的参考图片存储器64中。参考帧存储器64。参考帧存储器64可以在滤波器模块63对经重建的译码块执行解块操作之后存储经重建的译码块。参考帧存储器64可以因此也操作为经解码图片缓冲器(DPB)。
预测块是被发现在像素差方面与待译码视频块的PU密切匹配的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，运动预测模块(“预测模块”)41可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，预测模块41可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计模块42可以相对于整数像素位置和分数像素位置执行运动搜索并且输出具有分数像素精确度的运动向量。
运动估计模块42可通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0) 或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计模块42可以发送计算的运动向量到运动补偿模块44和熵编码模块56。
运动补偿可涉及基于通过运动估计确定的运动向量提取或产生预测块。这可以包含到子像素精度的内插。在接收到当前视频块的PU的运动向量后，运动补偿模块44可在参考图片列表中的一者中定位运动向量指向的预测块。运动补偿模块44还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
预测模块41的帧内预测模块46可以相对于相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测译码以提供空间压缩。帧内预测模块46可以帧内预测当前块，作为对通过运动估计模块42和运动补偿模块44执行的帧间预测的替代方案，如上文所述。具体而言，帧内预测模块46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测模块46可以使用各种帧内预测模式对当前块进行编码，例如，在单独编码通过期间。举例来说，帧内预测模块46可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率-失真分析可以确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测模块46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块呈现最佳速率失真值。
帧内预测模块46可以提供指示块的选定帧内预测模式信息以对模块56进行熵编码。熵编码模块56可对指示选定帧内预测模式的信息进行编码。视频编码器20在传输的位流中可包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也被称作码字映射表)，对用于各种块的编码上下文的定义，及对将用于所述上下文中的每一者中的最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
在预测模块41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后，视频编码器20通过从当前视频块减去所述预测性块而形成残余视频块。此过程可以引起像素差值。像素差值形成用于所述块的残余数据，并且可包含明度及色度差分量这两者。可操作地耦合到预测模块41和分割模块35的求和器50表示可以被配置成执行此减法运算的组件。
残余块中的残余视频数据可包含在一或多个TU中且应用到可操作地耦合到求和器 50的变换模块52。变换模块52可使用例如离散余弦变换(DCT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换模块52可将残余视频数据从像素域转换到变换域，例如，频域。预测模块41可以提供所得的帧内或帧间译码块到求和器50 以产生残余块数据。所得的帧内或帧间译码块可以进一步提供求和器62以重建经编码块用作参考图片。
视频编码器20也可以包含可操作地耦合到求和器62的滤波器模块63。滤波器模块63可以表示一或多个环路滤波器，例如，解块滤波器、自适应环路滤波器(ALF)和样本自适应偏移(SAO)滤波器。尽管滤波器模块63在图2中示出为环内滤波器，但在其它配置中，滤波器模块63可实施为环路后滤波器(post loop filter)。滤波器模块63可以提供参考图片到参考图片存储器64。
变换模块52可以将所得变换系数发送到量化模块54。量化模块54可以对变换系数进行量化以进一步降低位速率。量化过程可以减少与系数中的一些或全部相关联的位深度。可通过调节量化参数来修改量化的程度。在一些实例中，量化模块54可以随后执行对包含经量化变换系数的矩阵的扫描。在一些实施例中，熵编码模块56可以执行所述扫描。
在量化之后，熵编码模块56可以对经量化的变换系数进行熵编码。举例来说，熵编码模块56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE) 译码或另一熵编码方法。视频编码器20还可以对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。
在通过熵编码模块56进行熵编码之后，经编码位流可以传输到视频解码器30。位流也可以存档用于稍后的传输或通过视频解码器30取回。熵编码模块56还可对正被译码的当前视频切片的运动向量和其它语法元素进行熵编码。
视频编码器20也可以包含可操作地耦合到熵编码模块56的逆量化模块58。逆变换模块60也可以可操作地耦合到逆量化模块58和求和器62。逆量化模块58和逆变换模块60可以分别应用逆量化和逆变换以在像素域中重建残余块，以供稍后用作参考图片的参考块。运动补偿模块44可以通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测块中来计算参考块。求和器62可以将经重建的残余块添加到由运动补偿模块44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计模块42和运动补偿模块44用作参考块以对后续视频帧或图片中的块进行帧间预测。
在一些实例中，视频编码器20产生位流。由视频编码器20产生的位流可包含可以作为子位流从位流中提取的多个操作点。操作点可例如包含多层和/或视图以及多个帧率。视频编码器20可以对指示VPS中的输出操作点的信息进行编码。如本文所使用，输出操作点是指规定输出层(即，待输出的层的集合)的操作点。在一些实例中，对于与位流相关联的VPS中的视频编码器20信号的每个操作点，操作点语法结构规定用于识别属于给定操作点的子位流的位流中的NAL单元的层识别符(ID)的集合。以此方式，组成给定操作点的子位流的NAL单元可基于NAL单元的层识别符从原始位流中提取出。
图3是说明图1的视频解码器的框图。出于解释的目的，本发明描述在HEVC译码的背景下的视频解码器30。然而，本发明可适用于其它译码标准或方法。
视频解码器30可以包含熵解码模块70、预测模块71、逆量化模块76、逆变换模块78、求和器80、滤波器模块84和经解码图片缓冲器(DPB)82。预测模块71可以包含运动补偿模块72和帧内预测模块74。在其它实例中，视频解码器30可包含更多、更少或不同功能组件。
经译码图片缓冲器(CPB)90可接收且存储位流的经编码视频数据(例如，NAL单元)。熵解码模块70可从CPB 90接收NAL单元，且解析NAL单元以解码语法元素。熵解码模块70可对NAL单元中的经熵编码语法元素进行熵解码。预测模块71、逆量化模块 76、逆变换模块78、求和器80和滤波器模块84可以基于从位流中提取出的语法元素产生经解码视频数据。
位流的NAL单元可包含经译码切片的NAL单元。作为对位流进行解码的部分，熵解码模块70可从经译码的切片NAL单元中提取语法元素并且对所述语法元素进行熵解码。经译码的切片中的每一者可以包含切片标头以及切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了对来自位流的语法元素进行解码之外，视频解码器30还可对未经分割的CU执行重建操作。为了在未分割的CU上执行重建操作，视频解码器30可以在CU的每个 TU上执行重建操作。通过对CU的每个TU执行重建操作，视频解码器30可重建CU 的残余块。
作为在CU的上TU上执行重建操作的部分，逆量化模块76可逆量化(即，解量化) 与TU相关联的系数块。逆量化模块76可使用与TU的CU相关联的量化参数(QP)值以确定量化的程度，并且类似地确定逆量化单元模块76将应用的逆量化的程度。也就是说，可通过调节在量化变换系数时所使用的QP的值来控制压缩比，即用于表示原始序列与经压缩序列的位的数目的比率。压缩比还可取决于所采用的熵译码的方法。
在逆量化模块76逆量化系数块之后，逆变换模块78可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，逆变换模块78可以将逆DCT、逆整数变换、逆定向变换或另一逆变换应用到系数块。
如果使用帧内预测对PU进行编码，那么帧内预测模块74可执行帧内预测以产生用于PU的预测块。帧内预测模块74可使用帧内预测模式，以基于空间上相邻的PU的预测块产生PU的预测性亮度、Cb和Cr块。帧内预测模块74可以基于从位流中解码的一或多个语法元素确定用于PU的帧内预测模式。
预测模块71可以基于自位流提取的语法元素构建第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，那么熵解码模块70可以提取用于PU的运动信息。运动补偿模块72可基于PU的运动信息确定用于PU的一或多个参考区。运动补偿模块72可以基于PU的一或多个参考块处的样本块产生用于PU的预测亮度、Cb和Cr块。
求和器80可以在适当时使用与CU的TU相关联的亮度、Cb和Cr变换块以及CU 的PU的预测亮度、Cb和Cr块(即，帧内预测数据或帧间预测数据)来重建CU的亮度、 Cb和Cr译码块。举例来说，求和器80可以将亮度、Cb和Cr变换块的样本添加到预测亮度、Cb和Cr块的对应的样本以重建CU的亮度、Cb和Cr译码块。
滤波器模块84可以例如是解块滤波器，并且执行解块操作以减小与CU的亮度、 Cb和Cr译码块相关联的成块假象。视频解码器30可随后将CU的亮度、Cb和Cr译码块存储在经解码图片缓冲器82中。经解码图片缓冲器82可提供参考图片以用于后续运动补偿、帧内预测和呈现在显示装置(例如图1的显示装置32)上。举例来说，视频解码器30可以基于经解码图片缓冲器82中的亮度、Cb和Cr块在其它CU的PU上执行帧内预测或帧间预测操作。因此，视频解码器30可从位流中解码显著亮度系数块的变换系数水平，逆量化变换系数水平，对变换系数水平应用变换以产生变换块、至少部分基于变换块而产生译码块，且输出译码块以用于显示。
参数集的顺序
RBSP是包含囊封在NAL单元中且是空的或具有包含语法元素的数据位的串的形式的整数数目的字节的语法结构。
PPS RBSP包含可以由一或多个经译码图片的经译码切片区段NAL单元指代的参数。在解码过程的操作开始处每个PPS RBSP最初被视为不是对基础层激活的。在解码过程的操作期间在任何给定时刻处最多一个PPS RBSP被视为是对基础层激活的，并且基础层的任何特定PPS RBSP的激活导致基础层的先前激活的PPS RBSP(如果存在)的去激活。
当PPS RBSP并未对基础层激活且它由具有等于0的nuh_layer_id的经译码切片区段NAL单元所指代时，它对基础层是激活的。此PPS RBSP被称作用于基础层的激活的 PPSRBSP直至它通过基础层的另一PPS RBSP的激活而被去激活。具有 pps_pic_parameter_set_id的特定值的PPS RBSP在其激活之前将可用于解码过程，包含于具有小于或等于PPSNAL单元的TemporalId的TemporalId的至少一个存取单元中或通过外部装置提供，并且包含PPS RBSP的PPS NAL单元将具有等于0的nuh_layer_id。
包含用于经译码的图片(且因此用于包含经译码的图片的层)的用于激活的PPSRBSP的pps_pic_parameter_set_id的值的任何PPS NAL单元将具有与用于经译码的图片的激活的PPS RBSP相同的内容，除非它跟随经译码的图片的最后一个VCL NAL单元并且先于另一经译码的图片的第一VCL NAL单元。
SPS RBSP包含可以由一或多个PPS RBSP或包含激活的参数集SEI消息的一或多个SEI NAL单元所指代的参数。在解码过程的操作开始处每个SPS RBSP最初被视为不是对于基础层激活的。在解码过程的操作期间在任何给定时刻处最多一个SPS RBSP被视为是对基础层激活的，并且基础层的任何特定SPS RBSP的激活导致基础层的先前激活的SPS RBSP(如果存在)的去激活。
当SPS RBSP并未对基础层是已经激活的且它由基础层的PPS RBSP的激活所指代时或当vps_base_layer_internal_flag等于1且vps_base_layer_available_flag等于1它由包含激活的参数集SEI消息的SEI NAL单元所指代的时，它对基础层是激活的。此SPSRBSP被称作基础层的激活的SPS RBSP直至它由用于基础层的另一SPS RBSP的激活而去激活。具有sps_seq_parameter_set_id的特定值的SPS RBSP在其激活之前将可用于解码过程，包含于具有TemporalId等于0的至少一个存取单元中或通过外部装置提供，并且包含SPS RBSP的SPS NAL单元将具有等于0的nuh_layer_id。对于基础层的激活的 SPS RBSP将在整个经译码视频序列(CVS)保持激活。
包含用于CVS的基础层的激活的SPS RBSP的sps_seq_parameter_set_id的值的具有等于0的nuh_layer_id的任何SPS NAL单元将与用于CVS的基础层的激活的SPS RBSP 具有相同内容，除非它跟随CVS的最后存取单元并且先于第一VCL NAL单元和包含另一CVS的激活的参数集SEI消息的第一SEI NAL单元(当存在时)。
VPS RBSP包含可以由一或多个SPS RBSP或包含激活的参数集SEI消息的一或多个SEI NAL单元所指代的参数。每个VPS RBSP最初被视为未在解码过程的操作的开始处被激活。在解码过程的操作期间在任何给定时刻处最多一个VPS RBSP被视为是激活的，并且任何特定VPS RBSP的激活导致先前激活的VPS RBSP(如果存在)的去激活。
当VPS RBSP(具有vps_video_parameter_set_id的特定值)并未已经被激活并且它由基础层的SPS RBSP的激活所指代时或由包含激活的参数集SEI消息的SEI NAL单元所指代时，它是激活的。此VPS RBSP被称作激活的VPS RBSP直至它通过另一VPS RBSP的激活而去激活。具有vps_video_parameter_set_id的特定值的VPS RBSP在其激活之前将可用于解码过程，包含于具有TemporalId等于0的至少一个存取单元中或通过外部装置提供，并且包含VPS RBSP的VPS NAL单元将具有等于0的nuh_layer_id。激活的VPS RBSP将在整个CVS保持激活。
包含用于CVS的激活的VPS RBSP的vps_video_parameter_set_id的值的任何VPSNAL单元将具有与CVS的激活的VPS RBSP相同的内容，除非它跟随CVS的最后存取单元并且先于第一VCL NAL单元、第一SPS NAL单元和另一CVS的包含激活的参数集SEI消息的第一SEI NAL单元(当存在时)。
表示在语法元素的值与衍生自VPS、SPS和PPS中的那些语法元素和其它语法元素的变量的值之间的关系上的全部约束条件是仅适用于激活的VPS RBSP、用于基础层的激活的SPS RBSP和用于基础层的激活的PPS RBSP的约束条件的表述。如果位流中存在从不激活的任何VPS RBSP、SPS RBSP和PPS RBSP，那么如果其通过在原本相符的位流中的参考而激活，则其语法元素将具有将符合规定约束条件的值。
在解码过程的操作期间，激活的VPS RBSP的参数、基础层的激活的SPS RBSP和基础层的激活的PPS RBSP的值被视为是有效的。对于SEI消息的解译，除非在SEI消息语义中另外说明，否则对于具有等于0的nuh_layer_id的经译码的图片的VCL NAL 单元的解码过程的操作，激活的VPS RBSP、基础层的激活的SPS RBSP和基础层的激活的PPS RBSP的值被视为是有效的。
操作点、输出操作点、层集合和输出层集合
如本文所使用，操作点是通过将另一位流、目标最高temporal_ID和目标层识别符列表作为输入的子位流提取过程的操作从另一位流中形成的位流。更确切地说，“操作点”是可以从在时间上可缩放和/或具有多个层和/或视图的原始位流中提取的子位流。也就是说，操作点是通过将另一位流、目标最高时间ID和目标层识别符列表作为输入的子位流提取过程的操作从另一位流中形成的位流。位流包含一或多个视图，包含操作点的视图。目标最高temporal_ID限定时间子集。目标层列表包含层的集合：用于操作点的待解码的层的集合，以及用于输出操作点的待输出的层的集合。输出操作点尤其是与一组输出层相关联，即，在输出层集合中识别的层，它们是待输出的层。一般而言，每个位流可以包含一或多个输出层集合。每个输出层集合可以包含一或多个输出操作点。针对每个输出操作点执行位流符合性测试以确保对应的子位流是相符位流。
术语“层集合”用以指代待解码的层的集合。“层集合”类似于操作点，不同之处在于层集合并不与时间ID的特定值相关联。实际上，时间子层存在于全部涉及层集合的层中。类似地，层集合可以被称为与最高可能的时间ID相关联。相应地，存在于层中的时间子层全部属于层集合。层集合可以操作点可以衍生自位流的相同方式衍生自位流，其中最高时间ID是最高可能值。
术语“输出层集合”是指规定输出层的层集合。因此，虽然待解码的层的集合被规定为层集合，但是待输出的层的集合是针对输出层集合规定的。在一些实例中，输出层集合通过包含到对应的层集合的指数来识别对应的层集合，其中对应的层集合识别待解码的层。在其它实例中，输出层集合以一些其它方式识别对应的层集合。
未针对性用于输出的层集合中的层可以仍然是解码的，例如，当用于层间(或视图间) 预测时。针对性用于输出的层是待解码的层的子集：待解码的层中的一个、一些或全部可以是针对性用于输出的。应理解术语“子集”不一定意味着待输出的层是待解码的层的严格的子集。也就是说，在一些实例中，待解码的层和待输出的层是相同的。因此，如上文所述，输出层集合与输出操作点之间的区别类似于层集合与操作点之间的区别。
子位流可以基于识别位流的输出操作点的层识别符(识别输出操作点的层)和时间子层标识符(识别输出操作点的时间子集)的值从位流中提取。输出操作点可以在位流内的 VPS中用信号发送。对于每个操作点，操作点语法结构规定属于给定操作点的子位流的位流中用于识别网络抽象层(NAL)单元的层识别符的集合。以此方式，组成给定输出操作点的子位流的NAL单元可基于NAL单元的层识别符以及与输出操作点相关联的最高时间ID从原始位流中提取。NAL单元是经译码的视频数据的组分；经译码的视频数据被组织成NAL单元。
简档、层次、层级语法
profile_tier_level()语法结构是提供涉及简档、层次和层级的语法信息的语法结构。简档、层次和层级规定不同符合点以用于实施HEVC标准或HEVC扩展标准(例如，SHVC，MV-HEVC)使得它是跨越可具有类似功能性需要的各种应用是可互操作的。在一些实例中，简档可界定可以用于产生相符位流的译码工具或算法的集合。简档是由例如HEVC的特定标准规定的整个位流语法的子集。在由给定简档的语法施加的界限内，仍可能需要取决于位流中的语法元素所取的值(例如，经解码图片的规定大小)而极大地改变编码器和解码器的性能。在许多应用中，实施能够使用特定简档内的语法处理全部假设的解码器(例如，视频解码器30)可能是不实际或不经济的。因此也在每个简档内规定“层次”和“层级”。层次的层级为施加于位流中的语法元素的值的规定的约束条件的集合。这些约束条件可为对值的简单的限制。替代地，它们可以呈值的算术组合(例如，图片宽度乘以图片高度乘以每秒解码的图片的数目)的约束条件的形式。针对较低层次指定的层级比针对较高层次指定的层级受到更多约束。
在一些实例中，层次和层级可以对解码器(例如，视频解码器30)处理负载和解码器存储器容量施加约束条件。层级信息可建立对数据处理的限制。举例来说，层级信息可以包含最大采样率、最大图片大小、最大位速率和最小压缩比以及其它可能性。层级信息也可以包含DPB的容量和经译码图片缓冲器(CPB)。出于数据流管理目的，CPB在经压缩数据的解码之前先保存经压缩数据。DPB保存经解码图片数据。
高效视频译码层次和层级是界定就最大位速率、最大亮度样本率、最大亮度图片大小、最小压缩比、允许的切片的最大数目和允许的单元片的最大数目而言的高效视频译码(HEVC)位流的约束条件。较低层次与较高层次相比是更受约束的并且较低层级与较高层级相比是更受约束的。
HEVC标准界定两个层次：主要和高。主要层次与高层次相比是较低层次。实施层次以处理就它们的最大位速率而言不同的应用。主要层次可以适应具有平均位速率的许多普通应用而高层次可以适应更苛刻的应用。
HEVC标准界定十三个层级。层级是位流的约束条件的集合。对于低于层级4的层级仅允许主要层次。符合给定层次/层级的视频解码器30能够解码针对该层次层级和针对全部较低层次/层级编码的全部位流。
如本文所述，视频译码器(例如，视频编码器20或视频解码器30(图1))可以经由链路16发射和接收简档、层次和层级语法结构。视频译码器(例如，***10)也可以指代用于多个输出层集合中的每一个的简档、层次和层级语法结构中的一个并且基于来自针对OLS参考的简档、层次和层级语法结构的信息对输出层集合中的一或多个的视频数据进行解码。举例来说，视频编码器20可以指代用于多个输出层集合中的每一个的简档、层次和层级语法结构中的一个并且基于来自针对输出层集合参考的简档、层次和层级语法结构的信息对输出层集合中的一或多个的视频数据进行编码。视频解码器30也可以指代用于多个输出层集合中的每一个的简档、层次和层级语法结构中的一个并且基于来自针对输出层集合参考的简档、层次和层级语法结构的信息对输出层集合中的一个的视频数据进行解码。
PTL信息可以包含在profile_tier_level()语法元素内并且经由参数集(例如，SPS、 VPS)传送。profile_tier_level()语法结构可以提供OLS与之相符且可以包含于为OLS激活的VPS中的简档、层次和层级。在一些实例中，PTL信息包含在VPS扩展中。当profile_tier_level()语法结构包含于vps_extension()语法结构中时，vps_extension()语法结构的profile_tier_level_idx[i]语法元素规定哪个profile_tier_level()语法结构应用到第 i个OLS，其中“i”是整数层。当语法num_add_layer_sets大于0并且i处于FirstAddLayerSetIdx到LastAddLayerSetIdx(包含)的范围时，通过profile_tier_level_idx[i] 识别的profile_tier_level()语法结构应用到非基础层的输出，该基础层的输入变量lsIdx 被设置成等于OlsIdxToLsIdx[i]。当profile_tier_level()语法结构包含于VPS中而非在 vps_extension()语法结构中时，它应用到第0个OLS。当profile_tier_level()语法结构包含于用于基础层的激活的SPS中时，它应用到第0个OLS。当profile_tier_level()语法结构包含于用于nuh_layer_id等于layerId的独立非基础层的激活的SPS中时，它在非基础层子树提取过程的输出位流中应用到第0个OLS，其中输入参数lsIdx使得 AssignedBaseLayerId[lsIdx]等于layerId。
图4是示出在视频编码器与视频解码器之间的示例性信号流的信号流图。信号流400 是视频编码器20从例如视频源18接收视频数据405的表示。视频数据405可以包含原始视频信息，视频编码器20可以在基础层(BL)或层0和一或多个非基础层或增强层(EL) 中对所述信息进行编码。在一些实例中，视频编码器20可以对视频数据405进行编码作为基础层视频数据410(例如，层0)和多层视频数据415(例如，层0-2)。视频编码器 20可以接收视频数据405以用于编码和传输到视频解码器30。
在一些实施例中，视频编码器20可以用信号发送包含用于视频数据的基础层的简档、层次和层级信息的具有等于零(0)的nuh_layer_id VPS 420。nuh_layer_id可用于指示视频数据的对应的层。相应地，VPS 420可以被称为“激活的VPS”直至由随后的或下一个VPS取代。层可以是具有nuh_layer_id的特定值和相关联的非VCL NAL单元的VCL NAL单元的集合。在包含仅一个层(例如，基础层或第0个OLS)的位流中nuh_layer_id 可以等于0。在基础层的所有NAL单元中nuh_layer_id也可以等于0。nuh_layer_id的其它值可以呈现在包含多层(例如，多层视频数据415)的位流中。
视频编码器20可以发射nuh_layer_id等于0的VPS 420。在此实例中，VPS 420可以包含用于基础层视频数据410或第0个OLS 426的简档、层次和层级语法结构，因为基础层是位流的唯一内容并且因此是唯一输出层。视频解码器30可以接收nuh_layer_id 等于0的VPS 420，其中VPS包含用于基础层视频数据410且使用PTL信息以解码第0 个OLS 426的简档、层次和层级语法结构。
视频编码器20也可以传输nuh_layer_id等于0的SPS 422、参考VPS 420并且指示用于基础层视频数据410的PTL信息。视频编码器20可以进一步传输包含经编码的视频数据405的VCL NAL单元424。在一些实施例中，VCL NAL单元424可以表示仅具有基础层(层0)作为输出的整个位流，例如，第0个OLS 426。视频解码器30可以随后参考VPS 420以用于解码第0个OLS 426。在一些实施例中，VPS 420和SPS 422可以被称作“激活的”SPS或激活的VPS，前提是当前参考各自包含的PTL信息以解码在视频解码器30处接收到的视频数据405。在一些实例中，SPS(例如，SPS 422)包含零或一个PTL语法结构，而VPS可以包含多个PTL语法结构，例如，每一层一个。
在此类实施例中，由激活的VPS所规定的第0个OLS是指仅包含基础层视频数据410(具有等于0的nuh_layer_id的层)的OLS，其也是唯一的输出层。相应地，当整个位流仅包含基础层视频数据410时，在激活的SPS 420的profile_tier_level()语法结构中以及在激活的VPS 422中的第一profile_tier_level()语法结构中用信号发送第0个OLS 426 的层次和层级信息。
在一些实施例中，类似过程可以用于编码多层视频数据415。视频编码器20可以用信号发送VPS 430。VPS 430可以包含用于位流中的每个OLS的PTL信息。举例来说，可以包含PTL信息用于第0个OLS 450、第一个OLS或第二个OLS。视频编码器20也可以用信号发送包含用于整个位流的PTL信息(例如，视频数据415)的SPS 432。视频编码器20可以随后传输具有在VPS 430中识别的一或多个OLS的VCL NAL单元438。因为VPS 430包含用于位流中每个OLS的PTL信息，所以在解码位流时视频解码器30 可以参考VPS 430并且接收用于第0个OLS450的PTL信息。
在一些实施例中，例如VPS 430的语法结构的vps_extension()可以包含用于第0个 OLS的PTL语法信息。相应地，用于第0个OLS的PTL信息可以在VPS扩展的开始处实施，如下文所示。这可以改进在适当层级处提供必要PTL信息的VPS扩展的效率并且当并未包含此类PTL信息时减少额外信令以接收此类PTL信息。表1示出当此类状况存在时可以包含于VPS扩展中的语法元素。
vps_extension()语法结构的某些添加可以包含以下语法元素，如在表1中所列出。
表1
如表1中所示，vps_extension()语法可以并入项“for(i＝vps_base_layer_ internal_flag？0:1；i<NumOutputLayerSets；i++)”以及“if(i> vps_num_layer_sets_minus1||(defaultOutputLayerIdc＝＝2&&i>0)”，以便包含用于第0个OLS的PTL信息。这可以确保即使位流包含不止基础层(例如，多层视频数据415) 和一个以上OLS(例如，第0个、第一个OLS和第二个OLS)，层次和层级信息也总是针对第0个OLS用信号发送。
图5是用于编码位流的方法的流程图。在方块510处，产生一或多个语法元素以用于包含在VPS中，指示位流内的多个输出层集合(OLS)。语法元素也可以包含在VPS(例如，VPS 430)的扩展部分中。每个OLS可以具有所述多个层的一或多个层。语法元素可以指示用于包含于位流中的多个OLS中的每个OLS的简档、层次和层级(PTL)信息。
在方块520处，视频编码器20可以将包含语法元素的多个层编码在VPS(例如，VS430)内。以此方式，方法500可用于针对位流的每个OLS用信号发送简档、层次和层级信息，包含用于VPS扩展中的第0个OLS的PTL信息。
图6是用于解码位流的方法的流程图。方法600开始于方块610处，此时视频解码器30接收具有视频数据的多个层的位流。位流可以包含多层视频数据415(图4)。视频数据的多个层也可以包含基础层和VPS(例如，VPS 430)。VPS可以指示用于多个OLS 的每个OLS的多个OLS和简档、层次以及层级(PTL)信息的存在。
在方块620处，视频解码器30可以选择OLS中的一个作为目标OLS以用于解码。随后在方块630处，视频解码器30可以使用在激活的VPS(例如，VPS 430)中用信号发送的PTL信息解码目标OLS。相应地，方法600可以提供一种方法，通过该方法视频解码器30可以使用最佳PTL信息用于包含于位流中的每个OLS(例如，第0个OLS、第1 个OLS和第2个OLS)。
结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用及施加于整个***的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起偏离本发明的范围。
本文中所描述的方法可以在硬件、软件、固件或其任何组合中实施。此类方法可以在多种装置中的任何一个中实施，例如，通用计算机、无线通信装置手机或具有包含无线通信装置手机和其它装置中的应用的多个用途的集成电路装置。被描述为模块或组件的任何特征可一起实施于集成逻辑装置中或分开来实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述方法可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多个的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如，随机存取存储器(RAM) (例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存器、磁性或光学数据存储媒体等等。另外或替代地，所述方法可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传送程序代码且可由计算机存取、读取和/或执行，例如，传播的信号或波。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA) 或其它等效集成或离散逻辑电路。此类处理器可以经配置以执行本发明中所描述的任何方法。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。相应地，如本文所使用术语“处理器”可以指上述结构中的任何一个、上述结构的任何组合或适用于本文中所描述的方法的实施的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合式视频编码器-解码器(CODEC)中。
本文中论述的译码方法可为实例视频编码和解码***中的实施例。***包含提供待在稍后时间由目的地装置解码的经编码视频数据的源装置。确切地说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置和目的地装置可包括广泛范围的装置中的任一者，包含台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，源装置和目的地装置可经装备以用于无线通信。
虽然本发明的实施例是在上文中针对具体实施例描述的，但是本发明的许多变化是可能的。举例来说，各种组件的数目可以增大或减小，确定电源电压的模块和步骤可以经修改以确定频率、另一***参数或参数的组合。另外，可以不同于上文所描述的那些的组合对各种实施例的特征进行组合。
所属领域的技术人员将理解结合本文中所公开的实施例描述的各种说明性块和模块可以各种形式实施。上文已经大体上就其功能而言描述了一些块和模块。如何实施此类功能取决于施加于整个***的设计约束。所属领域的技术人员可以针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起对本发明的范围的偏离。另外，模块、块或步骤内的功能的分组是为了易于描述。特定的功能或步骤可以从一个模块或块中移动或跨越模块或块分布而不会脱离本发明。
提供对所公开的实施例的先前描述以使得所属领域的技术人员能够制作或使用本发明的标的物。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本发明的精神或范围的情况下将本文中描述的一般原理应用到其它实施例。因此，应理解，本文中呈现的描述和图式表示本发明的当前优选的实施例，且因此表示广泛地由本发明涵盖的标的物。进一步理解，本本发明的范围充分涵盖对所属领域的技术人员而言可能显而易见的其它实施例，且本发明的范围因此仅受到所附权利要求书的限制。

Claims (4)

1.一种用于编码具有视频数据的多个层的位流的方法，视频数据的所述多个层包含基础层，所述方法包括：
产生指示所述位流内的多个输出层集合OLS的一或多个语法元素，每个OLS具有所述多个层中的一或多个层，所述一或多个语法元素进一步指示用于所述多个OLS中的每个OLS的简档、层次和层级PTL信息；以及
将包含所述一或多个语法元素的所述多个层编码在视频参数集VPS中，
其中用于第0个OLS的PTL信息包含于所述VPS的VPS扩展部分中。
2.一种用于编码具有视频数据的多个层的位流的装置，视频数据的所述多个层包含基础层，所述装置包括：
存储器，其经配置以存储视频数据的所述多个层；以及
至少一个处理器，其可操作地耦合到所述存储器并且经配置以
产生指示所述位流内的多个输出层集合OLS的一或多个语法元素，每个OLS具有所述多个层中的一或多个层，所述一或多个语法元素进一步指示用于所述多个OLS中的每个OLS的简档、层次和层级PTL信息，以及
将包含所述一或多个语法元素的所述多个层编码在视频参数集VPS中，
其中所述至少一个处理器经进一步配置以在所述VPS的VPS扩展部分中指示用于第0个OLS的PTL信息。
3.一种用于对视频数据进行解码的方法，其包括：
接收具有视频数据的多个层的位流，视频数据的所述多个层包含基础层和视频参数集VPS，所述VPS指示多个输出层集合OLS以及用于所述多个OLS中的每个OLS的简档、层次和层级PTL信息；
从一或多个层中选择OLS作为目标OLS，以及
基于在所述VPS中用信号发送的PTL信息对所述目标OLS进行解码，
其中所述目标OLS是第0个OLS并且所述VPS包含用于所述第0个OLS的PTL信息，用于所述第0个OLS的所述PTL信息包含于所述VPS的VPS扩展中。
4.一种用于对视频数据进行解码的装置，其包括：
存储器，其经配置以存储具有视频数据的多个层的位流，视频数据的所述多个层包含基础层和视频参数集VPS，所述VPS指示多个输出层集合OLS以及用于所述多个OLS中的每个OLS的简档、层次和层级PTL信息；以及
至少一个处理器，其可操作地耦合到所述存储器并且经配置以
从一或多个层中选择OLS作为目标OLS，以及
基于在所述VPS中用信号发送的PTL信息对所述目标OLS进行解码，
其中所述目标OLS是第0个OLS并且所述VPS包含用于所述第0个OLS的PTL信息，用于所述第0个OLS的所述PTL信息包含于所述VPS的VPS扩展中。
CN201580030429.8A 2014-06-20 2015-06-19 用于编码和解码具有视频数据的多层位流的方法和装置 Active CN106464919B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015210P 2014-06-20 2014-06-20
US62/015,210 2014-06-20
US14/743,512 2015-06-18
US14/743,512 US9788007B2 (en) 2014-06-20 2015-06-18 Profile, tier, level for the 0-th output layer set in video coding
PCT/US2015/036614 WO2015196034A1 (en) 2014-06-20 2015-06-19 Profile, tier, level for the 0-th output layer set in video coding

Publications (2)

Publication Number Publication Date
CN106464919A CN106464919A (zh) 2017-02-22
CN106464919B true CN106464919B (zh) 2019-10-18

Family

ID=54870871

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580030429.8A Active CN106464919B (zh) 2014-06-20 2015-06-19 用于编码和解码具有视频数据的多层位流的方法和装置
CN201580031597.9A Expired - Fee Related CN106664426B (zh) 2014-06-20 2015-06-19 用于编码和解码视频数据的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580031597.9A Expired - Fee Related CN106664426B (zh) 2014-06-20 2015-06-19 用于编码和解码视频数据的方法及装置

Country Status (9)

Country Link
US (2) US9788007B2 (zh)
EP (2) EP3158763A1 (zh)
JP (2) JP6453365B2 (zh)
KR (2) KR102387848B1 (zh)
CN (2) CN106464919B (zh)
BR (2) BR112016029751B1 (zh)
CA (2) CA2950921C (zh)
ES (1) ES2898663T3 (zh)
WO (2) WO2015196025A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101790401B1 (ko) 2011-08-25 2017-10-25 선 페이턴트 트러스트 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
BR112013020486B1 (pt) 2011-09-07 2022-07-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
IN2014CN02604A (zh) 2011-10-19 2015-08-07 Panasonic Corp
US9788007B2 (en) 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
BR112021002483A2 (pt) 2018-08-17 2021-07-27 Huawei Technologies Co., Ltd. gerenciamento de imagens de referência em codificação de vídeo
JP2021535671A (ja) * 2018-08-31 2021-12-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 符号化方法、復号方法、符号化機器、復号機器、およびコンピュータプログラム
US10904574B2 (en) * 2018-09-13 2021-01-26 Tencent America LLC Method and device using an out of band end of stream NAL unit in decoding
CN118118669A (zh) * 2019-08-29 2024-05-31 Lg 电子株式会社 基于自适应环路滤波的图像编译装置和方法
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
JP7400089B2 (ja) * 2019-09-24 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 空間およびｓｎｒスケーラビリティのためのｏｌｓ
AU2020352913A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Signaling of DPB parameters for multi-layer video bitstreams
KR20220065060A (ko) * 2019-09-24 2022-05-19 후아웨이 테크놀러지 컴퍼니 리미티드 다계층 비디오 비트스트림에서 사용되지 않는 계층 금지
JP7391199B2 (ja) 2019-10-05 2023-12-04 北京字節跳動網絡技術有限公司 映像コーディングツールのレベルベースシグナリング
EP4032295A4 (en) * 2019-10-07 2022-11-30 Huawei Technologies Co., Ltd. AVOIDING REDUNDANT SIGNALING IN MULTILAYER VIDEO BITSTREAMS
US11477487B2 (en) * 2019-12-10 2022-10-18 Zte (Uk) Limited Subpicture signaling in video coding
US11375232B2 (en) 2019-12-10 2022-06-28 Zte (Uk) Limited Sub picture signaling in video coding
CN114868158A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 层级视频中的解码图片缓冲区参数的信令通知
JP7431330B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
US11343524B2 (en) * 2019-12-27 2022-05-24 Tencent America LLC Method for adaptation parameter set reference and constraints in coded video stream
KR20220113379A (ko) 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링
KR20220121804A (ko) 2019-12-27 2022-09-01 바이트댄스 아이엔씨 파라미터 세트들에서의 서브픽처 시그널링
WO2021142363A1 (en) 2020-01-09 2021-07-15 Bytedance Inc. Decoding order of different sei messages
US11778215B2 (en) 2020-02-28 2023-10-03 Qualcomm Incorporated Coding output layer set data and conformance window data of high level syntax for video coding
JP2023526151A (ja) * 2020-03-26 2023-06-21 アリババ グループ ホウルディング リミテッド 映像パラメータセット又はシーケンスパラメータセットを符号化又は復号化するための方法
WO2021195026A1 (en) * 2020-03-27 2021-09-30 Bytedance Inc. Level information in video coding
US11297350B1 (en) * 2020-03-27 2022-04-05 Tencent America LLC Method for output layer set for multilayered video stream
KR20220162741A (ko) * 2020-03-30 2022-12-08 엘지전자 주식회사 Hrd 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
EP4131969A4 (en) * 2020-03-30 2024-03-13 Lg Electronics Inc IMAGE CODING/DECODING METHOD AND APPARATUS FOR SIGNALING PTL RELATED INFORMATION AND COMPUTER READABLE RECORDING MEDIUM HAVING BIT STREAM STORED THEREIN
WO2021201548A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
JP2023521626A (ja) * 2020-04-01 2023-05-25 エルジー エレクトロニクス インコーポレイティド 出力レイヤセットに基づいてパラメータセットの参照如何を決定する画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法
US20230209071A1 (en) * 2020-05-25 2023-06-29 Lg Electronics Inc. Multilayer-based image coding device and method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103621091A (zh) * 2011-04-26 2014-03-05 Lg电子株式会社 管理参考图片列表的方法及使用该方法的装置
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US9210430B2 (en) 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
US20140092988A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Systems and methods for reference picture set extension
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US9788007B2 (en) 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MV-HEVC Draft Text 8（JCT3V-H1002-v5）;Gerhard Tech;《8th Meeting: Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20140603;1-12 *
MV-HEVC Draft Text 8（JCT3V-H1002-v5）;Gerhard Tech;《8th Meeting: Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20140603;58-59,79-87 *
MV-HEVC/SHVC HLS: On non-HEVC base layer（JCTVC-P0140）;Miska M. Hannuksela;《16th Meeting:Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20140103;1-12 *
MV-HEVC/SHVC HLS: On non-HEVC base layer（JCTVC-P0140）;Miska M. Hannuksela;《16th Meeting:Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20140103;1-4 *

Also Published As

Publication number Publication date
JP6453365B2 (ja) 2019-01-16
EP3158746A1 (en) 2017-04-26
WO2015196025A1 (en) 2015-12-23
EP3158746B1 (en) 2021-10-20
CA2952973A1 (en) 2015-12-23
BR112016029787A8 (pt) 2021-07-13
BR112016029751A2 (pt) 2017-08-22
CN106664426B (zh) 2020-01-21
JP2017523681A (ja) 2017-08-17
CA2950921C (en) 2023-01-10
KR20170020793A (ko) 2017-02-24
US20150373377A1 (en) 2015-12-24
KR20170020794A (ko) 2017-02-24
BR112016029751B1 (pt) 2023-10-17
BR112016029787A2 (pt) 2017-08-22
CN106664426A (zh) 2017-05-10
JP6377778B2 (ja) 2018-08-22
CN106464919A (zh) 2017-02-22
CA2950921A1 (en) 2015-12-23
WO2015196034A1 (en) 2015-12-23
US20150373361A1 (en) 2015-12-24
EP3158763A1 (en) 2017-04-26
US9756355B2 (en) 2017-09-05
ES2898663T3 (es) 2022-03-08
US9788007B2 (en) 2017-10-10
KR102387848B1 (ko) 2022-04-15
JP2017523683A (ja) 2017-08-17

Similar Documents

Publication Publication Date Title
CN106464919B (zh) 用于编码和解码具有视频数据的多层位流的方法和装置
JP6780054B2 (ja) マルチレイヤビデオコーディングにおける３次元ルックアップテーブルベースの色域スケーラビリティ
CN106464922B (zh) 处理视频数据的方法和设备及计算机可读介质
CN106134200B (zh) Hevc经解码图片哈希sei消息用于多层编解码器的使用
CN105103561B (zh) 一种对多层视频数据进行编码的方法、解码的方法和设备、以及存储指令的非暂时性计算机可读存储媒体
CN106416260B (zh) 对视频数据进行编码的方法、设备以及计算机可读媒体
CN105284113B (zh) 分量间滤波
CN105493507B (zh) 用于帧内块复制的残余预测
CN104685887B (zh) 于视频译码中发信用于操作点的层识别符
CN112740681A (zh) 自适应多重变换译码
CN105900430B (zh) 一种译码视频信息的方法、设备及计算机可读媒体
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进
CN105075258B (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN106105217B (zh) 用于多层视频译码的poc值设计
CN105379278B (zh) 用于视频信息的可缩放译码的装置和方法
CN110326298A (zh) 译码mcts嵌套式sei消息
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN106105204A (zh) 在颜色空间变换译码中修改位深度
CN106464911B (zh) 多层视频编解码器中的恢复点sei消息
CN104641652A (zh) 用于视频译码的帧封装立体三维(3d)视频数据的指示
CN104956676B (zh) 层间语法预测控制
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN105379271A (zh) 帧内随机接入点图片的改进的跨层对齐
JP6768516B2 (ja) 色域スケーラビリティのための３ｄ色予測のために参照レイヤを信号伝達すること
CN107251556A (zh) 用于运动搜索中低复杂度四分之一像素产生的方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant