CN104205819A - 用于视频编码的方法和装置 - Google Patents

用于视频编码的方法和装置 Download PDF

Info

Publication number
CN104205819A
CN104205819A CN201380016357.2A CN201380016357A CN104205819A CN 104205819 A CN104205819 A CN 104205819A CN 201380016357 A CN201380016357 A CN 201380016357A CN 104205819 A CN104205819 A CN 104205819A
Authority
CN
China
Prior art keywords
parameter set
syntactic element
component sheets
burst
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380016357.2A
Other languages
English (en)
Other versions
CN104205819B (zh
Inventor
M·M·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN104205819A publication Critical patent/CN104205819A/zh
Application granted granted Critical
Publication of CN104205819B publication Critical patent/CN104205819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供一种用于3D视频编码和解码的分片首部预测方法和装置。在一些示例实施例中,可以从首部预测方法得到以下特征。可以支持纹理和深度视图分量的任何解码顺序。也允许从在相同访问单元内的按照解码顺序更早出现的任何分片首部灵活预测语法元素。可以在视图分量基础上开启或者关闭预测。可以在少数集合中对分片首部的语法元素进行分类,并且可以单独地控制预测的使用以及用于每个集合的预测源。通过使用该方法的一些示例实施例,可以预测分片首部的所有语法元素。

Description

用于视频编码的方法和装置
技术领域
本申请主要地涉及一种用于视频编码和解码的装置、方法和计算机程序。
背景技术
本节旨在于提供在权利要求中记载的本发明的背景或者情境。这里的描述可以包括如下概念,这些概念可以被探求、但是未必是先前已经设想或者探求的概念。因此,除非这里另有指示,在本节中描述的内容不是在本申请中的说明书和权利要求书之前的现有技术并且不因包含于本节中而被承认为现有技术。
当前考察和开发用于提供三维(3D)视频内容的各种技术。具体而言,强大的研究已经聚焦于各种多视图应用,其中查看者能够仅看见来自具体视点的一对立体视频和来自不同视点的另一对立体视频。用于这样的多视图应用的最可行方式之一已经转向这样的方式,其中向解码器端提供仅有限数目的输入视图、例如单一或者立体视频加上一些补充数据,并且所有需要的视图然后被解码器本地渲染(即合成)以在显示器上被显示。
用于视图渲染的若干技术是可用的,并且例如基于深度图像的渲染(DIBR)已经表现为一种有竞争力的备选。DIBR的典型实现方式取得立体视频和具有立体基线的对应深度信息作为输入并且合成在两个输入视图之间的多个虚拟视图。因此,DIBR算法也可以实现推测在两个输入视图以外并不在它们之间的视图。相似地,DIBR算法可以实现从单个纹理视图和相应深度视图的视图合成。
一些视频编码标准引入在分片层和以下的层的首部以及在分片层以上的层的参数集的概念。参数集的实例可以包括所有画面、画面组(GOP)和序列级数据、比如画面大小、显示窗口、运用的可选编码模式、宏块分配映射和其它实例。每个参数集实例可以包括唯一标识符。每个分片首部可以包括对参数集标识符的参考,并且可以在对分片进行解码时使用参考的参数集的参数值。参数集从序列、GOP和画面边界去耦合不频繁地改变的画面、GOP和序列级数据的传输和解码顺序。可以使用可靠传输协议来带外传输参数集,只要在对它们被引用之前对它们进行解码。如果带内传输参数集,则可以多次重复它们以与常规视频编码方案相比提高错误抗性。可以在会话设立时间传输参数集。然而在一些***、主要是广播***中,参数集的可靠带外传输可能不可行,但是实际上在参数集NAL单元中带内传达参数集。
发明内容
根据本发明的一些示例实施例,提供一种用于3D视频编码和解码的分片首部预测方法和装置。在一些示例实施例中,可以从首部预测方法推导以下结构。可以支持纹理和深度视图分量的任何解码顺序。也允许从在相同访问单元内按照解码顺序更早出现的任何分片首部灵活预测语法元素。可以在视图分量基础上开启或者关闭预测。可以在少数集合中对分片首部的语法元素进行分类,并且可以单独地控制预测的使用以及用于每个集合的预测源。通过使用该方法的一些示例实施例,可以预测分片首部的所有语法元素。
在一些示例实施例中,可以概括分片首部预测工具如下。分片首部的语法元素被分组成分片组(GOS)参数集。GOS参数集可以最多对于访问单元有效。可以产生为访问单元而指定的GOS参数集。基础视图的纹理视图分量的分片首部隐式地形成GOS参数集。可以在比特流中内嵌包括GOS参数集。
在一些示例实施例中,GOS参数集包含三个类型的语法元素或者结构。GOS参数集可以包含可以从标识的GOS参数集复制的语法结构。这些语法结构包括参考画面列表修改、预测权重表和解码的参考画面标记。GOS参数集也可以包含对于整个视图分量保持不变的语法结构。GOS参数集可以可选地包含对应整个访问单元保持不变的语法结构。
GOS参数集可以从多于一个其它GOS参数集继承语法结构。例如可以从一个GOS参数集继承参考画面列表修改,而可以从另一GOS参数集继承解码的参考画面标记。
可以重复GOS参数集。如果对于每个分片重复它们,则可以获得与具有完全分片首部相同的错误稳健性。
在权利要求中阐述本发明的示例的各种方面。
根据本发明的第一方面,提供一种方法,该方法包括:
将未压缩的画面编码成包括分片的编码的画面,编码包括:
将用于分片的语法元素分类成第一集合和第二集合;
确定用于第一集合和第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对第一集合进行编码,其中所述编码包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;以及
选择性地在第二组分片参数集或者分片首部中对第二集合进行编码,其中所述编码包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
根据本发明的第二方面,提供一种装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置用于与至少一个处理器使该装置:
将用于编码的画面的分片的语法元素分类成第一集合和第二集合;
确定用于第一集合和第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对第一集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;以及
选择性地在第二组分片参数集或者分片首部中对第二集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
根据本发明的第三方面,提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下操作:
将用于编码的画面的分片的语法元素分类成第一集合和第二集合;
确定用于第一集合和第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对第一集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;以及
选择性地在第二组分片参数集或者分片首部中对第二集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
根据本发明的第四方面,提供一种装置,该装置包括:
用于将用于编码的画面的分片的语法元素分类成第一集合和第二集合的装置;
用于确定用于第一集合和第二集合的语法元素值的装置;
用于选择性地在第一组分片参数集或者分片首部中对第一集合进行编码的装置,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;以及
用于选择性地在第二组分片参数集或者分片首部中对第二集合进行编码的装置,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作;以及
根据本发明的第五方面,提供一种方法,该方法包括:
对编码的画面的编码的分片进行解码,解码包括:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;以及
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;以及
使用解码的第一和第二语法元素集合对编码的分片进行解码。
根据本发明的第六方面,提供一种装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置用于与至少一个处理器使该装置:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;以及
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;以及
使用解码的第一和第二语法元素集合对编码的分片进行解码。
根据本发明的第七方面,提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下操作:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;以及
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;以及
使用解码的第一和第二语法元素集合对编码的分片进行解码。
根据本发明的第八方面,提供一种方法,该方法包括:
对编码的画面的编码的分片进行解码,解码包括:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过从第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集,则对第一集合的语法元素进行解码;以及
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集,则对第二集合的语法元素进行解码;以及
使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码。
根据本发明的第九方面,提供一种装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置用于与至少一个处理器使该装置:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集,则对第一集合的语法元素进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集,则对第二集合的语法元素进行解码;以及
使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码。
根据本发明的第十方面,提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下操作:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集,则对第一集合的语法元素进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集,则对第二集合的语法元素进行解码;以及
使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码。
根据本发明的第十一方面,提供一种装置,该装置包括:
用于对编码的画面的编码的分片进行解码的装置,解码包括:
用于标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一的装置,
用于对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码的装置,包括:
用于对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,作为对第一指示是指示第三组分片参数集的响应、通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集则对第一集合的语法元素进行解码的装置的装置;以及
用于对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应、通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集则对第二集合的语法元素进行解码的装置;以及
用于使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码的装置。
附图说明
为了更完整结本发明的示例实施例,现在参照结合附图进行的以下描述,在附图中:
图1示出根据一个示例实施例的视频编码***的框图;
图2示出根据一个示例实施例的用于视频编码的装置;
图3示出根据一个示例实施例的包括多个装置、网络和网元的用于视频编码的布置;并且
图4a、4b示出根据一个示例实施例的用于视频编码和解码的框图。
图5示出基于DIBR的3DV***的简化模型;
图6示出立体相机设置的简化2D模型;
图7示出访问单元的定义和编码顺序的示例;
图8示出能够对纹理视图和深度视图进行编码的编码器的一个实施例的高级流程图;
图9示出能够对纹理视图和深度视图进行解码的解码器的一个实施例的高级流程图;
图10以简化方式图示根据一个示例实施例的访问单元的结构;
图11图示包括分量画面定界符NAL单元和两个编码的分片NAL单元的分量画面的示例;并且
图12图示分片参数结构的CPD间预测的示例。
具体实施方式
在下文中,将在一个视频编码布置的背景中描述本发明的若干实施例。然而将注意本发明不限于这一具体布置。事实上,不同实施例广泛地在其中需要改进参考画面操纵的任何环境中具有应用。例如本发明可以适用于视频编码***、比如流式***、DVD播放器、数字电视接收器、个人视频记录器、在个人计算机、手持计算机和通信设备上的***和计算机程序以及其中操纵视频数据的网元、比如代码转换器和云计算布置。
H.264/AVC标准由国际电信联盟(ITU-T)的电信标准化部门的视频编码专家组(VCEG)和国际标准化组织(ISO)/国际电工委员会(IEC)的运动图片专家组(MPEG)的联合视频团队(JVT)开发。H.264/AVC标准由两个母标准组织发布,并且它被称为ITU-T推荐H.264和ISO/IEC国际标准14496-10、也称为MPEG-4部分10高级视频编码(AVC)。已经有H.264/AVC标准的多个版本,每个版本向规范集成新扩展或者特征。这些扩展包括可伸缩视频编码(SVC)和多视图视频编码(MVC)。
有VCEG和MPEG的联合协作团队-视频编码(JCT-VC)对高效率视频编码(HEVC)的当前进行中的标准化项目。
在这一节中描述H.264/AVC和HEVC的一些关键定义、比特流和编码结构以及概念作为其中可以对实施例进行实施的视频编码器、解码器、编码方法、解码方法和比特流结构的示例。H.264/AVC的关键定义、比特流和编码结构以及概念中的一些关键定义、比特流和编码结构以及概念与在HEVC的当前工作草案中相同——因此,以下共同地描述它们。本发明的方面不限于H.264/AVC或者HEVC,但是实际上对于本发明可以在其上面被部分或者完全实现的一个可能基础给出描述。
与许多更早视频编码标准相似地,在H.264/AVC和HEVC中指定比特流语法和语义以及用于无错比特流的解码过程。未指定编码过程,但是编码器必须生成顺应比特流。可以用假设参考解码器(HRD)验证比特流和解码器顺应性。标准包含有助于应对传输错误和丢失的编码工具,但是在编码时使用工具是可选的,并且对于错误比特流尚未指定解码过程。
分别用于向H.264/AVC或者HEVC编码器的输入和H.264/AVC或者HEVC解码器的输出的基本单元是画面。在H.264/AVC中,画面可以是帧或者场。在HEVC的当前工作草案中,画面是帧。帧包括照度样本和对应色度样本的矩阵。场在源信号被交织时是帧的交替样本行的集合并且可以用作编码器输入。色度画面在与照度画面比较时可以被子样本。例如在4:2:0采样模式中,色度画面的空间分辨率是照度画面沿着两个坐标轴的空间分辨率的一半。
在H.264/AVC中,宏块是16x16照度样本块和对应色度样本块。例如在4:2:0采样模式中,宏块包含每个色度分量的一个8x8色度样本块。在H.264/AVC中,画面被分割成一个或者多个分片组,并且分片组包含一个或者多个分片。在H.264/AVC中,分片由在特定分片组内的光栅扫描中连续排序的整数数目的宏块构成。
在草案HEVC标准中,视频画面被划分成覆盖画面的区域的编码单元(CU)。CU由定义用于在CU内的样本的预测过程的一个或者多个预测单元(PU)和定义用于在CU中的样本的预测误差编码过程的一个或者多个变换单元(TU)构成。通常,CU由具有从可能CU大小的预定义集合可选择的大小的样本方块构成。具有最大允许大小的CU通常称为LCU(最大编码单元),并且视频画面被划分成非重叠LCU。LCU可以例如通过递归地拆分LCU和所得CU来进一步拆分成更小CU的组合。每个所得CU通常具有至少一个PU和与它关联的至少一个TU。每个PU和TU还可以被拆分成更小PU和TU以便分别增加预测和预测误差编码过程的粒度。PU拆分可以通过将CU拆分成四个相等大小的方形PU或者以对称或者不对称方式将CU竖直或者水平拆分成两个矩形PU来实现。通常在比特流中用信令发送将图像划分成CU以及将CU划分成PU和TU从而允许解码器再现这些单元的既定结构。
在草案HEVC标准中,可以在矩形并且包含整数数目的LCU的瓦片中分割画面。在HEVC的当前工作草案中,划分成瓦片形成矩形网格,其中瓦片的高度和宽度互不相同最多一个LCU。在草案HEVC中,分片由整数数目的CU构成。如果未使用瓦片,则在瓦片内或者在画面内按照LCU的光栅扫描顺序扫描CU。在LCU内,CU具有具体扫描顺序。
在HEVC的工作草案(WD)5中,定义用于画面分割的一些关键定义和概念如下。定义分割为将集合划分成子集,从而集合的每个元素正好在子集中的一个子集中。
在HEVC WD5中的基本编码单元是树块。树块是具有三个样本阵列的画面的NxN照度样本块和两个对应色度样本块或者单色画面或者使用三个分离色平面来编码的画面的NxN样本块。可以分割树块用于不同编码和解码过程。树块分割是用于具有三个样本阵列的画面的树块的分割所产生的照度样本块和两个对应色度样本块或者用于单色画面或者使用三个分离色平面来编码的画面的树块的峰所产生的照度样本块。向每个树块指派分割信令以标识用于帧内或者帧间预测和用于变换编码的块大小。分割是递归四元树分割。四元树的根与树块关联。拆分四元树直至到达称为编码节点的叶。编码节点是预测树和变换树这两个树的根节点。预测树指定预测块的位置和大小。预测树和关联预测数据称为预测单元。变换树指定变换块的位置和大小。变换树和关联变换数据称为变换单元。用于照度和色度的拆分信息对于预测树是相同的并且可以对于变换树是相同的或者可以不相同。编码节点以及关联预测和变换单元一起形成编码单元。
在HEVC WD5中,将画面划分成分片和瓦片。分片可以是树块序列、但是(在涉及所谓细粒度分片时)也可以在变换单元和预测单元重合的位置在树块内具有它的边界。在分片内的树块按照光栅扫描顺序被编码和解码。对于编码的主画面,将每个画面划分成分片是分割。
在HEVC WD5中,定义瓦片为在一列和一行中同现的在瓦片内的光栅扫描中连续排序的整数数目的树块。对于编码的主画面,将每个画面划分成瓦片是分割。瓦片在画面内的光栅扫描中被连续排序。虽然分片包含在瓦片内的光栅扫描中连续的树块,但是这些树块未必在画面内的光栅扫描内连续。分片和瓦片无需包含相同树块序列。瓦片可以包括在多于一个分片中包含的树块。相似地,分片可以包括在若干瓦片中包含的树块。
在H.264/AVC和HEVC中,可以跨越分片边界停用画面内预测。因此,分片可以视为一种用于将编码的画面拆分成独立可解码片的方式,并且分片因此视为用于传输的基本单元。在许多情况下,编码器可以在比特流中指示跨越分片边界关闭哪些类型的画面内预测,并且解码器操作例如在推断哪些预测源可用时考虑这一信息。例如,如果邻近宏块或者CU在不同分片中驻留,则来自邻近宏块或者CU的样本可以视为不可用于帧内预测。
可以定义语法元素为在比特流中表示的数据的元素。可以定义语法结构为按照指定的顺序在比特流中一起存在的零个或者更多语法元素。
分别用于H.264/AVC或者HEVC编码器的输出和H.264/AVC或者HEVC解码器的输入的基本单元是网络抽象化层(NAL)单元。为了通过面向分组的网络传送或者存储成结构化的文件,NAL单元可以被封装成分组或者相似结构。已经在H.264/AVC和HEVC中为未提供成帧结构的传输或者存储环境指定字节流格式。字节流格式通过在每个NAL单元前面附着开始码将NAL单元相互分离。为了避免错误检测NAL单元边界,编码器运行面向字节的开始码模拟预防算法,如果开始码原本会出现,则该算法向NAL单元添加模拟预防字节。为了实现在面向分组与面向流的***之间的简单直接网关操作,无论是否使用字节流格式,总是可以执行开始码模拟预防。
NAL单元由首部和有效载荷构成。在H.264/AVC和HEVC中,NLC单元首部指示NAL单元的类型和在NAL单元中包含的编码的分片为参考画面还是非参考画面的部分。H.264/AVC包括2位nal_ref_idc语法元素,该语法元素在等于0时指示在NAL单元中包含的编码的分片为非参考画面的部分并且在大于0时指示在NAL单元中包含的编码的分片为参考画面的部分。草案HEVC包括也称为nal_ref_flag的1位nal_ref_idc语法元素,该语法元素在等于0时指示在NAL单元中包含的编码的分片为非参考画面的部分并且在等于1时指示在NAL单元中包含的编码的分片为参考画面的部分。用于SVC和MVC NAL单元的首部还可以包含与可伸缩性和多视图分级有关的各种指示。在HEVC中,NAL单元首部包括temporal_id语法元素,该语法元素指定用于NAL单元的时间标识符。通过排除具有大于或者等于选择的值的temporal_id的所有VCL NAL单元并且包括所有其它VCL NAL单元而创建的比特流保持顺应。因而,具有等于TID的temporal_id的画面未使用具有大于TID的temporal_id的任何画面作为帧间预测参考。在草案HEVC中,参考画面列表初始化仅限于如下参考画面,这些参考画面被标记为“用于参考”并且具有小于或者等于当前画面的temporal_id的temporal_id。
NAL单元可以被分类成视频编码层(VCL)NAL单元和非VCLNAL单元。VCN NAL单元通常是编码的分片NAL单元。在H.264/AVC中,编码的分片NAL单元包含表示一个或者多个编码的宏块的语法元素,该一个或者多个编码的宏块中的每个编码的宏块对应于在未压缩的画面中的样本块。在HEVC中,编码的分片NAL单元包含表示一个或者多个CU的语法元素。在H.264/AVC和HEVC中,可以指示编码的分片NAL单元为在瞬时解码刷新(IDR)画面中的编码的分片或者在非IDR画面中的编码的分片。在HEVC中,可以指示编码的分片NAL单元为在干净解码刷新(CDR)画面(也可以称为干净随机访问画面)中的编码的分片。
非VCL NAL单元可以例如是以下类型之一:序列参数集、画面参数集、补充增强信息(SEI)NAL单元、访问单元定界符、序列结束NAL单元、流结束NAL单元或者填充符数据NAL单元。参数集可能重建解码的画面所需要的,而其它非VCL NAL单元中的许多其它非VCL NAL单元对于重建解码的样本值不是必需的。
可以在序列参数集中包括经过编码的视频序列而保持不变的参数。除了可能是解码过程必需的参数之外,序列参数集还可以可选地包含视频可用性信息(VUI),该VUI包括可能对于缓冲、画面输出定时、渲染和资源保留而言重要的参数。有在H.264/AVC中指定的用于携带序列参数集的三个NAL单元:包含用于在序列中的H.264/AVC VCL NAL单元的所有数据的序列参数集NAL单元、包含用于辅助编码的画面的数据的序列参数集扩展NAL单元以及用于MVC和SVC VCL NAL单元的子集序列参数集。画面参数集包含可能在若干编码的画面中不变的这样的参数。
在草案HEVC中,也有这里称为自适应参数集(APS)的第三类型的参数集,该第三类型的参数集包括可能在若干编码的分片中不变的参数。在草案HEVC中,APS语法结构包括与基于上下文的自适应二进制算术编码(CABAC)、自适应样本偏移、自适应环路滤波和去块化滤波有关的参数或者语法元素。在草案HEVC中,APS是NAL单元并且被编码而无来自任何其它NAL单元的参考或者预测。在APS NAL单元中包括称为aps_id语法元素的标识符,并且在分片首部中包括和使用该标识符以参考特定APS。
H.264/AVC和HEVC语法允许参数集的多个实例,并且每个实例用唯一标识符来标识。在H.264/AVC中,每个分片首部包括对于包含分片的画面的解码而言活跃的画面参数集的标识符,并且每个画面参数集包含活跃序列参数集的标识符。因而,画面和序列参数集的传输无需与分片的传输准确同步。取而代之,活跃序列和画面参数集在它们被参考之前的任何时刻被接收就足够了,这允许使用与用于分片数据的协议比较的更可靠传输机制来“带外”传输参数集。例如可以包括参数集作为在用于实时传送协议(RTP)会话的会话描述中的参数。如果带内传输参数集,则可以重复它们以提高错误稳健性。
SEI NAL单元可以包含一个或者多个SEI消息,该一个或者多个SEI消息不是输出画面的解码所必需的、但是辅助有关过程、比如画面输出定时、渲染、错误检测、错误隐藏和资源保留。在H.264/AVC和HEVC中指定若干SEI消息,并且用户数据SEI消息使组织和公司能够指定用于它们自己使用的SEI消息。H.264/AVC和HEVC包含用于指定的SEI消息的语法和语义,但是未定义用于在接收者中操纵消息的过程。因而,要求编码器在它们创建消息时遵循H.264/AVC标准或者HEVC标准,并且未要求分别顺应H.264/AVC标准或者HEVC标准的解码器为了输出顺序顺应而处理SEI消息。在H.264/AVC和HEVC中包括SEI消息的语法和语义的原因之一是允许不同***规范等同地解释补充信息并且因此互操作。旨在于***规范可能需要在编码端中和在解码端中二者使用特定SEI消息,并且还可以指定用于在接收中操纵特定SEI消息的过程。
编码的画面是画面的编码表示。在H.264/AVC中的编码的画面包括画面的解码所必需的VCL NAL单元。在H.264/AVC中,编码的画面可以是主要编码的画面或者冗余编码的画面。在有效比特流的解码过程中使用主要编码的画面,而冗余编码的画面是应当仅在主要编码的画面不能被成功解码时解码的冗余表示。在草案HEVC中,尚未指定冗余编码的画面。
在H.264/AVC和HEVC中,访问单元包括主要编码的画面和与它关联的那些NAL单元。在H.264/AVC中,约束NAL单元在访问单元内的出现顺序如下。可选访问单元定界符NAL单元可以指示访问单元的开始。零个或者更多SEI NAL单元跟随它。主要编码的画面的编码的分片接着出现。在H.264/AVC中,主要编码的画面的编码的分片可以跟随有用于零个或者更多冗余编码的画面的编码的分片。冗余编码的画面是画面或者画面的部分的编码表示。如果主要编码的画面例如由于在传输中丢失或者在物理存储介质中破坏而不被解码器接收,则可以对冗余编码的画面进行解码。
在H.264/AVC中,访问单元也可以包括辅助编码的画面,该辅助编码的画面是补充主要编码的画面并且可以例如在显示过程中使用的画面。辅助编码的画面可以例如用作阿尔法通道或者阿尔法平面,该阿尔法通道或者阿尔法平面指定在解码的画面中的样本的透明度水平。可以在分层组成或者渲染***中使用阿尔法通道或者平面,其中输出画面通过叠加在彼此上面至少部分透明的画面来形成。辅助编码的画面具有与单色冗余编码的画面相同的语法和语义限制。在H.264/AVC中,辅助编码的画面包含与主要编码的画面相同数目的宏块。
定义编码的视频序列为按照从IDR访问单元——包括IDR访问单元——到无论哪个更早出现的下一IDR访问单元——不含下一IDR访问单元——或者到比特流的结束的解码顺序的连续访问单元序列。
可以定义画面组(GOP)及其特性如下。GOP无论任何先前画面是否被解码都可以被解码。开放GOP是这样的画面组,在该画面组中,按照输出顺序在初始帧内画面之前的画面可能在解码从开放GOP的初始帧内画面开始时未正确地可解码。换而言之,开放GOP的画面可以参考(在帧内预测时)属于先前GOP的画面。H.264/AVC解码器可以从在H.264/AVC比特流中的恢复点SEI消息识别开始开放GOP的帧内画面。HEVC解码器可以识别开始开放GOP的帧内画面,因为CDR NAL单元类型这一具体NAL单元类型用于它的编码的分片。封闭GOP是这样的画面组,在该画面组中,所有画面可以在解码从封闭GOP的初始帧内画面开始时被正确解码。换而言之,在封闭GOP中的画面未参考在先前GOP中的任何画面。在H.264/AVC和HEVC中,封闭GOP从IDR访问单元开始。作为结果,封闭GOP结构与开放GOP结构比较具有更多错误弹性可能性、然而代价是可能减少压缩效率。开放GOP编码结构由于在选择参考画面时的更大灵活性而在压缩时潜在地更高效。
H.264/AVC和HEVC的比特流语法指示特定画面是否为用于任何其它画面的帧间预测的参考画面。任何编码类型(I、P、B)的画面可以是在H.264/AVC和HEVC中的参考画面或者非参考画面。NAL单元首部指示NAL单元的类型和在NAL单元中包含的编码的分片是否为参考画面或者非参考画面的部分。
包括H.264/AVC和HEVC的许多混合视频编码解码器在两个阶段中对视频信息进行编码。在第一阶段中,预测在某个画面区域或者“块”中的像素或者样本值。例如可以通过运动补偿机制来预测这些像素或者样本值,这些运动补偿机制涉及到发现和指示在先前编码的视频帧之一中的与编码的块接近地对应的区域。此外,可以通过涉及到发现和指示空间区域关系的空间机制来预测像素或者样本值。
使用来自先前编码的图像的图像信息的预测方式也可以称为帧间预测方法,这些帧间预测方法也可以称为时间预测和运动补偿。使用在相同图像内的图像信息的预测方式也可以称为帧内预测方法。
第二阶段是对在预测的像素或者样本块与原有像素或者样本块之间的误差进行编码之一。这可以通过使用指定的变换对像素或者样本值的差值进行变换来实现。这一变换可以是离散余弦变换(DCT)或者其变体。在变换差值之后,变换的差值被量化和熵编码。
通过变化量化过程的保真性,编码器可以控制在像素或者样本表示的准确性(即画面的可视质量)与所得编码的视频表示的大小(即文件大小或者传输比特率)之间的平衡。
解码器通过应用与编码器为了形成像素或者样本块的预测的表示而使用的预测机制相似的预测机制(使用由编码器创建的并且在图像的压缩的表示中存储的运动或者空间信息)和预测误差解码(预测误差编码的用于在空间域中恢复量化的预测误差信号的逆操作)来重构输出视频。
在应用像素或者样本预测和误差解码过程之后,解码器组合预测和预测误差信号(像素或者样本值)以形成输出视频帧。
解码器(和编码器)也可以应用附加滤波过程以便在传递输出视频用于显示和/或存储为用于在视频序列中的即将来临的画面的预测参考之前提高它的质量。
在包括H.264/AVC和HEVC的许多视频编码解码器中,运动信息由与每个运动补偿的图像块关联的运动矢量指示。这些运动矢量中的每个运动矢量表示在待编码(在编码器中)或者解码(在解码器)的画面中的图像块和在先前编码或者解码的图像(或者画面)之一中的预测源块的移位。H.264/AVC和HEVC如同许多其它视频压缩标准将画面划分成矩形网格,对于这些矩形中的每个矩形指示在参考画面之一的相似块用于帧间预测。预测块的位置被编码为运动矢量,该运动矢量指示预测的块相对于编码的块而言的位置。
可以使用以下因素中的一个或者多个因素来表征帧间预测过程。
运动矢量表示的准确性。例如运动矢量可以是四分之一像素准确性,并且可以使用有限冲激响应(FIR)来获得在分数像素位置中的样本值。
用于帧间预测的块分割。包括H.264/AVC和HEVC的许多编码标准允许选择块——对于该块应用运动矢量用于在编码器中的运动补偿预测——的大小和形状并且在比特流中指示选择的大小和形状,从而解码器可以再现在编码器中完成的运动补偿的预测。
用于帧间预测的参考画面数目。帧间预测源是先前解码的画面。包括H.264/AVC和HEVC的许多编码标准实现存储用于帧间预测的多个参考画面和在块基础上选择使用的参考画面。例如可以在H.264/AVC中在宏块或者宏块分割基础上和在HEVC中在PU或者CU基础上选择参考画面。许多编码标准、比如H.264/AVC和HEVC在比特流中包括语法结构,这些语法结构使解码器能够创建一个或者多个参考画面列表。指向参考画面列表的参考画面索引可以用来指示多个参考画面中的哪个参考画面用于特定块的帧内预测。参考画面索引可以在一些帧间编码模式中由编码器编码到位流中,或者它可以在一些其它帧间编码模式中(由编码器和解码器)例如使用邻近块来推导。
运动矢量预测。为了在位流中高效表示运动矢量,可以相对于块专属、预测的运动矢量对运动矢量进行差分编码。在许多视频编码解码器中,以预定义的方式、例如通过计算相邻块的编码或者解码的运动矢量的中值来创建预测的运动矢量。用于创建运动矢量预测的另一方式是从在时间参考画面中的相邻块和/或共同位置的块生成候选预测列表并且用信令发送选择的候选作为运动矢量预测器。除了预测运动矢量值之外,还可以预测先前编码/解码的画面的参考索引。通常从在时间参考画面中的相邻块和/或共同位置的块预测参考索引。通常跨越分片边界停用运动矢量的差分编码。
多假设、运动补偿的预测。H.264/AVC和HEVC实现在P分片中使用单个预测块(这里称为单预测分片)或者将两个运动补偿的预测块的线性组合用于也称为B分片的双预测分片。在B分片中的个体块可以被双预测、单预测或者帧内预测,并且在P分片中的个体块可以被单预测或者帧内预测。用于双预测画面的参考画面可以不限于按照输出顺序的后续画面和先前画面,但是实际上可以使用任何参考画面。在许多编码标、比如H.264/AVC和HEVC中,为P分片构造称为参考画面列表0的一个参考画面列表,并且为B分片构造列表0和列表1这两个参考画面列表。对于B分片,即使用于预测的参考画面可以具有与彼此或者当前画面的任何解码或者输出顺序,在前向方向上的预测可以是指从在参考画面列表0中的参考画面预测时,而在向后方向上的预测可以是指从在参考画面列表1中的参考画面预测。
加权的预测。许多编码标准将预测权重1用于帧间(P)画面的预测块而0.5用于B画面的每个预测块(导致求平均)。H.264/AVC允许用于P和B分片的加权的预测。在隐式加权的预测中,权重与画面顺序计数成比例,而在显式加权的预测中,显式地指示预测权重。
在许多视频编码解码器中,在运动补偿之后的预测残值先用变换内核(比如DCT)来变换、然后被编码。这一点的原因是在残值之中经常仍有一些相关性并且变换可以在许多情况下帮助减少这一相关性并且提供更高效编码。
在草案HEVC中,每个PU具有与它关联的预测信息,该预测信息定义什么种类的预测将被应用于在该PU内的像素(例如用于帧间预测的PU的运动矢量信息和用于帧内预测的PU的帧内预测方向性信息)。相似地,每个TU与如下信息关联,该信息描述用于在TU内的样本的预测误差解码过程(例如包括DCT系数信息)。可以在CU级用信令发送预测误差编码是否被应用于每个CU。在无与CU关联的预测误差残值的情况下,可以认为没有用于CU的TU。
在一些编码格式和编码解码器中,在所谓短期与长期参考画面之间进行区分。这一区分可以影响一些解码过程、比如在时间直接模式中的运动矢量伸缩或者隐式加权的预测。如果用于时间直接模式的参考画面二者为短期参考画面,则可以根据在当前画面与参考画面中的每个参考画面之间的画面顺序计数(POC)差值来伸缩在预测中使用的运动矢量。然而,如果用于时间直接模式的至少一个参考画面是长期参考画面,则可以使用运动矢量的默认伸缩、例如可以使用将运动伸缩至一半。相似地,如果短期参考画面用于隐式加权的预测,则可以根据在当前画面的POC与参考画面的POC之间的POC差值来伸缩预测权重。然而,如果长期参考画面用于隐式加权的预测,则可以使用默认预测权重、比如在用于双预测的块的隐私加权的预测中为0.5。
一些视频编码格式、比如H.264/AVC包括frame_num语法元素,该语法元素用于与多个参考画面有关的各种解码过程。在H.264/AVC中,用于IDR画面的frame_num的值为0。用于非IDR画面的frame_num的值等于被递增1的按照解码顺序的先前参考画面的frame_num(在模算术中、即在frame_num的最大值之后卷绕至0的frame_num值)。
H.264/AVC和HEVC包括画面顺序计数(POC)的概念。POC的值是对于每个画面而推导的并且随着按照输出顺序的增加画面位置而未减少。POC因此指示画面的输出顺序。POC可以在解码过程中例如用于在双预测分片的时间直接模式中的运动矢量的隐式伸缩、用于在加权的预测中的隐式地推导的权重和用于参考画面列表初始化。另外,可以在验证输出顺序顺应性时使用POC。在H.264/AVC中,相对于先前IDR画面或者如下画面指定POC,该画面包含存储器管理控制操作,该存储器管理控制操作标记所有画面为“未用于参考”。
H.264/AVC指定用于解码的参考画面标记的过程以便控制在解码器中的存储器消耗。在序列参数集合中确定称为M的用于帧间预测的参考画面的最大数目。在参考画面被解码时,标记它为“用于参考”。如果参考画面的解码引起标记为“用于参考”的多于M个画面,则标记至少一个画面为“未用于参考”。有用于解码的参考画面标记的两个操作类型:自适应存储器控制和滑窗。在画面基础上选择用于解码的参考画面标记的操作模式。自适应存储器控制实现用信令显式发送哪些画面被标记为“未用于参考”并且也可以向短期参考画面指派长期索引。自适应存储器控制可能要求在比特流中存在存储器管理控制操作(MMCO)参数。可以在解码的参考画面标记语法结构中包括MMCO参数。如果滑窗操作模式在使用中并且有标记为“用于参考”的M个画面,则在标记为“用于参考”的那些短期参考画面之中是第一解码的画面的短期参考画面被标记为“未用于参考”。换而言之,滑窗操作模式产生在短期参考画面之中的先入先出缓冲操作。
在H.264/AVC中的存储器管理控制操作之一使除了当前画面之外的所有参考画面被标记为“未用于参考”。瞬时解码刷新(IDR)画面距离包含帧内编码的分片并且引起参考画面的相似“重置”。
在草案HEVC中,参考画面标记语法结构和有关解码过程已经被替换为参考画面集合(RPS)语法结构和解码过程代之以用于相似目的。对于画面有效或者活跃的参考画面集合包括作为参考用于该画面的所有参考画面和对于按照解码顺序的任何后续画面保持标记为“用于参考”的所有参考画面。有参考画面集合的称为RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll的六个子集。六个子集的注解如下。“Curr”是指在当前画面的参考画面列表中包括的参考画面并且因此可以作为帧间预测参考用于当前画面。“Foll”是指未在当前画面的参考画面列表中包括的参考画面、但是可以在按照解码顺序的后续画面中用作参考画面。“St”是指短期参考画面,这些短期参考画面一般可以通过它们的POC值的某个数目的最低有效位来标识。“Lt”是指长期参考画面,这些长期参考画面被具体标识并且一般具有比提到的某个数目的最低有效位可以表示的POC差值更大的相对于当前画面的POC差值。“0”是指具有比当前画面的POC值更小的POC值的那些参考画面。“1”是指具有比当前画面的POC值更大的PCO值的那些参考画面。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1统称为参考画面集合的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考画面集合的长期子集。可以在画面参数集合中指定并且通过指向参考画面集合的索引在分片首部中使用参考画面集合。也可以在分片首部中指定参考画面集合。一般仅在分片首部中指定参考画面集合的长期子集,而可以在画面参数集合或者分片首部中指定相同参考画面集合的短期子集。标记在当前分片使用的参考画面集合中包括的画面为“用于参考”,并且标记未在当前分片使用的参考画面集合中的画面为“未用于参考”。如果当前画面是IDR画面,则RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFol1都被设置成空。
可以在编码器中和/或在解码器中使用解码的画面缓冲器(DPB)。缓冲解码的画面有用于在帧间预测中的参考和用于将解码的画面重新排序成输出顺序这两个原因。由于H.264/AVC和HEVC为参考画面标记和输出重新排序二者提供大量灵活性,所以用于参考画面缓冲和输出画面缓冲的分离缓冲器可能浪费存储器资源。因此,DPB可以包括用于参考画面和输出重新排序的统一的解码的画面缓冲过程。解码的画面可以在它不再用作参考并且无需输出时从DPB被去除。
在H.264/AVC和HEVC的许多编码模式中,用指向参考画面列表的索引指示用于帧间预测的参考画面。用CABAC或者可变长度编码对索引进行编码。一般而言,索引越小,对应语法元素就可以变成越短。为每个双预测(B)分片生成两个参考画面列表(参考画面列表0和参考画面列表1),并且为每个帧间编码(P)的分片形成一个参考画面列表(参考画面列表0)。
典型高效率视频编码解码器、比如草案HEVC编码解码器运用一种常称为合并化/合并模式/过程/机制的附加运动信息编码/解码机制,其中预测和使用块/PU的所有运动场信息而无任何修改或者校正。用于PU的前述运动信息包括1)是否‘仅使用参考画面列表0来单预测PU’或者‘仅使用参考画面列表1来单预测PU’或者‘使用参考画面列表0和1二者来双预测PU’这样的信息、2)与参考画面列表0对应的运动矢量值、3)在参考画面列表0中的参考画面索引、4)与参考画面列表1对应的运动矢量值、5)在参考画面列表1中的参考画面索引。相似地,使用时间参考画面中的相邻块和/或共同位置的块的运动信息来实现预测运动信息。通常,通过包括与可用相邻/共同位置的块关联的运动预测候选来构造常称为合并列表的列表,并且用信令发送选择的运动预测候选在列表中的索引。然后向当前PU的运动信息复制选择的候选的运动信息。在合并机制被运用于整个CU并且用于CU的预测信号用作重构信号、即未处理预测残值时,这一类型的对CU进行编码/解码通常称为跳跃(skip)模式或者基于合并的跳跃模式。除了跳跃模式之外,合并机制也被运用于个体PU(未必如在跳跃模式中那样的整个CU),并且在这一情况下,可以利用预测残值以提高预测质量。这一类型的预测模式通常命名为帧间合并模式。
可以在两个步骤中构造参考画面列表、比如参考画面列表0和参考画面列表1:首先生成初始参考画面列表。可以例如基于frame_num、POC、temporal_id或者关于预测分级的信息、比如GOP结构或者其任何组合生成初始参考画面列表。其次可以按照在分片首部中包含的也称为参考画面列表修改语法结果的参考画面列表重新排序(RPLR)命令对初始参考画面列表进行重新排序。RPLR命令指示向相应参考画面列表的开头排序的画面。这一第二步骤也可以称为参考画面列表修改过程,并且可以在参考画面列表修改语法结构中包括RPLR命令。如果使用参考画面集合,则可以初始化参考画面列表0以先包含RefPicSetStCurr0、跟随有RefPicSetStCurr1、跟随有RefPicSetLtCurr。可以初始化参考画面列表1以首先包含RefPicSetStCurr1、跟随有RefPicSetStCurr0。
可以基于参考画面列表0和/或参考画面列表1、例如使用在分片首部语法中包括的参考画面列表组合语法结构来生成合并列表。可以有编码器创建到比特流中并且解码器从比特流解码的参考画面列表组合语法结构,该参考画面列表组合语法结构指示合并列表的内容。语法结构可以指示参考画面列表0和参考画面列表1被组合成用于单向预测的预测单元的附加参考画面列表组合。语法结构可以包括标志,该标志在等于某个值时指示参考画面列表0和参考画面列表1相同,因此参考画面列表0用作参考画面列表组合。语法结构可以包括条目列表,每个条目指定参考画面列表(列表0或者列表1)和指向指定的列表的参考索引,其中条目指定将在合并列表中包括的参考画面。
用于解码的参考画面标记的语法结构可以在视频编码***中存在。例如在已经完成画面的解码时,解码的参考画面标记语法结构如果存在则可以用来自适应地标记画面为“未用于参考”或者“用于长期参考”、如果解码的参考画面标记语法结构不存在并且标记为“用于参考”的画面的数目不再能够增加,则可以使用基本上标记最早(按照解码顺序)解码的参考画面为未用于参考的滑窗参考画面标记。
参考画面列表语法结构可以包括用于P和B分片的参考画面列表0描述、用于B分片的参考画面列表1描述以及用于包括如下那些参考画面的任何分片的空闲参考画面列表描述这三个部分,那些参考画面未被包括在参考画面列表0或者1中、但是仍然被保持标记为“用于参考”。换而言之,可以例如有为参考画面标记和参考画面列表构造二者提供信息的一个语法结构(而不是多于一个)。
在分片的解码开始时,可以解析参考画面列表语法结构。对于P和B分片,语法结构包括解码的用于列表0的参考画面列表描述。参考画面列表描述语法结构可以列举画面,这些画面由它们的按照它们在参考画面列表中出现的顺序的画面顺序计数(POC)标识。对于B分片,参考画面列表语法结构可以解码的包括用于列表1的参考画面列表描述。
可以省略参考画面列表初始化过程和/或参考画面列表修改过程,并且可以在语法结构中直接描述参考画面列表。
附加地或者取而代之,参考画面列表语法结构可以包括如果存在则解码的用于空闲参考画面列表的参考画面列表描述。
可以标记在参考画面列表中的任何参考画面列表中的画面为“用于参考”。可以标记未在参考画面列表中的画面为“未用于参考”。
换而言之,可以在单个统一的过程和语法结构中操纵参考画面列表构造和参考画面标记过程以及语法结构。
注意即使在空闲参考画面列表中的参考画面具有参考画面列表描述语法结构确定的指定的顺序,通常没有编码器应当按照什么顺序列举空闲参考画面的具体要求。在某种意义上,空闲参考画面列表可以经常视为无需列表或者集合。
参考画面列表0和列表1可以包含被指示未用于当前分片的参考的参考画面。例如超出num_ref_idx_l0_active_minus1的参考索引可以未用于当前分片的参考。可以指定在参考画面列表0和列表1中的这样的非参考的参考画面被标记为“用于参考”。备选地,可以指定如果参考画面仅作为非参考的参考画面被包括在列表0或者列表1中而未在空闲参考画面列表中或者作为参考的参考画面列表在列表0或者列表1中,则它被标记为“未用于参考”。备选地,在两个以上提到的标记规则之间的希望的标记规则或者任何其它确定性标记规则可以由编码器控制并且在比特流中、例如在序列参数集合SPS语法中被指示。例如如果在编码中消耗更少位,则在列表0或者列表1中包括参考画面作为非参考画面可以比在空闲参考画面列表中包括它优选。
在可伸缩视频编码中,视频信号可以被编码成基础层和一个或者多个增强层。增强层可以增强时间分辨率(即帧速率)、空间分辨率或者简单地增强另一层表示的视频内容或者其部分的质量。每层与所有它的依赖层一起是视频信号在某个空间分辨率、时间分辨率和质量水平的一个表示。在本文中,将可伸缩层与所有它的依赖层一起称为“可伸缩层表示”。可伸缩比特流的与可伸缩层表示对应的部分可以被提取和解码以在某个保真度产生原有信号的表示。
在一些情况下,在增强层中的数据可以在某个位置之后或者甚至在任意位置被截短,其中每个截短位置可以包括表示越来越增强的可视质量的附加数据。这样的可伸缩性称为细粒度化(粒度)可伸缩性(FGS)。在SVC标准的一些草案版本中包括FGS,但是从最终SVC标准最终排除它。在SVC的一些草案版本的上下文中随后讨论FGS。不能截短的这些增强层提供的可伸缩性称为粗粒度化(粒度)(CGS)。它共同地包括传统质量(SNR)可伸缩性和空间可伸缩性。SVC标准支持所谓中粒度化可伸缩性(MGS),其中质量增强画面与SNR可伸缩层画面相似地被编码、但是通过让quality_id语法元素大于0来与FGS层画面相似地由高级语法元素指示。
SVC使用层间预测机制,其中可以从除了当前重建的层之外的层或者下一较低层预测某些信息。可以层间预测的信息包括帧内纹理、运动和残值数据。层间运动预测包括块编码模式预测、首部信息等,其中从更低层的运动可以用于预测较高层。在帧内编码的情况下,从周围宏块或者从更低层的共同定位的宏块的预测是可能的。这些预测技术未运用来自更早编码的访问单元的信息、因此称为帧内预测技术。另外,来自更低层的残值数据也可以用于预测当前层。
SVC指定称为单循环解码的概念。它通过使用约束的帧内纹理预测模式来启用,其中层间帧内纹理预测可以应用于如下宏块(MB),对于这些宏块,基础层的对应块位于帧内MB内。同时,在基础层中的那些帧内MB使用约束的帧内预测(例如让语法元素“constrained_intra_pred_flag”等于1)。在单循环解码中,解码器仅对于希望回放的可伸缩层(称为“希望的层”或者“目标层”)执行运动补偿和全画面重建、由此大量地减少解码复杂性。除了希望的层之外的所有层无需被完全地解码,因为重建希望的层无需未用于层间预测的MB的数据的全部或者部分(假设它是层间帧内纹理预测、层间运动预测或者层间残值预测)。
多数画面的解码需要单个解码循环,而选择性地应用第二解码循环以重建基础表示,这些基础表示需要作为预测参考、但是无需输出或者显示并且仅被重建用于所谓关键画面(对于这些关键画面,“store_ref_base_pic_flag”等于1)。
在SVC草案中的可伸缩性结构由三个语法元素表征:“temporal_id”、“dependency_id”和“quality_id”。语法元素“temporal_id”用来指示时间可伸缩性分级或者间接地指示帧速率。包括更小最大“temporal_id”的画面的可伸缩层表示具有比包括更大最大“temporal_id”的画面的可伸缩层表示更小的帧速率。给定的时间层通常依赖于更低时间层(即具有更小“temporal_id”值的时间层)、但是未依赖于任何更高时间层。语法元素“dependency_id”用来指示CGS层间编码依赖性分级(该分级如更早提到的那样包括SNR和空间可伸缩性)。在任何时间级位置,更小“dependency_id”值的画面可以用于具有更大“dependency_id”值的画面的编码的层间预测。语法元素“quality_id”用来指示FGS或者MGS层的质量水平分级。在任何时间位置并且有相同“dependency_id”值,具有等于QL的“quality_id”的画面使用具有等于QL-1的“quality_id”的画面用于层间预测。具有大于0的“quality_id”的编码的分片可以被编码为可截短FGS分片或者非可截短MGS分片。
为了简化,在一个访问单元中的具有相同“dependency_id”值的所有数据单元(例如在SVC上下文中的网络抽象化层单元或者NAL单元)称为依赖性单元或者依赖性表示。在一个依赖性单元内,具有相同“quality_id”值的所有数据单元称为质量单元或者层表示。
也称为解码的基础画面的基础表示是对具有等于0的“quality_id”的依赖性单元的视频编码层(VCL)NAL单元进行解码所产生的并且“store_ref_base_pic_flag”被设置等于1的解码的画面。也称为解码的画面的增强表示由普通解码过程产生,在该普通解码过程中,对于最高依赖性表示而存在的所有层表示被解码。
如更早提到的那样,CGS包括空间可伸缩性和SNR可伸缩性。空间可伸缩性初始地被设计为支持视频的具有不同分辨率的表示。对于每个时间实例,VCL NAL单元在相同访问单元中被编码,并且这些VCL NAL单元可以对应于不同分辨率。在解码期间,低分辨率VCL NAL单元提供高分辨率画面的最终解码和重建可以可选地继承的运动场和残值。在与更旧视频压缩标准比较时,SVC的空间可伸缩性已经被广义化为使基础层能够是增强层的裁剪和缩放版本。
MGS质量层与FCS质量层相似地用“quality_id”来指示。对于每个依赖性单元(具有相同“dependency_id”),有具有等于0的“quality_id”的层,并且可以有具有大于0的“quality_id”的其它层。具有大于0的“quality_id”的这些层根据分片是否被编码为可截短分片而为MGS层或者FGS层。
在FGS增强层的基本形式中,仅使用层间预测。因此,FGS增强层可以被自由地截短而未在解码的序列中引起任何错误传播。然而FGS的基本形式受低压缩效率困扰。这一问题出现是因为仅低质量画面用于帧间预测参考。因此已经提出FGS增强的画面用作帧间预测参考。然而这可能在丢弃一些FGS数据时引起也称为漂移的编码-解码不匹配。
草案SVC标准的一个特征是FGS NAL单元可以被自由地丢弃或者截短,并且SVCV标准的特征是MGS NAL单元可以被自由地丢弃(但是不能被截短)而未影响比特流的顺应性。如以上讨论的那样,在那些FGS或者MGS数据已经在解码期间用于帧间预测参考时,数据的丢弃或者截短将造成在解码器侧中和在编码器侧中的解码的画面之间的不匹配。这一不匹配也称为漂移。
为了控制由于FGS或者MGS数据的丢弃或者截短所致的漂移,SVC应用以下解决方案:在某个依赖性单元中,基础表示(通过仅对具有等于0的“quality_id”的CGS画面和所有依赖于的更低层数据进行解码)存储于解码画面缓冲器中。在对具有相同“dependency_id”值的后续依赖性单元进行编码时,包括FGS或者MGS NAL单元的所有NAL单元使用基础表示用于帧间预测参考。因而,由于在更早访问单元中的FGS或者MGS NAL单元的丢弃或者截短所致的所有漂移在这一访问单元被停止。对于具有相同“dependency_id”值的其它依赖性单元,所有NAL单元使用解码的画面用于帧间预测参考以求高编码效率。
每个NAL单元在NAL单元首部中包括语法元素“use_ref_base_pic_flag”。在这一元素的值等于1时,NAL单元的解码在帧间预测过程期间使用参考画面的基本表示。语法元素“store_ref_base_pic_flag”指定是(在等于1时)否(在等于0时)存储当前画面的基础表示用于将来画面用于帧间预测。
具有大于0的“quality_id”的NAL单元不含与参考画面列表构造和加权预测有关的语法元素、即语法元素“num_ref_active_1x_minus1”(x=0或者1),参考画面列表重新排序语法表和加权预测语法表不存在。因而,MGS或者FGS层必须在需要时从相同依赖性单元的具有等于0的“quality_id”的NAL单元继承这些语法元素。
在SVC中,参考画面列表仅由基础表示(在“use_ref_base_pic_flag”等于1时)构成或者仅由未标记为“基础表示”的解码的画面(在“use_ref_base_pic_flag”等于0时)构成、但是从未同时由二者构成。
如更早指示的那样,MVC是H.264/AVC的扩展。H.264/AVC的定义、概念、语法结构、语义和解码过程中的许多定义、概念、语法结构、语义和解码过程也这样或者按照某些广义化或者约束而适用于MVC。在下文中描述MVC的一些定义、概念、语法结构、语义和解码过程。
定义在MVC中的访问单元为按照解码顺序连续的NAL单元集合并且包含由一个或者多个视图分量构成的确切一个主要编码的画面。除了主要编码的画面之外,访问单元也可以包含一个或者多个冗余编码的画面、一个辅助编码的画面或者不含编码的画面的分片或者分片数据部分的其它NAL单元。访问单元的解码在解码错误、比特流错误或者可能影响解码的其它错误未出现时产生由一个或者多个解码的视图分量构成的一个编码的画面。换而言之,在MVC中的访问单元包含用于一个输出时间实例的视图的视图分量。
在MVC中的视图分量称为在单个访问单元中的视图的编码表示。
视图间预测可以在MVC中被使用并且是指从相同访问单元的不同视图分量的解码的样本预测视图分量。在MVC中,与帧间预测相似地实现视图间预测。例如视图间参考画面被置于与用于帧间预测的参考画面相同的参考画面列表中,并且参考索引以及运动矢量对于视图间和帧间参考画面被相似地编码或者推断。
锚画面是如下编码的画面,在该编码的画面中,所有分片可以仅参考在相同访问单元内的分片、即可以使用视图间预测,但是未使用帧间预测,并且按照输出顺序的所有后继编码的画面未使用从按照解码顺序在编码的画面之前的任何画面的帧间预测。视图间预测可以用于IDR视图分量,这些IDR视图分量是非基础视图的部分。在MVC中的基础视图是在编码的视频序列中具有最小视图顺序索引值的视图。基础视图可以与其它视图独立地被解码并且未使用视图间预测。基础视图可以由仅支持单视图简档、比如H.264/AVC的基线简档或者高简档的H.264/AVC解码器解码。
在MVC标准中,MVC解码过程的子过程中的许多子过程通过分别用“视图分量”、“帧视图分量”和“场视图分量”替换在H.264/AVC标准的子过程规范中的术语“画面”、“帧”和“场”来使用H.264/AVC标准的相应子过程。类似地,术语“画面”、“帧”和“场”经常在下文中用来分别意味着“视图分量”、“帧视图分量”和“场视图分量”。
在可伸缩多视图编码中,相同比特流可以包含多个视图的编码的视图分量,并且至少一些编码的视图分量可以使用质量和/或空间可伸缩性来编码。
纹理视图是指如下视图,该视图表示普通视频内容、例如已经使用普通相机来捕获并且通常适合用于在显示器上渲染。纹理视图通常包括具有一个照度分量和两个色度分量这三个分量的画面。在下文中,除非例如用术语照度纹理画面和色度纹理画面以别的方式来指示,纹理画面通常包括所有它的分量画面或者色分量。
深度增强的视频是指具有一个或者多个视图的纹理视频,该一个或者多个视图与具有一个或者多个深度视图的深度视频关联。多种方式可以用于表示深度增强的视频、包括使用视频加上深度(V+D)、多视图视频加上深度(MVD)和分层深度视频(LDV)。在视频加上深度(V+D)表示中,分别表示单个纹理视图和相应深度视图为纹理画面和深度画面序列。MVD表示包含多个纹理视图和相应深度视图。在LDV表示中,常规地表示中心视图的纹理和深度,而其它视图的纹理和深度被部分地表示并且仅覆盖中间视图的正确视图合成所需要的去封闭区域。
深度增强的视频可以用其中纹理和深度被相互独立地编码的方式被编码。例如纹理视图可以被编码为一个MVC比特流并且深度视图可以被编码为另一MVC比特流。备选地,深度增强的视频可以用其中纹理和深度被联合地编码的方式被编码。在纹理和深度视图的联合编码被应用于深度增强的视频表示时,从深度画面的一些编码的样本或者在深度画面的解码过程中获得的数据元素预测或者推导纹理画面的一些解码的样本或者用于对纹理画面进行解码的数据元素。备选地或者附加地,从纹理画面的一些解码的样本或者在纹理画面的解码过程中获得的数据元素预测或者推导深度画面的一些加密的样本或者用于对深度画面进行解码的数据元素。
已经发现一种用于一些多视图3D视频(3DV)应用的解决方案是具有有限数目的输入视图、例如单一或者立体视图加上一些补充数据并且在解码器侧本地渲染(即合成)所有需要的视图。从用于视图渲染的若干可用技术,基于申屠图像的渲染(DIBR)已经表现为一种有竞争力的备选。
在图5中示出基于DIBR的3DV***的简化模型。3D视频编码解码器的输入包括立体视频和具有立体基线b0的对应深度信息。然后3D视频编码解码器合成在具有迹线(bi<b0)的两个输入视图之间的多个虚拟视图。DIBR算法也可以实现推测在两个输入视图以外而不在它们之间的视图。相似地,DIBR算法可以实现从单个纹理视图和相应深度视图的视图合成。然而为了实现基于DIBR的多视图渲染,纹理数据应当与对应深度数据一起在解码器侧可用。
在这样的3DV***中,在编码器侧为每个视频帧以深度画面(也称为深度映射)的形式产生深度信息。深度映射是具有每像素深度信息的图像。在深度映射中的每个样本表示相应纹理样本从相机落在其上的平面的距离。换而言之,如果z轴沿着相机的拍摄轴(并且因此与相机落在的平面正交),则在深度映射中的样本表示在z轴上的值。
可以通过各种手段来获得深度信息。例如可以从捕获相机配准的视差计算3D景物的深度。深度估计算法取得立体视图作为输入并且计算在视图的两个偏移图像之间的局部视差。每个图像在重叠块中被逐个像素处理,并且为每个像素块执行在偏移图像中对于匹配块的水平局部化搜索。一旦计算按像素的视差,按照等式(1)计算对应深度值z:
z = f &CenterDot; b d + &Delta;d - - - ( 1 ) ,
其中如图6中所示,f是相机的焦距并且b是在相机之间的基线距离。另外,d是指在两个相机之间观测到的视差,并且相机偏移Δd反映两个相机的光中心的可能水平错位。然而由于算法基于块匹配,所以按视差的深度估计的质量依赖于内容并且很经常不准确。例如,没有用于深度估计的简单直接解决方案有可能用于以无纹理或者大噪声水平的很平滑区域为特征的图像片段。
可以与深度映射相似地处理视差或者像差映射、比如在ISO/IEC国际标准23002-3中指定的像差映射。深度和视差具有简单直接对应性,并且可以通过数学方程通过彼此计算它们。
在访问单元内的纹理和深度视图分量的编码和解码顺序通常使得按照比特流/解码顺序,编码的视图分量的数据未被任何其它编码的视图分量交织,并且用于访问单元的数据未被任何其它访问单元交织。例如如图7中所示可以有在不同访问单元(t,t+1,t+2)中的两个纹理和深度视图(T0t,T1t,T0t+1,T1t+1,T0t+2,T1t+2,D0t,D1t,D0t+1,D1t+1,D0t+2,D1t+2),其中由纹理和深度视图分量(T0t,T1t,D0t,D1t)构成的访问单元t在比特流和解码顺序中先于由纹理和深度视图分量(T0t+1,T1t+1,D0t+1,D1t+1)构成的访问单元t+1。
在访问单元内的视图分量的编码和解码顺序可以由编码格式支配或者由编码器确定。纹理视图分量可以在相同视图的相应深度视图分量之前被编码,因此可以从相同视图的纹理视图分量预测这样的深度视图分量。这样的纹理视图分量可以例如由MVC编码器编码并且由MVC解码器解码。增强的纹理视图分量这里是指在相同视图的相应深度视图分量之后编码的纹理视图分量并且可以通过相应深度视图分量来预测。相同访问单元的纹理和深度视图分量通常按照视图依赖性顺序被编码。纹理和深度视图分量可以相对于彼此按照任何顺序被编码,只要排序服从提到的约束。
纹理视图和深度视图可以被编码成单个比特流,其中纹理视图中的一些纹理视图可以与一个或者多个视频标准、比如H.264/AVC和/或MVC兼容。换而言之,解码器可以能够可以能够对这样的比特流的纹理视图中的一些纹理视图进行解码并且可以省略其余纹理视图和深度视图。
在本文中,将一个或者多个纹理和深度视图编码成单个H.264/AVC和/或MVC兼容比特流的编码器也称为3DV-ATM编码器。这样的编码器生成的比特流可以称为3DV-ATM比特流。3DV-ATM比特流可以包括纹理视图中的、H.264/AVC和/或MVC解码器不能解码的纹理视图并且包括深度视图。能够对来自3DV-ATM比特流的所有视图进行解码的解码器也可以称为3DV-ATM解码器。
3DV-ATM比特流可以包括选择的数目的AVC/MVC兼容纹理视图。用于AVC/MVC兼容纹理视图的深度视图可以从纹理视图来预测。其余纹理视图可以利用增强的纹理编码,并且深度视图可以利用深度编码。
在图8中呈现能够对纹理视图和深度视图进行编码的编码器200的一个实施例的高级流程图,并且在图9中呈现能够对纹理视图和深度视图进行解码的解码器201的一个实施例的高级流程图。在这些图上,实线描绘主要数据流,并且虚线示出控制信息信号信令。编码器200可以接收纹理编码器202将编码的纹理分量201和深度编码器204将编码的深度映射分量203。在编码器200正在根据AVC/MVC对纹理分量进行编码时,可以关断第一开关205。在编码器200正在对增强的纹理分量进行编码时,可以接通第一开关205,从而可以向纹理编码器202提供深度编码器204生成的信息。这一示例的编码器也包括可以***作如下的第二开关206。在编码器正在对AVC/MVC视图的深度进行编码时接通第二开关206,并且在编码器正在对增强的纹理视图的深度信息进行编码时关断第二开关206。编码器200可以输出包含编码的视频信息的比特流207。
解码器210可以以相似方式、但是至少部分按照相反顺序操作。解码器210可以接收包含编码的视频信息的比特流207。解码器210包括用于对纹理信息进行解码的纹理解码器211和用于对深度信息进行解码的深度解码器212。可以提供第三开关213以控制从深度解码器212向纹理解码器211的信息递送,并且可以提供第四开关214以控制从纹理解码器211向深度解码器212的信息递送。在解码器210将对AVC/MVC纹理视图进行解码时,可以关断第三开关213,并且在解码器210将对增强的纹理视图进行解码时,可以接通第三开关213。在解码器210将对AVC/MVC纹理视图的深度进行解码时,可以接通第四开关214,并且在解码器210将对增强的纹理视图的深度进行解码时,可以关断第四开关214。解码器210可以输出重建的纹理分量215和重建的深度映射分量216。
许多视频编码器利用拉格朗日成本函数以发现速率-失真最优编码模式、例如希望的宏块模式和关联运动矢量。这一类型的成本函数使用加权因子或者λ以将由于有损编码方法所致的确切或者估计的图像失真和为了表示在图像区域中的像素/样本值而需要的确切或者估计的信息量连结在一起。拉格朗日成本函数可以由下式表示:
C=D+λR
其中C是待最小化的拉格朗日成本,D是当前考虑的模式和运动矢量的图像失真(例如在原有图像块中和在编码的图像块中的像素/样本值之间的均方误差),λ是拉格朗日系数,并且R是为了表示用于在解码器中重建图像块的所需数据(包括用于表示候选运动矢量的数据量)而需要的位数。
图1示出根据一个示例实施例的视频编码***的框图为示例装置或者电子设备50的示意框图,该装置或者电子设备可以并入根据本发明的一个实施例的编码解码器。图2示出根据一个示例实施例的装置的布局。接着将说明图1和2的单元。
电子设备50可以例如是无线通信***的移动终端或者用户设备。然而将理解可以在可能需要对视频图像进行编码和解码或者编码或者解码的任何电子设备或者装置内实施本发明的实施例。
装置50可以包括用于并入和保护设备的壳30。装置50还可以包括形式为液晶显示器的显示器32。在本发明的其它实施例中,显示器可以是适合于显示图像或者视频的任何适当显示器技术。装置50还可以包括键区34。在本发明的其它实施例中,可以运用任何适当数据或者用户接口机制。例如可以实施用户接口为虚拟键盘或者数据录入***作为触敏显示器的部分。装置可以包括麦克风36或者任何适当音频输入,该音频输入可以是数字或者模拟信号输入。装置50还可以包括如下音频输出设备,该音频输出设备在本发明的实施例中可以是以下各项中的任何一项:耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50也可以包括电池40(或者在本发明的其它实施例中,设备可以由任何适当移动能量设备、比如太阳能电池、燃料电池或者时钟机构生成器供电)。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中,装置50还可以包括任何适当近程通信解决方案、如比如蓝牙无线连接或者USB/火线有线连接。
装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58,该存储器在本发明的实施例中可以存储形式为图像的数据和音频数据二者和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者辅助由控制器56实现的编码和解码的编码解码器电路装置54。
装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46、例如UICC和UICC读取器。
装置50可以包括无线电接口电路装置52,该无线电接口电路装置连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信***或者无线局域网通信的无线通信信号。装置50还可以包括天线44,该天线连接到无线电接口电路装置52用于向其它装置发送在无线电接口电路装置52生成的射频信号以及用于从其它装置接收射频信号。
在本发明的一些实施例中,装置50包括能够记录或者检测个体帧的相机,这些帧然后向编码解码器54或者控制器传递用于处理。在本发明的一些实施例中,装置可以在传输和/或存储之前从另一设备接收视频图像数据用于处理。在本发明的一些实施例中,装置50可以无线或者通过有线连接接收图像用于编码/解码。
图3示出根据一个示例实施例的包括多个装置、网络和网元的用于视频编码的布置。关于图3,示出可以在其中利用本发明的实施例的***的示例。***10包括可以通过一个或者多个网络通信的多个通信设备。***10可以包括有线或者无线网络的任何组合、这些有线或者无线网络包括但不限于无线蜂窝电话网络(比如GSM、UMTS、CDMA网络等)、比如IEEE802.x标准中的任何标准定义的无线局域网(WLAN)、蓝牙专用网络、以太网局域网、令牌环局域网、广域网和因特网。
***10可以包括适合用于实施本发明的实施例的有线和无线通信设备二者或者装置50。例如图3中所示***示出移动电话网络11并且示出因特网28的表示。与因特网28的连通可以包括但不限于远程无线连接、近程无线连接和各种有线连接,这些有线连接包括但不限于电话线路、线缆线路、功率线路和相似通信途径。
***10中所示示例通信设备可以包括但不限于电子设备或者装置50、个人数字助理(PDA)和移动电话14的组合、PDA16、集成消息接发设备(IMD)18、桌面型计算机20、笔记本计算机22。装置50可以静止或者在由移动的个人携带时可移动。装置50也可以位于运输模式中,该运输模式包括但不限于小汽车、卡车、出租车、公共汽车、火车、船只、飞机、自行车、摩托车或者任何相似的适当运输模式。
一些或者更多装置可以发送和接收呼叫和消息并且通过与基站24的无线连接25与服务提供商通信。基站24可以连接到网络服务器26,该网络服务器允许在移动电话网络11与因特网28之间的通信。***可以包括附加通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术来通信,这些传输技术包括但不限于码分多址(CDMA)、全球移动通信***(GSM)、通用移动电信***(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-网际协议(TCP-IP)、短消息接发服务(SMS)、多媒体消息接发服务(MMS)、电子邮件、即时消息接发服务(IMS)、蓝牙、IEEE802.11和任何相似无线通信技术。参与实施本发明的各种实施例的通信设备可以使用各种介质来通信,这些介质包括但不限于无线电、红外线、激光、线缆连接和任何适当连接。
图4a和4b示出根据一个示例实施例的用于视频编码和解码的框图。
图4a示出编码器为包括像素预测器302、预测误差编码器303和预测误差解码器304。图4a也示出像素预测器302的一个实施例为包括帧间预测器306、帧内预测器308、模式选择器310、滤波器316和参考帧存储器318。在这一实施例中,模式选择器310包括块处理器381和成本评估器382。编码器还可以包括用于对比特流进行熵编码的熵编码器330。
图4b描绘帧间预测器306的一个实施例。帧间预测器306包括用于选择一个或者多个参考帧的参考帧选择器360、运动矢量定义器361、预测列表形成器363和运动矢量选择器364。这些单元或者它们中的一些单元可以是预测处理器362的部分或者可以通过使用其它装置来实施它们。
像素预测器302接收将在帧间预测器306(该帧间预测器确定在图像与运动补偿的参考帧318之间的差值)和帧内预测器308(该帧内预测器仅基于当前帧或者画面的已经处理的部分确定用于图像块的预测)二者编码的图像300。向模式选择器310传递帧间预测器和帧内预测器二者的输出。帧间预测器306和帧内预测器308二者可以具有多于一个帧内预测模式。因此,可以对于每个模式执行帧间预测和帧内预测并且可以向模式选择器310提供预测的信号。模式选择器310也接收图像300的副本。
模式选择器310确定使用哪个编码模式对当前块进行编码。如果模式选择器310判定使用帧间预测模式,则它将向模式选择器310的输出传递帧间预测器306的输出。如果模式选择器310判定使用帧内预测模式,则它将向模式选择器310的输出传递帧内预测器模式之一的输出。
模式选择器310可以在成本评估器块382中例如使用拉格朗日成本函数以通常在块基础上在编码模式及其参数、比如运动矢量、参考索引和帧内预测方向之间选择。这一种类的成本函数使用加权因子lambda以将由于有损编码方法所致的(确切或者估计的)图像失真与为了表示在图像区域中的像素值而需要的(确切或者估计的)信息量连结在一起:C=D+lambda×R,其中C是待最小化的拉格朗日成本,D是在考虑模式及其参数时的图像失真(例如均方误差),并且R是为了表示所需数据以在解码器中重构图像块而需要的位数(包括用于表示候选运动矢量的数据量)。
向第一求和设备321传递模式选择器的输出。第一求和设备可以从图像300减去像素预测器302的输出以产生向预测误差编码器303输入的第一预测误差信号320。
像素预测302还从初步重构器339接收图像块312的预测表示和预测误差解码器304的输出338的组合。可以向帧内预测器308和向滤波器316传递初步重构的图像314。接收初步表示的滤波器316可以对初步表示进行滤波并且输出可以在参考帧存储器318中保存的最终重构的图像340。参考帧存储器318可以连接到帧间预测器306以用作将来图像300在帧间预测操作中与之比较的参考图像。在许多实施例中,参考帧存储器318可以能够存储多于一个解码的画面,并且它们中的一个或者多个解码的画面可以由帧间预测器306用作将来图像300在帧间预测操作中与之比较的参考画面。参考帧存储器318可以在一些情况下也称为解码的画面缓冲器。
像素预测器302的操作可以被配置用于执行本领域已知的任何已知像素预测算法。
像素预测器302也可以包括用于在从像素预测器302输出预测的值之前对它们进行滤波。
下文将进一步具体描述预测误差编码器302和预测误差解码器的操作。在下文中,编码器按照将要形成全图像或者画面的16x16像素宏块生成图像。然而注意图4a不限于块大小16x16,但是一般可以使用任何块大小和形状,并且类似地,图4a不限于将画面分割成宏块,但是可以使用任何其它将画面分割成块、比如编码单元。因此,对于以下示例,像素预测器302输出大小为16x16个像素的系列预测的宏块,并且第一求和设备321输出系列16x16像素残值数据宏块,这些残值数据宏块可以表示在图像300中的第一宏块与预测的宏块(像素预测器302的输出)之间的差值。
预测误差编码器303包括变换块342和量化器344。变换块342将第一预测误差信号320变换到变换域。变换例如是DCT变换或者其它的变体。量化器344量化变换域信号、例如DCT系数以形成量化的系数。
预测误差解码器304从预测误差编码器303接收输出并且产生解码的预测误差信号338,该解码的预测误差信号在第二求和设备339与图像块312的预测表示组合时产生初步重构的图像314。可以认为预测误差解码器包括去量化器346和逆变换块348,该去量化器将量化的系数值、例如DCT系数去量化以近似地重构变换信号,该逆变换块348对重构的变换信号执行逆变换,其中逆变换块348的输出包含重构的块。预测误差解码器也可以包括可以根据进一步解码的信息和滤波器参数对重构的宏块进行滤波的宏块滤波器(未示出)。
在下文中,将更具体描述帧间预测器306的一个示例实施例的操作。帧间预测器306接收用于帧间预测的当前块。假设对于当前块,已经存在已经编码的一个或者多个邻近块,并且已经为它们定义运动矢量。例如在当前块的左侧上的块和/或以上的块可以是这样的块。可以例如通过使用在相同切片或者帧中的编码的邻近块和/或非邻居块的运动矢量、使用空间运动矢量预测的线性或者非线性函数、使用各种运动矢量与线性或者非线性运算的组合或者通过未利用时间参考信息的任何其它适当手段来形成用于当前块的空间运动矢量预测。也可以有可能通过比较一个或者多个编码的块的空间和时间预测信息二者来获得运动矢量预测。这些种类的运动矢量预测器也可以称为空间-时间运动矢量预测器。
可以向参考帧缓冲器存储在编码中使用的参考帧。可以在参考画面列表中的一个或者多个参考画面列表中包括每个参考帧,在参考画面列表内,每个条目具有标识参考帧的参考索引。在参考帧不再用作参考帧时,它可以从参考帧存储器被去除或者被标记为“不用于参考”或者非参考帧,其中该参考帧的存储位置可以被占用用于新参考帧。
实时传送协议(RTP)广泛用于实时传送定时的媒体、比如音频和视频。在RTP传送中,媒体数据被封装成多个RTP分组。可以指定RTP有效载荷格式用于通过RTP输送某个格式的编码的比特流。例如SVC RTP有效载荷格式草案已经在RFC6190由因特网工程任务组(IETF)指定。在SVC RTP有效载荷格式中,指定称为有效载荷内容可伸缩性信息(PASCI)NAL单元的NAL单元类型。PACSI NAL单元如果存在则为在包含多个NAL单元的聚合分组中的第一NAL单元,并且它不存在于其它类型的分组中。PACSI NAL单元指示对于在有效载荷中的所有其余NAL单元而言公共的可伸缩性特性、因此使得更易于媒体认知网元(MANE)判定是否转发/处理/丢弃聚合分组。发送器可以创建PACSI NAL单元。接收器可以忽略PACSI NAL单元或者使用它们作为用于实现高效聚合分组处理的暗示。在聚合分组的第一聚合单元包含PACSI NAL单元时,有存在于相同分组中的至少一个附加聚合单元。根据在聚合分组中的其余NAL单元设置RTP分组字段。
如以上描述的那样,访问单元可以包含不同分量类型(例如主要文本分量、冗余文本分量、辅助分量、深度/视差分量)的、不同视图的和不同可伸缩层的分片。对于一个分片而言公共的语法元素、例如在分片首部中常规地包括的语法元素可以跨越相同访问单元的不同分片具有相同值。然而常规地在每个分片中对这样的语法元素进行编码。在下文中,呈现不同实施例以减少用于对在访问单元中的多个分片中具有相同值的比特率或者位计数。
在许多实施例中,编码器在GOS(分片组)参数集中包括常规地已经在分片首部中包括的语法元素的至少子集。编码器可以将GOS参数集编码为NAL单元。GOS参数集NAL单元可以与例如编码的分片NAL单元一起包含在比特流中、但是也可以如在其它参数集的上下文中更早描述的那样被带外输送。
在一些实施例中,GOS参数集语法结构包括可以在参考例如来自分片首部或者另一GOS参数集的特定GOS参数集实例时使用的标识符。在一些实施例中,GOS参数集语法结构不包括标识符,但是编码器和解码器二者例如使用GOS参数集语法结构的比特流顺序和预定义的编号方案来推断标识符。
在一些实施例中,编码器和解码器从已经在比特流中编码或者解码或者存在的其它语法结构推断GOS参数集的内容或者实例。例如基础视图的纹理视图分量的分片首部可以隐式地形成GOS参数集。编码器和解码器可以推断用于这样的推断的GOS参数集的标识符值。例如可以推断由基础视图的纹理视图分量的分片首部形成的GOS参数集具有等于0的标识符值。
在一些实施例中,GOS参数集在与它关联的特定访问单元内有效。例如,如果在用于访问单元的NAL单元序列中包括GOS参数集语法结构,其中该序列按照解码或者比特流顺序,则GOS参数集可以从它的出现位置直至访问单元的结束有效。在一些实施例中,GOS参数集可以对于许多访问单元有效。
编码器可以对用于访问单元的许多GOS参数集进行编码。如果已知、预计或者估计在待编码的分片首部中的语法元素值的至少子集将在后续分片首部中相同,则编码器可以确定对GOS参数集进行编码。
有限编号空间可以用于GOS参数集标识符。例如固定长度码可以被使用并且可以被解释为某个范围的无符号整数值。编码器可以使用GOS参数集标识符值用于第一GOS参数集并且如果第一GOS参数集随后不被例如任何分片首部或者GOS参数集参考则随后用于第二GOS参数集。编码器可以在比特流内重复GOS参数集语法结构以例如实现防范传输错误的更佳稳健性。
在许多实施例中,在语法元素集合中在概念上汇集可以在GOS参数集中包括的语法元素。可以例如在以下基础中的一个或者多个基础上形成用于GOS参数集的语法元素集:
-指示可伸缩层和/或其它可伸缩性特征的语法元素
-指示视图和/或其它多视图特征的语法元素
-与特定分量类型、比如深度/视差有关的语法元素
-与访问单元标识、解码顺序和/或输出顺序和/或可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素
-可以在视图分量的所有分片中保持不变的语法元素
-与参考画面列表修改有关的语法元素
-与使用的参考画面集合有关的语法元素
-与解码参考画面标记有关的语法元素
-与用于加权预测的预测权重表有关的语法元素
-用于控制去块化滤波的语法元素
-用于控制自适应环路滤波的语法元素
-用于控制样本自适应偏移的语法元素
-以上集合的任何组合
对于每个语法元素集合,编码器可以在对GOS参数集进行编码时具有以下选项中的一个或者多个选项:
-可以将语法元素集合编码成GOS参数集语法结构、即可以在GOS参数集语法结构中包括语法元素集合的编码的语法元素值。
-可以通过参考将语法元素集合包含到GOS参数集中。可以给定该参考作为指向另一GOS参数集的标识符。编码器可以使用不同参考GOS参数集用于不同语法元素集合。
-可以指示或者推断语法元素集合在GOS参数集中不存在。
编码器能够在对GOS参数集进行编码时为特定语法元素集合从中选择的选项可以依赖于语法元素集合类型。例如与可伸缩层有关的语法元素集合可以总是存在于GOS参数集中,而可以在视图分量的所有分片中保持不变的语法元素集合可能不可用于通过参考来包含、但是可以可选地存在于GOS参数集中,并且与参考画面列表修改有关的语法元素可以通过参考而包含于GOS参数集语法结构中、这样包含于GOS参数集语法结构中或者在GOS参数集语法结构中不存在。编码器可以在比特流中、例如在GOS参数集语法结构中对在编码时使用哪个选项的指示进行编码。码表和/或熵编码可以依赖于语法元素集合的类型。解码器可以基于正在解码的语法元素集合的类型使用与编码器使用的码表和/或熵编码匹配的码表和/或熵编码。
编码器可以具有用于指示在语法元素集合与作为用于该语法元素集合的值的来源而使用的GOS参数集之间的关联的多个装置。例如编码器可以对语法元素循环进行编码,其中每个循环条目被编码为语法元素,这些语法元素指示用作参考的GOS参数集标识符值并且标识从参考GOS参数集复制的语法元素集合。在另一示例中,编码器可以对各自指示GOS参数集的多个语法元素进行编码。在包含特定语法元素集合的循环中的最后GOS参数集是用于编码器当前正在编码到比特流中的在GOS参数集中的该语法元素集合的参考。解码器相应地从比特流解析编码的GOS参数集以便再现与编码器相同的GOS参数集。
在示例实施例中,可以指定语法结构、语法元素的语义和解码过程如下。在粗体类型中表示在比特流中的语法元素。每个语法元素由它的名称(有下划线字符的所有小写字母)、可选地由它的一个或者两个语法类别和用于它的编码表示方法的一个或者两个描述符描述。解码过程根据语法元素的值和先前编码的语法元素的值表现。在语法表或者文本中使用语法元素的值时,它在普通(即非粗体)类型中出现。在一些情况下,语法表可以使用从语法元素值推导的其它变量的值。这样的变量在小写和大写字母的混合所命名的语法表或者文本中出现而无任何下划线字符。始于大写字母的变量被推导用于对当前语法结构进行解码并且都是依赖性语法结构。始于大写字母的变量可以在解码过程中用于以后语法结构而未提及变量的起源语法结果。始于小写字母的变量仅在其中推导它们的上下文中被使用。在一些情况下,用于语法元素值或者变量值的“助记”名称与它们的数值可互换的使用。有时使用“助记”名称而无任何关联数值。在文本中指定值和名称的关联。名称由被下划线字符分离的一组或者多组字符构造。每组始于大写字母并且可以包含更多大写字母。
在示例实施例中,可以使用如在H.264/AVC或者草案HEVC中指定的用于算术算符、逻辑算符、关系算符、按位算符、赋值算符和范围符号表示的公共符号表示,并且可以使用例如如在H.264/AVC或者草案HEVC中指定的算符的优先和执行顺序的公共顺序(从左向右或者从右向左)。
在示例实施例中,以下描述符可以用来指定每个语法元素的解析过程。
-b(8):具有任何位串模式(8位)的字节。
-se(v):以左位优先的有符号整数Exp-Golomb编码的语法元素。
-u(n):使用n位的无符号整数。在n是在语法表中的“v”时,位数以依赖于其它语法元素的值的方式变化。用于这一描述符的解析过程由来自比特流的n个接下来的位指定,这些位被解释为以最高有效位优先写入的无符号整数的二进制表示。
可以例如使用以下表将Exp-Golomb位串转换成代码编号(codeNum):
Bit string:位串
可以例如使用以下表将与将Exp-Golomb位串对应的码编号转换成se(v):
Syntax element value:语法元素值
在示例实施例中,可以使用以下各项来指定语法结构。在波形括号中包含的一组语句是复合语句并且在功能上视为单个语句。“while”结构指定测试条件是否成立并且如果成立则指定反复地评估语句(或者复合语句)直至条件不再成立。“do…while”结构指定评估语句一次、跟随有测试条件是否成立并且如果成立则指定评估主语句、否则指定评估备选语句。如果无需备选语句评估则省略结构的“else”部分和关联备选语句。“for”结构指定评估初始语句、跟随有测试条件并且如果条件成立则指定反复评估主语句、跟随有后续语句直至条件不再成立。
接着提供用于3DV-ATM的一个示例实施例。
为GOS参数集、增强的纹理视图的编码的分片和编码的深度分片定义3DV NAL单元。用于3DV NAL单元(例如使用NAL单元类型21)的NAL单元首部长度是2字节。第二字节包含temporal_id、3dv_nal_unit_type和gos_param_id.3dv_nal_unit_type指定NAL单元是否包含GOS参数集或者3DV分片。如果NAL单元包含GOS参数集,则gos_param_id提供在NAL单元中指定的GOS参数集的是否值。如果NAL单元包含分片,则gos_param_id参考如下GOS参数集,该GOS参数集包含用于分片的分片首部语法元素的值。在MVC NAL单元首部扩展中更早包括的语法元素存在于GOS参数集中。
用以下斜体节段追加nal_unit语法,其中假设为3DV NAL单元保留NAL单元类型21。
Descriptor:描述符
Specified in Annex G:在附录G中指定
Specified in Annex H:在附录H中指定
Equal to0x03:等于0x03
可以指定nal_unit_header_3dv_extension()的语法如下。
Descriptor:描述符
可以指定nal_unit_header_3dv_extension()的语义如下。
等于0的3dv_nal_unit_type指定NAL单元包含GOS参数集。等于1的3dv_nal_unit_type指定NAL单元包含编码的分片3DV扩展。
temporal_id指定用于NAL单元的时间标识符。在nal_unit_type等于1或者5并且NAL单元不被具有等于14的nal_unit_type的NAL单元紧接地居先,temporal_id可以被推断为等于用于在相同访问单元中的非基础视图的temporal_id的值。temporal_id的值可以对于访问单元的所有前缀、编码的分片MVC扩展和3DV NAL单元而言相同。在访问单元包含具有等于5的nal_unit_type或者等于0的non_idr_flag的任何NAL单元时,temporal_id可以等于0。向temporal_id指派值还可以被子比特流提取过程约束。
gos_param_id指定GOS参数集标识符。在3dv_nal_unit_type等于0时,gos_param_id指定用于在NAL单元中包含的编码的分片3DV扩展的GOS参数集的标识符。在3dv_nal_unit_type等于1时,gos_param_id指定在NAL单元中指定的GOS参数集的标识符。在3dv_nal_unit_type等于1时,gos_param_id可以在包括0和15的范围0到15中。在3dv_nal_unit_type等于0时,gos_param_id可以在包括0和15的范围0到15中。
指定3dv_nal_unit()、例如NAL单元类型21的语法如下:
Descriptor:描述符
指定gos_param_set()的语法、即GOS参数集语法结构如下:
Descriptor:描述符
指定gos_param_set()的语义如下:
等于0的slice_param_for_au_flag指定在slice_param_for_au()语法结构中包含的语法元素的值与在相同访问单元的任何其它GOS参数集或者分片首部语法结构中相同。等于1的slice_param_for_au_flag指定slice_param_for_au()语法结构存在于这一GOS参数集中。
在gos_parameter_inheritance_flag等于0时,指定ref_pic_list_modification_flag[i]、pred_weight_flag[i]和dec_ref_pic_marking_flag[i]如下。
–等于1的ref_pic_list_modification_flag[i]指定在gos_param_id标识的GOS参数集中生效的ref_pic_list_3dv_modification()语法结构存在。未指定等于0的ref_pic_list_modification_flag[i]的语义。
–等于1的pred_weight_flag[i]指定在gos_param_id标识的GOS参数集中生效的pred_weight_table()语法结构存在。未指定等于0的pred_weight_flag[i]的语义。
–等于1的dec_ref_pic_marking_flag[i]指定在gos_param_id标识的GOS参数集中生效的dec_ref_pic_marking()语法结构存在。未指定等于0的dec_ref_pic_marking_flag[i]的语义。
在gos_parameter_inheritance_flag等于1时,指定ref_gos_param_id[i]、ref_pic_list_modification_flag[i]、pred_weight_flag[i]和dec_ref_pic_marking_flag[i]如下。
–ref_gos_param_id[i]标识作为用于获得对于gos_param_id标识的GOS参数集而言生效的ref_pic_list_modification_flag[i]、pred_weight_flag[i]和dec_ref_pic_marking_flag[i]标识的语法结构的来源而使用的GOS参数集。等于0的ref_gos_param_id[i]标识相同访问单元的基础视图的纹理视图分量的分片首部被使用作为用于获得对于gos_param_id标识的GOS参数集而言生效的ref_pic_list_modification_flag[i]、pred_weight_flag[i]和dec_ref_pic_marking_flag[i]标识的语法结构的来源。
–等于1的ref_pic_list_modification_flag[i]指定ref_gos_param_id[i]标识的GOS参数集的ref_pic_list_3dv_modification()语法结构在gos_param_id标识的GOS参数集中生效。未指定等于0的ref_pic_list_modification_flag[i]的语义。
–等于1的pred_weight_flag[i]指定ref_gos_param_id[i]标识的GOS参数集的pred_weight_table()语法结构在gos_param_id标识的GOS参数集中生效。未指定等于0的pred_weight_flag[i]的语义。
–等于1的dec_ref_pic_marking_flag[i]指定ref_gos_param_id[i]标识的GOS参数集的dec_ref_pic_marking()语法结构在gos_param_id标识的GOS参数集中生效。未指定等于0的dec_ref_pic_marking_flag[i]的语义。
指定slice_param_for_3dv_view_component()的语法如下。语法结构包含值可以对于视图分量的所有分片而言保持不变的语法元素。
Descriptor:描述符
指定slice_param_for_3dv_view_component()的语义如下。
non_idr_flag、priority_id、view_id、anchor_pic_flag和inter_view_flag的语义在关联NAL单元是参考gos_param_id标识的GOS参数集的3DV NAL单元时与在MVC中相同。
等于0的depth_flag指定参考gos_param_id标识的GOS参数集的NAL单元包含用于增强的纹理视图分量的分片。等于1的depth_flag指定参考gos_param_id标识的GOS参数集的NAL单元包含用于深度视图分量的分片。
等于0的single_slice_flag指定参考gos_param_id标识的GOS参数集的视图分量可以具有多个分片。等于1的single_slice_flag指定参考gos_param_id标识的GOS参数集的每个视图分量包含确切一个分片。
等于0的initialisation_param_equal_flag指定无slice_param_for_3dv语法结构存在。等于1的initialisation_param_equal_flag指定slice_param_for_3dv语法结构存在。
指定slice_param_for_3dv的语法如下。可以在slice_param_for_3dv_view_component()语法结构中或者在slice_header_in_3dv_extension()语法结构中包括语法结构。
Descriptor:描述符
指定slice_param_for_3dv()的语义如下。
在slice_param_for_3dv_view_component()语法结构中包括slice_param_for_3dv()时,语法元素的值适用于视图分量的所有分片。在slice_header_in_3dv_extension()语法结构中包括slice_param_for_3dv()时,语法元素的值适用于在相同NAL单元中包含的分片。
在H.264/AVC中指定的语义适用于slice_param_for_3dv()的具有以下修改的语法元素。slice_type具有slice_type不等于3、4、8或者9的附加约束。在colour_plane_id存在时,在H.264/AVC中指定的语义适用。在depth_flag等于0时,推断separate_colour_plane_flag等于1,并且推断colour_plane_id等于0。direct_spatial_mv_pred_flag具有与在H.264/AVC中指定的相同语义而有以下修改。在RefPicList1[0]指向属于与当前视图分量相同的访问单元的视图间参考分量或者视图间仅参考分量时,direct_spatial_mv_pred_flag等于1。num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1具有与在MVC中指定的相同语义。等于0的dmvp_flag指定在MVC中指定的帧间和视图间预测过程适用。等于1的dmvp_flag指定基于深度的帧间和视图间预测过程适用。等于0的depth_weighted_pred_flag指定基于深度范围的加权预测没有用于深度视图分量的P和B分片。等于1的depth_weighted_pred_flag指定基于深度范围的加权预测被用于深度视图分量的P和B分片。
指定slice_param_for_au()的语法如下。语法结构包含值可以对于包含3DV NAL单元的访问单元的所有分片而言保持不变的语法元素。
Descriptor:描述符
指定slice_param_for_au()的语义如下。在H.264/AVC中指定的语义与以下附加约束适用。在slice_param_for_au中的语法元素的值可以在相同访问单元中包括的所有分片首部和slice_header_for_au语法结构中保持不变。
指定slice_header_in_3dv_extension()的语法如下。single_slice_flag和initialisation_param_equal_flag的值来自gos_param_id标识的GOS参数集。
Descriptor:描述符
指定slice_header_in_3dv_extension()的语义如下。在H.264/AVC中指定的语义适用。如果语法元素或者结构不存在于slice_header_in_3dv_extension()中,则从gos_param_id标识的GOS参数集继承它的值。
接着提供用于HEVC及其潜在可伸缩扩展的一个示例实施例。所述可伸缩扩展可以例如包括中粒度和/或粗粒度质量可伸缩性、空间可伸缩性、扩展的空间可伸缩性、多视图编码、深度增强的编码、辅助画面编码、位深度可伸缩编码或者其任何组合。
在启用可伸缩扩展时,访问单元可以由相对大量分量画面、比如编码的纹理和深度视图分量以及依赖性和层表示。一些分量画面的编码大小可以相对小,例如因为它们可以视为表示相对于基础视图或者基础层的增量并且因为深度分量画面可以相对易于压缩。因而,NAL单元首部和分片首部开销可以取用于这样的分量画面的比特计数的更大比例份额。
HEVC编码解码器可能易受传输错误影响,并且任何类型的错误隐藏可能造成错误的量值和空间面积二者随时间增加。这些传输***中的许多传输***、比如MPEG-DASH无错误。
在NAL单元首部中提供SVC和MVC的可伸缩性性质中的一些可伸缩性性质,由于这一点,NAL单元首部具有用于SVC和MVC的编码的分片的相对大的大小、即4字节。如果NAL单元首部或者分片首部给定对参数集的参考,其中可以提供可伸缩性性质,则可以实现更小NAL单元首部大小。然而这样的设计将要求执行比特流的子比特流提取或者可伸缩适配的实体、比如多媒体网关或者多点会议控制单元(MCU)必须具有对参数集的访问并且维持参数集的激活状态。
以下提供的示例实施例可以提供对用于联合地应付以下技术领域的解决方案。首先,示例实施例可以提供用于HEVC可伸缩扩展的挂机(hook)。第二,可以有可能提供无需访问参数集、解析参数集或者保持跟踪参数集激活的子比特流提取。第三,示例实施例可以提供NAL单元首部大小在与SVC和MVC的4字节首部比较时的减少。第四,它也可以提供分片首部字节计数开销在画面包含多个分片时的减少。第五,该示例实施例的又一提供可以包括减少在可伸缩扩展中的分片首部字节计数开销。
可以定义分量画面为分量画面定界符NAL单元和后续编码的分片NAL单元直至访问单元的结束或者直至下一分量画面定界符NAL单元——不含该下一分量画面定界符NAL单元——取二者中的按照解码顺序更早的无论任何一个。在实践中,在无可伸缩扩展的HEVC中,分量画面可以视为包含访问单元的编码的画面,并且在将来可伸缩扩展中,分量画面将例如包含视图分量、深度映射、依赖性表示、层表示。
分量画面使用分量画面定界符NAL单元来相互分离,该分量画面定界符NAL单元也可以携带将用于对分量画面的编码的分片进行解码的公共语法元素值。
在这一示例实施例中,每个分量画面被给予分量画面依赖性标识符(cpd_id),对于分量画面定界符NAL单元和对于编码的分片二者发信号通知该分量画面依赖性标识符、因此形成在它们之间的关联。
图10提供根据一个示例实施例的访问单元的结构的简化图示。
访问单元可以始于可以可选地存在的访问单元定界符NAL单元。零个或者更多SEI NAL单元可以跟随访问单元定界符NAL单元(如果存在)。分量画面定界符NAL单元居先于每个分量画面。分量画面包括一个或者多个编码的分片NAL单元。可以有在访问单元内的一个或者多个分量画面。
分片首部的语法元素被分类成语法元素结构,其中每个结构可以具有在分量画面内的相似特性、即在分量画面的所有编码的分片中保持不变或者在分量画面的编码的分片之间改变。例如可以指定以下语法元素结构或者分片参数结构:
1.画面标识(idr_pic_id和与POC有关)
2.参考画面集合
3.适配参数集ID
4.去块化滤波器控制
5.自适应环路滤波器控制
6.参考画面列表构造
7.用于加权预测的预测权重表
在对分量画面定界符NAL单元进行编码时,可以指示在以上提到的各项中的哪些项存在于分量画面定界符NAL单元中、因此在分量画面的所有编码的分片之中被共享。不存在于分量画面定界符NAL单元中的语法元素结构可以存在于分片首部中。
图11提供分量画面的示例,该分量画面包括分量画面定界符NAL单元和两个编码的分片NAL单元。分量画面NAL单元包括在以上列举的七个分片参数语法结构之中的三个分片参数语法结构:画面标识、参考画面集合和适配参数集ID。编码的分片从分量画面定界符NAL单元继承这些三个分片参数结构。在这一示例中,编码的分片的分片首部也包含在这一示例中被不同地适配用于编码的分片、因此不在分量画面定界符NAL单元中包括的参考画面列表构造结构。其余三个结构在这一示例中不存在,但是去块化滤波器和自适应环路滤波器的操作由生效的APS支配,并且加权预测在这一示例中未被使用,因此预测权重表不存在。
在其中即使丢失一个或者多个分量画面定界符、仍然可能希望分片的独立解码的环境中,可以使用以下策略中的任何策略:
–编码器可以选择不对在分量画面定界符中的分片首部语法元素进行编码、但是如常规地完成的那样对在分片首部中的分片首部语法元素进行编码。因此,可以达到与用当前HEVC WD相同的错误稳健性。
–可以引入一种用于重复分量画面定界符NAL单元的机制。可以在HEVC中引入该机制——例如可以引入其中在比特流中的任何点允许SEI消息的SEI机制,并且可以用这样的SEI消息携带分量画面定界符重复。备选地或者附加地,可以使用在传送级中的机制。例如可以在发送器认为适合时在例如在如下机制内携带的传送分组内重复分量画面定界符NAL单元,该机制比如是SVC RTP有效载荷格式的PACSI NAL单元。
为了甚至进一步在多个分量画面存在于访问单元中时减少用于携带分片首部参数的位计数,选择的参数的预测可以跨越分量画面定界符NAL单元发生。例如在深度增强的多视图视频编码时,可以有益的是在相同view_id的纹理和深度视图分量之间预测分片参数结构中的一些分片参数结构,而对于一些其它语法元素,更好的是从相同分量类型(纹理或者深度)的不同视图分量继承语法元素。
在实践中,用于非基础分量画面的分量画面定界符NAL单元可以通过包括或者通过参考另一分量画面定界符NAL单元来包括指示的语法元素结构。按照cpd_id值给出该参考。在具有等于CPDID1的cpd_id的分量画面定界符NAL单元中的语法元素被聚类成语法元素集合。可以从在相同访问单元中的具有等于CPDID2的cpd_id的更早分量画面定界符NAL单元选择性地复制每个语法元素集合。CPDID1大于CPDID2。因此,可以在分量画面之间高效和灵活地共享分片首部参数。
图12提供如下示例,该示例举例说明具有两个纹理和深度分量画面的多视图加上深度访问单元。假设这些分量画面的比特流顺序如下:基础视图纹理画面、基础视图深度画面、非基础视图纹理画面和非基础视图深度画面。在这一示例中,画面标识和参考画面集合结构在所有分量画面中相同、因此通过参考而包含于具有大于0的cpd_id的分量画面定界符NAL单元中。纹理分量画面的参考画面列表相同,并且用于深度分量画面的参考画面列表相同。然而纹理分量画面的参考画面列表不同于深度分量画面的参考画面列表。因此,预测源对于参考画面列表构造结构而言改变。在这一示例中,假设其余四个分片参数结构包含于分片首部中或者不存在。注意后两个画面定界符NAL单元的cpd_id可以是相同值(2),因为它们均未用于预测任何后续画面定界符NAL单元。
每个分量画面被给予也在NAL单元首部中用信令发送的分量画面依赖性标识符(cpd_id)。以可以基于cpd_id完成子比特流提取这样的方式约束cpd_id的值。换而言之,通过排除具有大于0的某个cpd_id的分量画面定界符NAL单元和编码的分片NAL单元来形成的比特流是相符比特流。
在这一示例实施例中,在NAL单元首部中包括cpd_id。因此,它具有有限值范围(例如5位)。在一般情况下,可以有在访问单元内的比该值范围提供的最大值(例如32)更大数目的分量画面。因而,可能必须在访问单元内重复使用cpd_id值。在一些示例实施例中,分量画面定界符NAL单元可以具有嵌套的预测结构、即可以从确定如下的分量画面定界符NAL单元预测而不是从任何其它分量画面定界符NAL单元预测具有等于CPDID1的cpd_id的分量画面定界符NAL单元。在下文中,按照解码顺序(即比特流顺序)用0,1,2,…对在访问单元内的分量画面定界符NAL单元编索引,并且具有等于CPDID1的cpd_id的当前分量画面定界符NAL单元的索引等于currIndex,其中currIndex大于0。这可以用以下伪代码来举例说明。
在伪代码中,
-输入参数cpdId[i]提供在访问单元内的具有索引i的分量画面定界符NAL单元的cpd_id值;
-输出参数numRefCpdIdx提供可以用来预测当前分量画面定界符NAL单元的分量画面定界符NAL单元数目;并且
-如果numRefCpdIdx大于0,则refCpdIdx[j]提供可以用于预测当前分量画面定界符NAL单元的分量画面定界符NAL单元的索引,其中j在包括0和numRefCpdIdx–1的范围0到numRefCpdIdx–1中。
因而,也可以在访问单元内按照更细粒度完成子比特流提取如下。如果从比特流去除由都具有等于CPDID1的cpd_id的分量画面定界符NAL单元和后继编码的分片NAL单元构成的分量画面,则可以用以下算法确定也应当从比特流去除的分量画面。如以上那样,在访问单元内的分量画面按照解码顺序(即比特流顺序)用0,1,2,…来编索引,并且(待去除的)当前分量画面的索引是currIndex,并且在访问单元内的分量画面总数是numIndex。
在伪代码中,“break”退出循环(如在C编程语言中那样)并且输入和输出如下:
-输入参数cpdId[i]提供在访问单元内的具有索引i的分量画面定界符NAL单元的cpd_id值;
-输出参数numToBeRemovedIdx提供除了当前分量画面之外还将从访问单元去除的分量画面数目;以及
-如果numToBeRemovedIdx大于0,则ToBeRemovedIdx[j]提供除了当前分量画面之外还将从访问单元去除的分量画面的索引,其中j在包括0和numToBeRemoved–1的范围0到numToBeRemoved–1中。
这一种去除或者子比特流提取过程未研究哪些分量画面定界符NAL单元实际上用于预测、但是仅使用那些分量画面定界符NAL单元可以如cpd_id语义的约束所支配的那样用于预测这样的信息。然而这一子比特流提取过程可以仅用在NAL单元首部中可访问的并且可以例如在媒体网关或者MCU中以简单直接方式使用的cpd_id值操作。
在下文中,描述一些语法结构的一个示例实施例。
NAL单元语法可以包括以下内容:
Descriptor:描述符
添加cpd_id的语义如下。cpd_id是分量画面的标识符。如以上描述的那样约束cpd_id的值。
NAL单元类型的表可以包括以下内容:
根据一个示例实施例的分量画面定界符NAL单元的语法结构如下。
Descriptor:描述符
Note:this branch is needed only in scalable extensions:注:仅在可伸缩扩展中需要这一分支
structure_idc是在这一语法结构中使用的结构的标识符。structure_idc可以用来指示在HEVC可伸缩扩展中指定的分片首部和分量画面的分量画面定界符NAL单元中存在的不同语法元素的存在和组合。具有不被识别的structure_idc值的分量画面定界符NAL单元可以在解码过程中被忽略。
等于0的single_slice_type_flag指定分量画面可以包括不同分片类型的分片。等于1的single_slice_type_flag指定分量画面的所有分片具有相同分片类型。
等于0的pred_flag是指定在这一NAL单元中包括后继指示的分片参数结构。等于1的pred_flag指定通过从具有等于ref_cpd_id[idx]的cpd_id的分量画面定界符NAL单元参考来包括后继指示的分片参数结构
ref_cpd_id[idx]指定作为用于指示的分片参数结构的参考而使用的分量画面定界符NAL单元。
slice_param_flag[i][idx]指定在这一分量分片定界符NAL单元中包括第i个分片参数结构。该包括通过参考另一分量画面定界符NAL单元来完成。
根据一个示例实施例,分片首部的语法可以包括以下内容:
Descriptor:描述符
在对分片首部进行解码或者解析之时,在具有相同cpd_id的先前分量画面定界符NAL单元中包括的语法元素生效。
可以指定以下分片参数语法结构。这些语法结构包括在草案HEVC规范的分片首部中驻留的参数。
Descriptor:描述符
Descriptor:描述符
Descriptor:描述符
Descriptor:描述符
Descriptor:描述符
Descriptor:描述符
Descriptor:描述符
在这些结构中的语法元素的语义与在草案HEVC规范中给定的语义相比未改变。
对于HEVC的可伸缩扩展,可以取用一个或者多个新structure_idc值。另外,可伸缩扩展可以取用一个或者多个新分片参数结构。以下提供用于具有与SVC的dependency_id和quality_id相似的dependency_id和quality_id的分量画面定界符NAL单元的可伸缩扩展的示例。
Descriptor:描述符
通过从一个分量画面定界符NAL单元参考来预测或者包括到另一分量画面定界符NAL单元可以以用于预测的参考分量画面定界符NAL单元和/或正在预测的分量画面定界符NAL单元的structure_idc值为条件来做出。例如某些分片参数结构可以对于深度分量画面有效,而它们可以对于纹理分量画面而言不存在,因此,这样的分片参数结构的预测未发生。
在上文中,已经借助比特流的语法描述示例实施例。然而需要理解对应结构和/或计算机程序可以在用于生成比特流的编码器和/或在用于对比特流进行解码的解码器驻留。类似地,在已经参照编码器描述示例实施例时,需要理解所得比特流和解码器在它们中具有对应要素和单元。类似地,在已经借助解码器描述示例实施例时,需要理解编码器具有用于生成将由解码器解码的比特流的结构和/或计算机程序。
虽然以上示例描述在电子设备内的编码解码器内操作的本发明的实施例,但是将认识可以实施如以下描述的本发明为任何视频编码解码器的部分。因此例如可以在视频编码解码器中实施本发明的实施例,该视频编码解码器可以通过固定或者有线通信路径实施视频编码。
因此,用户设备可以包括视频编码解码器、比如以上在本发明的实施例中描述的视频编码解码器。应当认识术语用户设备旨在于覆盖任何适当类型的无线用户设备、比如移动电话、便携数据处理设备或者便携web浏览器。
另外,公共陆地移动网络(PLMN)的单元也可以包括如以上描述的视频编码解码器。
一般而言,可以在硬件或者专用电路、软件、逻辑或者其任何组合中实施本发明的各种实施例。例如可以在硬件中实施一些方面而可以在控制器、微处理器或者其它计算设备可以执行的固件或者软件中实施其它方面,但是本发明不限于此。尽管本发明的各种方面可以被图示和描述为框图、流程图或者使用一些其它图形表示来图示和描述,但是合理地理解可以在作为非限制示例的硬件、软件、固件、专用电路或者逻辑、通用硬件或者控制器或者其它计算设备或者其某个组合中实施这里描述的这些块、装置、***、技术或者方法。
可以通过移动设备的数据处理器、比如在处理器实体中可执行的计算机软件或者通过硬件或者通过软件和硬件的组合来实施本发明的实施例。另外就这一点而言,应当注意如各图中的逻辑流程的任何块可以代表程序步骤或者互连的逻辑电路、块和功能或者程序步骤和逻辑电路、块和功能的组合。软件可以存储于比如在处理器内实施的存储器芯片或者存储器块、磁介质、比如硬盘或者软盘和光介质、如例如DVD及其数据变体CD这样的物理介质上。
可以借助在存储器中驻留并且使相关装置实现本发明的计算机程序代码实施本发明的各种实施例。例如终端设备可以包括用于操纵、接收和传输数据、在存储器中的计算机程序代码和处理器的电路装置和电子装置,该处理器在运行计算机程序代码时使终端设备实现一个实施例的特征。进而另外,网络设备可以可以包括用于操纵、接收和传输数据、在存储器中的计算机程序代码和处理器的电路装置和电子装置,该处理器在运行计算机程序代码时,使网络设备实现一个实施例的特征。
存储器可以是适合于本地技术环境的任何类型并且可以使用任何适当数据存储技术、比如基于半导体的存储器设备、磁存储器设备和***、光学存储器设备和***、固定存储器和可拆卸存储器来实施。数据处理器可以是适合于本地技术环境的任何类型并且可以包括作为非限制示例的通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多芯处理器架构的处理器中的一项或者多项。
可以在各种部件、比如集成电路模块中实现本发明的实施例。集成电路的设计主要是高度自动化过程。复杂而强大的软件工具可用于将逻辑级设计转换成准备好在半导体衬底上蚀刻和形成的半导体电路设计。
程序、比如Mountain View,California的Synopsys公司和SanJose,California的Cadence Design提供的程序使用建立好的设计规则以及预存的设计模块的库在半导体芯片上自动对导体布线和对部件定位。一旦已经完成用于半导体电路的设计,就可以按照标准化电子格式(例如Opus、GDSII等)向半导体制作设施或者“fab”发送所得设计用于制作。
前文描述已经通过示例而非限制的示例提供对本发明示例性实施例的完全而有启发的描述。然而各种修改和适配鉴于在与附图和所附权利要求结合阅读时的前文描述可以变得为相关领域技术人员所清楚。然而对本发明的教导的所有这样和相似的修改仍将落入本发明的范围内。
在下文中,将提供一些示例。
根据第一示例,提供一种将未压缩的画面编码成包括分片的编码的画面的方法,该方法包括:
将未压缩的画面编码成包括分片的编码的画面,编码包括:
将用于分片的语法元素分类成第一集合和第二集合;
确定用于第一集合和第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对第一集合进行编码,其中所述编码包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;并且
选择性地在第二组分片参数集或者分片首部中对第二集合进行编码,其中所述编码包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
在一些实施例中,该方法在一组分片参数集中至少包括语法元素的子集。
在一些实施例中,该方法包括通过已经在比特流中编码或者解码或者存在的其它语法结构推断一组分片参数集的内容或者实例。
在一些实施例中,该方法包括从基础视图的纹理视图分量的分片首部形成该组分片参数集。
在一些实施例中,该方法包括形成用于推断的一组分片参数集的标识符值。
在该方法的一些实施例中,一组分片参数集在与其关联的特定访问单元内有效。
在该方法的一些实施例中,在用于特定访问单元的网络抽象化层单元序列中包括一组分片参数集语法结构,其中序列按照解码或者比特流顺序,并且该组分片参数集从其出现位置直至访问的单元结束有效。
在该方法的一些实施例中,一组分片参数集对于多于一个访问单元有效。
在一些实施例中,该方法包括对用于访问单元的多组分片参数集进行编码。
在一些实施例中,该方法包括确定在待编码的分片首部中至少语法元素值的子集是否将在后续分片首部中相同并且如果是这样则在比特流中对该组分片参数集进行编码。
在该方法的一些实施例中,该组分片参数集语法结构包括标识符。
在一些实施例中,该方法包括使用标识符以参考特定一组分片参数集实例。
在一些实施例中,该方法包括使用标识符以从分片首部或者另一组分片参数集引用该组分片。
在该方法的一些实施例中,针对标识符使用预定编号空间。
在一些实施例中,该方法包括使用一组分片参数集标识符值用于第一组分片参数集并且如果第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
在一些实施例中,该方法包括在比特流内重复该组分片参数集语法结构。
在一些实施例中,该方法包括使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识该组分片参数集语法结构。
在一些实施例中,该方法包括从以下各项中的至少一个形成用于一组分片参数集的语法元素集合:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
可以在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
在一些实施例中,该方法在对该组分片参数集进行编码时包括以下各项中的一个或多个:
将语法元素集合编码成一组分片参数集语法结构;
通过参考将语法元素集合包括到一组分片参数集中;
指示语法元素集合在一组分片参数集中不存在。
在一些实施例中,该方法包括在该组分片参数集中包括与可伸缩层有关的语法元素集合并且在该组分片参数集中包括在视图分量的所有分片中保持不变的语法元素。
在一些实施例中,该方法包括在该组分片参数集语法结构中通过参考来包括与参考画面列表修改有关的语法元素、在一组分片参数集语法结构中包括语法元素或者在一组分片参数集语法结构中不存在语法元素。
在一些实施例中,该方法包括将一组分片参数集编码为网络抽象化层单元。
在一些实施例中,该方法包括与编码的分片网络抽象化层单元一起在比特流中对一组分片参数集NAL单元进行编码。
根据第二示例,提供一种装置,该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器一起,使使该装置:
将用于编码的画面的分片的语法元素分类成第一集合和第二集合;
确定用于第一集合和第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对第一集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;并且
选择性地在第二组分片参数集或者分片首部中对第二集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在一组分片参数集中至少包括语法元素的子集。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置通过已经在比特流中编码或者解码或者存在的其它语法结构推断一组分片参数集的内容或者实例。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置从基础视图的纹理视图分量的分片首部形成该组分片参数集。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置形成用于推断的一组分片参数集的标识符值。
在该装置的一些实施例中,一组分片参数集在与其关联的特定访问单元内有效。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在用于特定访问单元的网络抽象化层单元序列中包括一组分片参数集语法结构,其中序列按照解码或者比特流顺序,并且该组分片参数从它的出现位置直至访问的单元结束有效。
在该装置的一些实施例中,一组分片参数集对于多于一个访问单元有效。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置对用于访问单元的多组分片参数集进行编码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置确定在待编码的分片首部中至少语法元素值的子集是否将在后续分片首部中相同并且如果是这样则在比特流中对该组分片参数集进行编码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在该组分片参数集语法结构中包括标识符。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用标识符以参考特定一组分片参数集实例。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用标识符以从分片首部或者另一组分片参数集引用该组分片。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置针对标识符使用预定编号空间。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用一组分片参数集标识符值用于第一组分片参数集并且如果第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在比特流内重复该组分片参数集语法结构。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识该组分片参数集语法结构。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置从以下各项中的至少一个形成用于一组分片参数集的语法元素集合:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
可以在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在对一组分片参数集进行编码时执行以下操作中的一个或者多个操作:
将语法元素集合编码成一组分片参数集语法结构;
通过参考将语法元素集合包括到一组分片参数集中;
指示语法元素集合在一组分片参数集中不存在。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在该组分片参数集中包括与可伸缩层有关的语法元素集合并且在该组分片参数集中包括在视图分量的所有分片中保持不变的语法元素。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在该组分片参数集语法结构中通过参考来包括与参考画面列表修改有关的语法元素、在一组分片参数集语法结构中包括语法元素或者在一组分片参数集语法结构中不存在语法元素。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置将一组分片参数集编码为网络抽象化层单元。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置与编码的分片网络抽象化层单元一起在比特流中对一组分片参数集NAL单元进行编码。
根据第三示例,提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下操作:
将用于编码的画面的分片的语法元素分类成第一集合和第二集合;
确定用于第一集合和第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对第一集合进行编码,包括以下之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;并且
选择性地在第二组分片参数集或者分片首部中对第二集合进行编码,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在一组分片参数集中至少包括语法元素的子集。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置通过已经在比特流中编码或者解码或者存在的其它语法结构推断一组分片参数集的内容或者实例。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置从基础视图的纹理视图分量的分片首部形成该组分片参数集。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置形成用于推断的一组分片参数集的标识符值。
在该计算机程序产品的一些实施例中,一组分片参数集在与其关联的特定访问单元内有效。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在用于特定访问单元的网络抽象化层单元序列中包括一组分片参数集语法结构,其中序列按照解码或者比特流顺序,并且该组分片参数从它的出现位置直至访问的单元结束有效。
在该计算机程序产品的一些实施例中,一组分片参数集对于多于一个访问单元有效。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置对用于访问单元的多组分片参数集进行编码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置确定在待编码的分片首部中至少语法元素值的子集是否将在后续分片首部中相同并且如果是这样则在比特流中对该组分片参数集进行编码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在该组分片参数集语法结构中包括标识符。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置使用标识符以参考特定一组分片参数集示例。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置使用标识符以从分片首部或者另一组分片参数集引用该组分片。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置针对标识符使用预定编号空间针对标识符使用预定编号空间。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置使用一组分片参数集标识符值用于第一组分片参数集并且如果第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在比特流内重复该组分片参数集语法结构。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识该组分片参数集语法结构。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置从以下各项中的至少一个形成用于一组分片参数集的语法元素集合:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
可以在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在对一组分片参数集进行编码时执行以下操作中的一个或者多个操作:
将语法元素集合编码成一组分片参数集语法结构;
通过参考将语法元素集合包括到一组分片参数集中;
指示语法元素集合在一组分片参数集中不存在。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在该组分片参数集中包括与可伸缩层有关的语法元素集合并且在该组分片参数集中包括在视图分量的所有分片中保持不变的语法元素。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置在一组分片参数集语法结构中通过参考来包括与参考画面列表修改有关的语法元素、在一组分片参数集语法结构中包括语法元素或者在一组分片参数集语法结构中不存在语法元素。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置将一组分片参数集编码为网络抽象化层单元。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置与编码的分片网络抽象化层单元一起在比特流中对一组分片参数集NAL单元进行编码。
根据第四示例,提供一种装置,该装置包括:
用于将用于编码的画面的分片的语法元素分类成第一集合和第二集合的装置;
用于确定用于第一集合和第二集合的语法元素值的装置;
用于选择性地在第一组分片参数集或者分片首部中对第一集合进行编码的装置,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第一集合的指示;或者
对第一集合的语法元素值进行编码;或者
省略以上两个操作;并且
用于选择性地在第二组分片参数集或者分片首部中对第二集合进行编码的装置,包括以下操作之一:
提供对包括来自另一组分片参数集的相应第二集合的指示;或者
对第二集合的语法元素值进行编码;或者
省略以上两个操作。
根据第五示例,提供一种方法,该方法包括:
对编码的画面的编码的分片进行解码,解码包括:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;并且
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;并且
使用解码的第一和第二语法元素集合对编码的分片进行解码。
在一些实施例中,该方法包括如果第一指示不指示第三组分片参数集则对第一集合的语法元素进行解码。
在一些实施例中,该方法包括如果第二指示不指示第四组分片参数集则对第二集合的语法元素进行解码。
根据第六示例,提供一种装置,该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器使该装置:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;并且
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;并且
使用解码的第一和第二语法元素集合对编码的分片进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置如果第一指示不指示第三组分片参数集则对第一集合的语法元素进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置如果第二指示不指示第四组分片参数集则对第二集合的语法元素进行解码。
根据第七示例,提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下操作::
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;并且
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;并且
使用解码的第一和第二语法元素集合对编码的分片进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置如果第一指示不指示第三组分片参数集则对第一集合的语法元素进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时还使该装置如果第二指示不指示第四组分片参数集则对第二集合的语法元素进行解码。
根据第八示例,提供一种方法,该方法包括:
对编码的画面的编码的分片进行解码,解码包括:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集,则对第一集合的语法元素进行解码;并且
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集,则对第二集合的语法元素进行解码;并且
使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码。
在一些实施例中,该方法包括通过一组分片参数集至少对语法元素的子集进行解码。
在一些实施例中,该方法包括通过已经在比特流中编码或者解码或者存在的其它语法结构推断一组分片参数集的内容或者实例。
在一些实施例中,该方法包括对指示推断的一组分片参数集的标识符值进行解码。
在该方法的一些实施例中,一组分片参数集在与其关联的特定访问单元内有效。
在该方法的一些实施例中,在用于特定访问单元的网络抽象化层单元序列中包括该组分片参数集语法结构,其中序列按照解码或者比特流顺序,并且该组分片参数集从其出现位置直至访问的单元结束有效。
在该方法的一些实施例中,一组分片参数集对于多于一个访问单元有效。
在一些实施例中,该方法包括对用于访问单元的多组分片参数集进行解码。
在该方法的一些实施例中,该组分片参数集语法结构包括标识符。
在一些实施例中,该方法包括使用标识符以引用特定一组分片参数集实例。
在一些实施例中,该方法包括使用标识符以从分片首部或者另一组分片参数集引用一组分片。
在该方法的一些实施例中,针对标识符使用预定编号空间。
在一些实施例中,该方法包括使用一组分片参数集标识符值用于第一组分片参数集并且如果第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
在一些实施例中,该方法包括从比特流对重复的组分片参数集语法结构进行解码。
在一些实施例中,该方法包括使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识该组分片参数集语法结构。
在一些实施例中,该方法包括从用于该组分片参数集的语法元素集合进行解码以获得以下各项中的至少一个:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
可以在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
在一些实施例中,该方法在对一组分片参数集进行解码时包括以下操作中的一个或者多个操作:
从一组分片参数集语法结构对语法元素集合进行解码;
确定语法元素集合是否已经通过参考而被包括到一组分片参数集中;
确定语法元素集合是否被指示在一组分片参数集中不存在。
在一些实施例中,该方法包括从该组分片参数集对与可伸缩层有关的语法元素集合进行解码,并且从该组分片参数集对在视图分量的所有分片中保持不变的语法元素进行解码。
在一些实施例中,该方法包括确定与参考画面列表修改有关的语法元素是通过参考而被包括在该组分片参数集语法结构中、是在该组分片参数集语法结构中被包括还是在该组分片参数集语法结构中不存在。
在一些实施例中,该方法包括从网络抽象化层单元对一组分片参数集进行解码。
在一些实施例中,该方法包括与编码的分片网络抽象化层单元一起从比特流对一组分片参数集NAL单元进行解码。
根据第九示例,提供一种装置,该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器一起,使该装置:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集,则对第一集合的语法元素进行解码;并且
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集,则对第二集合的语法元素进行解码;并且
使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置通过一组分片参数集至少对语法元素的子集进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置通过已经在比特流中编码或者解码或者存在的其它语法结构推断一组分片参数集的内容或者实例。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置对指示推断的一组分片参数集的标识符值进行解码。
在该装置的一些实施例中,一组分片参数集在与其关联的特定访问单元内有效。
在该装置的一些实施例中,在用于特定访问单元的网络抽象化层单元序列中包括该组分片参数集语法结构,其中序列按照解码或者比特流顺序,并且该组分片参数集从其出现位置直至访问的单元结束有效。
在该装置的一些实施例中,一组分片参数集对于多于一个访问单元有效。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置对用于访问单元的多组分片参数集进行解码。
在该装置的一些实施例中,该组分片参数集语法结构包括标识符。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用标识符以引用特定一组分片参数集实例。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用标识符以从分片首部或者另一组分片参数集引用一组分片。
在该装置的一些实施例中,针对标识符使用预定编号空间。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用一组分片参数集标识符值用于第一组分片参数集并且如果第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置从比特流对重复的组分片参数集语法结构进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识该组分片参数集语法结构。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置从用于该组分片参数集的语法元素集合进行解码以获得以下各项中的至少一个:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
可以在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置在对一组分片参数集进行解码时执行以下操作中的一个或者多个操作:
从一组分片参数集语法结构对语法元素集合进行解码;
确定语法元素集合是否已经通过参考而被包括到一组分片参数集中;
确定语法元素集合是否被指示在一组分片参数集中不存在。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置从该组分片参数集对与可伸缩层有关的语法元素集合进行解码,并且从该组分片参数集对在视图分量的所有分片中保持不变的语法元素进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置确定与参考画面列表修改有关的语法元素是通过参考而被包括在该组分片参数集语法结构中、是在该组分片参数集语法结构中被包括还是在该组分片参数集语法结构中不存在。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置从网络抽象化层单元对一组分片参数集进行解码。
在该装置的一些实施例中,所述至少一个存储器在其上存储有代码,代码在由所述至少一个处理器执行时还使该装置与编码的分片网络抽象化层单元一起从比特流对一组分片参数集NAL单元进行解码。
根据第十示例,提供一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使装置至少执行以下操作:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应,通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集,则对第一集合的语法元素进行解码;并且
对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应,通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集,则对第二集合的语法元素进行解码;并且
使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从一组分片参数集对语法元素的至少子集进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置通过已经在比特流中编码或者解码或者存在的其它语法结构推断一组分片参数集的内容或者实例。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置对指示推断的一组分片参数集的标识符值进行解码。
在该计算机程序产品的一些实施例中,一组分片参数集在与其关联的特定访问单元内有效。
在该计算机程序产品的一些实施例中,在用于特定访问单元的网络抽象化层单元序列中包括该组分片参数集语法结构,其中序列按照解码或者比特流顺序,并且该组分片参数集从其出现位置直至访问的单元结束有效。
在该计算机程序产品的一些实施例中,一组分片参数集对于多于一个访问单元有效。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置对用于访问单元的多组分片参数集进行解码。
在该计算机程序产品的一些实施例中,该组分片参数集语法结构包括标识符。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用标识符以引用特定一组分片参数集实例。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用标识符以从分片首部或者另一组分片参数集引用一组分片。
在该计算机程序产品的一些实施例中,针对标识符使用预定编号空间。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用一组分片参数集标识符值用于第一组分片参数集并且如果第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从比特流对重复的组分片参数集语法结构进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识该组分片参数集语法结构。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从用于该组分片参数集的语法元素集合进行解码以获得以下各项中的至少一个:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与可以对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
可以在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
在一些实施例中,该计算机程序产品在对一组分片参数集进行解码时包括以下操作中的一个或者多个操作:
从一组分片参数集语法结构对语法元素集合进行解码;
确定语法元素集合是否已经通过参考而被包括到一组分片参数集中;
确定语法元素集合是否被指示在一组分片参数集中不存在。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从该组分片参数集对与可伸缩层有关的语法元素集合进行解码,并且从该组分片参数集对在视图分量的所有分片中保持不变的语法元素进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置确定与参考画面列表修改有关的语法元素是通过参考而被包括在该组分片参数集语法结构中、是在该组分片参数集语法结构中被包括还是在该组分片参数集语法结构中不存在。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置从网络抽象化层单元对一组分片参数集进行解码。
在一些实施例中,该计算机程序产品包括一个或者多个指令的一个或者多个序列,一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时使该装置与编码的分片网络抽象化层单元一起从比特流对一组分片参数集NAL单元进行解码。
根据第十一示例,提供一种方法,该方法包括:
用于对编码的画面的编码的分片进行解码的装置,该解码包括:
用于标识将用于对编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一的装置,
用于对将用于对编码的分片进行解码的第一语法元素集合和第二语法元素集合进行解码的装置,包括:
用于对包括来自第三组分片参数集的相应第一集合的第一指示进行解码,并且作为对第一指示是指示第三组分片参数集的响应、通过第三组分片参数集对相应第一语法元素集合进行解码;或者如果第一指示不指示第三组分片参数集则对第一集合的语法元素进行解码的装置;以及
用于对包括来自第四组分片参数集的相应第二集合的第二指示进行解码,并且作为对第一指示是指示第四组分片参数集的响应、通过第四组分片参数集对相应第一语法元素集合进行解码;或者如果第二指示不指示第四组分片参数集则对第二集合的语法元素进行解码的装置;以及
用于使用解码的第一语法元素集合和第二语法元素集合对编码的分片进行解码的装置。

Claims (20)

1.一种方法,包括:
将未压缩的画面编码成包括分片的编码的画面,所述编码包括:
将用于所述分片的语法元素分类成第一集合和第二集合;
确定用于所述第一集合和所述第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对所述第一集合进行编码,其中所述编码包括以下之一:
提供对包括来自另一组分片参数集的相应所述第一集合的指示;或者
对所述第一集合的所述语法元素值进行编码;或者
省略以上两个操作;以及
选择性地在第二组分片参数集或者所述分片首部中对所述第二集合进行编码,其中所述编码包括以下之一:
提供对包括来自另一组分片参数集的相应所述第二集合的指示;或者
对所述第二集合的所述语法元素值进行编码;或者
省略以上两个操作。
2.根据权利要求1所述的方法,包括通过已经在比特流中编码或者解码或者存在的其它语法结构来推断一组分片参数集的内容或者实例。
3.根据权利要求1或者2所述的方法,包括从基础视图的纹理视图分量的分片首部形成所述组分片参数集。
4.根据权利要求1至3中任一项所述的方法,其中一组分片参数集在与其相关联的特定访问单元内有效,其中在用于特定访问单元的网络抽象化层单元序列中包括所述组分片参数集语法结构,其中所述序列按照解码或者比特流顺序,并且所述组分片参数集从其出现位置直至所述访问单元结束有效。
5.根据权利要求1至4中任一项所述的方法,包括确定在待编码的分片首部中至少语法元素值的子集是否将在后续分片首部中相同,并且如果是这样则在比特流中对所述组分片参数集进行编码。
6.根据权利要求1至5中任一项所述的方法,包括使用一组分片参数集标识符值用于第一组分片参数集并且如果所述第一组分片参数集随后未被任何分片首部或者任何一组分片参数集引用则随后用于第二组分片参数集。
7.根据权利要求1至6中任一项的方法,包括使用一组分片参数集语法结构的比特流顺序和预定义的编号方案来标识所述组分片参数集语法结构。
8.根据权利要求1至7中任一项所述的方法,包括从以下各项中的至少一个形成用于所述一组分片参数集的所述语法元素集合:
指示可伸缩层和/或其它可伸缩性特征的语法元素;
指示视图和/或其它多视图特征的语法元素;
与多视图视频的特定分量类型有关的语法元素;
与访问单元标识有关的语法元素;
与解码顺序有关的语法元素;
与输出顺序有关的语法元素;
与能够对于访问单元的所有分片保持不变的其它语法元素有关的语法元素;
能够在视图分量的所有分片中保持不变的语法元素;
与参考画面列表修改有关的语法元素;
与使用的参考画面集合有关的语法元素;
与解码参考画面标记有关的语法元素;
与用于加权预测的预测权重表有关的语法元素;
用于控制去块化滤波的语法元素;
用于控制自适应环路滤波的语法元素;
用于控制样本自适应偏移的语法元素。
9.一种装置,包括至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起,使所述装置:
将用于编码的画面的分片的语法元素分类成第一集合和第二集合;
确定用于所述第一集合和所述第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对所述第一集合进行编码,包括以下之一:
提供对包括来自另一组分片参数集的相应所述第一集合的指示;或者
对所述第一集合的所述语法元素值进行编码;或者
省略以上两个操作;以及
选择性地在第二组分片参数集或者所述分片首部中对所述第二集合进行编码,包括以下之一:
提供对包括来自另一组分片参数集的相应所述第二集合的指示;或者
对所述第二集合的所述语法元素值进行编码;或者
省略以上两个操作。
10.一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时,使装置至少执行以下:
将用于编码的画面的分片的语法元素分类成第一集合和第二集合;
确定用于所述第一集合和所述第二集合的语法元素值;
选择性地在第一组分片参数集或者分片首部中对所述第一集合进行编码,包括以下之一:
提供对包括来自另一组分片参数集的相应所述第一集合的指示;或者
对所述第一集合的所述语法元素值进行编码;或者
省略以上两个操作;以及
选择性地在第二组分片参数集或者所述分片首部中对所述第二集合进行编码,包括以下之一:
提供对包括来自另一组分片参数集的相应所述第二集合的指示;或者
对所述第二集合的所述语法元素值进行编码;或者
省略以上两个操作。
11.一种装置,包括:
用于将用于编码的画面的分片的语法元素分类成第一集合和第二集合的装置;
用于确定用于所述第一集合和所述第二集合的语法元素值的装置;
用于选择性地在第一组分片参数集或者分片首部中对所述第一集合进行编码的装置,包括以下之一:
提供对包括来自另一组分片参数集的相应所述第一集合的指示;或者
对所述第一集合的所述语法元素值进行编码;或者
省略以上两个操作;以及
用于选择性地在第二组分片参数集或者所述分片首部中对所述第二集合进行编码的装置,包括以下之一:
提供对包括来自另一组分片参数集的相应所述第二集合的指示;或者
对所述第二集合的所述语法元素值进行编码;或者
省略以上两个操作。
12.一种方法,包括:
对编码的画面的编码的分片进行解码,所述解码包括:
标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应,通过所述第三组分片参数集对相应第一语法元素集合进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应,通过所述第四组分片参数集对相应第一语法元素集合进行解码;以及
使用解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码。
13.一种装置,包括至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起,使所述装置:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应,通过所述第三组分片参数集对相应第一语法元素集合进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应,通过所述第四组分片参数集对相应第一语法元素集合进行解码;以及
使用所述解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码。
14.一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时,使装置至少执行以下:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应,通过所述第三组分片参数集对相应第一语法元素集合进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应,通过所述第四组分片参数集对相应第一语法元素集合进行解码;以及
使用所述解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码。
15.一种方法,包括:
对编码的画面的编码的分片进行解码,所述解码包括:
标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应,通过所述第三组分片参数集对相应第一语法元素集合进行解码;或者如果所述第一指示不指示所述第三组分片参数集,则对所述第一集合的语法元素进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应,通过所述第四组分片参数集对相应第一语法元素集合进行解码;或者如果所述第二指示不指示所述第四组分片参数集,则对所述第二集合的语法元素进行解码;以及
使用解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码。
16.根据权利要求15所述的方法,包括通过已经在比特流中编码或者解码或者存在的其它语法结构来推断一组分片参数集的内容或者实例。
17.根据权利要求15或者16所述的方法,其中一组分片参数集在与它关联的特定访问单元内有效,其中在用于特定访问单元的网络抽象化层单元序列中包括所述组分片参数集语法结构,其中所述序列按照解码或者比特流顺序,并且所述组分片参数集从其出现位置直至所述访问单元结束有效。
18.一种装置,包括至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起,使所述装置:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应,通过所述第三组分片参数集对相应第一语法元素集合进行解码;或者如果所述第一指示不指示所述第三组分片参数集,则对所述第一集合的语法元素进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应,通过所述第四组分片参数集对相应第一语法元素集合进行解码;或者如果所述第二指示不指示所述第四组分片参数集,则对所述第二集合的语法元素进行解码;以及
使用解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码。
19.一种包括一个或者多个指令的一个或者多个序列的计算机程序产品,所述一个或者多个指令的所述一个或者多个序列在由一个或者多个处理器执行时,使装置至少执行以下:
通过以下操作对编码的画面的编码的分片进行解码:
标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一,
对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码,包括:
对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应,通过所述第三组分片参数集对相应第一语法元素集合进行解码;或者如果所述第一指示不指示所述第三组分片参数集,则对所述第一集合的语法元素进行解码;以及
对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应,通过所述第四组分片参数集对相应第一语法元素集合进行解码;或者如果所述第二指示不指示所述第四组分片参数集,则对所述第二集合的语法元素进行解码;以及
使用解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码。
20.一种方法,包括:
用于对编码的画面的编码的分片进行解码的装置,所述解码包括:
用于标识将用于对所述编码的分片进行解码的第一语法元素集合的第一位置和第二语法元素集合的第二位置为分片首部或者一组分片参数集之一的装置,
用于对将用于对所述编码的分片进行解码的所述第一语法元素集合和所述第二语法元素集合进行解码的装置,包括:
用于对包括来自第三组分片参数集的相应所述第一集合的第一指示进行解码,并且作为对所述第一指示是指示所述第三组分片参数集的响应、通过所述第三组分片参数集对相应第一语法元素集合进行解码;或者如果所述第一指示不指示所述第三组分片参数集则对所述第一集合的语法元素进行解码的装置的装置;以及
用于对包括来自第四组分片参数集的相应所述第二集合的第二指示进行解码,并且作为对所述第一指示是指示所述第四组分片参数集的响应、通过所述第四组分片参数集对相应第一语法元素集合进行解码;或者如果所述第二指示不指示所述第四组分片参数集则对所述第二集合的语法元素进行解码的装置;以及
用于使用解码的所述第一语法元素集合和所述第二语法元素集合对所述编码的分片进行解码的装置。
CN201380016357.2A 2012-02-01 2013-01-31 用于视频编码的方法和装置 Active CN104205819B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261593519P 2012-02-01 2012-02-01
US61/593,519 2012-02-01
PCT/FI2013/050103 WO2013113997A1 (en) 2012-02-01 2013-01-31 Method and apparatus for video coding

Publications (2)

Publication Number Publication Date
CN104205819A true CN104205819A (zh) 2014-12-10
CN104205819B CN104205819B (zh) 2017-06-30

Family

ID=48869870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380016357.2A Active CN104205819B (zh) 2012-02-01 2013-01-31 用于视频编码的方法和装置

Country Status (9)

Country Link
US (2) US9479775B2 (zh)
EP (1) EP2810443B1 (zh)
JP (1) JP5947405B2 (zh)
KR (1) KR101669524B1 (zh)
CN (1) CN104205819B (zh)
BR (1) BR112014018856B1 (zh)
CA (1) CA2863131C (zh)
SG (1) SG11201404509QA (zh)
WO (1) WO2013113997A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇(北京)科技有限公司 一种码流及其封装方法、解码方法及装置
CN112468818A (zh) * 2021-01-22 2021-03-09 腾讯科技(深圳)有限公司 视频通信的实现方法及装置、介质和电子设备
US11343505B2 (en) 2019-02-01 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11375188B2 (en) 2019-03-23 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
CN114731442A (zh) * 2019-09-16 2022-07-08 Lg电子株式会社 使用加权预测的图像编码/解码方法和装置以及发送比特流的方法
US11412238B2 (en) 2019-03-14 2022-08-09 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
EP2842323A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
US9813705B2 (en) 2012-04-26 2017-11-07 Qualcomm Incorporated Parameter set coding
US9332269B2 (en) * 2012-06-27 2016-05-03 Broadcom Corporation Slice overhead coding
DK2868082T3 (en) 2012-06-29 2016-09-12 ERICSSON TELEFON AB L M (publ) Coding and decoding video sequences comprehensive referencebilledsæt
US9686542B2 (en) 2012-09-05 2017-06-20 Qualcomm Incorporated Network abstraction layer header design
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
US9380307B2 (en) 2012-11-19 2016-06-28 Qualcomm Incorporated Method and system for intra base layer (BL) transform in video coding
US9648319B2 (en) 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US10021388B2 (en) * 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
US9473779B2 (en) 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US20140301436A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Cross-layer alignment in multi-layer video coding
WO2015002444A1 (ko) * 2013-07-01 2015-01-08 삼성전자 주식회사 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec
JP6212212B2 (ja) * 2013-10-11 2017-10-11 ヴィド スケール インコーポレイテッド Hevc拡張のための高レベル構文
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
KR101851479B1 (ko) 2014-01-03 2018-04-23 노키아 테크놀로지스 오와이 파라미터 세트 코딩
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
FR3018417B1 (fr) * 2014-03-04 2017-07-28 Sagemcom Broadband Sas Procede de modification d'un flux video binaire.
FR3029381A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de composition d’une representation video intermediaire
US10370060B2 (en) * 2015-10-30 2019-08-06 Shimano Inc. Bicycle electrical component assembly
GB2547442B (en) * 2016-02-17 2022-01-12 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
CN117041564A (zh) * 2016-11-29 2023-11-10 成均馆大学校产学协力团 影像编码/解码方法、装置以及对比特流进行存储的记录介质
CN106878753B (zh) * 2017-02-16 2020-04-28 南京理工大学 一种使用纹理平滑信息的3d视频残差编码模式选择方法
EP3489900A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
KR102503743B1 (ko) * 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN114125450B (zh) * 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
KR102627814B1 (ko) 2018-06-29 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
KR20240007298A (ko) 2018-06-29 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
TWI719526B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 查找表的更新
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
BR112021007509A2 (pt) 2018-10-27 2021-07-27 Huawei Technologies Co., Ltd. lista de mesclagem separada para candidatos de mesclagem de sub-bloco e harmonização de técnicas intra-inter para codificação de vídeo
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
WO2020184672A1 (ja) 2019-03-12 2020-09-17 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
WO2020184673A1 (ja) * 2019-03-12 2020-09-17 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113711606A (zh) * 2019-04-15 2021-11-26 Lg 电子株式会社 基于缩放列表数据的信令的视频或图像编译
CN114026863A (zh) * 2019-06-24 2022-02-08 交互数字Vc控股公司 使用高级语法元素发信号通知解码数据的方法和装置
GB2586517B (en) * 2019-08-23 2022-06-15 Imagination Tech Ltd Methods and decompression units for decompressing a compressed block of image data
US11535339B2 (en) * 2019-08-30 2022-12-27 Shimano Inc. Bicycle derailleur
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
KR102192631B1 (ko) * 2019-11-28 2020-12-17 주식회사우경정보기술 병렬 포렌식 마킹 장치 및 방법
US11902584B2 (en) 2019-12-19 2024-02-13 Tencent America LLC Signaling of picture header parameters
CN115004710A (zh) * 2020-01-09 2022-09-02 瑞典爱立信有限公司 图像头存在
WO2021195588A1 (en) * 2020-03-26 2021-09-30 Alibaba Group Holding Limited Methods and apparatuses for signaling picture header
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations
EP4113996A1 (en) * 2021-06-30 2023-01-04 Panasonic Intellectual Property Corporation of America Encoding mergable bitstreams with subpictures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190774A1 (en) * 2004-02-27 2005-09-01 Thomas Wiegand Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
CN101283599A (zh) * 2005-10-12 2008-10-08 汤姆森许可贸易公司 感兴趣区域h.264可分级视频编码
CN101374243A (zh) * 2008-07-29 2009-02-25 宁波大学 一种应用于3dtv与ftv***的深度图编码压缩方法
WO2009136681A1 (en) * 2008-05-08 2009-11-12 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for displaying image
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248124A (ja) * 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
EP1879583A2 (en) * 2005-05-03 2008-01-23 Mutual Pharmaceutical Company, Inc. Quinine formulations
KR20090129412A (ko) 2007-03-02 2009-12-16 엘지전자 주식회사 비디오 신호 디코딩/인코딩 방법 및 장치
CN101785317B (zh) 2007-08-15 2013-10-16 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
KR20090089960A (ko) * 2008-02-20 2009-08-25 엘지전자 주식회사 초고해상도 영상 인코딩 및 디코딩 방법 및 장치
CN102257818B (zh) * 2008-10-17 2014-10-29 诺基亚公司 3d视频编码中运动向量的共享
JP2010157821A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP5614901B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングThomson Licensing 3dvの参照ピクチャ・リスト
US9591320B2 (en) * 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
KR101830787B1 (ko) * 2011-07-12 2018-02-21 삼성전자 주식회사 수기로 작성된 메모 데이터 검색 방법 및 장치
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) * 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US20130188709A1 (en) * 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
TW201342884A (zh) 2012-01-31 2013-10-16 Sony Corp 編碼裝置及編碼方法、以及解碼裝置及解碼方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190774A1 (en) * 2004-02-27 2005-09-01 Thomas Wiegand Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
CN101283599A (zh) * 2005-10-12 2008-10-08 汤姆森许可贸易公司 感兴趣区域h.264可分级视频编码
WO2009136681A1 (en) * 2008-05-08 2009-11-12 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for displaying image
CN101374243A (zh) * 2008-07-29 2009-02-25 宁波大学 一种应用于3dtv与ftv***的深度图编码压缩方法
CN102055982A (zh) * 2011-01-13 2011-05-11 浙江大学 三维视频编解码方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇(北京)科技有限公司 一种码流及其封装方法、解码方法及装置
US11343505B2 (en) 2019-02-01 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11394995B2 (en) 2019-02-01 2022-07-19 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11627333B2 (en) 2019-02-01 2023-04-11 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and palette mode
US11412238B2 (en) 2019-03-14 2022-08-09 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US12028535B2 (en) 2019-03-14 2024-07-02 Beijing Bytedance Network Technology Co., Ltd Signaling and syntax for in-loop reshaping information
US11375188B2 (en) 2019-03-23 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
CN114731442A (zh) * 2019-09-16 2022-07-08 Lg电子株式会社 使用加权预测的图像编码/解码方法和装置以及发送比特流的方法
CN114731442B (zh) * 2019-09-16 2023-12-01 Lg电子株式会社 使用加权预测的图像编码/解码方法和装置以及发送比特流的方法
CN112468818A (zh) * 2021-01-22 2021-03-09 腾讯科技(深圳)有限公司 视频通信的实现方法及装置、介质和电子设备

Also Published As

Publication number Publication date
SG11201404509QA (en) 2014-08-28
EP2810443A1 (en) 2014-12-10
CN104205819B (zh) 2017-06-30
WO2013113997A1 (en) 2013-08-08
US10397610B2 (en) 2019-08-27
EP2810443B1 (en) 2021-03-31
JP5947405B2 (ja) 2016-07-06
US20130194384A1 (en) 2013-08-01
BR112014018856A2 (zh) 2017-06-20
KR101669524B1 (ko) 2016-11-09
EP2810443A4 (en) 2016-11-09
CA2863131A1 (en) 2013-08-08
BR112014018856B1 (pt) 2022-09-20
JP2015509345A (ja) 2015-03-26
BR112014018856A8 (pt) 2017-07-11
CA2863131C (en) 2017-03-28
US20170048550A1 (en) 2017-02-16
KR20140130152A (ko) 2014-11-07
US9479775B2 (en) 2016-10-25

Similar Documents

Publication Publication Date Title
CN104205819B (zh) 用于视频编码的方法和装置
CN104604236B (zh) 用于视频编码的方法和装置
CN104813669B (zh) 用于视频编码的方法和装置
CN105981387B (zh) 用于处理视频的方法、装置和计算机可读存储介质
CN104584549B (zh) 用于视频编码的方法和装置
CN104396244B (zh) 用于视频编码和解码的装置、方法和计算机可读存储介质
CN104025599B (zh) 参考图片处理
CN104160706B (zh) 对图像进行编码的方法和装置以及对图像比特流进行解码的方法和装置
CN104521238B (zh) 用于3d视频编码的装置和方法
CN105531999B (zh) 涉及用于信号传输运动信息的语法的视频编码方法及装置
CN105556965B (zh) 用于视频编码和解码的方法、装置和计算机程序产品
CN106105220B (zh) 用于视频编码和解码的方法和装置
CN104380749A (zh) 用于视频编码的方法和装置
CN105580373B (zh) 用于视频编码和解码的装置和方法
CN105308965B (zh) 用于3d视频编码的协调视图间和视图合成预测
CN104641642A (zh) 用于视频编码的方法和装置
CN106664424A (zh) 参数集编码
CN105027567A (zh) 用于视频编码和解码的方法和装置
CN112005551B (zh) 一种视频图像预测方法及装置
CN105325003A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN106416250A (zh) 视频编码和解码
CN105519118A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN106464891A (zh) 用于视频编码和解码的方法和装置
CN113711594A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN104604223A (zh) 用于视频编码和解码的装置、方法和计算机程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160114

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant