CN105009590A - 用于视频信息的可缩放译码的装置和方法 - Google Patents

用于视频信息的可缩放译码的装置和方法 Download PDF

Info

Publication number
CN105009590A
CN105009590A CN201480012805.6A CN201480012805A CN105009590A CN 105009590 A CN105009590 A CN 105009590A CN 201480012805 A CN201480012805 A CN 201480012805A CN 105009590 A CN105009590 A CN 105009590A
Authority
CN
China
Prior art keywords
bit depth
video
video unit
pixel information
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480012805.6A
Other languages
English (en)
Other versions
CN105009590B (zh
Inventor
郭立威
陈建乐
李想
克里希纳坎斯·拉帕卡
濮伟
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105009590A publication Critical patent/CN105009590A/zh
Application granted granted Critical
Publication of CN105009590B publication Critical patent/CN105009590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种经配置以译码视频信息的设备包括存储器单元和与所述存储器单元通信的处理器。所述存储器单元经配置以存储与参考层RL和增强层EL相关联的视频信息。所述EL包括EL视频单元，且所述RL包括对应于所述EL视频单元的RL视频单元。所述处理器经配置以在单个组合式过程中对所述RL视频单元的像素信息执行上取样和位深度转换，以确定所述EL视频单元的经预测像素信息，且使用所述经预测像素信息来确定所述EL视频单元。

Description

用于视频信息的可缩放译码的装置和方法
技术领域
本公开涉及视频译码和压缩领域，明确地说，涉及可缩放视频译码(SVC)或多视图视频译码(MVC、3DV)。
背景技术
数字视频能力可并入到较宽范围的装置中，包括数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字的视频装置实施视频压缩技术，例如MPEG-2；MPEG-4；ITU-T H.263；ITU-TH.264/MPEG-4，第10部分；高级视频译码(AVC)；目前尚在开发的高效视频译码(HEVC)标准所界定的标准以及此类标准的扩展中所描述的那些技术。通过实施此类视频译码技术，视频装置可更高效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测，来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧、视频帧的一部分等)分为若干视频块，其也可称为树块、译码单元(CU)和/或译码节点。相对于同一图片中的相邻块中的参考样本，使用空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，且相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。
空间或时间预测针对待译码的块产生预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成预测块的参考样本块的运动向量，以及指示经译码块与预测块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出残余变换系数，其接着可量化。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵编码来实现更多的压缩。
发明内容
可缩放视频译码(SVC)指代视频译码，其中使用基础层(BL)(有时称为参考层(RL))和一个或一个以上可缩放增强层(EL)。在SVC中，基础层可运载具有基础品质等级的视频数据。所述一个或一个以上增强层可运载额外视频数据，以支持例如较高的空间、时间和/或信噪(SNR)等级。可相对于先前编码的层来界定增强层。举例来说，底部层可充当BL，而顶部层可充当EL。中间层可充当EL或RL，或两者。举例来说，中间的层可为其下面的层(例如基础层或任何增强层)的EL，且同时充当其上面的一个或一个以上增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，存在多个视图，且可利用一个视图的信息来译码(例如，编码或解码)另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)。
在SVC中，可使用基础层的像素信息来预测增强层中的当前块。举例来说，在用于增强层的称为帧内BL模式的译码模式中，可使用基础层中的位于同一位置的块的纹理来预测增强层中的当前块的纹理(例如，像素或样本值)(如本发明中所使用的术语“位于同一位置”可指代另一层中对应于与当前块相同的图片的块，例如，当前正被预测的块)。因此，代替于发射当前块的纹理，视频编码器可仅发射当前块的纹理与位于同一位置的基础层块之间的差异(例如，残差)。
然而，对于例如空间可缩放性和位深度可缩放性等某些可缩放性方案，在将基础层像素信息用于预测增强层像素信息之前，可能需要修改基础层像素信息。举例来说，在空间可缩放性中，在将基础层像素信息用来预测增强层像素信息之前，可需要对基础层像素信息进行上取样(例如，根据分辨率)，且在位深度可缩放性中，在将基础层像素信息用于预测增强层像素信息之前，基础层像素信息可需要经历位深度转换(例如，位移了位深度差)。当空间可缩放性和位深度可缩放性两者均存在时，在将基础层像素信息用于预测增强层像素信息之前，可需要上取样基础层像素信息，并将其转换到不同的位深度。然而，在两个单独的过程中执行上取样和位深度转换可导致译码效率和/或预测准确度降低(例如，舍入误差)。因此，通过将上取样过程和位深度转换过程组合成单级过程，可改进译码效率，且可降低计算复杂性。
本公开的***、方法和装置各自具有若干创新方面，无单个方面单独负责本文所揭示的合意属性。
在一个实施例中，经配置以译码(例如，编码或解码)视频信息的设备包括存储器单元和与所述存储器单元通信的处理器。存储器单元经配置以存储与参考层(RL)和增强层(EL)相关联的视频信息，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元。处理器经配置以在单级过程对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息，且使用所预测的像素信息来确定EL视频单元。
在一个实施例中，一种译码(例如，编码或解码)视频信息的方法包括：存储与参考层(RL)和增强层(EL)相关联的视频信息，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元；在单个组合过程中对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息；以及使用所预测的像素信息来确定EL视频单元。
在一个实施例中，一种非暂时性计算机可读媒介包括代码，其在被执行时，致使设备执行过程。所述过程包括：存储与参考层和增强层(EL)相关联的视频信息，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元；在单个组合过程中对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息；以及使用所预测的像素信息来确定EL视频单元。
在一个实施例中，一种经配置以译码视频信息的视频译码装置包括：用于存储与参考层(RL)和增强层(EL)相关联的视频信息的装置，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元；用于在单个组合过程中对RL视频单元的像素信息执行上取样和位深度转换以确定视频单元的所预测的像素信息的装置；以及用于使用所预测的像素信息来确定EL视频单元的装置。
附图说明
图1是说明可利用根据本发明中所描述的方面的技术的视频编码和解码***的实例的框图
图2A是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。
图2B是可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。
图3A是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。
图3B是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。
图4是说明不同维度的SVC可缩放性的概念图。
图5是说明SVC位流的实例结构的概念图。
图6是说明SVC位流中的存取单元的概念图。
图7是说明根据本发明一个实施例的层间预测的实例的概念图。
图8是说明根据本发明一个实施例译码视频信息的方法的流程图。
图9是说明根据本发明另一实施例的译码视频信息的方法的流程图。
具体实施方式
本文所描述的某些实施例涉及用于高级视频编解码器(例如HEVC(高效视频译码))的情境中的可缩放视频译码的层间预测。更具体地说，本发明涉及用于HEVC的可缩放视频译码(SVC)扩展中的层间预测的改进性能的***和方法。
在下文的描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文在HEVC和/或H.264标准的上下文中描述了某些实施例，但所属领域的一般技术人员可了解，本文所揭示的***和方法可适用于任何合适的视频译码标准。举例来说，本文所揭示的实施例可适用于以下标准中的一个或一个以上：ITU-TH.261、ISO/IEC MPEG-1视觉、ITU-TH.262或ISO/IEC MPEG-2视觉、ITU-TH.263、ISO/IEC MPEG-4视觉和ITU-TH.264(也称为ISO/IEC MPEG-4AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
HEVC通常在许多方面遵循先前视频译码标准的框架。HEVC中的预测单元不同于某些先前视频译码标准中的预测单元(例如，宏块)。事实上，如某些先前视频译码标准中所理解，HEVC中不存在宏块的概念。宏块被基于四叉树方案的分层结构代替，其可提供较高的灵活性，以及其它可能益处。举例来说，在HEVC方案内，界定三种类型的块，译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指代区分割的基本单元。CU可被视为类似于宏块的概念，但其并不限制最大大小，且可允许递归分割成四个相等大小的CU，以改进内容适应性。PU可被视为帧间/帧内预测的基本单元，且其可在单个PU内含有多个任意形状的分区，以有效地译码不规则图像图案。TU可被视为变换的基本单元。TU可独立于PU来界定；然而，其大小可限于TU所属的CU。此将块结构分为三个不同概念的举动可允许其各自根据其角色来优化，这可产生改进的译码效率。
仅出于说明的目的，用仅包括两个层(例如，低等级层，例如基础层，和高等级层，例如增强层)的实例来描述本文所揭示的某些实施例。应理解，此类实例可适用于包括多个基础和/或增强层的配置。另外，为了便于阐释，以下揭示内容参考某些实施例，包括术语“帧”或“块”。然而，这些术语无意为限制性的。举例来说，下文所描述的技术可结合任何合适的视频单元使用，例如块(例如，CU、PU、TU、宏块等)、切片、帧等。
视频译码标准
数字图像，例如视频图像、TV图像、静止图像或由录像机或计算机产生的图像，可由布置成水平和垂直线的像素或样本组成。单个图像中的像素的数目通常为数万个。每一像素通常含有亮度和色度信息。在未经压缩的情况下，将从图像编码器传送到图像解码器的信息的量如此巨大以致其渲染实时图像传输是不可能的。为了减少待发射的信息的量，已开发了若干不同的压缩方法，例如JPEG、MPEG和H.263标准。
视频译码标准包括ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ITU-TH.263、ISO/IEC MPEG-4视觉，以及ITU-TH.264(也称为ISO/IECMPEG-4AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
另外，ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合协作团队(JCT-VC)正在开发一种新的视频译码标准，即高效视频译码(HEVC)。HEVC草案10的完整引用为文献JCTVC-L1003，布罗斯(Bross)等人的“High EfficiencyVideo Coding(HEVC)Text Specification Draft 10(高效视频译码(HEVC)文本说明书草案10)”，ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合工作团队(JCT-VC)，第12次会议：日内瓦，瑞士，2013年1月14日到2013年1月23日。
下文参考附图更完整地描述新颖***、设备和方法的各个方面。然而，本发明可以许多不同形式来体现，且不应被解释为限于贯穿本发明而呈现的任何特定结构或功能。相反，提供这些方面是为了使本发明将全面且完整，且将向所属领域的技术人员完整传达本发明的范围。基于本文的教示，所属领域的技术人员将了解，本发明的范围意在涵盖本文所揭示的新颖***、设备和方法的任何方面，不管是独立于本发明的任何其它方面实施，还是与本发明的任何其它方面组合实施。举例来说，可使用本文所陈述的任何数目的方面来实施设备或实践方法。另外，本发明的范围意在涵盖使用除本文所陈述的本发明的各个方面之外或不同于所述方面的其它结构、功能性或结构和功能性来实践的此设备或方法。应理解，本文所揭示的任何方面可由权利要求的一个或一个以上元素来体现。
尽管本文描述特定方面，但这些方面的许多变化和排列属于本发明的范围内。尽管提到优选方面的一些益处和优点，但本发明的范围无意限于特定益处、使用或目标。相反，本发明的方面意在广泛适用于不同无线技术、***配置、网络和传输协议，其中的一些在图中且在优选方面的以下描述中借助于实例来说明。详细描述和图式仅说明本发明而不是限制本发明，本发明的范围由所附权利要求书及其均等物界定。
附图说明实例。附图中的参考编号所指示的元件对应于以下描述中的相同参考编号所指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开始的名称的元件并不一定暗示所述元件具有特定次序。相反，此类序数词仅用来指代相同或相似类型的不同元件。
视频译码***
图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码***10的框图。如本文所使用并描述，术语“视频译码器”在属类上指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”在属类上可指代视频编码和视频解码。
如图1中所示，视频译码***10包括源装置12和目的地装置14。源装置12产生经编码的视频数据。目的地装置14可对源装置12所产生的经编码的视频数据进行解码。源装置12和目的地装置14可包括较宽范围的装置，包括桌上型计算机、笔记本型(例如，膝上型等)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话、所谓的“智能“平板电脑”)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等。在一些实例中，源装置12和目的地装置14可经配备来用于无线通信。
目的地装置14可经由信道16从源装置12接收经编码的视频数据。信道16可包括能够将经编码的视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制的视频数据发射到目的地装置14。所述通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱，或一个或一个以上物理传输线。所述通信媒体可形成例如局域网、广域网或全局网络(例如因特网)等基于包的网络的一部分。通信媒体可包含路由器、交换器、基站或其它促进从源装置12到目的地装置14的通信的设备。
在另一实例中，信道16可对应于存储源装置12所产生的经编码的视频数据的存储媒介。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒介。所述存储媒介可包含多种局部存取数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码的视频数据的其它合适的数字存储媒体。在另一实例中，信道16可包含文件服务器或另一中间存储装置，其存储源装置12所产生的经编码视频。在此实例中，目的地装置14可经由流式传输或下载来存取存储在文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为一种类型的能够存储经编码的视频数据并将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站等)、FTP服务器、网络附加存储(NAS)装置和本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含无线信道(例如，Wi-Fi连接等)、有线连接(例如，DSL、电缆调制解调器等)、或两者的适合存取存储在文件服务器上的经编码视频数据的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可在多种多媒体应用的支持下应用于视频译码，例如空中电视广播、有线电视发射、***发射、流式视频发射，例如，经由因特网(例如，经由HTTP的动态自适应流式传输(DASH)等)、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码***10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包括视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含来源，例如视频捕获装置(例如，摄像机)、含有先前所捕获的视频数据的视频存档、用来接收来自视频内容提供者的视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形***，或此类来源的组合。
视频编码器20可经配置以编码所捕获的、预捕获的或计算机产生的视频数据。可经由源装置12的输出接口22，将经编码的视频数据直接发射到目的地装置14。经编码的视频数据也可存储在存储媒介或文件服务器上，以供之后由目的地装置存取来进行解码和/或重放。
在图1的实例中，目的地装置14包括输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码的视频数据。经编码的视频数据可包含由视频编码器20产生的表示视频数据的多种语法元素。所述语法元素可描述块或其它经译码单元(例如，图片群组(GOP))的特征和/或处理。此类语法元素可与在通信媒体发射、存储在存储媒介上或存储在文件服务器上的经编码的视频数据包含在一起。
显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码的视频数据。显示装置32可包括多种显示装置中的任何一种，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前尚在开发的高效视频译码(HEVC)标准，且可遵从HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它所有权或产业标准(例如ITU-T H.264标准，或者称为MPEG 4，第10部分；高级视频译码(AVC)或此类标准的扩展)来操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元，或其它硬件和软件，来处置共用数据流或单独数据流中的音频和视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可遵从ITU H.223多路复用器协议，或其它协议，例如用户数据报协议(UDP)。
并且，图1仅为实例，且本发明的技术可适用于视频译码设定(例如，视频编码或视频解码)，其不一定包含编码与解码装置之间的任何数据通信。在其它实例中，数据可从本地存储器检索、经由网络流式传输，等等。编码装置可编码数据并将数据存储到存储器，和/或解码装置可从存储器检索数据并解码数据。在许多实例中，编码和解码有并不彼此通信而是简单地将数据编码到存储器和/或从存储器检索数据并解码数据的装置执行。
视频编码器20和视频解码器30各自可实施为多种合适电路中的任何一种，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当所述技术部分在软件中实施时，装置可将用于所述软件的指令存储在合适的、非暂时性计算机可读存储媒体中，且可使用一个或一个以上处理器在硬件中执行所述指令，以实施本发明的技术。尽管在图1的实例中，将视频编码器20和视频解码器30展示为在分开的装置中实施，但本发明不限于此类配置，且视频编码器20和视频解码器30可在同一装置中实施。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的一部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
如上文简要提到，视频编码器20对视频数据进行编码。视频数据可包括一个或一个以上图片。所述图片中的每一者为形成视频的一部分的静止图像。在一些例子中，图片可称为视“频帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。所述位流可包含形成视频数据的经译码表示的位序列。所述位流可包含经译码的图片和相关联的数据。经译码的图片为图片的经译码表示。
为了产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码的图片和相关联的数据。所述相关联的数据可包含视频参数集合(VPS)、序列参数集合、图片参数集合、适应参数集合和其它语法结构。序列参数集合(SPS)可含有适用于零个或零个以上图片序列的参数。图片参数集合(PPS)可含有适用于零个或零个以上图片序列的参数。适应参数集合(APS)可含有适用于零个或零个以上图片的参数。APS中的参数可为比PPS中的参数更有可能变化的参数。
为了产生经译码的图片，视频编码器20可将图片分割成均等大小的视频块。视频块可为样本的二维阵列。所述视频块中的每一个与树块相关联。在一些例子中，树块可称为最大译码单元(LCU)。HEVC的树块可广泛类似于先前标准(例如H.264/AVC)的宏块。然而，树块不一定限于特定大小，且可包含一个或一个以上译码单元(CU)。视频编码器20可使用四叉树分割来将树块的视频块分割成与CU相关联的视频块，因此得名“树块”。
在一些实例中，视频编码器20可将图片分割成多个切片。所述切片中的每一个可包含整数数目个CU。在一些例子中，切片包括整数数目个树块。在其它例子中，切片的边界可在树块内。
作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可称为“经译码切片”。
为了产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。所述经译码树块可包括表示树块的经编码版本的数据。
当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序，对切片中的树块执行编码操作(例如，编码)。举例来说，视频编码器20可以从左到右越过切片中的最上排树块，接着从左到右越过下部的下一排树块，以此类推直到视频编码器20已编码了切片中的每一树块为止而进行的次序来编码切片的树块。
由于根据光栅扫描次序对树块进行编码，给定树块上方和左侧的树块可能已经编码，但给定树块下方和右侧的树块尚未编码。因此，视频编码器20在编码给定树块时，可能够存取通过编码给定树块上方和左侧的树块而产生的信息。然而，视频编码器20在编码给定树块时，可能不能够存取通过编码给定树块下方和右侧的树块而产生的信息。
为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割，以将视频块划分为逐渐变小的视频块。较小视频块中的每一个可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个均等大小的子块，将所述子块中的一个或一个以上分割成四个均等大小的子子块，等等。经分割的CU可为视频块被分隔成与其它CU相关联的视频块的CU。未经分割的CU可为视频块未分割成与其它CU相关联的视频块的CU。
位流中的一个或一个以上语法元素可指示视频编码器20可将树块的视频块分割的最大倍数。CU的视频块的形状可为正方形。CU的视频块的大小(例如，CU的大小)的范围可从8x8个像素至多达树块的视频块的大小(例如，树块的大小)，其中最大为64x64个像素或以上。
视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可以所述次序编码顶部左侧CU、顶部右侧CU、底部左侧CU且接着底部右侧CU。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割的CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可以所述次序编码与顶部左侧子块相关联的CU、与顶部右侧子块相关联的CU、与底部左侧子块相关联的CU，且接着与底部右侧子块相关联的CU。
因为根据z扫描次序对树块的CU进行编码，因此给定CU的上方、上方且左侧、上方且右侧、左侧以及下方且左侧的CU可能已经编码。给定CU的下方且右侧的CU尚未编码。因此，当编码给定CU时，编码器20可能够存取通过编码与给定CU相邻的一些CU而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码与给定CU相邻的其它CU而产生的信息。
当视频编码器20编码未经分割的CU时，视频编码器20可产生用于所述CU的一个或一个以上预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可针对CU的每一PU产生经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生PU的经预测视频块。
当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一个或一个以上图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么CU为经帧间预测的CU。
此外，当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可产生所述PU的运动信息。PU的运动信息可指示PU的一个或一个以上参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为不同于与PU相关联的图片的图片。在一些例子中，PU的参考块也可称为PU的“参考样本”。视频编码器20可基于PU的参考块，产生PU的经预测视频块。
在视频编码器20产生CU的一个或一个以上PU的经预测视频块之后，视频编码器20可基于CU的PU的经预测视频块，产生CU的残余数据。CU的残余数据可指示CU的PU的经预测视频块和CU的原始视频块中的样本之间的差异。
此外，作为对未经分割的CU执行编码操作的一部分，视频编码器20可对CU的残余数据执行递归四叉树分割，以将CU的残余数据分割成与CU的变换单元(TU)相关联的一个或一个以上残余数据块(例如，残余视频块)。CU的每一TU可与不同的残余视频块相关联。
视频译码器20可将一个或一个以上变换应用于与TU相关联的残余视频块，以产生与TU相关联的变换系数块(例如，变换系数的块)。概念上，变换系数块可为变换系数的二维(2D)矩阵。
在产生变换系数块之后，视频编码器20可对变换系数块执行量化过程。量化通常涉及其中量化变换系数以可能地减少用来表示变换系数的数据的量，从而提供进一步压缩的过程。量化过程可减少与所述变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，n位变换系数可向下舍入到m位变换系数，其中n大于m。
视频编码器20可使每一CU与一量化参数(QP)值关联。与CU相关联的QP值可确定视频编码器20如何量化与CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值，来调整应用于与CU相关联的变换系数块的量化程度。
在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集合。视频编码器20可将熵编码操作，例如上下文自适应二进制算术译码(CABAC)操作，应用于这些语法元素中的一些。也可使用其它熵译码技术，例如内容自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码，或其它二进制算术译码。
视频编码器20所产生的位流可包含一系列网络抽象层(NAL)单元。NAL单元中的每一者可为含有NAL单元中的数据类型的指示以及包括所述数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集合、序列参数集合、图片参数集合、经译码切片、补充增强信息(SEI)、存取单元定界符、填充符数据或另一个类型数据的数据。NAL单元中的数据可包含各种语法结构。
视频解码器30可接收视频编码器20所产生的位流。所述位流可包含视频编码器20所编码的视频数据的经译码表示。当视频解码器30接收到所述位流时，视频解码器30可对所述位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素来重构视频数据的图片。基于语法元素来重构视频数据的过程可大体上于视频编码器20所执行的产生语法元素的过程互反。
在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可逆量化与CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换，以重构与CU的TU相关联的残余视频块。在产生经预测视频块并重构残余视频块之后，视频解码器30可基于经预测视频块和残余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素来重构CU的视频块。
视频编码器
图2A是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单个层，例如用于HEVC。另外，视频编码器20可经配置以执行本发明的所述技术中的任一者或全部。作为一个实例，预测处理单元100可经配置以执行本发明中所描述的技术中的任一者或全部。在另一实施方案中，视频编码器20包括任选的层间预测单元128，其经配置以执行本发明中所描述的技术中的任一者或全部。在其它实施方案中，层间预测可由预测处理单元100(例如，帧间预测单元121和/或帧内预测单元126)执行，在此情况下，层间预测单元128可省略。然而，本发明的方面不限于此。在一些实例中，本发明中所描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。
出于阐释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2A中所描绘的实例是针对单层编解码器。然而，如相对于图2B进一步描述，可复制视频编码器20的一些或全部，来处理多层编解码器。
视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代如果按基于空间的译码模式中的任何一种。帧间模式，例如单向预测(P模式)或双向预测(B模式)，可指代若干基于时间的译码模式中的任何一种。
在图2A的实例中，视频编码器20包括多个功能组件。视频编码器20的功能组件包含预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114以及熵编码单元116预测处理单元100包括帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126和层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估计单元122和运动补偿单元124可高度集成，但在图2A的实例中，出于阐释的目的而分开表示。
视频编码器20可接收视频数据。视频编码器20可各种来源接收视频数据。举例来说，视频编码器20可从视频源18(图1)或另一来源接收视频数据。视频数据可表示一系列图片。为了编码视频数据，视频编码器20可对所述图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的一部分，视频编码器20可对切片中的树块执行编码操作。
作为对树块执行编码操作的一部分，预测处理单元100可对树块的视频块执行四叉树分割，以将视频块划分成逐渐变小的视频块。较小视频块中的每一个可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个均等大小的子块，将子块中的一个或一个以上分割成四个均等大小的子子块，等等。
与CU相关联的视频块的大小的范围可从8x8个样本至多达树块的大小，其中最大为64x64个样本或以上。在本发明中，“NxN”和“N乘N”可互换使用来指代视频块在垂直和水平维度方面的样本尺寸，例如16x16个样本或16乘16个样本。一般来说，16x16个视频块在垂直方向上具有十六个样本(y＝16)，且在水平方向上具有十六样本(x＝16)。同样地，NxN块通常在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
此外，作为对树块执行编码操作的一部分，预测处理单元100可产生所述树块的分层四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，那么所述根节点具有四叉树数据结构中的四个子节点。所述子节点中的每一个对应于与子块中的一个相关联的CU。如果预测处理单元100将子块中的一个分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中的每一者对应于与子子块中的一者相关联的CU。
四叉树数据结构的每一节点可含有对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含***旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，***)成四个子块。CU的语法元素可递归地界定，且可取决于CU的视频块是否***成子块。视频块未经分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于对应树块的四叉树数据结构的数据。
视频编码器20可对树块的每一未经分割的CU执行编码操作。当视频编码器20对未经分割的CU执行编码操作时，视频编码器20产生表示未经分割的CU的经编码表示的数据。
作为对CU执行编码操作的一部分，预测处理单元100可将CU的视频块分割到CU的一个或一个以上PU之中。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，视频编码器20和视频解码器30可支持2Nx2N或NxN的PU大小，以及2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割，以沿并不以直角与CU的视频块的边相交的边界，将CU的视频块分割到CU的PU之中。
帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生PU的运动信息。运动补偿单元124可基于运动信息以及不同于与CU相关联的图片(例如，参考图片)的图片的经解码样本，产生PU的经预测视频块。在本发明中，运动补偿单元124所产生经预测视频块可称为经帧间预测的视频块。
切片可为I切片、P切片或B切片。运动估计单元122和运动补偿单元124可依据PU是在I切片、切片还是B切片中，来对CU的PU执行不同的操作。在I切片中，对所有PU进行帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124并不对PU执行帧间预测。
如果PU在P切片中，那么含有PU的图片与称为“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片，以寻找用于PU的参考块。PU的参考块可为最接近地对应于PU的视频块中的样本的样本集合，例如样本块。运动估计单元122可使用多种度量来确定参考图片中样本集合多接近地对应于PU的视频块中的样本。举例来说，运动估计单元122可通过绝对差和(SAD)、方差和(SSD)或其它差度量来确定参考图片中的样本集合多接近地对应于PU的视频块中的样本。
在识别P切片中的PU的参考块之后，运动估计单元122可产生：参考索引，其指示列表0中含有所述参考块的参考图片；以及运动向量，其指示PU与参考块之间的空间位移。在各种实例中，运动估计单元122可产生不同精确度的运动向量。举例来说，运动估计单元122可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可输出参考索引和运动向量，作为PU的运动信息。运动补偿单元124可基于PU的运动信息所识别的参考块，产生PU的经预测视频块。
如果PU在B切片中，含有PU的图片可与两个参考图片列表(称为“列表0”和“列表1”)相关联。在一些实例中，含有B切片的图片可与作为列表0和列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片，以寻找用于PU的参考块。运动估计单元122可接着产生：参考索引，其指示列表0或列表1中含有参考块的参考图片；以及运动向量，其指示PU与参考块之间的空间位移。运动估计单元122可输出参考索引、预测方向指示符以及运动向量，作为PU的运动信息。预测方向指示符可指示参考索引是指示列表0还是列表1中的参考图片。运动补偿单元124可基于PU的运动信息所指示的参考块，产生PU的经预测视频块。
当运动估计单元122对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片，以寻找用于PU的参考块，且还可搜索列表1中的参考图片，以寻找用于PU的另一参考块。运动估计单元122可接着产生：参考索引，其指示列表0和列表1中含有参考块的参考图片；以及运动向量，其指示参考块与PU之间的空间位移。运动估计单元122可输出PU的参考索引运动向量，作为PU的运动信息。运动补偿单元124可基于PU的运动信息所指示的参考块，产生PU的经预测视频块。
在一些例子中，运动估计单元122并不将PU的整个运动信息集合输出到熵编码单元116。相反，运动估计单元122可参考另一PU的运动信息，用信号通知PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息与相邻PU的运动信息充分相似。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示所述PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定PU的运动向量。通过在用信号通知第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少的位来用信号通知第二PU的运动信息。
如下文参考图8和图9进一步论述，预测处理单元100可经配置以通过执行图8和图9中所说明的方法来译码(例如，编码或解码)PU(或任何其它增强层块或视频单元)。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或分开执行图8和图9中所说明的方法。
作为对CU执行编码操作的一部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本，产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式来产生用于PU的多个预测数据集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上，将来自相邻PU的视频块的样本扩展越过所述PU的视频块。相邻PU可在所述PU上方、上方且右侧、上方且左侧或左侧，假定PU、CU和树块具有从左到右、从上到下的编码次序。帧内预测单元126可使用各种数目的帧内预测模式，例如33个定向帧内预测模式，取决于PU的大小。
预测处理单元100可从运动补偿单元124针对PU所产生的预测数据或帧内预测单元126针对PU所产生的预测数据之中，为PU选择预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真度量，为PU选择预测数据。
如果预测处理单元100选择帧内预测单元126所产生的预测数据，那么预测处理单元100可用信号通知曾用来产生用于PU的预测数据的帧内预测模式，例如选定的帧内预测模式。预测处理单元100可以各种方式用信号通知选定的帧内预测模式。举例来说，有可能选定的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前PU的最可能模式。因此，预测处理单元100可产生语法元素，以指示选定的帧内预测模式与相邻PU的帧内预测模式相同。
如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一个或一个以上不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可称为层间预测。层间预测单元128利用预测方法来减少层间冗余，从而改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的位于同一位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。下文更详细地论述层间预测方案中的每一者。
在预测处理单元100为CU的PU选择预测数据之后，残差产生单元102可通过将CU的PU的经预测视频块从CU的视频块减去(例如，有减号指示)，来产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差异的残余视频块。另外，CU的残余数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差异的残余视频块。
预测处理单元100可执行四叉树分割，以将CU的残余视频块分割成若干子块。每一未划分的残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小和位置可或可不基于与CU的PU相关联的视频块的大小和位置。称为“残差四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU对应于RQT的叶节点。
变换处理单元104可通过将一个或一个以上变换应用于与TU相关联的残余视频块，来产生用于CU的每一TU的一个或一个以上变换系数块。变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用于与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于与TU相关联的残余视频块。
在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值来量化与CU的TU相关联的变换系数块。
视频编码器20可以各种方式使QP值与CU关联。举例来说，视频编码器20可对与CU相关联的树块执行比率失真分析。在比率失真分析中，视频编码器20可通过对树块执行编码操作多次来产生树块的多个经译码表示。当视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU关联。当给定QP值与具有最低位速率和失真度量的树块的经译码表示中的CU相关联时，视频编码器20可用信号通知与CU相关联的给定QP值。
逆量化单元108和逆变换单元110可分别将逆量化和逆变换应用于变换系数块，以从变换系数块重构残余视频块。重构单元112可将经重构的残余视频块添加到来自预测处理单元100所产生的一个或一个以上经预测视频块的对应样本，以产生与TU相关联的经重构的视频块。通过以此方式为CU的每一TU重构视频块，视频编码器20可重构CU的视频块。
在重构单元112重构CU的视频块之后，滤波器单元113可执行去块操作，以减少与CU相关联的视频块中的成块假影。在执行一个或一个以上去块操作之后，滤波器单元113可将CU的经重构的视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构的视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构的视频块来对与CU相同的图片中的其它PU执行帧内预测。
熵编码单元116可接收来自视频编码器20的其它功能组件的数据。举例来说，熵编码单元116可从量化单元106接收变换系数块，且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可执行一个或一个以上熵编码操作，以产生经熵编码的数据。举例来说，视频编码器20可执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或对数据上的另一类型的熵编码操作。熵编码单元116可输出包括经熵编码的数据的位流。
作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示具有特定值的特定频段的概率的估计。在CABAC的上下文中，使用术语“频段”来指代语法元素的二进制化版本的位。
多层视频编码器
图2B是说明可实施根据本发明中所描述的方面的技术的多层视频编码器21的实例的框图。视频编码器21可经配置以处理多层视频帧，例如用于SHVC和多视图译码。另外，视频编码器21可经配置以执行本发明的技术中的任一者或全部。
视频编码器21包括视频编码器20A和视频编码器20B，其各自配置为视频编码器20，且可执行上文相对于视频编码器20所描述的功能。另外，如参考编号的再用所指示，视频编码器20A和20B可包含所述***和子***中的至少一些作为视频编码器20。尽管将视频编码器21说明为包含两个视频编码器20A和20B，但视频编码器21不限于此，且可包含任何数目的视频编码器20层。在一些实施方案中，视频编码器21可针对存取单元中的每一图片或帧包含一视频编码器20。举例来说，包括五个编码器层的视频编码器可处理或编码包括五个图片的存取单元。在一些实施方案中，视频编码器21可包含比存取单元中的帧多的编码器层。在一些此类情况下，当处理一些存取单元时，视频编码器层中的一些可为不活动的。
除视频编码器20A和20B之外，视频编码器21可包含再取样单元90。在一些情况下，再取样单元90可对接收到的视频帧的基础层进行上取样，以例如产生增强层。再取样单元90可对于与帧的接收到的基础层相关联的特定信息进行上取样，而不对其它信息进行上取样。举例来说，再取样单元90可对基础层的像素的空间大小或数目进行上取样，但切片数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理接收到的视频和/或可为任选的。举例来说，在一些情况下，预测处理单元100可执行上取样。在一些实施方案中，再取样单元90经配置以对层进行上取样，并重组、重新定义、修改或调整一个或一个以上切片，以符合一组切片边界规则和/或光栅扫描规则。尽管主要描述为对基础层或存取单元中的下层进行上取样，但在一些情况下，再取样单元90可对层进行下取样。举例来说，如果在流式传输期间，视频带宽减少，那么可对帧进行下取样而不是上取样。
再取样单元90可经配置以从下层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)，且对所述图片(或接收到的图片信息)进行上取样。接着将此经上取样的图片提供给高层编码器(例如，视频编码器20B)的预测处理单元100，所述高层编码器经配置以编码与下层编码器相同的存取单元中的图片。在一些情况下，高层编码器是从下层编码器移除的一个层。在其它情况下，在图2B的层0视频编码器与层1编码器之间，可存在一个或一个以上高层编码器。
在一些情况下，再取样单元90可省略或旁路。在此类情况下，来自视频编码器20A的经解码图片缓冲器114的图片可直接提供给视频编码器20B的预测处理单元100，或至少不提供给再取样单元90。举例来说，如果提供给视频编码器20B的视频数据以及来自视频编码器20A的经解码图片缓冲器114的参考图片具有相同大小或分辨率，那么可在无任何再取样的情况下，将参考图片提供给视频编码器20B。
在一些实施方案中，在将视频数据提供给视频编码器20A之前，视频编码器21使用下取样单元94对将提供给下层编码器的视频数据进行下取样。或者，下取样单元94可为能够对视频数据进行上取样或下取样的再取样单元90。在其它实施例中，下取样单元94可省略。
如图2B中所说明，视频编码器21可进一步包含多路器98或多路复用器。多路复用器98可输出来自视频编码器21的组合位流。可通过从视频编码器20A和20B中的每一者取得位流，并在给定时间使输出哪一位流交替，来形成组合位流。虽然在一些情况下，来自两个(或在多于两个视频编码器层的情况下更多个)位流的位一次可交替一个位，在许多情况下，所述位流不同地组合。举例来说，可通过一次使选定位流交替一个块来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块，来产生输出位流。举例来说，两个块可为来自视频编码器20B的针对来自视频编码器20A的每一块输出的输出。在一些实施方案中，可预编程来自多路复用器98的输出流。在其它实施方案中，多路复用器98可基于从视频编码器21外部的***，例如从源装置12上的处理器接收到的控制信号，组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率，基于信道16的带宽，基于与用户相关联的预订(例如，付费预订对比免费预订)，或基于用于确定从视频编码器21所要的分辨率输出的任何其它因素，产生控制信号。
视频解码器
图3A是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单个层，例如用于HEVC。另外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中所描述的技术中的任一者或全部。在一个实施方案中，视频解码器30可任选地包含层间预测单元166，其经配置以执行本发明中所描述的技术中的任一者或全部。在其它实施方案中，预测处理单元152(例如，运动补偿单元162和/或帧内预测单元164)可执行层间预测，在此情况下，层间预测单元166可省略。然而，本发明的方面不限于此。在一些实例中，本发明中所描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。
出于阐释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而，如将相对于图3B进一步描述，可复制视频解码器30的一些或全部，来处理多层编解码器。
在图3A的实例中，视频解码器30包括多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包括运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行大体上与相对于图2A的视频编码器20描述的编码遍次互反的解码遍次。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频解码器30可接收包括经编码的视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到所述位流时，熵解码单元150可对位流执行剖析操作。由于对位流执行剖析操作，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中经熵编码的语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换单元156、重构单元158和滤波器单元159可执行重构操作，其基于从位流提取的语法元素来产生经解码的视频数据。
如上文所论述，位流可包括一系列NAL单元。所述位流的NAL单元可包含视频参数集合NAL单元、序列参数集合NAL单元、图片参数集合NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，其从序列参数集合NAL单元提取并熵解码序列参数集合，从图片参数集合NAL单元提取并熵解码图片参数集合，且从SEI NAL单元提取并熵解码SEI数据，等等。
另外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，其从经译码切片NAL单元提取并熵解码经译码切片。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有属于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集合的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作，例如CABAC解码操作，以恢复切片标头。
作为从经译码切片NAL单元提取切片数据的一部分，熵解码单元150可执行剖析操作，其从切片数据中的经译码CU提取语法元素。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对所述语法元素中的一些执行CABAC解码操作。
在熵解码单元150对未经分割的CU执行剖析操作之后，视频解码器30可对未经分割的CU执行重构操作。为了对未经分割的CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。
作为对TU执行重构操作的一部分，逆量化单元154可逆量化，例如，去量化与TU相关联的变换系数块。逆量化单元154可以与针对HEVC所提出或由H.264解码标准所界定的逆量化过程类似的方式来逆量化变换系数块。逆量化单元154可使用视频编码器20针对变换系数块的CU所计算的量化参数QP，来确定量化程度，且同样地，用于逆量化单元154的逆量化程度适用。
在逆量化单元154逆量化变换系数块之后，逆变换单元156可针对与变换系数块相关联的TU产生残余视频块。逆变换单元156可将逆变换应用于变换系数块，以便针对TU产生残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡-洛变换(Karhunen-Loeve transform，KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可基于来自视频编码器20的信令来确定逆变换以应用于变换系数块。在此类实例中，逆变换单元156可基于与变换系数块相关联的树块的四叉树的根节点处的所信令变换来确定逆变换。在其它实例中，逆变换单元156可从一个或一个以上译码特性(例如块大小、译码模式等)推断逆变换。在一些实例中，逆变换单元156可应用级联逆变换。
在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插来细化PU的经预测视频块。将用于具有子样本精度的运动补偿的内插滤波器的识别符可包含在语法元素中。在产生PU的经预测视频块期间，运动补偿单元162可使用视频编码器20所使用的相同内插滤波器，以为参考块的子整数样本计算经内插值。运动补偿单元162可根据接收到的语法信息来确定视频编码器20所使用的内插滤波器，且使用内插滤波器来产生经预测视频块。
如下文参考图8和图9进一步论述，预测处理单元152可通过执行图8和图9中所说明的方法来译码(例如，编码或解码)PU(或任何其它增强层块或视频单元)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开执行图8和图9中所说明的方法。
如果使用帧内预测来编码PU，帧内预测单元164可执行帧内预测以产生PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定PU的帧内预测模式。位流可包含帧内预测单元164可用来确定PU的帧内预测模式的语法元素。
在一些例子中，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前PU的最可能模式。因此，在此实例中，所述位流可包含小语法元素，其指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可接着使用帧内预测模式来基于空间相邻PU的视频块产生PU的预测数据(例如，经预测的样本)。
如上文所论述，视频解码器30还可包含层间预测单元。层间预测单元166经配置以使用SVC中可用的一个或一个以上不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可称为层间预测。层间预测单元166利用预测方法来减少层间冗余，从而改进译码效率并降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的位于同一位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。下文更详细地论述层间预测方案中的每一者。
重构单元158可使用与CU的TU相关联的残余视频块以及CU的PU的经预测视频块(例如，帧内预测数据或帧间预测数据，如适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素产生经预测视频块和残余视频块，且可基于经预测视频块和残余视频块产生视频块。
在重构单元158重构CU的视频块之后，滤波器单元159可执行去块操作，以减少与CU相关联的成块假影。在滤波器单元159执行去块操作以减少与CU相关联的成块假影之后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片，以用于后续运动补偿、帧内预测，以及在显示装置(例如图1的显示装置32)上呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块，对其它CU的PU执行帧内预测或帧间预测操作。
多层解码器
图3B是说明可实施根据本发明中所描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如用于SHVC和多视图译码。另外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。
视频解码器31包括视频解码器30A和视频解码器30B，其中的每一者可配置为视频解码器30，且可执行上文相对于视频解码器30所述的功能。另外，如参考编号的再用所指示，视频解码器30A和30B可包含所述***和子***中的至少一些作为视频解码器30。尽管将视频解码器31说明为包含两个视频解码器30A和30B，但视频解码器31不限于此，且可包含任何数目的视频解码器30层。在一些实施方案中，视频解码器31可针对存取单元中的每一图片或帧包含一视频解码器30。举例来说，包括五个解码器层的视频解码器可处理或解码包括五个图片的存取单元。在一些实施方案中，视频解码器31可包含比存取单元中的帧多的解码器。在一些此类情况下，当处理一些存取单元时，视频解码器层中的一些可为不活动的。
除视频解码器30A和30B之外，视频解码器31可包含上取样单元92。在一些实施方案中，上取样单元92可对接收到的视频帧的基础层进行上取样，以创建待添加到帧或存取单元的参考图片列表的增强层。此增强层可存储在经解码图片缓冲器160中。在一些实施方案中，上取样单元92可包含相对于图2A的再取样单元90所描述的实施例中的一些或全部。在一些实施方案中，上取样单元92经配置以对层进行上取样，并重组、重新定义、修改或调整一个或一个以上切片，以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对接收到的视频帧的层进行上取样和/或下取样的再取样单元。
上取样单元92可经配置以从下层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与所述图片相关联的图片信息)，且对所述图片(或接收到的图片信息)进行上取样。接着可将此经上取样的图片提供给高层解码器(例如，视频解码器30B)的预测处理单元152，所述高层解码器经配置以解码与下层解码器相同的存取单元中的图片。在一些情况下，高层解码器为从下层解码器移除的一个层。在其它情况下，图3B的层0解码器与层1解码器之间可存在一个或一个以上高层解码器。
在一些情况下，上取样单元92可省略或旁路。在此类情况下，来自视频解码器30A的经解码图片缓冲器160的图片可直接提供给视频解码器30B的预测处理单元152，或至少不提供给上取样单元92。举例来说，如果提供给视频解码器30B的视频数据以及来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同大小或分辨率，那么可在无上取样的情况下，将参考图片提供给视频解码器30B。另外，在一些实施方案中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收到的参考图片进行上取样或下取样的再取样单元90。
如图3B中所说明，视频解码器31可进一步包含解多路器99或多路分用器。多路分用器99可将经编码的视频位流***成多个位流，其中多路分用器99所输出的每一位流正被提供给不同的视频解码器30A和30B。可通过接收一位流来创建多个位流，且视频解码器30A和30B中的每一者在给定时间接收所述位流的一部分。虽然在一些情况下，来自多路分用器99处所接收到的位流的位可在视频解码器(例如，图3B的实例中的视频解码器30A和30B)的每一者之间一次交替一个位，但在许多情况下，位流经不同划分。举例来说，可通过交替哪一视频解码器一次一个块地接收位流来划分位流。在另一实例中，位流可通过块与视频解码器30A和30B中的每一者的非1:1比率来划分。举例来说，对于提供给视频解码器30A的每一块，可将两个块提供给视频解码器30B。在一些实施方案中，可对多路分用器99对位流的划分进行预编程。在其它实施方案中，多路分用器99可基于从视频解码器31外部的***，例如从目的地装置14上的处理器接收到的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率，基于信道16的带宽，基于与用户相关联的预订(例如，付费预订对比免费预订)，或基于用于确定视频解码器31可获得的分辨率的任何其它因素，产生控制信号。
可缩放视频译码(SVC)的结构
图4是展示不同维度中的实例可缩放性的概念图。如上文所论述，SVC的一个实例实施方式指代HEVC的可缩放视频译码扩展。HEVC的可缩放视频译码扩展允许视频信息以层提供。每一层可提供对应于不同可缩放性的视频信息。在HEVC中，在三个维度中实现可缩放性：时间(temporal)(或时间(time))可缩放性、空间可缩放性以及品质可缩放性(有时称为信噪比或SNR可缩放性)。举例来说，在时间维度中，时间可缩放性(T)可支持具有7.5Hz、15Hz、30Hz等帧速率。当支持空间可缩放性(S)时，可实现不同的分辨率，例如QCIF、CIF、4CIF等。对于每一特定空间分辨率和帧速率，可添加SNR(Q)层来改进图片品质。
一旦已经以此可缩放方式编码了视频内容，就可使用提取器工具来根据应用要求改编实际所递送内容，所述应用要求可例如取决于客户端或传输信道。在图4中所示的实例中，每一立方体含有具有相同帧速率(时间等级)、空间分辨率和SNR层的图片。举例来说，立方体402和404含有具有相同分辨率和SNR但不同帧速率的图片。立方体402和406表示具有相同分辨率(例如，在同一空间层中)但具有不同SNR和帧速率的图片。立方体402和408表示具有相同SNR(例如，在同一品质层中)但具有不同分辨率和帧速率的图片。立方体402和410表示具有不同分辨率、帧速率和SNR的图片。可通过在任何维度中添加那些立方体(图片)来实现较好的表示。当存在两个、三个或甚至更多个所实现可缩放性时，支持组合可缩放性。举例来说，通过将立方体402中的图片与立方体404中的那些图片进行组合，可实现较高的帧速率。通过将立方体404中的图片与立方体406中的那些图片进行组合，可实现较好的SNR。
根据HEVC的SVC扩展，具有最低空间和品质层的图片与HEVC兼容，且处于最低时间等级的图片形成时间基础层，其可用处于较高时间等级的图片来增强。除HEVC兼容层之外，可添加若干空间和/或SNR增强层，以提供空间和/或品质可缩放性。SNR可缩放性也称为品质可缩放性。每一空间或SNR增强层本身可为时间可缩放的，具有与HEVC兼容层相同的时间可缩放性结构。对于一个空间或SNR增强层，其所依赖的下层也称为特定空间或SNR增强层的基础层。
图5是展示实例可缩放视频经译码位流的概念图。在图5中所示的实例SVC译码结构中，具有最低空间和品质层的图片(层502和层504中的图片，其提供QCIF分辨率)与HEVC兼容。其中，最低时间等级的那些图片形式时间基础层502，如图5中所示。此时间基础层(例如，层502)可用较高时间等级(例如层504)的图片来增强。除HEVC兼容层之外，可添加若干空间和/或SNR增强层，以提供空间和/或品质可缩放性。举例来说，增强层可为具有与层506相同的分辨率的CIF表示。在图5中所示的实例中，层508为SNR增强层。如所述实例中所示，每一空间或SNR增强层本身可为时间可缩放的，具有与HEVC兼容层相同的时间可缩放性结构。并且，增强层可增强空间分辨率和帧速率两者。举例来说，层510提供4CIF增强层，其使帧速率从15Hz进一步增加到30Hz。
图6是展示可缩放视频经译码位流600中的实例存取单元(例如，由一个或一个以上切片组成的经译码的图片)的概念图。如图6中所示，在一些实施方案中，同一时间例子中的经译码切片是以位流次序连续的，且在SVC的上下文中形成一个存取单元。那些SVC存取单元接着遵循解码次序，解码次序可不同于显示次序。解码次序可例如由时间预测关系确定。举例来说，由帧0(例如，如图5中所说明的帧0)的全部四个层612、614、616和618组成的存取单元610可后接由帧4(例如，图5中的帧4)的全部四个层622、624、626和628组成的存取单元620。帧2的存取单元630可次序颠倒，至少从视频重放角度来看。然而，当编码或解码帧2时，可使用来自帧0和4的信息，且因此可在帧2之前编码或解码帧4。用于帧0与帧4之间的其余帧的存取单元640和650可跟随，如图6中所示。
可缩放视频译码(SVC)的特征
层间预测
如上文所论述，在SVC中，可基于从参考层得出的信息来预测增强层。此预测方法称为层间预测。层间预测利用存在于不同层之间的冗余。层间预测方案中的一个为层间帧内预测。使用层间帧内预测的译码模式可称为“帧内BL”模式。下文参考图7说明此预测模式。
图7说明帧内BL预测的实例700的示意图。明确地说，基础层710中的基础层块712与增强层720中的增强层块722位于同一位置。中帧内BL模式中，可使用位于同一位置的基础层块712的纹理来预测块722的纹理。举例来说，有可能位于同一位置的基础层块712的像素值与增强层块722的像素值彼此非常相似，因为位于同一位置的基础层块712本质上将同一视频对象描绘为增强层块722。因此，位于同一位置的基础层块712的像素值可充当用于预测增强层块722的像素值的预测符。如果增强层720和基础层710具有不同的分辨率，那么基础层块712在用于预测增强层块722之前可经上取样。举例来说，基础层图片可为1280×720，且增强层可为1920×1080，在此情况下，基础层块或基础层图片在用于预测增强层块或图片之前，可在每一方向(例如，水平和垂直)以因子1.5来上取样。可变换、量化和熵编码预测误差(例如，残差)。术语“位于同一位置”在本文中可用来描述将同一视频对象描绘为增强层块的基础层块的位置。或者，所述术语可意味着位于同一位置的基础层块可具有与增强层块相同的坐标值(在考虑基础层与增强层之间的分辨率比率之后)。尽管本发明中使用术语“位于同一位置”，但可类似技术可应用于当前块的相邻(例如，邻近)块、当前块的位于同一位置的块的相邻(例如，邻近)块，或任何其它有关块。
用于层间纹理预测的另一方法可涉及使用层间参考图片(ILRP)。在此实例中，将经重构的基础层图片***(在必要的上取样之后)到对应的增强层图片的参考图片列表中。当使用层间参考图片来预测增强层时，实现层间纹理预测。
可缩放性
可缩放视频译码方案可提供各种可缩放性，例如空间可缩放性和位深度可缩放性。如上文所论述，可缩放视频译码提供一个或一个以上可缩放增强层，其可结合基础层一起解码，以实现较高的空间、时间和/或信噪(SNR)等级。
空间可缩放性指代其中基础层图片和增强层图片具有不同大小的情况。举例来说，基础层中的图片可具有1280个像素乘720个像素的大小，而增强层中的图片可具有1920个像素乘1080个像素的大小。
位深度可缩放性指代其中基础层图片和增强层图片具有不同位深度的情况。举例来说，基础层中的图片可具有8个位的位深度(例如，色彩分量用8个位表示，得出总共28＝256个可能值)，而增强层中的图片可具有10个位的位深度(例如，色彩分量用10个位表示，得出总共210＝1024个可能值)。也有可能使用一个位深度来表示一个色彩分量(例如，亮度)，且使用另一位深度来表示另一色彩分量(例如，色度)。
通过使用SVC产生含有可由遗留解码器(例如，720p和/或8位)解码以产生具有较低位深度(例如，720p和/或8位)的视频内容的基础层，以及可由可缩放解码器解码以产生更加增强的视频内容(例如，1080p和/或10位)的一个或一个以上增强层的可缩放位流，可提供与遗留解码器的向后兼容性，且可降低与同播单独位流相比的带宽要求，从而改进译码效率和性能。
空间可缩放性和层间预测
如上文所论述，可使用基础层中的像素值来预测增强层中的像素值。在空间可缩放性的情况下，基础层中的图片和增强层中的图片具有不同大小，因此基础层图片在用来预测增强层图片之前，可能需要修改(例如，使得其具有与增强层图片相同的分辨率)。举例来说，可通过基础层与增强层之间的分辨率比率来对基础层图片进行上取样(例如，如果增强层的大小大于基础层的大小)。
下文说明空间可缩放性情况下的此修改的实例。在此实例中，使用利用2分接头上取样滤波器的实施方式来基于基础层像素的色彩分量值Pbl0和Pbl1，估计增强层像素的色彩分量值Pel。此处，可使用与基础层像素值(或其色彩分量值)相关联的权重来实现层间预测。一种此类关系在以下等式中表达，其中P'el表示Pel的预测值：
P'el＝(w0Pbl0+w1Pbl1+O)>>T    (1)
在此实例中，w0和w1表示权重，且O表示上取样滤波器的偏移。举例来说，权重可为权重因子。在此实例中，色彩分量值(例如，亮度分量)Pbl0和Pbl1分别乘以权重w0和w1。在一个实施方案中，上取样滤波器的所有权重(例如，权重wi)的总和等于(1<<T)，其表示向左移位了T个位的二进制1。可基于需要多少准确度来选择或确定T的值。在一个实施方案中，如果需要较多准确度，那么可增加T的值。T的增加的值意味着左侧完成较多的位移，从而产生较多的位来执行计算。在一个实施方案中，偏移O的值为(1<<(T–1))。在另一实施方案中，偏移O的值可为所有权重(例如，wi)的总和的值的一半。举例来说，如果T的值等于4，那么所有系数的总和将为1<<4，其为(10000)2＝16。在同一实例中，偏移O将为1<<3，其为(1000)2＝8。偏移O可为舍入偏移，使得等式(1)的计算被向上舍入而不是向下舍入。在一些实施方案中，偏移可为零。
位深度可缩放性和层间预测
类似地，在位深度可缩放性的情况下，以不同数目的位(例如，8个位对比10个位)来表示基础层像素和增强层像素，因此基础层像素值在用于预测增强层像素值之前，可能需要修改(例如，经历位深度转换，以具有与增强层像素值相同数目的位)。此修改(例如，位深度转换)的一个实例涉及使基础层像素的位向左移位N(例如，如果增强层具有较高的位深度)，其中N表示基础层和增强层的位深度差。
下文说明位深度可缩放性情况下的此修改的实例。在此实例中，M表示增强层的位深度，N表示基础层的位深度，且K表示位深度差，其为M–N。此处，位深度指代特定色彩分量(例如YUV色彩空间的实例中的Y、U或V)的位深度。在此实例中，使用亮度分量来说明所述实施方案，但类似方法可应用其它色彩分量。
在此实例中，Pel表示增强层中的像素的亮度分量，且Pbl表示基础层中的对应(例如，位于同一位置的)像素的亮度分量。此处，层间纹理预测可涉及转换基础层色彩分量，使得其以与增强层色彩分量相同数目的位来表示。以下等式中说明此转换的一种实施方式，其中P'el表示Pel的预测值：
P'el＝Pbl<<K，如果K≥0    (2)
P'el＝Pbl>>(–K)，如果K<0    (3)
举例来说，如果基础层与增强层之间的位深度差为2(例如，基础层具有8个位的位深度，且增强层具有10个位的位深度)，那么基础层像素的亮度分量向左移位2个位。因此，如果基础层中的像素(例如，白色)具有基础层中的亮度分量255(二进制中的11111111)，那么根据等式(1)，预测值将为1020(二进制中的1111111100)，其在10位位深度中的白色的亮度分量1023附近。
在本发明中，假定K大于或等于0(例如，增强层的位深度大于或等于基础层的位深度)。然而，类似方法可应用于其中K小于0的情况。
组合式空间和位深度可缩放性
在一个实施方案中，如果存在空间可缩放性和位深度可缩放性两者，那么上文所论述的方法可组合，以实现上取样和位深度转换两者，来预测增强层像素值。举例来说，一种实施方式可为：
1.使基础层像素Pbli向左移位K个位：P'bli＝Pbli<<K
2.对向左移位的像素P'bli进行上取样：P'el＝(w0P'bl0+w1P'bl1+O)>>T
在上文所述的实例中，位深度转换过程(例如，第一过程)对基础层像素值执行位深度转换，且输出经位深度转换的像素值，且上取样过程(例如，第二过程)对经位深度转换的像素值执行上取样，且输出经上取样的经位深度转换的像素值。因此，连续地执行所述过程，可实现上取样和位深度转换两者。
在另一实施方案中，基础层像素可首先根据分辨率比率进行上取样，且接着向左移位K个位，以获得预测的增强层像素值P'el(例如，经上取样的经位深度转换的像素值)。
用于空间和位深度可缩放性的单级过程
在上文所论述的实例中，上取样和位深度转换作为双级过程进行。在另一实施方案中，在单级过程中执行上取样和位深度转换，以产生对组合式位深度和空间可缩放性的预测。以下等式中说明此单级过程的一种实施方式。
P'el＝(w0Pbl0+w1Pbl1+O)>>W，其中W＝T–K    (4)
等式(4)说明上取样过程，其中向右移位减少了基础层与增强层之间的位深度差K。因此，通过向右位移少于无任何位深度可缩放性的情况下的位的K个位，等式(4)中所说明的过程有效地执行向左位移K个位，同时还实现上取样。在等式(4)的实例中，将等式(4)中所说明的单级过程应用于基础层像素值，且输出将上取样的经位深度转换的像素值。这不同于上文所描述的实例，其中对基础层像素值执行位深度转换过程，且对位深度转换过程的输出(例如，经位深度转换的基础层像素值)执行上取样过程。
在一些实施方案中，同时执行上取样和位深度转换。在一个实施方案中，“同时”执行上取样和位深度转换可意味着存在促成上取样和位深度转换两者的至少一个操作。在另一实施方案中，同时执行上取样和位深度转换两者可意味着使用单个滤波器来执行上取样和位深度转换两者。在另一实施方案中，同时执行上取样和位深度转换两者可意味着上取样和位深度转换在时间上彼此重叠。
在一些实施方案中，代替于在执行分开的位深度转换过程之前完成上取样过程，位深度转换过程可整合到单级上取样过程中。或者，在一些实施方案中，代替于在执行分开的上取样过程之前完成位深度转换过程，上取样过程可整合到单级位深度转换过程中。在一个实施方案中，单级过程可包含多个数学操作，例如乘法、加法和/或位移。单级过程可包含促成上取样和位深度转换两者的至少一个操作。在一个实例中，此操作可为左位移。在另一实例中，此操作可为右位移。在又一实例中，此操作可涉及乘法。在又一实例中，此操作可涉及加法。
在一个实施方案中，在执行上取样过程之后，可能不需要执行单独的位深度转换过程，因为位深度转换已经作为上取样过程的一部分而执行。举例来说，位深度转换过程可整合到上取样过程中。在一个实施方案中，结合上取样过程而执行的操作中的一个也实现位深度转换，从而消除了执行单独的位深度转换过程的需要。
在一些实施方案中，通过在单级过程中执行上取样和位深度转换，可减少上取样过程中的舍入误差。举例来说，在上文所示的单级过程中，经加权的像素值w0Pbl0和w1Pbl1与偏移O的总和右位移W，其小于等式(1)中的T，因此保留较多的数位，从而产生较好的准确度。
图8是说明根据本发明实施方案的用于译码视频信息的方法800的流程图。图8中所说明的步骤可由编码器(例如，如图2B或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)，或任何其它组件执行。为了方便，将方法800描述为由译码器执行，译码器可为编码器、解码器或另一组件。
方法800在框801处开始。在框805中，译码器存储与包括EL视频单元的增强层(EL)和包括对应于所述EL视频单元的RL视频单元的参考层(RL)相关联的视频信息。在框810中，译码器对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息。举例来说，译码器通过应用单级过程来同时执行上取样和位深度转换两者。此单级过程可包含促成上取样和位深度转换两者的至少一个操作。在一个实施方案中，像素信息指代像素值或此像素值的色彩分量，且所预测的像素信息指代用于确定EL视频单元的像素值或色彩分量的预测符。在一个实施方案中，可通过应用经配置以在单级过程中(例如，同时)对像素值进行上取样和位移的组合式上取样和位深度转换滤波器，来确定预测像素信息。在框815中，译码器使用所预测的像素信息来确定EL视频单元。举例来说，此过程可涉及将通过将预测功能应用于RL像素值而获得的预测值从EL块的实际值减去，以及发射残差和所述预测。方法800在框820处结束。
如上文所论述，可使用图2A的视频编码器20、图2B的视频编码器21、图3A的视频解码器30或图3B的视频解码器31的一个或一个以上组件(例如，层间预测单元128和/或层间预测单元166)来实施本发明中所论述的技术中的任一者，例如对像素信息执行上取样和位深度转换，以及使用所预测的像素信息来确定EL视频单元(例如，EL中的当前块)。
图9是说明根据本发明实施方案的用于译码视频信息的方法900的流程图。图9中所说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器)、解码器(例如，如图3A或图3B中所示的视频解码器)或任何其它组件执行。为了方便，将方法900描述为由译码器执行，译码器可为编码器、解码器或另一组件。
方法900在框901处开始。在框905中，译码器确定参考层和增强层的分辨率是否不同。如果译码器确定分辨率不同，那么在框910中，译码器确定参考层和增强层的位深度是否不同。如果译码器确定位深度不同，译码器在框925中(例如，对RL块或RL图片的像素信息，如参考图8所论述)同时执行上取样和位深度转换，以确定增强层中的当前块的所预测像素信息。如果译码器在框910中确定位深度不同，那么译码器在框920中执行上取样，以确定当前块的所预测像素信息。如果译码器在框905中确定分辨率不同，那么在框915中，译码器确定位深度不同。如果译码器确定位深度不同，那么译码器在框930中执行位深度转换，以确定当前块的所预测的像素信息。如果译码器在框915中确定位深度不同，那么译码器在框935中，基于所预测的像素信息(例如，参考层中的位于同一位置的块的像素信息)来确定当前块。类似地，在译码器在框920、925或930中确定所预测的像素信息之后，译码器在框935中，基于参考层中的位于同一位置的块的经处理的像素信息(例如，所预测的像素信息)来确定当前块。方法900在框940处结束。
如上文所论述，可使用图2A的视频编码器20、图2B的视频编码器21、图3A的视频解码器30或图3B的视频解码器31的一个或一个以上组件(例如，层间预测单元128和/或层间预测单元166)来实施本发明中所论述的技术中的任一者，例如确定分辨率和/或位深度是否不同，执行上取样、位深度转换或同时的上取样和位深度转换，以及使用所预测的像素信息来确定EL中的当前块。
在方法900中，可去除(例如，不执行)图9中所示的框中的一个或一个以上，且可切换执行所述方法的次序。举例来说，尽管在图9的实例中，在检查位深度是否不同之前，检查分辨率是否不同，但在另一实例中，可在检查分辨率是否不同之前，检查位深度是否不同。
预测值的剪辑
在一个实施方案中，可将剪辑过程应用于等式(4)中所示的预测，以限制预测像素的位范围，如以下等式所示：
P'el＝CLIP(w0Pbl0+w1Pbl1+O)>>W，其中W＝T–K    (5)
在此实例中，可将P'el的值剪辑到范围[0,(1<<M)–1]中的值(例如，以便防止下溢或上溢)。举例来说，如果EL的位深度为10，那么可将预测值P'el剪辑到范围[0，1023]。最小值和最大值不限于此实例，且可由编码器来预定义或用信号通知。可在PPS中用信号通知位深度(或值范围)。
用于空间和位深度可缩放性的二维滤波器
参考等式(4)所论述的实例说明一维(1-D)上取样滤波器的情况。在基础层和增强层中的图片包括2-D像素阵列的情况下，此1-D滤波器可用于在垂直方向上(例如，Pbl0和Pbl1为基础层中的垂直相邻像素)或在水平方向上(例如，Pbl0和Pbl1是基础层中的水平相邻像素)对像素进行上取样。使用1-D上取样滤波器，可产生所有方向上的像素的预测值。
在一个实施方案中，可使用二维可分滤波器。举例来说，可应用1-D水平上取样滤波器，且接着可应用1-D垂直上取样滤波器。在另一实施方案中，可在应用1-D水平上取样滤波器之前，应用1-D垂直上取样滤波器。在其中将水平上取样选为第一级且将垂直上取样选为第二级的实例中，可减少第二级(例如，垂直上取样)中的右移量，以反映基础层与增强层之间的位深度差。举例来说，如果Tsec表示不存在任何位深度可缩放性的情况下第二级中的右移量，那么在组合式上取样和位深度转换滤波器(例如，上文所论述的2-D可分滤波器)中，可在第二级中使用右移量Tsec–K。换句话说，使右移量减少基础层与之间的位深度差，使得在分开级中左移预测值的需要得以消除。举例来说，如果将Tsec设定为4，且位深度差为2，那么在第二级中，使经加权色彩分量的总和向右移位4–2＝2，而不是4。尽管在此实例中，将垂直上取样选为第二级，但当将水平上取样选为第二级时，可应用类似技术。在一个实施方案中，可使2-D(或其它维度)可分滤波器的最后级中的位移减少基础层与增强层的位深度差。
在另一实施方案中，上取样可由2-D不可分滤波器执行，例如以下等式所示：
P'el＝求和(wij*Pblij)+O>>T    (6)
其中Pblij为位置(i,j)处的像素，且wij为Pblij的对应权重。在一个实施方案中，所有权重wij的和等于1<<T。可使用以下等式来实施空间可缩放性(具有2-D不可分上取样滤波器)与位深度可缩放性的组合：
P'el＝求和(wij*Pblij)+O>>W，其中W＝T–K    (7)
如上文所论述，通过在单级过程中执行上取样和位深度转换，可减少舍入误差，从而实现较好的准确度。
滤波器系数的自适应信令
在组合式位深度和空间可缩放性方案的一个实施方案中，可使用自适应层间上取样/滤波和/或层间分量间滤波和/或分量间滤波。可在位流中，例如在PPS、APS、切片标头和有关扩展中自适应地用信号通知滤波系数。举例来说，对于一些帧(或切片)，可用信号通知滤波系数(例如，发射到解码器)，且对于一些其它帧，滤波系数可取一个或一个以上预定义值。此类预定义值可由编码器和/或解码器已知。因此，滤波系数的信令或确定可针对不同帧(或切片)而不同。举例来说，可基于边信息来确定是否以及如何用信号通知滤波系数，边信息可包含但不限于以下各项中的一者或一者以上：色彩空间、色彩格式(4:2:2、4:2:0等)、帧大小、帧类型、预测模式、帧间预测方向、帧内预测模式、译码单元(CU)大小、最大/最小译码单元大小、量化参数(QP)、最大/最小变换单元(TU)大小、最大变换树深度参考帧索引、时间层id等。举例来说，可仅针对具有大于阈值大小的大小的帧，发射滤波系数。在另一实施方案中，可仅针对具有小于阈值大小的大小的帧，发射滤波系数。
在一个实施方案中，存在两组或两组以上可用滤波系数，且编码器可用信号通知一选择位(或若干位)，其指示哪一组滤波系数将用于所述帧。因此，不同的帧(或切片)可使用不同组滤波系数。举例来说，一个帧可包含高对比度边缘，且可使用产生最小低通效应的滤波系数。在同一实例中，另一帧可包含许多噪声，且可使用产生较强低通效应的滤波系数。在一个实施方案中，编码器以每一组可用的滤波系数来预测增强层帧，并基于译码性能选择一组。在一个实施方案中，多组滤波系数可存储在某处(例如，存储库)，且由编码器和/或解码器使用。在另一实施方案中，可由编码器和/或解码器在空中得出滤波系数。在又一实施方案中，滤波系数由编码器发射到解码器。
在一个实施方案中，在位流中，例如在VPS、SPS和有关扩展中启用和/或停用上文所论述的自适应层间滤波器和/或层间分量间滤波器和/或分量间滤波器。举例来说，自适应滤光器可仅针对所述帧的子集启用，且针对其它帧停用。
用于单级过程的偏移
在参考等式(4)所论述的实例中，不存在在执行位移之后添加的偏移。在另一实施方案中，在执行位移之后，添加偏移S，如下式所说明：
P'el＝((w0Pbl0+w1Pbl1+O)>>W)+S    (8)
在一个实施方案中，偏移S可为1<<(K–1)。在此实例中，提供偏移O用于上取样过程，且提供偏移S用于位深度转换过程(例如，以使预测值更接近实际增强层像素值)。
在另一实例中，在执行位移之前，可添加偏移。换句话说，可将等式(8)中的偏移S整合到等式(8)中的偏移O中，如下式所说明：
P'el＝(w0Pbl0+w1Pbl1+O')>>W    (9)
其中组合偏移O'表示整合到等式(8)中的偏移O中的偏移S。举例来说，如果在等式(8)的实例中，偏移O具有值1<<(T–1)，且偏移S具有值1<<(K–1)，那么新的组合偏移O'将等于O+(S<<W)，其为1<<T。在此实例中，由于在中间级中(例如，在执行位移之前)添加偏移，因此保留更多的准确度。
在一个实施方案中，将参考等式(5)所论述的剪辑应用于等式(8)或等式(9)。举例来说，可将P'el的值剪辑到范围[0,(1<<M)–1]中的值，且可防止任何下溢或上溢。
组合偏移的自适应选择
在一个实施方案中，可自适应地选择上文所论述的组合偏移O'(例如，以改进比率失真性能)。可例如在译码树单元(CTU)基础上或在逐图片基础上完成组合偏移O'的此自适应选择。
举例来说，在8位基础层图片中，可存在表示两种不同色彩：黑色和白色的两个像素。在基础层图片中，对应于黑色的像素可具有色彩分量值零，且对应于白色的像素可具有色彩分量值255。如果这两个基础层像素将用于预测10位增强层像素，那么可首先使所述像素向左移位2个位，以从8位表示变为10位表示。当执行位深度转换时，黑色像素的预测值仍为0(0<<2)，且白色像素的预测值为1020(11111111<<2，且为1111111100＝1020)。在执行位深度转换之后，黑色像素的预测值等于实际值0，但白色像素的预测值1020偏差3，因为实际增强层像素值将为1023。在一个实施方案中，将固定偏移添加到所有预测值，使得总预测误差可减少。在一个实例中，偏移可为范围中心处的值。举例来说，可将固定偏移2添加到所有预测值，这将降低平均预测误差。在另一实施方案中，从多个偏移值(例如，在此实例中为0、1、2、3)自适应地选择偏移值，使得预测误差针对每一像素(或每一PU、CU、LCU或图片，或任何其它名称)最小化。举例来说，用于黑色像素的偏移可选择为0，且用于白色像素的偏移可选择为3。
从查找表得出组合偏移
在一个实施方案中，可从查找表(例如，范围映射查找表)得出组合偏移O'。此查找表可取基础层像素值作为输入，且输出用于相应基础层像素值的偏移值。因此，将用于预测增强层像素的偏移值可基于基础层中的对应(例如，位于同一位置的)像素的色彩分量值(例如，像素强度值)。在一个实施方案中，查找表由编码器发射到解码器。在另一实施方案中，固定查找表是编码器和解码器两者已知的。在此情况下，编码器可仅用信号通知解码器所述编码器正使用查找表。
跨分量预测
在一些实施方案中，可分别处理不同的色彩分量(例如，亮度、色度等)。举例来说，可使用基础层像素的亮度分量来预测增强层像素的色度分量。在其它实施方案中，可使用一个或一个以上色彩分量来预测其它色彩分量。举例来说，可使用基础层像素的亮度分量来预测对应增强层像素的色度分量的下部K(位深度差)个位(且反之亦然)，如下式所说明：
P'el,Cb＝[(w0Pbl0,Cb+w1Pbl1,Cb+O')>>W]+[(w0'Pbl0,Y+w1'Pbl1,Y+O”)>>(T+N–K)]    (10)
其中W等于(T–K)。举例来说，亮度信号可包含比色度信号多的细节。因此，如果对基础层色度分量进行滤波以预测增强层色度分量，那么在过程期间，可能容易失去一些细节。在等式(10)的实例中，使用亮度分量来预测色度分量。因此，通过这样做，可保留较多细节。
可使用多种不同技术和技巧中的任何一种来表示本文所揭示的信息和信号。举例来说，贯穿以上描述可参考的数据、指令、命令、信息、信号、位、符合和码片可由电压、电流、电磁波、磁场或颗粒、光场或微粒，或其任何组合来表示。
结合本文所揭示的实施例而描述的各种例示性逻辑块、模块、电路和算法可实施为电子硬件、计算机软件，或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已大体上依据其功能性描述了各种例示性组件、块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用以及强加于整个***上的设计限制。熟练的技术人员可针对每一特定应用，以不同方式来实施所描述的功能性，但此类实施决策不应被解释为导致脱离本发明的范围。
本文所描述的技术可在硬件、软件、固件或其任何组合中实施。此类技术可在多种装置的任何一者中实施，例如通用计算机、无线通信装置手持机，或具有多种用途的集成电路装置，包括在无线通信装置手持机和其它装置中的应用。描述为模块或组件的任何特征可在集成逻辑装置中一起实施，或分别实施为离散但彼此协作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包括指令，所述指令在被执行时，实施上文所述的方法中的一者或一者以上。计算机可读数据存储媒体可形成计算机程序产品的一部分，计算机程序产品可包括封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)，如同步动态随机存取存储器(SDRAM)；只读存储器(ROM)；非易失性随机存取存储器(NVRAM)；电可擦除可编程只读存储器(EEPROM)；快闪存储器；磁性或光学数据存储媒体等。所述技术另外或替代地可至少部分地由运载或传送程序代码的计算机可读通信媒体来实现，所述程序代码呈指令或数据结构的形式，且可由计算机存取、读取和/或执行，例如所传播的信号或波。
所述程序代码可由处理器执行，所述处理器可包含一个或一个以上处理器，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任何一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器的组合、结合DSP核的一个或一个以上微处理器，或任何其它此类配置。因此，术语“处理器”在本文中使用时，可指代前述结构中的任一者、前述结构的任何组合，或适合实施本文所述的技术的任何其它结构或设备。另外，在一些方面中，本文所描述的功能性可在经配置以用于编码和解码的专用软件模块或硬件模块内提供，或并入组合式视频编码器-解码器(编解码器)中。并且，所述技术可完全在一个或一个以上电路或逻辑元件中实施。
本发明的技术可在各种各样的装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示技术的装置的功能方面，但不一定要求通过不同硬件单元来实现。相反，如上文所描述，各种单元可在编解码器硬件单元中组合，或由相互操作的硬件单元的集合(包括如上文所述的一个或一个以上处理器)接合合适的软件和/或固件提供。
已描述了本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (45)

1.一种经配置以译码视频信息的设备，所述设备包括：
存储器单元，其经配置以存储与参考层RL和增强层EL相关联的视频信息，所述EL包括EL视频单元，且所述RL包括对应于所述EL视频单元的RL视频单元；以及
处理器，其与所述存储器单元通信，所述处理器经配置以：
在单个组合式过程中，对所述RL视频单元的像素信息执行上取样和位深度转换，以确定所述EL视频单元的经预测像素信息；以及
使用所述经预测像素信息来确定所述EL视频单元。
2.根据权利要求1所述的设备，其中所述EL视频单元为EL图片和所述EL图片内的EL块中的一者，且所述RL视频单元为RL图片和所述RL图片内的RL块中的一者。
3.根据权利要求1所述的设备，所述处理器经配置以同时执行上取样和位深度转换。
4.根据权利要求1所述的设备，其中所述位深度转换致使所述经上取样的RL视频单元具有与用于所述EL视频单元相同数目的位。
5.根据权利要求1所述的设备，其中所述同时上取样和位深度转换包括单级过程，其包含促成上取样和位深度转换两者的至少一个操作。
6.根据权利要求1所述的设备，其中所述处理器经配置以将组合式上取样和位深度转换滤波器应用于所述RL视频单元的所述像素信息，所述组合式上取样和位深度转换滤波器经配置以基于所述RL和所述EL的分辨率比率，对所述RL视频单元的所述像素信息进行上取样，且基于所述EL的位深度与所述RL的位深度之间的差，来转换所述经上取样的像素信息的位深度。
7.根据权利要求1所述的设备，其中所述处理器经配置以将组合式位深度转换和上取样滤波器应用于所述RL视频单元的所述像素信息，所述组合式位深度转换和上取样滤波器经配置以基于所述EL的所述位深度与所述RL的所述位深度之间的所述差，来转换所述RL视频单元的所述像素信息的所述位深度，且基于所述RL与所述EL的分辨率比率，对所述经转换的像素信息进行上取样。
8.根据权利要求1所述的设备，其中所述处理器经配置以应用具有一个或一个以上权重因子、一偏移、一位移值的上取样和位深度转换滤波器，
其中所述位移值取决于与所述EL相关联的EL位深度和与所述RL相关联的RL位深度之间的差。
9.根据权利要求1所述的设备，其中所述处理器经配置以将二维可分滤波器应用于所述RL视频单元的所述像素信息，所述二维可分滤波器包括：水平上取样级，其具有一个或一个以上权重因子、一第一偏移、一第一位移值；以及垂直上取样级，其具有一个或一个以上额外权重因子、一第二偏移和一第二位移值，
其中所述第一位移值取决于与所述RL相关联的RL位深度，且所述第二位移值取决于与所述EL相关联的EL位深度。
10.根据权利要求1所述的设备，其中所述处理器经配置以将二维可分滤波器应用于所述RL视频单元的所述像素信息，所述二维可分滤波器包括：水平上取样级，其具有一个或一个以上权重因子、一第一偏移、一第一位移值；以及垂直上取样级，其具有一个或一个以上额外权重因子、一第二偏移和一第二位移值，
其中所述第一位移值取决于与所述RL相关联的RL位深度，且所述第二位移值由与所述EL相关联的EL位深度和与所述RL相关联的RL位深度之间的位深度差确定。
11.根据权利要求1所述的设备，其中所述处理器经配置以将二维可分滤波器应用于所述RL视频单元的所述像素信息，所述二维可分滤波器包括：水平上取样级，其具有一个或一个以上权重因子、一第一偏移、一第一位移值；以及垂直上取样级，其具有一个或一个以上额外权重因子、一第二偏移和一第二位移值，
其中所述第一位移值是以与用于当与所述EL相关联的EL位深度和与所述RL相关联的RL位深度是相同的时的情况的位移值相同的方式得出，且所述第二位移值是基于所述EL位深度与所述RL位深度之间的位深度差而得出，且小于用于当所述EL位深度和所述RL位深度是相同的时的情况的所述位移值。
12.根据权利要求1所述的设备，其中所述处理器经配置以将二维非可分滤波器应用于所述RL视频单元的所述像素信息，所述二维非可分滤波器包括所述RL的多个像素值乘以对应于所述多个像素值的权重因子矩阵的求和。
13.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
将具有一个或一个以上滤波系数的组合式上取样和位深度转换滤波器应用于所述RL视频单元的所述像素信息；以及
对于所述EL中的每一帧，确定是否使用所述一个或一个以上滤波系数来预测所述EL视频单元。
14.根据权利要求1所述的设备，其中所述RL具有第一分辨率和第一位深度，且所述EL具有不同于所述第一分辨率的第二分辨率以及不同于所述第一位深度的第二位深度，且所述上取样和位深度转换将具有所述第一分辨率和所述第一位深度的像素信息转换成具有所述第二分辨率和所述第二位深度的像素信息。
15.根据权利要求1所述的设备，其中所述处理器经配置以对所述RL视频单元的所述像素信息执行上取样和位深度转换，并在执行所述位深度转换之后，添加偏移。
16.根据权利要求1所述的设备，其中所述处理器经配置以对所述RL视频单元的所述像素信息执行上取样和位深度转换，且在执行所述位深度转换之前，添加单个组合式偏移。
17.根据权利要求1所述的设备，其中所述处理器经配置以对所述RL视频单元的所述像素信息执行上取样和位深度转换，且在执行所述位深度转换之前，添加单个组合式偏移，所述组合式偏移的值是基于比率失真性能，从多个偏移值自适应地选择的。
18.根据权利要求1所述的设备，其中所述处理器经配置以对所述RL视频单元的所述像素信息执行上取样和位深度转换，且在执行所述位深度转换之前，添加单个组合式偏移，所述组合式偏移的所述值是从经配置以基于所述RL视频单元的所述像素信息输出所述组合式偏移的所述值的查找表得出。
19.根据权利要求1所述的设备，其中所述处理器经配置以基于所述RL视频单元的所述像素信息的色度分量和亮度分量两者，确定所述经预测像素信息的色度分量。
20.根据权利要求1所述的设备，其中所述设备包括编码器，且其中所述处理器进一步经配置以使用所述经预测像素信息来编码所述EL视频单元。
21.根据权利要求1所述的设备，其中所述设备包括解码器，且其中所述处理器进一步经配置以使用所述经预测像素信息来解码所述EL视频单元。
22.根据权利要求1所述的设备，其中所述设备包括选自由计算机、笔记本计算机、膝上型计算机、计算机、平板计算机、机顶盒、电话手持机、智能电话、智能平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台以及车载计算机中的一个或一个以上组成的群组的装置。
23.一种译码视频信息的方法，所述方法包括：
存储与参考层RL和增强层EL相关联的视频信息，所述EL包括EL视频单元，且所述RL包括对应于所述EL视频单元的RL视频单元；
在单个组合式过程中，对所述RL视频单元的像素信息执行上取样和位深度转换，以确定所述EL视频单元的经预测像素信息；以及
使用所述经预测像素信息来确定所述EL视频单元。
24.根据权利要求23所述的方法，其中所述EL视频单元为EL图片和所述EL图片内的EL块中的一者，且所述RL视频单元为RL图片和所述RL图片内的RL块中的一者。
25.根据权利要求23所述的方法，其中对所述像素信息执行上取样和位深度转换包括同时执行所述上取样和所述位深度转换。
26.根据权利要求23所述的方法，其中所述位深度转换致使所述经上取样的RL视频单元具有与用于所述EL视频单元相同数目的位。
27.根据权利要求23所述的方法，其中执行上取样和位深度转换进一步包括执行单级过程，其包含促成上取样和位深度转换两者的至少一个操作。
28.根据权利要求23所述的方法，其进一步包括将组合式上取样和位深度转换滤波器应用于所述RL视频单元的所述像素信息，所述组合式上取样和位深度转换滤波器经配置以基于所述RL与所述EL的分辨率比率，对所述RL视频单元的所述像素信息进行上取样，且基于所述EL的位深度与所述RL的位深度之间的差，来转换所述经上取样的像素信息的位深度。
29.根据权利要求23所述的方法，其进一步包括将组合式位深度转换和上取样滤波器应用于所述RL视频单元的所述像素信息，所述组合式位深度转换和上取样滤波器经配置以基于所述EL的所述位深度与所述RL的所述位深度之间的差，来转换所述RL视频单元的所述像素信息的所述位深度，且基于所述RL与所述EL的分辨率比率，对所述经转换的像素信息进行上取样。
30.根据权利要求23所述的方法，其中所述处理器经配置以应用具有一个或一个以上权重因子、一偏移、一位移值的上取样和位深度转换滤波器，
其中所述位移值取决于与所述EL相关联的EL位深度和与所述RL相关联的RL位深度之间的差。
31.根据权利要求23所述的方法，其中所述处理器经配置以将二维可分滤波器应用于所述RL视频单元的所述像素信息，所述二维可分滤波器包括：水平上取样级，其具有一个或一个以上权重因子、一第一偏移、一第一位移值；以及垂直上取样级，其具有一个或一个以上额外权重因子、一第二偏移和一第二位移值，
其中所述第一位移值取决于与所述RL相关联的RL位深度，且所述第二位移值取决于与所述EL相关联的EL位深度。
32.根据权利要求23所述的方法，其中所述处理器经配置以将二维可分滤波器应用于所述RL视频单元的所述像素信息，所述二维可分滤波器包括：水平上取样级，其具有一个或一个以上权重因子、一第一偏移、一第一位移值；以及垂直上取样级，其具有一个或一个以上额外权重因子、一第二偏移和一第二位移值，
其中所述第一位移值取决于与所述RL相关联的RL位深度，且所述第二位移值由与所述EL相关联的EL位深度和与所述RL相关联的RL位深度之间的位深度差确定。
33.根据权利要求23所述的方法，其中所述处理器经配置以将二维可分滤波器应用于所述RL视频单元的所述像素信息，所述二维可分滤波器包括：水平上取样级，其具有一个或一个以上权重因子、一第一偏移、一第一位移值；以及垂直上取样级，其具有一个或一个以上额外权重因子、一第二偏移和一第二位移值，
其中所述第一位移值是以与用于当与所述EL相关联的EL位深度和与所述RL相关联的RL位深度是相同的时的情况的位移值相同的方式得出，且所述第二位移值是基于所述EL位深度与所述RL位深度之间的位深度差而得出，且小于用于当所述EL位深度和所述RL位深度是相同的时的情况的所述位移值。
34.根据权利要求23所述的方法，其进一步包括将二维非可分滤波器应用于所述RL视频单元的所述像素信息，所述二维非可分滤波器包括所述RL的多个像素值乘以对应于所述多个像素值的权重因子矩阵的求和。
35.根据权利要求23所述的方法，其进一步包括：
将具有一个或一个以上滤波系数的组合式上取样和位深度转换应用于所述RL视频单元的所述像素信息；以及
针对所述EL中的每一帧，确定是否使用所述一个或一个以上滤波系数来预测所述EL视频单元。
36.根据权利要求23所述的方法，其中所述RL具有第一分辨率和第一位深度，且所述EL具有不同于所述第一分辨率的第二分辨率，以及不同于所述第一位深度的第二位深度，且所述上取样和位深度转换将具有所述第一分辨率和所述第一位深度的像素信息转换成具有所述第二分辨率和所述第二位深度的像素信息。
37.根据权利要求23所述的方法，其进一步包括：
对所述RL视频单元的所述像素信息执行上取样和位深度转换；以及
在执行所述位深度转换之后，添加偏移。
38.根据权利要求23所述的方法，其进一步包括：
对所述RL视频单元的所述像素信息执行上取样和位深度转换；以及
在执行所述位深度转换之前，添加单个组合式偏移。
39.根据权利要求23所述的方法，其进一步包括：
对所述RL视频单元的所述像素信息执行上取样和位深度转换；以及
在执行所述位深度转换之前，添加单个组合式偏移，所述组合式偏移的值是基于比率失真性能，从多个偏移值自适应地选择的。
40.根据权利要求23所述的方法，其进一步包括：
对所述RL视频单元的所述像素信息执行上取样和位深度转换；以及
在执行所述位深度转换之前，添加单个组合式偏移，所述组合式偏移的所述值是从经配置以基于所述RL视频单元的所述像素信息输出所述组合式偏移的所述值的查找表得出。
41.根据权利要求23所述的方法，其进一步包括基于所述RL视频单元的所述像素信息的色度分量和亮度分量两者，确定所述经预测像素信息的色度分量。
42.一种包括代码的非暂时性计算机可读媒介，所述代码在被执行时，致使设备执行包括以下各项的过程：
存储与参考层RL和增强层EL相关联的视频信息，所述EL包括EL视频单元，且所述RL包括对应于所述EL视频单元的RL视频单元；
在单个组合式过程中，对所述RL视频单元的像素信息执行上取样和位深度转换，以确定所述EL视频单元的经预测像素信息；以及
使用所述经预测像素信息来确定所述EL视频单元。
43.根据权利要求42所述的非暂时性计算机可读媒介，其中执行上取样和位深度转换进一步包括执行单级过程，其包括促成上取样和位深度转换两者的至少一个操作。
44.一种经配置以译码视频信息的视频译码装置，所述视频译码装置包括：
用于存储与参考层RL和增强层EL相关联的视频信息的装置，所述EL包括EL视频单元，且所述RL包括对应于所述EL视频单元的RL视频单元；
用于在单个组合式过程中对所述RL视频单元的像素信息执行上取样和位深度转换以确定所述EL视频单元的经预测像素信息的装置；以及
用于使用所述经预测像素信息来确定所述EL视频单元的装置。
45.根据权利要求44所述的视频译码装置，其中所述用于执行上取样和位深度转换的装置经配置以执行单级过程，其包括促成上取样和位深度转换两者的至少一个操作。
CN201480012805.6A 2013-03-15 2014-03-12 用于视频信息的可缩放译码的装置和方法 Active CN105009590B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361790538P 2013-03-15 2013-03-15
US61/790,538 2013-03-15
US14/205,006 2014-03-11
US14/205,006 US9800884B2 (en) 2013-03-15 2014-03-11 Device and method for scalable coding of video information
PCT/US2014/024423 WO2014150864A2 (en) 2013-03-15 2014-03-12 Device and method for scalable coding of video information

Publications (2)

Publication Number Publication Date
CN105009590A true CN105009590A (zh) 2015-10-28
CN105009590B CN105009590B (zh) 2018-10-02

Family

ID=51526960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012805.6A Active CN105009590B (zh) 2013-03-15 2014-03-12 用于视频信息的可缩放译码的装置和方法

Country Status (9)

Country Link
US (1) US9800884B2 (zh)
EP (1) EP2974312B1 (zh)
JP (1) JP6333942B2 (zh)
KR (1) KR102301450B1 (zh)
CN (1) CN105009590B (zh)
BR (1) BR112015023800B8 (zh)
ES (1) ES2778350T3 (zh)
HU (1) HUE046979T2 (zh)
WO (1) WO2014150864A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622514A (zh) * 2017-05-05 2019-12-27 高通股份有限公司 用于视频译码的帧内参考滤波器
CN110677690A (zh) * 2019-09-27 2020-01-10 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质
WO2020182169A1 (zh) * 2019-03-11 2020-09-17 杭州海康威视数字技术股份有限公司 解码方法及装置
CN112055203A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI562600B (en) * 2010-02-08 2016-12-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
KR102127603B1 (ko) * 2013-10-07 2020-06-26 브이아이디 스케일, 인크. 다계층 비디오 코딩을 위해 조합된 확장성 프로세싱
US20150264368A1 (en) * 2014-03-14 2015-09-17 Sony Corporation Method to bypass re-sampling process in shvc with bit-depth and 1x scalability
US20170034538A1 (en) * 2015-07-27 2017-02-02 Sony Computer Entertainment Inc. Encode/Decode Strategy for Mitigating Irregular Stream Decoding Time
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017052250A1 (ko) * 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN117041548A (zh) 2016-04-29 2023-11-10 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
CA3078240A1 (en) * 2017-10-02 2019-04-11 Arris Enterprises Llc System and method for reducing blocking artifacts and providing improved coding efficiency
US10841604B2 (en) * 2018-09-04 2020-11-17 Google Llc Temporal prediction shifting for scalable video coding
KR20220035108A (ko) * 2019-07-22 2022-03-21 인터디지털 브이씨 홀딩스 인코포레이티드 행렬 기반 인트라 예측을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US20220417552A1 (en) * 2019-09-30 2022-12-29 Hyundai Motor Company Method and apparatus for inter-prediction of pictures with different resolutions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样
CN101796841A (zh) * 2007-06-27 2010-08-04 汤姆逊许可公司 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
CN101822060A (zh) * 2007-10-19 2010-09-01 汤姆森许可贸易公司 组合的空间和比特深度可缩放性
WO2012012249A1 (en) * 2010-07-20 2012-01-26 Cisco Technology, Inc. Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks
CN102388611A (zh) * 2009-02-11 2012-03-21 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7062096B2 (en) 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7590300B2 (en) * 2004-06-24 2009-09-15 Intel Corporation Image filtering methods and apparatus
JP2006011685A (ja) 2004-06-24 2006-01-12 Noritsu Koki Co Ltd 写真画像処理方法及びその装置
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
WO2009003499A1 (en) 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
CN102598660B (zh) * 2009-04-20 2015-04-29 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器
US9137539B2 (en) * 2010-12-22 2015-09-15 Panasonic Corporation Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
EP2777259A2 (en) * 2011-11-08 2014-09-17 Motorola Mobility LLC Devices and methods for sample adaptive offset coding and/or signaling
IN2015DN00191A (zh) * 2012-07-09 2015-06-12 Vid Scale Inc

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578882A (zh) * 2007-01-09 2009-11-11 高通股份有限公司 用于可缩放视频译码的自适应上取样
CN101796841A (zh) * 2007-06-27 2010-08-04 汤姆逊许可公司 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
CN101822060A (zh) * 2007-10-19 2010-09-01 汤姆森许可贸易公司 组合的空间和比特深度可缩放性
CN102388611A (zh) * 2009-02-11 2012-03-21 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置
WO2012012249A1 (en) * 2010-07-20 2012-01-26 Cisco Technology, Inc. Video compression using multiple variable length coding methods for multiple types of transform coefficient blocks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONGYING GAO ET AL: "H.264/Advanced Video Coding(AVC) Backward-Compatible Bit-Depth Scalable Coding", 《IEEE TRANSACTIONSON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622514A (zh) * 2017-05-05 2019-12-27 高通股份有限公司 用于视频译码的帧内参考滤波器
CN110622514B (zh) * 2017-05-05 2023-11-03 高通股份有限公司 用于视频译码的帧内参考滤波器
WO2020182169A1 (zh) * 2019-03-11 2020-09-17 杭州海康威视数字技术股份有限公司 解码方法及装置
WO2020182168A1 (zh) * 2019-03-11 2020-09-17 杭州海康威视数字技术股份有限公司 解码方法及装置
CN110677690A (zh) * 2019-09-27 2020-01-10 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质
CN110677690B (zh) * 2019-09-27 2022-07-01 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质
CN112055203A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置
CN112055203B (zh) * 2020-08-22 2024-04-12 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置

Also Published As

Publication number Publication date
US20140269939A1 (en) 2014-09-18
KR20150128915A (ko) 2015-11-18
EP2974312B1 (en) 2019-12-18
BR112015023800B8 (pt) 2023-10-17
EP2974312A2 (en) 2016-01-20
WO2014150864A2 (en) 2014-09-25
JP6333942B2 (ja) 2018-05-30
WO2014150864A3 (en) 2014-12-18
CN105009590B (zh) 2018-10-02
BR112015023800B1 (pt) 2023-04-25
BR112015023800A2 (pt) 2017-07-18
ES2778350T3 (es) 2020-08-10
KR102301450B1 (ko) 2021-09-10
HUE046979T2 (hu) 2020-04-28
JP2016511619A (ja) 2016-04-14
US9800884B2 (en) 2017-10-24

Similar Documents

Publication Publication Date Title
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
CN105103560A (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
US20140198846A1 (en) Device and method for scalable coding of video information
CN104620576A (zh) 可缩放视频译码中的替代变换
CN105191315A (zh) 在shvc中有条件地调用再取样过程
CN104685875A (zh) 用于视频译码中的4:2:2样本格式的帧内译码
CN105025997A (zh) 针对位深度可缩放视频译码使用样本自适应调整的层间预测
CN105393536A (zh) 使用位移向量从预测性块的帧内预测
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN105519116A (zh) 产生用于增强层中的运动预测的经调适运动向量候选者列表的可缩放hevc装置和方法
EP3206403A1 (en) Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN105556967A (zh) 用于视频信息的可缩放译码的装置和方法
CN105191310A (zh) 用于视频译码的并行处理
WO2013063117A1 (en) Determining boundary strength values for deblocking filtering for video coding
CN105284113A (zh) 分量间滤波
CN104584550A (zh) 用于可缩放视频译码的帧内预测改善
CN103621082A (zh) 视频译码中的量化
CN104205829A (zh) 合并信令及环路滤波器开/关信令
CN104396243A (zh) 用于视频压缩的自适应上取样滤波器
CN105144719A (zh) 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法
CN104081777A (zh) 用于视频译码的残余四叉树(rqt)译码
CN103430539A (zh) 经解码图片缓冲器管理
CN104704843A (zh) 视频性质的指示

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant