CN105264891A - 具有变换跳过、旋转和扫描的残余差分脉码调制(dpcm)扩展和协调 - Google Patents

Abstract

本发明描述用于当残余差分脉码调制RDPCM应用于残余块时协调译码技术的技术。在一些实例中，用于此残余块的扫描次序可需要与当所述残余块是从对当前块进行帧内预测产生时以及当所述残余块是从对所述当前块进行帧间预测或块副本内预测产生时相同。

Description

具有变换跳过、旋转和扫描的残余差分脉码调制(DPCM)扩展和协调

本申请案主张2013年6月5日申请的第61/831,581号美国临时申请案的权益，所述申请案的整个内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码和压缩。

背景技术

数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准和此类标准的扩展部分定义的标准中描述的技术，以便更有效地发射、接收和存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频编码，可将视频切片分割成视频块，视频块还可被称作树块、编码单元(CU)及/或编码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

发明内容

一般来说，本发明中描述的一或多种技术涉及当应用残余差分脉码调制(残余DPCM或RDPCM)时译码工具的协调。在一些实例中，如果RDPCM应用于残余块，那么无变换应用于残余块(即，仅对跳过或绕过变换的残余块应用RDPCM)。在一些实例中，如果RDPCM应用于从对当前块进行帧内预测产生的残余块，那么基于RDPCM的次序(例如，方向)对残余块使用某一扫描次序。

本发明中描述的一或多种技术将此概念延伸到经帧间预测且块副本内(BC内)预测块。举例来说，所述一或多种技术确定将对从帧间预测或BC内预测产生的残余块使用的扫描次序(其中应用RDPCM)，以使得所确定的扫描次序是与在残余块是使用帧内预测产生且应用具有相同次序(水平或垂直)的RDPCM的情况下将使用的相同扫描次序。以此方式，所述技术针对帧内预测和帧间或BC内预测协调用于RDPCM的扫描次序。

在一个实例中，本发明描述一种对视频数据进行解码的方法，所述方法包括：对指示残余差分脉码调制(DPCM)应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向的信息进行解码；基于所述指示所述方向的信息确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述经解码信息中指示的所述方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵解码；以及基于所述经解码残余数据重构所述当前块。

在一个实例中，本发明描述一种对视频数据进行编码的方法，所述方法包括：确定残余差分脉码调制(DPCM)将应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向；基于所述所确定的所述残余DPCM应用的方向确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述所确定的所述残余DPCM应用于所述第一残余块的方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵编码；对指示所述所确定的残余DPCM应用的方向的信息进行编码；以及输出所述经编码残余数据以及所述指示所述所确定的残余DPCM应用的方向的信息。

在一个实例中，本发明描述一种用于对视频数据进行解码的装置，所述装置包括：视频数据存储器，其经配置以存储包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块；以及视频解码器，其经配置以：对指示残余差分脉码调制(DPCM)应用于所述第一残余块的方向的信息进行解码；基于所述指示所述方向的信息确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述经解码信息中指示的所述方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵解码；以及基于所述经解码残余数据重构所述当前块。

在一个实例中，本发明描述一种用于对视频数据进行编码的装置，所述装置包括：视频数据存储器，其经配置以存储当前块的预测性块；以及视频编码器，其经配置以：确定残余差分脉码调制(DPCM)将应用于包含从由所述当前块的向量参考的所述预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向；基于所述所确定的所述残余DPCM应用的方向确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述所确定的所述残余DPCM应用于所述第一残余块的方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵编码；对指示所述所确定的残余DPCM应用的方向的信息进行编码；以及输出所述经编码残余数据以及所述指示所述所确定的残余DPCM应用的方向的信息。

在一个实例中，本发明描述一种用于对视频数据进行解码的装置，所述装置包括：用于对指示残余差分脉码调制(DPCM)应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向的信息进行解码的装置，其中所述指示所述方向的信息包括指示垂直残余DPCM或水平残余DPCM中的一者的信息；用于基于所述指示所述方向的信息确定用于所述第一残余块的扫描次序的装置，其中所述用于确定用于所述第一残余块的所述扫描次序的装置包括：用于在所述信息指示水平残余DPCM且所述第一残余块的所述大小小于或等于8x8的情况下确定垂直扫描的装置；以及用于在所述信息指示垂直残余DPCM且所述第一残余块的所述大小小于或等于8x8的情况下确定水平扫描的装置。所述装置进一步包括：用于基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵解码的装置；以及用于基于所述经解码残余数据重构所述当前块的装置。

在一个实例中，本发明描述一种具有存储于其上的指令的计算机可读存储媒体，所述指令当执行时致使用于对视频数据进行编码的装置的视频编码器：确定残余差分脉码调制(DPCM)将应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向，其中所述所确定的方向包括垂直残余DPCM或水平残余DPCM中的一者；基于所述所确定的所述残余DPCM应用的方向确定用于所述第一残余块的扫描次序，其中为了确定所述第一残余块的所述扫描次序，所述指令致使所述视频编码器：如果所述所确定的方向是所述水平残余DPCM且如果所述第一残余块的所述大小小于或等于8x8，那么确定垂直扫描，或如果所述所确定的方向是所述垂直残余DPCM且如果所述第一残余块的所述大小小于或等于8x8，那么确定水平扫描；基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵编码；对指示所述所确定的残余DPCM应用的方向的信息进行编码；以及输出所述经编码残余数据以及所述指示所述所确定的残余DPCM应用的方向的信息。

在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及所述图式以及从权利要求书而显而易见。

附图说明

图1是说明可以利用本发明的技术的实例视频译码***的框图。

图2是说明可以实施本发明的技术的实例视频编码器的框图。

图3是说明可以实施本发明的技术的实例视频解码器的框图。

图4A展示用于近垂直模式的残余DPCM方向。

图4B展示用于近水平模式的残余DPCM方向。

图5是说明根据本发明的对视频数据进行编码的实例技术的流程图。

图6是说明根据本发明的对视频数据进行解码的实例技术的流程图。

具体实施方式

在视频译码中，视频译码器(例如，视频编码器或视频解码器)形成预测性块。视频编码器确定预测性块与当前块(例如，正预测的块)之间的差，称为残余。残余值形成残余块。视频解码器接收残余块且将残余块的残余值添加到预测性块以重构当前块。在帧间预测中，预测性块在与当前块不同的图片中或基于不同图片的样本且由运动向量识别。在帧内预测中，预测性块是由与当前块在同一图片中的样本形成且通过帧内预测模式形成。在块副本内(BC内)预测中，预测性块与当前块在同一图片中且通过块向量识别。

为了减少需要输出的残余块的数据量，视频编码器可利用对残余块的差分脉码调制(DPCM)，称为残余DPCM或RDPCM。对于残余DPCM，视频编码器基于先前行或列的残余值而预测残余块的行或列的残余值。作为一实例，视频编码器从行0的经重构残余值减去行1的残余值(例如，从行0的第一残余值减去行1的第一残余值，从行0的第二残余值减去行1的第二残余值等)。对于行0，视频编码器用信号表示残余值，但对于行1，视频编码器用信号表示差值，且对于行2，视频编码器用信号表示具有行1的经重构值的差值等。视频编码器可执行相似技术用于基于列的残余DPCM。如本发明中所描述的减法指代确定等于减去的结果的值，且可通过减去或添加值的负值来执行。

在一些实例中，对连续行或列的残余值之间的差进行编码可导致与对实际残余值进行编码相比较少的位。以此方式，残余DPCM可导致视频编码器需要用信号表示的数据量的减少，进而促进带宽效率。

视频解码器对所接收的值进行解码。举例来说，视频解码器对行0的残余值进行解码，且对行1的差值进行解码。视频解码器将行0的残余值与所述差值相加以确定行1的残余值。视频解码器还对行2的差值进行解码(例如，行1的残余值与行2的残余值之间的差)。视频解码器将行1的所确定残余值与行2的所述差值相加以确定行2的残余值等。视频解码器可实施相似步骤用于基于列的残余DPCM。

在一些实例中，视频编码器可仅与某些其它译码工具结合利用残余DPCM。举例来说，视频编码器可利用无损(也被称作绕过)或变换跳过译码以分别产生残余块或残余块的经量化版本。在一些实例中，视频编码器可仅在残余块经变换绕过或变换跳过编码的情况下利用残余DPCM。如果变换应用于残余块，那么残余DPCM可能不可用于视频编码器。

并且，视频编码器可将残余块或经量化残余块旋转各种度数(例如，90、180或270度)。此外，视频编码器可以不同次序(例如，对角线、水平或垂直)扫描残余块或经量化残余块的系数。

在一些实例中，视频编码器可经配置以协调用于帧内预测的扫描次序与用于帧间预测或BC内预测的扫描次序。举例来说，如果RDPCM应用于从对当前块进行帧内预测产生的残余块，那么视频编码器可经配置以使用特定扫描次序来扫描RDPCM应用的残余块。在本发明中描述的技术中，当RDPCM应用于残余块时，视频编码器可经配置以需要使用与用于帧内预测情况相同的扫描次序，以扫描从对当前块进行帧间预测或对当前块进行BC内预测产生的残余块。

可以相似方式配置视频解码器。举例来说，视频解码器可使用与所利用视频编码器相同的扫描次序。举例来说，如果RDPCM应用于从对当前块进行帧内预测产生的残余块，那么视频解码器可经配置以使用与所使用视频编码器相同的扫描次序来扫描RDPCM应用的残余块。在本发明中描述的技术中，类似于视频编码器，当RDPCM应用于残余块时，视频解码器可经配置以需要使用与用于帧内预测情况相同的扫描次序，以扫描从对当前块进行帧间预测或对当前块进行BC内预测产生的残余块。

以此方式，选择扫描次序的过程可简化。举例来说，并非使用不同准则用于确定其中RDPCM应用于经帧内预测块和经帧间或BC内预测块的残余块的扫描次序，视频编码器可使用同一准则用于确定其中RDPCM应用于经帧内预测块和经帧间或BC内预测块的残余块的扫描次序。视频解码器可类似地使用同一准则。如上文所描述，在一些实例中，对于待应用的RDPCM，残余块可能需要经变换绕过或变换跳过译码。

扫描次序选择的此简化可促进视频编码和解码效率。举例来说，视频解码器可经配置以基于RDPCM方向(例如，次序)而选择RDPCM应用的残余块的扫描次序，而无关于预测是否是使用帧内预测、块副本内预测或帧间预测产生。这可限制或减少分支行为。举例来说，如果视频解码器以不同方式经配置以选择用于帧内预测和帧间或BC内预测的扫描次序(其中应用RDPCM)，那么视频解码器可能浪费计算循环来确定当前块是否是经帧内预测或帧间或BC内预测(其中应用RDPCM)以选择适当扫描次序。

图1为说明可利用本发明的技术的实例视频译码***10的框图。如本文中所描述，术语“视频编解码器”一般是指视频编码器以及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。

如图1中所示，视频译码***10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可以被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以被称为视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。

源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、行动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。

目的地装置14可以经由信道16从源装置12接收经编码的视频数据。信道16可以包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可以包括使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可以根据例如无线通信协议等通信标准调制经编码的视频数据，并且可以将经调制的视频数据发射到目的地装置14。一或多个通信媒体可以包含无线通信媒体和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。一或多个通信媒体可以形成基于包的网络的一部分，基于包的网络例如局域网、广域网或全球网络(例如，因特网)。信道16可以包含各种类型的装置，例如路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的存储媒体。在此实例中，目的地装置14可以(例如，经由磁盘存取或卡存取)存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。

在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可以(例如，经由流式传输或下载)存取存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据传输到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置和本地磁盘驱动器。

目的地装置14可以通过标准数据连接(例如因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可为流式传输发射、下载发射或两者的组合。

本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、***发射、流式视频发射(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码***10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20以及输出接口22。在一些情况下，输出接口22可以包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，和/或用于产生视频数据的计算机图形***，或视频数据的此些来源的组合。

视频编码器20可以对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码的视频数据直接发射到目的地装置14。在一些实例中，经编码的视频数据还可以存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或回放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30以及显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可以在信道16上接收经编码的视频数据。显示装置32可以与目的地装置14集成在一起或可以在目的地装置14的外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可以包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在一些实例中，视频编码器20和视频解码器30根据视频压缩标准操作，例如高效率视频译码(HEVC)标准或其扩展，例如HEVC范围扩展。称为“HEVC工作草案10”或“WD10”的HEVC标准的草案在布洛斯等人的“高效率视频译码(HEVC)文本规范草案10(用于FDIS和同意)(HighEfficiencyVideoCoding(HEVC)textspecificationdraft10(forFDIS&Consent))”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第12次会议：瑞士日内瓦，2013年1月14到23日，从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v20.zip可用)中描述，其整个内容以引用的方式并入本文中。然而，本发明的技术不限于任何特定译码标准或技术。

图1仅为实例，并且本发明的技术可以适用于未必包含视频编码装置与视频解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，从本地存储器数据检索数据，经由网络流式传输数据等。视频编码装置可对数据进行编码且将数据存储至存储器，及/或视频解码装置可从存储器检索数据且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器和/或从存储器检索数据且解码数据的装置来执行编码以及解码。

视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可以将软件的指令存储于合适的非暂时性计算机可读存储媒体中以及可以使用一或多个处理器以硬件执行指令从而执行本发明的技术。可将前述内容中的任一者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。

本发明大体上可以涉及视频编码器20“用信号表示”某些信息。术语“用信号表示”可以大体上是指对用以对经压缩的视频数据进行解码的语法元素和/或其它数据的通信。此通信可以实时地或接近实时地发生。替代地，此通信可以经过一段时间后发生，例如可以在编码之时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，视频解码装置接着可以在存储到此媒体之后的任何时间检索所述语法元素。

如上文简要提及，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者是形成视频的一部分的静态图像。当视频编码器20对视频数据进行编码时，视频编码器20可以产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可以包含经译码的图片以及相关联的数据。经译码图片为图片的经译码表示。相关联数据可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和其它语法结构。SPS可以含有适用于图片的零或更多序列的参数。PPS可以含有适用于零或更多图片的参数。

图片可以包含三个样本阵列，表示为S_L、S_Cb以及S_Cr。S_L是明度样本的二维阵列(即，块)。明度样本在本文中还可以被称为“Y”样本。S_Cb是Cb色度样本的二维阵列。S_Cr是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。Cb色度样本在本文中可以被称为“U样本”。Cr色度样本在本文中可以被称为“V样本”。

在一些实例中，视频编码器20可以对图片的色度阵列(即，S_Cb以及S_Cr)进行向下取样。例如，视频编码器20可以使用YUV4:2:0视频格式、YUV4:2:2视频格式或4:4:4视频格式。在YUV4:2:0视频格式中，视频编码器20可以对色度阵列进行向下取样，使得色度阵列高度是明度阵列高度的1/2并且宽度是明度阵列宽度的1/2。在YUV4:2:2视频格式中，视频编码器20可以对色度阵列进行向下取样，使得色度阵列宽度是明度阵列宽度的1/2并且高度与明度阵列高度相同。在YUV4:4:4视频格式中，视频编码器20并不对色度阵列进行向下取样。

为了产生图片的经编码表示，视频编码器20可产生译码树单元(CTU)的集合。CTU中的每一者可以是明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可以被称为“树块”或“最大译码单元”(LCU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。

作为对图片进行编码的部分，视频编码器20可以产生图片的每个切片的经编码的表示(即，经译码的切片)。为了产生经译码的切片，视频编码器20可以对一连串CTU进行编码。本发明可以将CTU的经编码的表示称为经译码的CTU。在一些实例中，切片中的每一者包含整数数目的经译码的CTU。

为了产生经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为一或多个译码块，因此命名为“译码树单元”。译码块是样本的NxN块。在一些实例中，CU可以是具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块，以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。视频编码器20可以将CU的译码块分割成一或多个预测块。预测块可以是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、色度样本的两个对应预测块及用于预测预测块样本的语法结构。视频编码器20可产生用于CU的每一PU的明度预测块、Cb预测块及Cr预测块的预测性明度块、Cb块及Cr块。

视频编码器20可使用帧内预测、帧间预测或块副本内(BC内)预测以产生(例如，形成或识别)PU的预测性块。如果视频编码器20使用帧内预测，那么视频编码器20可基于与PU相关联的图片的经解码样本形成PU的预测性块。

如果视频编码器20使用帧间预测，那么视频编码器20可基于除与PU相关联的图片外的一或多个图片的经解码样本而识别PU的预测性块。视频编码器20可以使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测以产生PU的预测性块时，所述PU可具有参考所述预测性块的单个运动向量(MV)。当视频编码器20使用双向预测以产生PU的预测性块时，所述PU可具有两个MV(每一MV参考不同预测性块)。

如果视频编码器20使用BC内预测以识别PU的预测性块，那么视频编码器20可基于与所述PU相关联的图片的经解码样本而识别所述PU的预测性块。帧内预测可基于与PU相关联的图片(即，含有所述PU的图片)的经解码样本而形成PU的预测性块。然而，不同于帧内预测，预测性块是由称为块向量的向量识别，而帧内预测中的预测性块是基于帧内预测模式而形成。因此，BC内预测类似于帧内预测之处在于用于两者的预测性块是在与PU相同的图片的样本中或基于所述样本，但不同之处在于BC内预测依赖于块向量来识别预测性块，其中帧内预测是基于形成预测性块的帧内预测模式。并且，BC内预测类似于帧间预测之处在于用于两者的预测性块是由向量(例如，用于帧间预测的运动向量和用于BC内预测的块向量)参考，但不同之处在于预测性块是在同一图片中或基于在BC内预测中的同一图片和帧间预测中的不同图片中的样本。

在视频编码器20识别CU的一或多个PU的预测性块(例如，明度、Cb及Cr块)之后，视频编码器20可产生CU的一或多个残余块。残余块中的每一样本可指示CU的预测性块中的一者中的样本与CU的原始译码块中的一者中的对应样本之间的差。举例来说，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每个样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中对应的样本之间的差。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每个样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每个样本可以指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差。

此外，视频编码器20可使用四叉树分割将CU的残余块(例如，明度、Cb及Cr残余块)分解为一或多个变换块(例如，明度、Cb及Cr变换块)。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可以是明度样本的变换块、色度样本的两个对应的变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可以与明度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。

在一些但不是全部实例中，视频编码器20可将一或多个变换应用于TU的变换块(例如，明度变换块)。所述变换将值从像素域转换到变换域。作为一个实例，视频编码器20可将变换应用于变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可以是标量。在一些但不是全部实例中，视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。在一些但不是全部实例中，视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。

在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，在一些但不是全部实例中，视频编码器20可量化系数块。量化大体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。

在视频编码器20量化系数块之后，视频编码器20可以对指示经量化变换系数的语法元素进行熵编码。例如，视频编码器20可以对指示经量化的变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。对于熵译码，视频编码器20根据特定扫描次序(例如，垂直扫描、水平扫描或对角线扫描)扫描经量化变换系数。视频编码器20可以在位流中输出经熵编码语法元素。

变换和量化残余块造成信息的损耗(例如，经逆量化和逆变换块不同于原始残余块)。因此，其中残余块经变换且量化的视频译码的实例称为有损译码。在一些实例中，视频编码器20可跳过残余块的变换，但量化残余块。视频译码的此些实例称为变换跳过译码。变换跳过译码可为有损译码的一种变化，因为量化造成信息的损耗。为避免混淆，此描述中使用有损译码来指代包含变换和量化两者的视频译码方法，此描述中使用变换跳过译码来指代其中跳过变换但仍执行量化的视频译码方法。

视频编码器20不需要在所有情况下执行变换跳过译码或有损译码。在一些实例中，视频编码器20可执行无损译码。在无损译码(有时称为跨量绕过)中，视频编码器20不变换残余块且不量化残余块。在此实例中，由视频解码器30重构的残余块相同于由视频编码器20产生的残余块，而对于有损译码和变换跳过译码，由视频解码器30重构的残余块可稍微不同于由视频编码器20产生的残余块。

换句话说，当应用变换时，所述变换将残余块的残余数据的残余值从像素域转换到变换域。在一些实例中，对于变换跳过或变换绕过，残余数据包含来自预测性块与当前块之间的差的残余值而无变换应用于残余值，所述变换将残余值从像素域转换到变换域。

视频解码器30可以接收由视频编码器20产生的位流。另外，视频解码器30可以剖析位流以对来自位流的语法元素进行解码。视频解码器30可至少部分地基于从位流解码的语法元素重构视频数据的图片。用以重构视频数据的过程通常可与由视频编码器20执行的过程互逆。

即，视频解码器30可对位流中的语法元素进行熵解码以确定用于有损译码的经量化变换系数，且可利用视频编码器20用来构造经量化残余块的相同扫描次序。对于有损译码，视频解码器30可随后逆量化经量化变换系数以确定变换系数。此外，对于有损译码，视频解码器30可将逆变换应用于变换系数以确定残余块的系数。

然而，对于变换跳过译码，视频解码器30可对位流中的语法元素进行熵解码以确定经量化系数，利用视频编码器20用来构造经量化残余块的相同扫描次序，且随后逆量化经量化系数以确定残余块的系数。不需要逆变换，因为在编码过程中跳过了变换。对于无损译码(例如，变换绕过或简单地绕过)，视频解码器30可对位流中的语法元素进行熵解码且可利用视频编码器20用来直接确定残余块的系数的相同扫描次序。不需要逆量化或变换，因为在编码过程中跳过变换和量化两者。

视频解码器30确定与当前块在同一图片中(例如，用于帧内预测或用于BC内预测)或在不同图片中(例如，用于帧间预测)的预测性块。视频解码器30使用预测性块中的像素值和残余块中的对应残余值来重构当前块的像素值(例如，以解码当前块)。

举例来说，视频解码器30可使用PU的MV或块向量以确定当前CU的PU的预测性样本块(即，预测性块)。另外，如果视频编码器20执行量化，那么视频解码器30可逆量化(例如，由视频编码器20执行的量化的逆)与当前CU相关联的残余数据。类似地，如果视频编码器20执行变换，那么视频解码器30可对变换系数块执行逆变换(例如，由视频编码器20执行的变换的逆)以重构与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性样本块的样本添加至当前CU的TU的变换块的对应样本来重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可以重构所述图片。

在本发明中描述的技术中，减少需要用信号表示的视频数据量的另一方式，视频编码器20可将残余差分脉码调制(残余DPCM或RDPCM)应用于残余块。在一些实例中，视频编码器20可仅在跳过或绕过变换的情况下应用残余DPCM。视频解码器30可应用RDPCM的逆以重构残余块。

视频编码器20可以不同次序(例如，水平次序或垂直次序)应用RDPCM，或可不应用RDPCM，从而导致三个模式：水平RDPCM，垂直RDPCM，和无RDPCM。在一些实例中，视频编码器20可用信号表示指示视频解码器30用于解码残余块的其中应用RDPCM的次序(例如，指示模式)的语法元素。

残余DPCM的基本想法是对于垂直模式使用上部行值用于预测当前值且对于垂直模式使用左边列值用于预测当前值。举例来说，假定存在大小为M(行)×N(列)的块。在此实例中，使r_i,j,0≤i≤(M-1),0≤j≤(N-1)为在执行如HEVC规范中指定的帧内预测或运动补偿帧间预测或BC内预测之后的预测残余块。这在图4A和4B中展示。

图4A展示用于近垂直模式的残余DPCM方向。图4B展示用于近水平模式的残余DPCM方向。图4A或图4B中的残余块可表示任何分量(例如，明度、色度、R、G、B等)。

在残余DPCM中，将预测应用于残余样本，使得如下获得具有元素的经修改M×N阵列用于垂直残余DPCM：

${\tilde{r}}_{i,j}=\{\begin{array}{cc}{r}_{i,j},& i=0,0\≤j\≤(N-1)\\ r_{i,j}-r_{(i-1),j},& 1\≤i\≤(M-1),0\≤j\≤(N-1)\end{array},$

或用于水平RDPCM：

${\tilde{r}}_{i,j}=\{\begin{array}{cc}{r}_{i,j},& 0\≤i\≤(M-1),j=0\\ r_{i,j}-r_{i,\left(j-1\right)},& 0\≤i\≤(M-1),1\≤j\≤(N-1)\end{array}.$

视频编码器20用信号表示视频解码器30接收的的经修改残余样本，而不是原始残余样本R。换句话说，如果残余块包含样本R，那么视频编码器20可确定经修改残余样本其表示已应用RDPCM的残余块。如果执行变换和量化(例如，有损情况)，或如果跳过变换执行量化(例如，变换跳过情况)，或如果跳过变换和量化两者(例如，无损情况)，那么视频编码器20对已应用RDPCM的残余块执行此些功能，且用信号表示所得位流，视频解码器30从其重构(例如，解码)原始残余块的残余样本(例如，在RDPCM、变换和/或量化之前的残余块的残余样本)

在视频解码器30侧，可在如下剖析经修改残余样本之后重构原始残余样本以用于垂直RDPCM：

$r_{i,j}=\underset{k=0}{\overset{i}{\Σ}}{\tilde{r}}_{k,j},0\≤i\≤(M-1),0\≤j\≤(N-1),$

或用于水平RDPCM：

$r_{i,j}=\underset{k=0}{\overset{j}{\Σ}}{\tilde{r}}_{i,k},0\≤i\≤(M-1),0\≤j\≤(N-1).$

在一些实例中，对于无损情况，针对全部TU大小跳过变换，而对于有损情况，可仅针对4×4块跳过变换。并且，在一些实例中，对于帧内块，可使用水平或垂直扫描，但可限于4×4和8×8块大小。本发明中描述的技术是针对基于扫描和旋转可应用RDPCM的残余块的协调或各种限制(如苏尔·罗加尔(SoleRojals)等人的标题为“AhG8：用于屏幕内容译码的残余旋转和有效性图情境(AhG8:Residuerotationandsignificancemapcontextforscreencontentcoding)”的文献JCTVC-M0333中，第61/670,569、61/815,148、61/833,781和61,890,102号美国临时申请案以及第13/939,037和14/259,046号美国申请案，以上全部各者的整个内容以引用的方式并入本文中。

以下提供残余DPCM的某个额外情境。在2013年4月视频译码联合合作小组(JCTVC)的韩国仁川会议，将残余差分脉码调制(残余DPCM或RDPCM)或等效地样本自适应角度帧内预测(SAP)或SAP-HV采用到用于高效率视频译码(HEVC)标准范围扩展的草案规范中。残余DPCM在李等人的标题为“RCE2：测试1-用于HEVC无损译码的残余DPCM(RCE2:Test1-ResidualDPCMforHEVClosslesscoding)”的文献JCTVC-M0079中描述。SAP-HV在周等人的标题为“RCE2：测试3和测试4的实验结果(RCE2:ExperimentalresultsonTest3andTest4)”的文献JCTVC-M0056测试4中描述。文献JCTVC-M0079和JCTVC-M0056以全文引用的方式并入本文中。

残余DPCM将DPCM应用于帧内垂直和帧内水平模式的预测残余以用于无损译码(例如，用于视频译码的帧内预测)。其中的每一者的整个内容以引用的方式并入本文中的第61/809,870、61/810,218和61/843,144号美国临时申请案以及第14/223,874号美国申请案)描述了当跳过变换时(例如，变换跳过译码)可如何将残余DPCM扩展到帧内垂直和帧内水平模式的译码。

在其内容以全文引用的方式并入本文中的那卡里(Naccari)等人的标题为“帧间预测残余DPCM(Inter-PredictionResidualDPCM)”的文献JCTVC-M0442中，提出将残余DPCM扩展到用于无损译码模式的帧间块(例如，用于视频译码的帧间预测)。残余DPCM应用于运动补偿预测残余。在一些实例中，残余DPCM也可以应用于从BC内预测产生的预测残余。

本发明相对于以下实例描述技术。应理解以下实例仅是出于说明的目的而提供且不应被视为具限制性。此外，所述实例应不一定被视为相互排斥且所述实例中描述的技术中的一或多者可彼此组合。换句话说，本发明中描述的实例技术的组合或排列可为可能的，且是本发明预期的。

如上文所描述，视频编码器20可将RDPCM应用于从帧内预测、帧间预测或BC内预测产生的残余块，且如果应用RDPCM，那么视频编码器20应用RDPCM的特定次序(例如，例如水平RDPCM或垂直RDPCM的RDPCM方向)。在一些实例中，视频编码器20仅在残余块经变换跳过或变换绕过译码的情况下应用RDPCM。换句话说，如果变换应用于残余块(例如，残余块未经变换跳过或变换绕过译码)，那么视频编码器20可不应用RDPCM。

残余块可对应于TU。在一些实例中，视频编码器20可将残余块划分为多个TU。为避免混淆，本发明使用术语“残余块”来一般指代其系数将经熵编码(例如，由视频编码器20)或熵解码(例如，由视频解码器30)的块。举例来说，如果视频编码器20不进一步划分由当前块与预测性块之间的差产生的块以产生单个TU，那么残余块对应TU。如果视频编码器20划分由当前块与预测性块之间的差产生的块以产生多个TU，那么残余块对应于所述多个TU中的一者。

在一些实例中，对于经帧间预测或BC内预测块，视频编码器20用信号表示RDPCM是否打开或关闭(例如，RDPCM是否应用)且在TU层级用信号表示RDPCM的方向(如果应用)。在这些实例中，由预测性块与原始块之间的差产生的块划分成TU，且随后视频编码器20用信号表示指示RDPCM是否应用的信息(例如，例如旗标等语法元素)和用于每一TU的RDPCM(如果应用)的方向的信息。

在一些实例中，不是在TU层级，视频编码器20可在CU或PU层级用信号表示指示RDPCM是否应用以及方向(例如，RDPCM的模式/方向信息)的信息。在这些实例中，同一模式/方向将适用于全部TU。

视频解码器30基于扫描次序将扫描应用于系数值，且本发明描述用于确定扫描次序的技术。举例来说，对于残余块(例如，TU)，如果RDPCM应用于经帧间预测或BC内预测块，那么视频编码器20和视频解码器30可应用在残余块经帧内预测的情况下视频编码器20和视频解码器30将应用的相同扫描次序。扫描次序的实例包含对角线、水平和垂直。在一些实例中，水平和垂直扫描可仅在残余块大小等于或小于阈值大小(例如，TU的块大小是8x8或更小)的情况下适用。然而，在一些实例中，扫描还可用于其它大小，包含全部大小。在这些实例中，阈值大小可为除8x8外的某个其它大小或最大可能的块大小。

在一些实例中，对于经帧内预测块，RDPCM可应用于全部残余块大小(例如，TU大小)，但仅用于某些帧内预测模式。举例来说，对于水平帧内预测模式，视频编码器20可应用水平RDPCM，且对于垂直帧内预测模式，视频编码器20可应用垂直RDPCM。如果RDPCM应用于经帧内预测块，那么视频编码器20可不需要用信号表示RDPCM次序(例如，RDPCM方向)。而是，在此实例中，视频编码器20可用信号表示指示帧内预测模式的信息，且视频解码器30可确定RDPCM方向与帧内预测模式相同。

以此方式，对于从帧内预测产生的TU(例如，残余块)，RDPCM的应用可为隐式的，因为视频编码器20可不用信号表示指示RDPCM方向的信息，原因在于视频解码器30可确定RDPCM方向而无需接收指示RDPCM方向的信息。举例来说，对于从帧内预测产生的残余块，视频编码器20可针对某些帧内预测模式(例如，水平或垂直模式)始终应用RDPCM，且可基于帧内预测模式确定RDPCM次序(例如，方向)(例如，如果水平帧内预测模式则水平RDPCM且如果垂直帧内预测模式则垂直RDPCM)。在这些实例中，视频编码器20可用信号表示指示帧内预测模式的信息，视频解码器30从其可确定RDPCM是否应用以及RDPCM的方向而无需接收指示RDPCM是否应用以及RDPCM的方向的显式信息。

然而，对于帧间预测或BC内预测，可能不始终应用RDPCM。举例来说，视频编码器20可确定RDPCM是否应当应用于从对当前块进行帧间预测或BC内预测产生的残余块，且在确定将这样做的情况下应用RDPCM。因此，不同于帧内预测，对于经帧间预测或BC内预测块，视频编码器20可在位流中产生指示RDPCM是否应用于从当前块的帧间预测或BC内预测产生的残余块的信息以用于输出(例如，用信号表示)。并且，如果应用RDPCM，那么视频编码器20可在位流中产生指示RDPCM应用的次序(例如，方向)的信息以用于输出(例如，用信号表示)。视频解码器30可接收且解码指示RDPCM是否应用的信息，且如果是，那么接收且解码RDPCM应用的次序(例如，方向)。

对于残余块，无论RDPCM是否应用，视频编码器20均使用特定扫描次序(例如，垂直扫描、水平扫描或对角线扫描)扫描残余块的系数。作为一实例，对于大于或等于8x8的大小的TU，视频编码器20可将TU划分为多个4x4子块。视频编码器20可以由扫描次序界定的方式扫描每一子块的系数。视频解码器30可类似地基于与视频编码器20用来重构TU的系数的扫描次序相同的扫描次序而再编译TU的4x4子块的系数。

可为可能的是视频编码器20确定用于扫描系数的扫描次序，且将指示扫描次序的信息用信号表示到视频解码器30以使得视频解码器30使用视频编码器20使用的同一扫描次序。然而，为了减少需要用信号表示的数据量，在一些实例中，视频编码器20和视频解码器30可各自使用同一过程和准则以确定用于残余块的扫描次序。以此方式，视频编码器20不需要用信号表示且视频解码器30不需要接收指示扫描次序的信息。

举例来说，视频编码器20和视频解码器30可经配置以基于用于使用帧内预测产生的残余块的所应用RDPCM的次序(例如，所应用RDPCM的方向)而确定用于使用帧内预测产生的残余块(例如，TU)的扫描次序。在一些实例中，视频编码器20和视频解码器30用来确定用于从帧内预测产生的残余块的扫描次序的技术可用于其中不对残余块执行变换的情况(例如，变换跳过情况或无损(变换绕过)情况)。然而，本发明中描述的技术不应被视为仅限于其中对于变换跳过或对于无损译码跳过变换的情况。

作为一实例，在用于HEVC范围扩展的草案规范中的一者中，当在垂直模式中垂直RDPCM应用于从经帧内预测当前块产生的残余块时，视频编码器20和视频解码器30可确定扫描次序为跨越残余块的4x4子块且在高达阈值大小(例如，8x8)的残余块大小的残余块的每一4x4子块内使用的水平扫描。类似地，当在水平模式中水平RDPCM应用于从经帧内预测当前块产生的残余块时，视频编码器20和视频解码器30可确定扫描次序为跨越残余块的4x4子块且在高达阈值大小(例如，8x8)的残余块大小的残余块的每一4x4子块内使用的垂直扫描。如果残余块大小大于8x8，那么视频编码器20和视频解码器30可经配置以利用对角线扫描。

在以上实例中，视频编码器20和视频解码器30可经配置以确定扫描次序为正交于RDPCM次序的扫描次序(例如，针对垂直RDPCM的水平扫描和针对水平RDPCM的垂直扫描)。然而，本发明中描述的技术不限于此。

举例来说，在其内容以全文引用的方式并入本文中的柯亨(Cohen)等人的标题为“用于变换跳过模式的经修改系数扫描次序映射(Modifiedcoefficientscanordermappingfortransformskipmode)”的文献JCTVC-J0313中，提出当跳过或绕过变换时交换水平和垂直扫描次序。在此情况下，如果视频编码器20和视频解码器30将使用水平扫描用于针对经帧内预测当前块产生的残余块，那么基于JCTVC-J0313技术，视频编码器20和视频解码器30使用垂直扫描用于针对经帧内预测当前块产生的残余块。并且，如果视频编码器20和视频解码器30将使用垂直扫描用于针对经帧内预测当前块产生的残余块，那么基于JCTVC-J0313技术，视频编码器20和视频解码器30使用水平扫描用于针对经帧内预测当前块产生的残余块。

在本发明中描述的技术中，视频编码器20和视频解码器30可利用与视频编码器20和视频解码器30用来确定用于针对经帧内预测当前块产生的已应用RDPCM的残余块扫描次序的准则相同的准则以确定用于针对经帧间预测当前块或BC内预测当前块产生的已应用RDPCM的残余块的扫描次序。以此方式，本发明中描述的技术协调用于确定扫描次序的技术以用于针对帧内预测、帧间预测和BC内预测的残余块的扫描系数。

举例来说，本发明中描述的技术可将用以确定从帧内预测产生的RDPCM应用的残余块的扫描次序的方案扩展到从帧间预测或BC内预测产生的RDPCM应用的残余块。举例来说，视频编码器20和视频解码器30可基于RDPCM应用于残余块的次序而确定用于从由当前块的向量参考的预测性块与当前块之间的差产生的残余块的扫描次序。从由当前块的向量参考的预测性块与当前块之间的差产生的残余块的实例包含从对当前块进行帧间预测产生的残余块或从对当前块进行BC内预测产生的残余块。

在本发明中描述的技术中，视频编码器20和视频解码器30针对从对当前块进行帧间预测或BC内预测产生的残余块确定的扫描次序与在残余块是从对当前块进行帧内预测产生且已以与应用于从对当前块进行帧间预测或BC内预测产生的残余块的RDPCM相同的次序应用RDPCM的情况下对包含残余数据的残余块将使用的同一扫描次序。将与用于从帧内预测产生的残余块的扫描次序相同的用于从帧间预测或BC内预测产生的残余块的扫描次序描述为辅助理解的需要。然而，视频编码器20和视频解码器30不需要确定将如何扫描从帧内预测产生的残余块以确定应如何扫描从帧间预测或BC内预测产生的残余块。而是，视频编码器20和视频解码器30可经配置以利用与将用以确定用于从帧内预测产生的残余块的扫描次序的准则相同的准则来确定用于从帧间或BC内预测产生的残余块的扫描次序。

举例来说，类似于帧内预测实例，在帧间预测或BC内预测的一些实例中，视频编码器20可将RDPCM仅应用于跳过或绕过变换的TU(例如，残余块)。并且，对于帧间预测或BC内预测，视频编码器20可用信号表示指示RDPCM是否应用于残余(例如，TU)的信息且如果是，则用信号表示RDPCM的方向(例如，次序)。基于所述用信号表示的信息，视频解码器30可确定用于残余块的扫描次序。以此方式，视频编码器20可不需要用信号表示指示扫描次序的信息，且视频解码器30可基于RDPCM的方向确定扫描次序。

如上文所描述，用于残余块的扫描次序可为水平扫描、垂直扫描和对角线扫描中的一者。视频编码器20和视频解码器30可利用水平扫描或垂直扫描用于高达阈值大小(例如，8x8)的TU大小(例如，残余块大小)。如果TU大小大于阈值大小(例如，大于8x8)，那么视频编码器20和视频解码器30可利用对角线扫描。

举例来说，在一些实例中，如果水平RDPCM应用于从对当前块进行帧内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为垂直扫描。在这些实例中，如果水平RDPCM应用于从帧间或BC内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为垂直扫描以用于高达阈值大小(例如，8x8)的残余块(例如，TU)大小，恰似其中残余块是从帧内预测产生的情况。类似地，在一些实例中，如果垂直RDPCM应用于从对当前块进行帧内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为水平扫描。在这些实例中，如果垂直RDPCM应用于从帧间或BC内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为水平扫描以用于高达阈值大小(例如，8x8)的残余块(例如，TU)大小，恰似其中残余块是从帧内预测产生的情况。

在一些情况下，例如JCTVC-J0313中描述的那些情况，如果水平RDPCM应用于从对当前块进行帧内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为水平扫描。在这些实例中，如果水平RDPCM应用于从帧间或BC内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为水平扫描以用于高达阈值大小(例如，8x8)的残余块大小，恰似其中在JCTVC-J0313中描述的技术中残余块是从帧内预测产生的情况。类似地，在JCTVC-J0313中描述的技术中，如果垂直RDPCM应用于从对当前块进行帧内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为垂直扫描。在这些实例中，如果垂直RDPCM应用于从帧间或BC内预测产生的残余块，那么视频编码器20和视频解码器30确定扫描次序为垂直扫描以用于高达阈值大小(例如，8x8)的残余块大小，恰似其中残余块是从帧内预测产生的情况。

如上文所描述，在其中残余块是从帧间预测或BC内预测产生的实例中，视频编码器20可对指示RDPCM应用的次序(例如，方向)(例如，是否应用垂直或水平RDPCM)的信息进行编码(例如，产生以用于输出和用信号表示)。视频解码器30可对指示RDPCM应用的次序的信息进行解码，且可如上文所描述确定扫描次序。在一些情况下，以上实例可适用于高达8x8的残余块大小(例如，水平或垂直扫描次序可用于高达8x8的块大小，且对角线扫描用于大于8x8的大小)。

在上述实例中，视频编码器20和视频解码器30可将水平扫描或垂直扫描仅应用于具有小于或等于阈值大小(例如，8x8)的块大小的残余块。在这些实例中，视频编码器20和视频解码器30可确定残余块的大小是否小于或等于阈值大小。视频编码器20和视频解码器30可基于RDPCM方向(例如，水平或垂直)以及残余块的大小是否小于或等于阈值大小而确定残余块的扫描次序。

此外，在对于当残余块是从帧间预测或BC内预测产生时的所有实例中可不应用RDPCM。举例来说，如果视频编码器20确定RDPCM不需要应用于帧间或BC内预测，那么视频编码器20可用信号表示指示RDPCM未应用的信息。在其中RDPCM未应用的此些情况下，视频编码器20和视频解码器30可确定扫描次序为对角线扫描。甚至在此情况下也可存在与帧内预测的协调。举例来说，在RDPCM未应用于以帧内预测且以变换跳过产生的残余块的情况下，扫描可为对角线的。

对于从帧间预测或BC内预测产生的残余块，如果应用RDPCM，那么视频编码器20对指示应用RDPCM的信息进行编码。在一些实例中，视频编码器20可在PU层级或CU层级而不是TU层级对此信息进行编码。在这些实例中，视频编码器20和视频解码器30可针对在PU层级译码的情况下不越过PU边界且满足大小限制(例如，高达8x8)的全部TU确定扫描次序为垂直扫描或水平扫描中的一者。在一些实例中，视频编码器20可用信号表示所述大小限制，且视频解码器30从信令确定所述大小限制。换句话说，当可使用垂直或水平扫描时的8x8的大小限制仅是一个实例，且其它大小是可能的，包含由视频编码器20向视频解码器30用信号表示的大小或视频编码器20和视频解码器30经预编程的大小。

先前实例描述协调用于确定扫描次序的技术以使得同一技术用以当RDPCM应用于经帧内预测块的残余时以及当RDPCM应用于经帧间或BC内预测块的残余时确定扫描次序。然而，本发明中描述的技术不限于此。

举例来说，在当前HEVC规范中，对于有损但其中仍执行量化的译码(例如，变换跳过译码)，视频编码器20可将变换跳过仅应用于大小4x4的TU。在一些实例中，视频编码器20可经配置以将残余DPCM应用于从帧内预测、帧间预测或BC内预测产生的残余块，仅应用于在有损情况中可跳过变换的残余块(例如，将残余DPCM的应用限制于在有损情况中可跳过变换的帧内或帧间块)。因为视频解码器30大体上执行视频编码器20的过程的逆，所以视频解码器30可类似地经配置以将残余DPCM应用于从帧内预测、帧间预测或BC内预测产生的残余块，仅应用于在有损情况中可跳过变换的残余块(例如，将残余DPCM的应用限制于在有损情况中可跳过变换的帧内或帧间块)。

RDPCM可仅应用于在有损情况中可跳过变换的残余块的限制还可限制在无损情况中由视频编码器20或视频解码器30将残余DPCM应用于在有损情况中可跳过变换的那些块大小。对于4x4块可跳过当前变换；然而，允许对于例如8x8等其它块大小的变换跳过可为可能的(例如，在HEVC的未来版本中)。

至少在第61/815,148号美国临时申请案或第13/939,027和14/259,046号美国申请案中，提出将预测残余的旋转的应用限制于在有损译码模式中可跳过变换的块大小。换句话说，视频编码器20和视频解码器30可经配置以仅针对在有损译码模式中可跳过变换的块大小旋转预测残余。在一些实例中，作为几个实例，在切片标头、图片参数集(PPS)和/或序列参数集(SPS)中，视频编码器20可用信号表示信息且视频解码器30可接收信息，所述信息指示在有损译码模式中可跳过变换的块大小。

组合这两个概念可导致残余DPCM和预测残余的旋转可仅应用于在有损译码模式中可跳过变换的块大小的限制。换句话说，在一些实例中，视频编码器20和视频解码器30可经配置以使得RDPCM和预测残余的旋转可仅应用于在有损译码模式中跳过变换的残余块大小。

以此方式，在一些情况下，用于变换跳过、预测残余的旋转和残余DPCM的大小之间可存在协调。视频编码器20可用信号表示信息且视频解码器30可接收信息，所述信息指示可应用变换跳过、旋转或残余DPCM的块的大小。在一些情况下，用于变换跳过、预测残余的旋转和残余DPCM的大小之间可存在协调。在这些情况下，由于变换跳过、预测残余的旋转和残余DPCM的大小之间的协调，视频编码器20可用信号表示信息且视频解码器30可接收信息，所述信息指示用于变换跳过、旋转或残余DPCM中的仅一者的大小。在这些实例中，视频解码器30可确定指示所述大小的信息由于协调而适用于全部(例如，在此实例中，变换跳过、旋转和残余DPCM)，且视频编码器20可不需要单独地用信号表示用于当允许应用变换跳过、旋转和残余DPCM时的大小。

如上，视频编码器20可在切片标头、PPS和/或SPS中用信号表示此信息且视频解码器30可在切片标头、PPS和/或SPS中接收此信息。在一些实例中，视频解码器30可以此信息预配置，且视频编码器20不一定需要用信号表示此信息。针对协调的此些技术也可适用于贯穿本发明描述的实例。

在一些实例中，可对可应用残余DPCM的块强加大小限制。举例来说，作为几个实例，视频编码器20可在切片标头、图片参数集(PPS)和/或序列参数集(SPS)中用信号表示指示大小限制的信息。作为几个实例，视频解码器30可从切片标头、PPS或SPS确定所述大小限制。在一些情况下，视频编码器20可不必用信号表示指示大小限制的信息，且视频解码器30可以此信息预配置。在其中存在大小限制的实例中，在一些情况下，视频编码器20可用信号表示此信息用于由视频解码器30后续检索，且在一些情况下，视频解码器30可以此信息预配置，且视频编码器20不需要用信号表示指示所述大小限制的信息。

对于正方形块，残余DPCM可仅应用于高达特定大小(例如，8x8)的块大小。举例来说，视频编码器20和视频解码器30可经配置以将残余DPCM仅应用于高达特定大小的残余块的块大小。在此实例中，视频编码器20可用信号表示指示大小为8x8的信息，且视频解码器30可确定对于大于8x8的残余块不可应用残余DPCM。在一些实例中，视频解码器30可以指示可应用残余DPCM的残余块大小的信息预配置，且视频编码器20可不需要用信号表示此信息。

此大小限制可针对无损和有损模式独立地设置，且可由视频编码器20用信号表示以用于由视频解码器30后续检索，或视频解码器30可以指示用于无损和有损模式的大小限制的信息预配置。举例来说，对于有损模式，残余DPCM的大小限制可为(且在一些实例中必须为)小于或等于针对有损译码可跳过变换的块大小。对于无损模式，所述大小限制可为(且在一些实例中必须为)大于或等于最小TU大小。

在这些实例中，对于有损模式，如果残余块大小大于针对有损译码可跳过变换的块大小，那么视频编码器20和视频解码器30可不应用残余DPCM。并且，对于无损模式，如果残余块大小小于最小TU，那么视频编码器20和视频解码器30可不应用残余DPCM。

对于矩形块，所述大小限制可应用于块的宽度和高度的最大值或块的宽度和高度的最小值。举例来说，视频编码器20和视频解码器30可受限制(例如，经配置以避免)针对大于块的最大宽度和/或高度或小于块的宽度和高度的残余块大小的残余DPCM。视频编码器20可用信号表示此信息，且视频解码器30可随后检索此信息。

并且，RDPCM大小限制可能针对帧内和帧间预测CU/帧为不同的。举例来说，对于帧内情况，视频编码器20和视频解码器30可不会经历对于8x8的最大大小的限制的不利影响(例如，8x8的最大大小的限制几乎不具有性能代价)，同时减少复杂性，因为移除了16x16和32x32RDPCM。对于帧间情况，所述限制可能设定成较大大小(例如，16x16)，因为对于此情况，所述减少的性能代价可能较大。

在一些实例中，对于经帧内译码块，除对角线扫描之外，水平和垂直扫描也可以用于高达8x8的块大小。举例来说，如果视频编码器20和视频解码器30将对当前块进行帧内预测，那么视频编码器20和视频解码器30可对高达8x8的残余块大小的残余块的系数使用水平或垂直扫描。在此实例中，变换跳过大小、应用残余DPCM所高达的块大小以及使预测残余旋转180度(或90或270度)所高达的块大小可能需要相同。举例来说，视频编码器20和视频解码器30可应用变换跳过、RDPCM以及180、90和/或270度旋转的残余块的块大小之间可存在协调。

在一些实例中，在将RDPCM应用于帧间块(例如，将RDPCM应用于从帧间预测或BC内预测产生的残余块)的情况下，RDPCM(例如，水平或垂直RDPCM)的次序(方向)可取决于PU形状。举例来说，如果PU具有水平矩形形状，其中水平向比垂直向长，那么视频编码器20和视频解码器30可确定所述PU使用垂直RDPCM。如果PU是垂直矩形形状，其中垂直向比水平向长，那么视频编码器20和视频解码器30可确定所述PU使用水平RDPCM。

对于正方形PU，视频编码器20和视频解码器30可确定不使用RDPCM。然而，在一些实例中，正方形PU也可同时使用两个RDPCM。举例来说，视频编码器20和视频解码器30可应用垂直RDPCM，随后应用水平RDPCM。类似于上述实例技术，视频编码器20和视频解码器30应用于残余块的扫描次序可基于RDPCM方向(例如，用于垂直RDPCM的水平扫描和用于水平RDPCM的垂直扫描，或反之亦然，如JCTVC-J0313中所描述。

图2是说明可以实施本发明的技术的实例视频编码器20的框图。图2是出于解释的目的而提供，且不应被视为如本发明所广泛举例说明和描述来限制所述技术。出于解释的目的，本发明在例如HEVC标准的范围扩展等HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。

如图2中所示，视频数据存储器99接收用于对视频图片内的当前视频块进行编码的视频数据。视频数据存储器99可存储待由视频编码器20的组件编码的视频数据(例如，经配置以存储视频数据)或存储将用于对视频图片进行编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器99中的视频数据。解码图片缓冲器116是存储用于由视频编码器20对视频数据进行编码的参考视频数据的解码图片缓冲器(DPB)的一个实例(例如，在帧内译码模式、帧间译码模式、BC内译码模式中，也被称作帧内预测译码模式、帧间预测译码模式或BC内预测编码模式)。视频数据存储器99和DPB116可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器99和DPB116可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器99可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、过滤器单元114、经解码图片缓冲器116以及熵编码单元118。预测处理单元100包含帧间预测处理单元120以及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122以及运动补偿单元124。在其它实例中，视频编码器20可以包含更多、更少或不同的功能组件。在一些实例中，帧间预测处理单元120还可经配置以执行BC内预测。在此情况下，运动估计单元122和运动补偿单元124可不估计和补偿运动，而是估计和补偿帧内预测可能也并不起作用的图片中的微小改变。

视频编码器20可接收视频数据。视频编码器20可对视频数据的图片的切片中每一CTU进行编码。CTU中的每一者可与图片的大小相等的明度译码树块(CTB)和对应色度CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可以执行四叉树分割以将CTU的CTB划分为逐渐更小的块。这些更小的块可以是CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割为四个大小相等的子块，将子块中的一或多者分割为四个大小相等的子子块等。

视频编码器20可对CTU的CU进行编码以产生CU的经编码表示(即，经译码CU)。作为对CU进行编码的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与明度预测块和对应色度预测块相关联(即，对应于其)。视频编码器20以及视频解码器30可以支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小并且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2Nx2N，视频编码器20及视频解码器30可支持用于帧内预测的2Nx2N或NxN的PU大小，及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2NxnU、2NxnD、nLx2N及nRx2N的PU大小的不对称分割。

帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生PU的预测性数据，且除BC内预测外执行相似的功能。PU的预测性数据可包含PU的预测性样本块以及PU的运动信息或PU的块向量。取决于PU是在I切片中、P切片中或B切片中，帧间预测处理单元120可以对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测的块使用来自经先前编码的同一帧内的相邻块的空间预测而形成。

如果PU是在P切片中，则运动估计单元122可以对用于PU的参考区域搜寻参考图片列表(例如，“RefPicList0”)中的参考图片。用于PU的参考区可以是在参考图片内含有最紧密地对应于PU的样本块的样本块的区。运动估计单元122可以产生指示含有用于PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元122可以产生指示PU的译码块与相关联于参考区域的参考位置之间的空间移位的MV。例如，MV可以是用以提供自当前经解码的图片中的座标至参考图片中的座标的偏移的二维向量。运动估计单元122可以将参考索引以及MV输出为PU的运动信息。基于由PU的运动向量指示的参考位置处的实际样本或经内插样本，运动补偿单元124可以产生PU的预测性样本块。

如果PU是在B切片中，则运动估计单元122可以对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元122可以搜索RefPicList0的参考图片，或PU的参考区的第二参考图片列表(“RefPicList1”)。运动估计单元122可以将指示含有参考区域的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的样本块与相关联于参考区域的参考位置之间的空间移位的MV、以及指示参考图片是在RefPicList0中或在RefPicList1中的一或多个预测方向指示符输出为PU的运动信息。运动补偿单元124可以至少部分基于由PU的运动向量指示的参考区域处的实际样本或经内插样本来产生PU的预测性样本块。

为了对PU执行双向帧间预测，运动估计单元122可搜索RefPicList0中的参考图片以获得PU的参考区域，且还可搜索RefPicList1中的参考图片以获得PU的另一参考区域。运动估计单元122可以产生指示含有参考区域的参考图片的RefPicList0以及RefPicList1中的位置的参考索引。另外，运动估计单元122可以产生指示与参考区域相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可以包含PU的参考索引以及MV。运动补偿单元124可以至少部分基于由PU的运动向量指示的参考区域处的实际样本或经内插样本来产生PU的预测性样本块。

根据本发明的一或多种技术，预测处理单元100内的一或多个单元可执行本文中描述的技术中的一或多者作为视频编码过程的部分。然而，本发明中描述的技术不限于此。在一些实例中，与一或多个其它单元组合的预测处理单元100可执行本发明中描述的技术中的一或多者。在一些实例中，单独或与视频编码器20的一或多个单元组合的处理器(未图示)可实施本发明中描述的实例技术。举例来说，视频编码器20可视为包括一或多个处理器，且这些一或多个处理器可经配置以实施本发明中描述的实例技术。

帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。用于PU的预测性数据可以包含用于PU的预测性样本块以及各种语法元素。帧内预测处理单元126可以对I切片、P切片以及B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测处理单元126可以使用多个帧内预测模式以产生用于PU的预测性数据的多个集合。在一些帧内预测模式中，帧内预测处理单元126可在与帧内预测模式相关联的方向上将样本从相邻PU的样本块延伸跨越PU的样本块。假定对于PU、CU及CTU采用从左到右、从上到下的编码次序，相邻PU可以在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可以使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区(例如，预测块)的大小。

预测处理单元100可以从用于PU的由帧间预测处理单元120产生的预测性数据或用于PU的由帧内预测处理单元126产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真量度选择用于CU的PU的预测性数据。所选预测性数据的预测性样本块在本文中可以被称为所选预测性样本块。

残余产生单元102可产生CU和选定预测性PU的基于残余块的译码块(例如，基于CU的明度、Cb及Cr译码块以及CU的PU的选定预测性明度、Cb及Cr块而产生CU的明度、Cb及Cr残余块)。例如，残余产生单元102可以产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。

变换处理单元104可以执行四叉树分割以将CU的(即，与CU相关联的)残余块分割成与CU的TU相关联的变换块。因此，TU可对应于明度变换块和两个色度变换块(即,与所述块相关联)。CU的TU的明度变换块以及色度变换块的大小和位置可以或可不基于CU的PU的预测块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。

变换处理单元104可通过将一或多个变换应用于TU的变换块以将残余块(例如，TU)的残余数据的残余值从像素域转换到变换域而产生CU的每一TU的变换系数块。变换处理单元104可以将各种变换应用到与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的转换应用至变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，变换块可以处理为变换系数块。

量化单元106可量化系数块中的变换系数。量化过程可以减小与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整适用于与CU相关联的系数块的量化程度。量化可导致信息的损耗，因此经量化变换系数可具有比原始变换系数更低的精度。

逆量化单元108及逆变换处理单元110可分别将逆量化及逆变换应用至系数块，以利用系数块重构残余块。重构单元112可以将经重构的残余块添加到来自由预测处理单元100产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构用于CU的每一TU的变换块，视频编码器20可以重构CU的译码块。

滤波器单元114可执行多种滤波操作中的任一者，包含用以减少与CU相关联的译码块中的成块假象的一或多个解块操作、样本自适应偏移(SAO)或自适应环路滤波(ALF)。经解码图片缓冲器116可以在滤波器单元114对经重构的译码块执行一或多个解块操作之后存储经重构的译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的重构译码块以对与CU在相同图片中的其它PU执行帧内预测。

熵编码单元118可以从视频编码器20的其它功能组件接收数据。例如，熵编码单元118可以从量化单元106接收系数块，并且可以从预测处理单元100接收语法元素。熵编码单元118可以对数据执行一或多个熵编码操作以产生经熵编码的数据。

在一些实例中，当应用RDPCM时，熵编码单元118可执行RDPCM。举例来说，预测处理单元100可指示熵编码单元118应用RDPCM且界定将对残余块应用的RDPCM的次序(例如，水平或垂直RDPCM)。在一些实例中，图2中未说明的视频编码器20的组件可执行RDPCM。如上文所描述，RDPCM应用于残余块，所述残余块可为残余产生单元102、变换处理单元104或量化单元106的输出。

在一些实例中，熵编码单元118可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可以输出包含由熵编码单元118产生的经熵编码的数据的位流。例如，位流可以包含表示用于CU的RQT的数据。

元件201可表示用于实施变换跳过的开关(或概念开关)。控制信号202可表示来自预测处理单元100的确定变换跳过模式是否将实施的信号，且元件203可表示绕过逆变换和逆量化过程的解码循环。在一些实例中，无损译码消除变换和量化。在其它实例中，无损译码执行变换且仅消除量化过程。在又其它实例中，可借助变换和定量的使用而实施无损译码，但可选择量化参数以便避免任何量化数据丢失。这些和其它实例在本发明的范围内。

元件204和205表示可用以实施变换跳过模式的开关(或概念开关)。在变换跳过模式中，残余数据未由变换处理单元104变换但由量化单元106量化。因此，元件204的虚线表示两个可能的数据路径。在一个数据中，残余数据由量化单元106量化，且在另一数据路径中残余数据未由量化单元106量化。类似地，在视频编码器20的解码循环中，残余数据由逆量化单元108逆量化但未由逆变换处理单元110变换。因此，元件205的虚线表示替代数据路径，其中残余数据由逆量化单元108逆量化但未由逆变换处理单元110变换。

根据本发明中描述的技术，视频数据存储器99可经配置以存储当前块的预测性块。视频编码器20可经配置以确定残余差分脉码调制(RDPCM)将应用于第一残余块的方向(如果RDPCM应用于第一残余块)。此第一残余块包含从由当前块的向量参考的预测性块与当前块之间的差产生的残余数据。如上文所描述，残余块参考待经熵编码的块，且可对应于TU。举例来说，当前块与预测性块之间的差可导致进一步划分成多个TU或不进一步划分(例如，保持为单个TU)的块。残余块是单个TU，其中不存在进一步划分，或是TU中的一者，其中存在进一步划分。

视频编码器20还可经配置以基于所确定的残余DPCM应用的方向而确定用于第一残余块的扫描次序。再次，第一残余块是从当前块的帧间预测或BC内预测产生，且其中可跳过或绕过变换。残余DPCM应用的方向的实例包含垂直残余DPCM和水平残余DPCM。如果视频编码器20确定用于第一残余块的残余DPCM是垂直残余DPCM且如果第一残余块的大小小于或等于8x8(作为阈值大小的一个实例)，那么视频编码器20可确定用于残余块(例如，用于每一4x4子块)的水平扫描。如果视频编码器20确定用于第一残余块的残余DPCM是水平残余DPCM且如果第一残余块的大小小于或等于8x8(作为阈值大小的一个实例)，那么视频编码器20可确定用于残余块(例如，用于每一4x4子块)的垂直扫描。

在一些实例中，对于垂直或水平扫描，如果第二残余块是从对当前块进行帧内预测产生且如果第二残余块已用与所确定的残余DPCM应用于第一残余块的方向相同的方向应用残余DPCM，那么所确定的方向可需要为与将对第二残余块使用的扫描次序相同的扫描次序。举例来说，在一些实例中，用于此残余块的扫描次序可需要与当残余块是从对当前块进行帧内预测产生时以及当残余块是从对当前块进行帧间预测或块副本内预测产生时相同。应理解，描述其中RDPCM应用于小于或等于8x8的大小的用于帧间预测、BC内预测和帧内预测的扫描次序的协调以便于理解，且用于所产生残余块的扫描次序的选择不需要在帧间预测、BC内预测和帧内预测之间协调。

在一些实例中，如果第一残余块具有高达8x8的大小(例如，TU的TU大小小于或等于8x8)，那么所确定的用于第一残余块的扫描次序可需要与将对第二残余块使用的扫描次序相同的扫描次序。举例来说，对于水平RDPCM的应用，如果第二残余块将已被垂直地扫描，那么视频编码器20可确定用于第一残余块的扫描次序为垂直扫描。对于垂直RDPCM的应用，如果第二残余块将已被水平地扫描，那么视频编码器20可确定用于第一残余块的扫描次序为水平扫描。作为另一实例，对于水平RDPCM的应用，如果第二残余块将已被水平地扫描，那么视频编码器20可确定用于第一残余块的扫描次序为水平扫描。对于垂直RDPCM的应用，如果第二残余块将已被垂直地扫描，那么视频编码器20可确定用于第一残余块的扫描次序为垂直扫描。

视频编码器20可基于所确定的扫描次序对第一残余块的残余数据进行熵编码，且可对指示所确定的残余DPCM应用的方向的信息进行编码。视频编码器20可输出经编码残余数据和指示所确定的残余DPCM应用的方向的信息。

图3是说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释的目的而提供，并且并不如本发明所广泛举例说明和描述来限制所述技术。出于解释的目的，本发明在例如HEVC译码标准的范围扩展等HEVC译码标准的上下文中描述视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。

在图3的实例中，视频数据存储器149接收经编码视频。视频数据存储器149可存储待由视频解码器30的组件解码的视频数据(例如，经配置以存储视频数据)，例如经编码视频位流。存储在存储器149中的视频数据可从例如相机等局部视频源、经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得。视频数据存储器149可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。

经解码图片缓冲器162是存储用于由视频解码器30解码视频数据的参考视频数据的经解码图片缓冲器(DPB)的一个实例(例如，在帧内译码模式、帧间译码模式和BC内译码模式中)。视频数据存储器149和DPB162可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器149和DPB162可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器149可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。

在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160以及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164以及帧内预测处理单元166。在其它实例中，视频解码器30可以包含更多、更少或不同的功能组件。在一些实例中，运动补偿单元164或帧内预测处理单元166可进一步经配置以还执行BC内预测处理。

视频解码器30可接收位流。熵解码单元150可以剖析位流以对来自位流的语法元素进行解码。熵解码单元150可以对位流中的经熵编码的语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波器单元160可基于从位流提取(例如，获得)的语法元素而产生经解码视频数据。

在一些实例中，熵解码单元150可经配置以执行RDPCM以重构残余块，其中残余块已经变换跳过、有损或无损地编码。在一些实例中，除熵解码单元150外的组件可经配置以实施RDPCM以重构残余块。

位流可包括一系列网络抽象层(NAL)单元。位流的NAL单元可以包含经译码的切片NAL单元。作为对位流进行编码的一部分，熵解码单元150可以从经译码的切片NAL单元提取语法元素并且对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头和切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。

除了对来自位流的语法元素进行解码之外，视频解码器30可以对未分割CU执行重构操作。为对未经分割CU执行重构操作，视讯解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可以重构CU的残余块。

作为对CU的TU执行重构操作的部分，逆量化单元154可逆量化(即，解量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，及同样逆量化单元154将应用的逆量化的程度。也就是说，可以通过调整当量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可以取决于所采用的熵译码的方法。

在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。例如，逆变换处理单元156可以将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用至系数块。

如果使用帧内预测对PU进行编码，则帧内预测处理单元166可以执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于空间相邻PU的预测块产生PU的预测性块(例如，明度、Cb及Cr预测性块)。帧内预测处理单元166可以基于从位流解码的一或多个语法元素来确定用于PU的帧内预测模式。

预测处理单元152可基于从位流提取的语法元素来构造第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果PU是使用帧间预测经编码，那么熵解码单元150可提取(例如，确定)PU的运动信息。运动补偿单元164可以基于PU的运动信息确定用于PU的一或多个参考区。运动补偿单元164可基于在PU的一或多个参考区处的样本块而产生PU的预测性块(例如，明度、Cb及Cr预测性块)。

根据本发明的一或多种技术，预测处理单元152内的一或多个单元可执行本文中描述的技术作为视频解码过程的部分。然而，本发明中描述的技术不受如此限制。在一些实例中，与一或多个其它单元组合的预测处理单元152可执行本发明中描述的技术中的一或多者。在一些实例中，单独或与视频解码器30的一或多个单元组合的处理器(未图示)可实施本发明中描述的实例技术。举例来说，视频解码器30可包含经配置以实施本发明中描述的实例技术的一或多个处理器。

重构单元158可使用与CU的TU相关联的变换块(例如，明度、Cb及Cr变换块)以及CU的PU的预测性块(例如，明度、Cb及Cr预测性块)(即，在适用时，帧内预测数据或帧间预测数据)来重构CU的译码块(例如，明度、Cb及Cr译码块)。举例来说，重构单元158可将明度、Cb及Cr变换块的样本添加至预测性明度、Cb及Cr块的对应样本以重构CU的明度、Cb及Cr译码块。

滤波器单元160可执行多种滤波操作，包含用以减少与CU、SAO或ALF的译码块(例如，明度、Cb及Cr译码块)相关联的成块假象的解块操作。视频解码器30可将CU的译码块(例如，明度、Cb及Cr译码块)存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在例如图1的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码的图片缓冲器162中的明度、Cb及Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取(例如，获得)系数块的变换系数层级，逆量化变换系数层级，将变换应用至变换系数层级以产生变换块，至少部分地基于变换块产生译码块，及输出译码块以用于显示。

元件302可表示正常译码路径，且元件301可表示绕过逆变换和逆量化过程的绕过译码路径。这些不同路径仅是示范性的且可在无任何绕过的情况下执行无损译码。在一些实例中，无损译码消除变换和量化。在其它实例中，无损译码执行变换且仅消除量化过程。在又其它实例中，可借助变换和定量的使用而实施无损译码，但可选择量化参数以便避免任何量化数据丢失。这些和其它实例在本发明的范围内。元件303表示可以用于变换跳过模式的路径的实例。在变换跳过模式中，残余数据可由逆量化单元154逆量化，但可跳过逆变换处理单元156的逆变换。

在一些实例中，视频数据存储器149可经配置以存储第一残余块，其包含从由当前块的向量参考的预测性块与当前块之间的差产生的残余数据。视频解码器30可经配置以对指示残余差分脉码调制(DPCM)应用于第一残余块的方向的信息进行解码(如果残余DPCM应用于残余块)。如上文所描述，残余块参考待经熵编码的块，且可对应于TU。举例来说，当前块与预测性块之间的差可导致进一步划分成多个TU或不进一步划分(例如，保持为单个TU)的块。残余块是单个TU，其中不存在进一步划分，或是TU中的一者，其中存在进一步划分。

视频解码器30可经配置以基于指示所述方向的信息确定用于第一残余块的扫描次序。再次，第一残余块是从当前块的帧间预测或BC内预测产生，且其中可跳过或绕过变换。残余DPCM应用的方向的实例包含垂直残余DPCM和水平残余DPCM。如果视频解码器30对指示用于第一残余块的残余DPCM是垂直残余DPCM的信息进行解码且如果第一残余块的大小小于或等于8x8(作为阈值大小的一个实例)，那么视频解码器30可确定用于残余块(例如，用于每一4x4子块)的水平扫描。如果视频解码器30确定用于第一残余块的残余DPCM是水平残余DPCM且如果第一残余块的大小小于或等于8x8(作为阈值大小的一个实例)，那么视频解码器30可确定用于残余块(例如，用于每一4x4子块)的垂直扫描。

在一些实例中，如果第二残余块是从对当前块进行帧内预测产生且如果第二残余块已用与经解码信息中指示的方向相同的方向应用残余DPCM，那么所确定的扫描次序可需要与将对第二残余块使用的扫描次序相同的扫描次序。举例来说，在一些实例中，用于此残余块的扫描次序可需要与当残余块是从对当前块进行帧内预测产生时以及当残余块是从对当前块进行帧间预测或块副本内预测产生时相同。

在一些实例中，对于垂直或水平扫描，如果第一残余块具有高达8x8的大小(例如，TU的TU大小小于或等于8x8)，那么所确定的用于第一残余块的扫描次序可需要与将对第二残余块使用的扫描次序相同的扫描次序。举例来说，对于水平RDPCM的应用，如果第二残余块将已被垂直地扫描，那么视频解码器30可确定用于第一残余块的扫描次序为垂直扫描。对于垂直RDPCM的应用，如果第二残余块将已被水平地扫描，那么视频解码器30可确定用于第一残余块的扫描次序为水平扫描。作为另一实例，对于水平RDPCM的应用，如果第二残余块将已被水平地扫描，那么视频解码器30可确定用于第一残余块的扫描次序为水平扫描。对于垂直RDPCM的应用，如果第二残余块将已被垂直地扫描，那么视频解码器30可确定用于第一残余块的扫描次序为垂直扫描。

视频解码器30可基于所确定的扫描次序对第一残余块的残余数据进行熵解码。视频解码器30可基于经解码残余数据重构(例如，帧间解码)当前块。

图5是说明根据本发明的对视频数据进行编码的实例技术的流程图。在图5中说明的实例中，如果将应用残余差分脉码调制(DPCM)，那么视频编码器20可确定残余DPCM将应用于包含从由当前块的向量参考的预测性块与当前块之间的差产生的残余数据的第一残余块的方向(500)。

残余DPCM应用的方向的实例包含水平残余DPCM和垂直残余DPCM。作为一个实例，当前块的向量可为运动向量，且第一残余块可从当前块的帧间预测产生。作为另一实例，当前块的向量可为块向量，且第一残余块可从当前块的块副本内预测产生。

视频编码器20可基于所确定的残余DPCM应用的方向而确定用于第一残余块的扫描次序(502)。在一些实例中，第一残余块的大小也可作为扫描次序的确定的因素(例如，水平或垂直扫描可仅可用于8x8或更小的TU大小)。作为一个实例，如果视频编码器20确定残余DPCM的方向为垂直残余DPCM且如果第一残余块的大小小于或等于阈值大小(例如，8x8)，那么视频编码器20可确定扫描次序为水平扫描。如果视频编码器20确定残余DPCM的方向为水平残余DPCM且如果第一残余块的大小小于或等于阈值大小(例如，8x8)，那么视频编码器20可确定扫描次序为垂直扫描。在一些实例中，对于水平残余DPCM，可使用水平扫描，且对于垂直残余DPCM，可使用垂直扫描。

在一些实例中，如果第二残余块是从对当前块进行帧内预测产生且如果第二残余块已用与所确定的残余DPCM应用于第一残余块的方向相同的方向应用残余DPCM，那么所确定的扫描次序可需要为与将对第二残余块使用的扫描次序相同的扫描次序。作为一个实例，如果视频编码器20确定将应用水平残余DPCM，那么如果第一残余块的大小小于或等于8x8且如果将从对当前块进行帧内预测产生的第二残余块已应用水平残余DPCM且将已使用垂直扫描，则视频编码器20可确定用于第一残余块的扫描次序为垂直扫描。如果视频编码器20确定将应用垂直残余DPCM，那么如果第一残余块的大小小于或等于8x8且如果第二残余块已应用垂直残余DPCM且将已使用水平扫描，则视频编码器20可确定用于第一残余块的扫描次序为水平扫描。

作为另一实例，如果视频编码器20确定将应用水平残余DPCM，那么如果第一残余块的大小小于或等于8x8且如果第二残余块已应用水平残余DPCM且将已使用水平扫描，则视频编码器20可确定用于第一残余块的扫描次序为水平扫描。如果视频编码器20确定将应用垂直残余DPCM，那么如果第一残余块小于或等于8x8且如果第二残余块已应用垂直残余DPCM且将已使用垂直扫描，则视频编码器20可确定用于第一残余块的扫描次序为垂直扫描。

以此方式，在一些实例中，视频编码器20可确定残余块(例如，TU)的大小。视频编码器20可基于残余DPCM的方向以及所确定的残余块的大小而确定扫描次序。举例来说，如果残余块的大小小于或等于阈值大小(例如，8x8)，那么视频编码器20可基于残余DPCM的方向而确定扫描次序是水平或垂直扫描中的一者。如果残余块的大小大于阈值大小(例如，8x8)，那么视频编码器20可利用对角线扫描。8x8块大小是一个实例，且其它大小是可能的。

视频编码器20可基于所确定的扫描次序对第一残余块的残余数据进行熵编码(504)。视频编码器20可对指示所确定的残余DPCM应用的方向的信息进行编码(例如，熵编码或另外的编码)(506)。视频编码器20可输出经编码残余数据以及指示所确定的残余DPCM应用的方向的信息，视频解码器30可利用所述经编码残余数据和所述信息来重构(例如，解码)当前块(508)。

图6是说明根据本发明的对视频数据进行解码的实例技术的流程图。在图6的实例中，视频解码器30可对指示残余差分脉码调制(DPCM)应用于包含从由当前块的向量参考的预测性块与当前块之间的差产生的残余数据的第一残余块的方向的信息进行解码(600)。在一些实例中，可仅当针对残余块跳过或绕过变换时应用残余DPCM。

残余DPCM应用的方向的实例包含水平残余DPCM和垂直残余DPCM。作为一个实例，当前块的向量可为运动向量，且第一残余块可从当前块的帧间预测产生。作为另一实例，当前块的向量可为块向量，且第一残余块可从当前块的块副本内预测产生。

视频解码器30可基于指示所述方向的信息确定用于第一残余块的扫描次序(602)。在一些实例中，第一残余块的大小也可作为扫描次序的确定的因素(例如，水平或垂直扫描可仅可用于8x8或更小的TU大小)。作为一个实例，如果视频解码器30确定残余DPCM的方向为垂直残余DPCM且如果第一残余块的大小小于或等于阈值大小(例如，8x8)，那么视频解码器30可确定扫描次序为水平扫描。如果视频解码器30确定残余DPCM的方向为水平残余DPCM且如果第一残余块的大小小于或等于阈值大小(例如，8x8)，那么视频解码器30可确定扫描次序为垂直扫描。在一些实例中，对于水平残余DPCM，可使用水平扫描，且对于垂直残余DPCM，可使用垂直扫描。

在一些实例中，如果第二残余块是从对当前块进行帧内预测产生且如果第二残余块已用与经解码信息中指示的方向相同的方向应用残余DPCM，那么所确定的扫描次序可需要与将对第二残余块使用的扫描次序相同的扫描次序。作为一个实例，如果视频解码器30对指示将应用水平残余DPCM的信息进行解码，那么如果第一残余块的大小小于或等于8x8且如果第二残余块已应用水平残余DPCM且将已使用垂直扫描，则视频解码器30可确定用于第一残余块的扫描次序为垂直扫描。如果视频解码器30对指示将应用垂直残余DPCM的信息进行解码，那么如果残余块的大小小于或等于8x8且如果第二残余块已应用垂直残余DPCM且将已使用水平扫描，则视频解码器30可确定用于第一残余块的扫描次序为水平扫描。

如上文所描述，第二残余块是将从对当前块进行帧内预测产生的块，其中RDPCM方向等于帧内预测模式。举例来说，垂直RDPCM意味着用于帧内预测的垂直模式，且水平RDPCM意味着用于帧内预测的水平模式。在此实例中，扫描次序正交于RDPCM方向和帧内预测模式。然而，不是在每个实例中都需要此正交性。

作为另一实例，如果视频解码器30对指示应用水平残余DPCM的信息进行解码，那么如果第一残余块的大小小于或等于8x8且如果第二残余块已应用水平残余DPCM且将已使用水平扫描，则视频解码器30可确定用于第一残余块的扫描次序为水平扫描。如果视频解码器30对指示将应用垂直残余DPCM的信息进行解码，那么如果残余块的大小小于或等于8x8且如果第二残余块已应用垂直残余DPCM且将已使用垂直扫描，则视频解码器30可确定用于第一残余块的扫描次序为垂直扫描。

以此方式，在一些实例中，视频解码器30可确定残余块(例如，TU)的大小。视频解码器30可基于残余DPCM的方向以及所确定的残余块的大小而确定扫描次序。举例来说，如果残余块的大小小于或等于阈值大小(例如，8x8)，那么视频解码器30可基于残余DPCM的方向而确定扫描次序是水平或垂直扫描中的一者。如果残余块的大小大于阈值大小(例如，8x8)，那么视频解码器30可利用对角线扫描。8x8块大小是一个实例，且其它大小是可能的。

视频解码器30可基于所确定的扫描次序对第一残余块的残余数据进行熵解码(604)。举例来说，对残余数据进行熵解码可包含基于所确定的扫描次序对第一残余块的4x4子块进行熵解码。

视频解码器30可基于经解码残余数据重构(例如，解码)当前块(606)。举例来说，如果当前块的向量是参考除包含当前块的图片外的图片中的预测性块的运动向量，那么视频解码器30可对当前块进行帧间预测解码。如果当前块的向量是参考与包含当前块的图片相同的图片中的预测性块的块向量，那么视频解码器30可对当前块进行块副本内(BC内)预测解码。

在一或多个实例中，本文所述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包括计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体总体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，可恰当地将任何连接称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应该包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或并入在组合式编解码器中。并且，所述技术可以完全实施于一或多个电路或逻辑元件中。

本发明的技术可以在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调其经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件及/或固件组合在一个编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包括如上文所描述的一或多个处理器。

已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (33)

1.一种对视频数据进行解码的方法，所述方法包括：

对指示残余差分脉码调制DPCM应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向的信息进行解码；

基于所述指示所述方向的信息确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述经解码信息中指示的所述方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；

基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵解码；以及

基于所述经解码残余数据重构所述当前块。

2.根据权利要求1所述的方法，其中所述当前块的所述向量包括运动向量，且所述第一残余块是从所述当前块的帧间预测产生。

3.根据权利要求1所述的方法，其中所述当前块的所述向量包括块向量，且第一残余块是从所述当前块的块副本内预测产生。

4.根据权利要求1所述的方法，

其中对指示所述方向的信息进行解码包括对指示垂直残余DPCM或水平残余DPCM中的一者的信息进行解码，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述信息指示水平残余DPCM且如果所述第二残余块已应用水平残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描，或

如果所述信息指示垂直残余DPCM且如果所述第二残余块已应用垂直残余DPCM且将已使用水平扫描，那么确定所述水平扫描。

5.根据权利要求1所述的方法，其进一步包括：

确定所述第一残余块的大小是否小于或等于阈值大小，

其中对指示所述方向的信息进行解码包括对指示垂直残余DPCM或水平残余DPCM中的一者的信息进行解码，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述信息指示水平残余DPCM，如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用水平残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描，或

如果所述信息指示垂直残余DPCM，如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用垂直残余DPCM且将已使用水平扫描，那么确定所述水平扫描。

6.根据权利要求5所述的方法，其中所述阈值大小包括8x8。

7.根据权利要求1所述的方法，

其中对指示所述方向的信息进行解码包括对指示垂直残余DPCM或水平残余DPCM中的一者的信息进行解码，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述信息指示水平残余DPCM且如果所述第二残余块已应用水平残余DPCM且将已使用水平扫描，那么确定所述水平扫描，或

如果所述信息指示垂直残余DPCM且如果所述第二残余块已应用垂直残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描。

8.根据权利要求1所述的方法，其进一步包括：

确定所述第一残余块的大小是否小于或等于阈值大小，

其中对指示所述方向的信息进行解码包括对指示垂直残余DPCM或水平残余DPCM中的一者的信息进行解码，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述信息指示水平残余DPCM，如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用水平残余DPCM且将已使用水平扫描，那么确定所述水平扫描，或

如果所述信息指示垂直残余DPCM，如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用垂直残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描。

9.根据权利要求1所述的方法，其中从由所述当前块的所述向量参考的所述预测性块与所述当前块之间的所述差产生的所述残余数据包括包含来自所述预测性块与所述当前块之间的所述差的残余值的残余数据，其中并无将所述残余值从像素域转换到变换域的变换应用于所述残余值。

10.根据权利要求1所述的方法，其中对所述残余数据进行熵解码包括基于所述所确定的扫描次序对所述第一残余块的4x4子块进行熵解码。

11.根据权利要求1所述的方法，其进一步包括：

对指示残余DPCM是否应用于所述第一残余块的信息进行解码；以及

基于指示残余DPCM是否应用于所述第一残余块的所述经解码信息确定残余DPCM是否应用于所述第一残余块，

其中对指示残余DPCM应用的所述次序的信息进行解码包括在确定残余DPCM应用于所述第一残余块的情况下对指示残余DPCM应用的所述次序的信息进行解码。

12.根据权利要求11所述的方法，其进一步包括：

如果确定残余DPCM未应用于所述第一残余块，那么确定所述扫描次序是对角线扫描。

13.一种对视频数据进行编码的方法，所述方法包括：

确定残余差分脉码调制DPCM将应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向；

基于所述所确定的所述残余DPCM应用的方向确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述所确定的所述残余DPCM应用于所述第一残余块的方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；

基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵编码；

对指示所述所确定的残余DPCM应用的方向的信息进行编码；以及

输出所述经编码残余数据以及所述指示所述所确定的残余DPCM应用的方向的信息。

14.根据权利要求13所述的方法，其中所述当前块的所述向量包括运动向量，且所述第一残余块是从所述当前块的帧间预测产生。

15.根据权利要求13所述的方法，其中所述当前块的所述向量包括块向量，且所述第一残余块是从所述当前块的块副本内预测产生。

16.根据权利要求13所述的方法，

其中确定方向包括确定将应用水平残余DPCM或将应用垂直残余DPCM中的一者，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述第二残余块已应用水平残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描，或

如果所述第二残余块已应用垂直残余DPCM且将已使用水平扫描，那么确定所述水平扫描。

17.根据权利要求13所述的方法，其进一步包括：

确定所述第一残余块的大小是否小于或等于阈值大小，

其中确定方向包括确定将应用水平残余DPCM或将应用垂直残余DPCM中的一者，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用水平残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描，或

如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用垂直残余DPCM且将已使用水平扫描，那么确定所述水平扫描。

18.根据权利要求17所述的方法，其中所述阈值大小包括8x8。

19.根据权利要求13所述的方法，

其中确定方向包括确定将应用水平残余DPCM或将应用垂直残余DPCM中的一者，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述第二残余块已应用水平残余DPCM且将已使用水平扫描，那么确定所述水平扫描，或

如果所述第二残余块已应用垂直残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描。

20.根据权利要求13所述的方法，其进一步包括：

确定所述第一残余块的大小是否小于或等于阈值大小，

其中确定方向包括确定将应用水平残余DPCM或将应用垂直残余DPCM中的一者，且

其中确定用于所述第一残余块的所述扫描次序包括以下各项中的一者：

如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用水平残余DPCM且将已使用水平扫描，那么确定所述水平扫描，或

如果所述第一残余块的所述大小小于或等于所述阈值大小，且如果所述第二残余块已应用垂直残余DPCM且将已使用垂直扫描，那么确定所述垂直扫描。

21.一种用于对视频数据进行解码的装置，所述装置包括：

视频数据存储器，其经配置以存储包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块；以及

视频解码器，其经配置以：

对指示残余差分脉码调制DPCM应用于所述第一残余块的方向的信息进行解码；

基于所述指示所述方向的信息确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述经解码信息中指示的所述方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；

基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵解码；以及

基于所述经解码残余数据重构所述当前块。

22.根据权利要求21所述的装置，其中所述当前块的所述向量包括运动向量，且所述第一残余块是从所述当前块的帧间预测产生。

23.根据权利要求21所述的装置，其中所述当前块的所述向量包括块向量，且第一残余块是从所述当前块的块副本内预测产生。

24.根据权利要求21所述的装置，其中所述视频解码器进一步经配置以确定所述第一残余块的大小是否小于或等于阈值大小，且其中为了确定用于所述第一残余块的所述扫描次序，所述视频解码器经配置以基于所述指示所述方向的信息以及所述第一残余块的所述大小是否小于或等于所述阈值而确定用于所述第一残余块的所述扫描次序。

25.根据权利要求24所述的装置，其中所述阈值大小包括8x8。

26.根据权利要求21所述的装置，其中所述装置包括以下各项中的一者：

微处理器；

集成电路；以及

无线通信装置。

27.一种用于对视频数据进行编码的装置，所述装置包括：

视频数据存储器，其经配置以存储当前块的预测性块；以及

视频编码器，其经配置以：

确定残余差分脉码调制DPCM将应用于包含从由所述当前块的向量参考的所述预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向；

基于所述所确定的所述残余DPCM应用的方向确定用于所述第一残余块的扫描次序，其中如果第二残余块是从对所述当前块进行帧内预测产生且如果所述第二残余块已用与所述所确定的所述残余DPCM应用于所述第一残余块的方向相同的方向应用残余DPCM，那么所述所确定的扫描次序需要为与将对所述第二残余块使用的扫描次序相同的扫描次序；

基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵编码；

对指示所述所确定的残余DPCM应用的方向的信息进行编码；以及

输出所述经编码残余数据以及所述指示所述所确定的残余DPCM应用的方向的信息。

28.根据权利要求27所述的装置，其中所述当前块的所述向量包括运动向量，且所述第一残余块是从所述当前块的帧间预测产生。

29.根据权利要求27所述的装置，其中所述当前块的所述向量包括块向量，且第一残余块是从所述当前块的块副本内预测产生。

30.根据权利要求27所述的装置，其中所述视频编码器进一步经配置以确定所述第一残余块的大小是否小于或等于阈值大小，且其中为了确定用于所述第一残余块的所述扫描次序，所述视频编码器经配置以基于所述所确定的所述残余DPCM应用的方向以及所述第一残余块的所述大小是否小于或等于所述阈值而确定用于所述第一残余块的所述扫描次序。

31.根据权利要求30所述的装置，其中所述阈值大小包括8x8。

32.一种用于对视频数据进行解码的装置，所述装置包括：

用于对指示残余差分脉码调制DPCM应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向的信息进行解码的装置，其中所述指示所述方向的信息包括指示垂直残余DPCM或水平残余DPCM中的一者的信息；

用于基于所述指示所述方向的信息确定用于所述第一残余块的扫描次序的装置，其中所述用于确定用于所述第一残余块的所述扫描次序的装置包括：

用于在所述信息指示水平残余DPCM且所述第一残余块的所述大小小于或等于8x8的情况下确定垂直扫描的装置；以及

用于在所述信息指示垂直残余DPCM且所述第一残余块的所述大小小于或等于8x8的情况下确定水平扫描的装置；

用于基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵解码的装置；以及

用于基于所述经解码残余数据重构所述当前块的装置。

33.一种具有存储于其上的指令的计算机可读存储媒体，所述指令当执行时致使用于对视频数据进行编码的装置的视频编码器：

确定残余差分脉码调制DPCM将应用于包含从由当前块的向量参考的预测性块与所述当前块之间的差产生的残余数据的第一残余块的方向，其中所述所确定的方向包括垂直残余DPCM或水平残余DPCM中的一者；

基于所述所确定的所述残余DPCM应用的方向确定用于所述第一残余块的扫描次序，其中为了确定所述第一残余块的所述扫描次序，所述指令致使所述视频编码器：

如果所述所确定的方向是所述水平残余DPCM且如果所述第一残余块的所述大小小于或等于8x8，那么确定垂直扫描，或

如果所述所确定的方向是所述垂直残余DPCM且如果所述第一残余块的所述大小小于或等于8x8，那么确定水平扫描；

基于所述所确定的扫描次序对所述第一残余块的所述残余数据进行熵编码；

对指示所述所确定的残余DPCM应用的方向的信息进行编码；以及

输出所述经编码残余数据以及所述指示所述所确定的残余DPCM应用的方向的信息。