CN110720218B - 与视频译码中的变换处理一起应用的帧内滤波 - Google Patents

与视频译码中的变换处理一起应用的帧内滤波 Download PDF

Info

Publication number
CN110720218B
CN110720218B CN201880036843.3A CN201880036843A CN110720218B CN 110720218 B CN110720218 B CN 110720218B CN 201880036843 A CN201880036843 A CN 201880036843A CN 110720218 B CN110720218 B CN 110720218B
Authority
CN
China
Prior art keywords
block
video data
transform
mode
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880036843.3A
Other languages
English (en)
Other versions
CN110720218A (zh
Inventor
V·谢廖金
赵欣
M·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110720218A publication Critical patent/CN110720218A/zh
Application granted granted Critical
Publication of CN110720218B publication Critical patent/CN110720218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种解码视频数据的方法，其包含接收视频数据块，确定用于所述视频数据块的帧内预测模式，及至少基于所述经确定帧内预测模式确定是否使用位置相依预测组合PDPC模式以解码所述视频数据块。所述方法还可包含：接收与用于视频数据块的初级变换或次级变换相关联的语法元素；基于所述语法元素的值确定一或多个视频译码工具的使用率，所述一或多个视频译码工具为除所述初级变换或次级变换以外的视频译码技术；及基于所述经确定使用率将所述一或多个译码工具应用于所述视频数据块。

Description

与视频译码中的变换处理一起应用的帧内滤波
本申请案主张2017年6月15日申请的美国临时申请案第62/520,426号的权益，所述临时申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及视频解码。
背景技术
数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码(HEVC或H.265)标准及这些标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效地传输、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减小或移除为视频序列所固有的冗余。对于基于块的视频译码，可将视频切片(例如视频帧或视频帧的一部分)分割成视频块(其也可被称作树块)、译码单元(CU)及/或译码节点。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。为进一步压缩，可将残差数据从像素域变换至变换域，从而产生可接着进行量化的残差变换系数。可应用熵译码以实现甚至更进一步压缩。
发明内容
一般来说，本发明描述与确定一或多个视频译码工具的使用相关的技术。在一些实例中，视频编码器或解码器可基于用于视频数据块的帧内预测模式确定视频译码工具的使用。在其它实例中，视频编码器或解码器可基于用于视频数据块的变换确定视频译码工具的使用。视频译码工具可包含用于滤波帧内预测参考样本的技术(例如模式相依帧内平滑(MDIS)或位置相依预测组合(PDPC)模式)。以此方式，视频编码器可经配置以用信号发送指示特定变换的语法元素，且视频解码器可经配置以从用于变换的语法元素确定变换及视频译码工具的使用率两者。因而，开销信号发送得以减少且压缩效率可得以增加。
在一个实例中，一种解码视频数据的方法包括接收视频数据块，确定用于所述视频数据块的帧内预测模式，及至少基于所述经确定帧内预测模式确定是否使用PDPC模式以解码所述视频数据块。
在另一实例中，一种经配置以解码视频数据的设备包括：存储器，其经配置以存储视频数据块；及一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以接收所述视频数据块，确定用于所述视频数据块的帧内预测模式，及至少基于所述经确定帧内预测模式确定是否使用PDPC模式以解码所述视频数据块。
在另一实例中，一种经配置以解码视频数据的设备包括用于接收视频数据块的装置，用于确定用于所述视频数据块的帧内预测模式的装置，及用于至少基于所述经确定帧内预测模式确定是否使用PDPC模式以解码所述视频数据块的装置。
在另一实例中，本发明描述一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时致使经配置以解码视频数据的装置的一或多个处理器进行以下操作：接收所述视频数据块，确定用于所述视频数据块的帧内预测模式，及至少基于所述经确定帧内预测模式确定是否使用PDPC模式以解码所述视频数据块。
在另一实例中，一种编码视频数据的方法包括接收视频数据块，确定用于编码所述视频数据块的帧内预测模式，及至少基于所述经确定帧内预测模式确定是否使用PDPC模式以编码所述视频数据块。
在另一实例中，一种经配置以编码视频数据的设备包括：存储器，其经配置以存储视频数据块；及一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以接收所述视频数据块，确定用于编码所述视频数据块的帧内预测模式，及至少基于所述经确定帧内预测模式确定是否使用PDPC模式以编码所述视频数据块。
下文在附图及具体实施方式中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从具体实施方式、附图及权利要求书显而易见。
附图说明
图1为绘示经配置以实施本发明的技术的实例视频编码及解码***的框图。
图2A为绘示使用四叉树加二叉树(QTBT)结构进行块分割的实例的概念图。
图2B为绘示对应于使用图2A的QTBT结构进行块分割的实例树结构的概念图。
图3为定义于HEVC中的35个帧内预测模式的实例。
图4A绘示使用根据本发明的技术的未经滤波参考的4×4块的预测。
图4B绘示使用根据本发明的技术的经滤波参考的4×4块的预测。
图5绘示帧内参考滤波的实例。
图6为绘示经配置以实施本发明的技术的视频编码器的实例的框图。
图7为绘示经配置以实施本发明的技术的视频解码器的实例的框图。
图8为绘示本发明的实例编码方法的流程图。
图9为绘示本发明的实例解码方法的流程图。
具体实施方式
本发明描述用于使用帧内预测译码视频数据块的技术。在一些实例中，本发明描述用于确定预测方向、帧内滤波、变换处理及视频译码工具的技术(例如用于视频编码及解码的特定视频译码技术)。
图1为绘示可经配置以执行本发明的技术用于帧内预测滤波及变换处理的实例视频编码及解码***10的框图。如图1中所示，***10包含源装置12，源装置12提供待在稍后时间由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将视频数据提供至目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机(或更一般来说，移动站)、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。移动站可为能够经由无线网络通信的任何装置。在一些情况下，源装置12及目的地装置14可能经装备以用于无线通信。因此，源装置12及目的地装置14可为无线通信装置(例如移动站)。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。
在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体20、视频编码器22，及输出接口24。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30，及显示装置32。在其它实例中，源装置12及目的地装置14包含其它组件或布置。举例来说，源装置12可从外部视频源(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置32。
图1的所绘示***10仅是一个实例。用于处理及/或译码(例如编码及/或解码)视频数据的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术通常由视频编码装置及/或视频解码装置执行，但所述技术还可由视频编码器/解码器(通常被称作“编解码器”)执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供传输至目的地装置14的此类译码装置的实例。在一些实例中，源装置12及目的地装置14可以大致上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，***10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如用于视频流式处理、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频存档，及/或用以从视频内容提供者接收视频数据的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如存储媒体20)。本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器22对所捕获、预捕获或计算机产生的视频进行编码。输出接口24可将经编码视频信息(例如经编码视频数据的位流)输出至计算机可读媒体16。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动至目的地装置14的任一类型的媒体或装置。在一些实例中，计算机可读媒体16包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输至目的地装置14。可根据通信标准(例如无线通信协议)调制经编码视频数据，且将其传输至目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置12至目的地装置14的通信的任何其它设备。目的地装置14可包括经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。
在一些实例中，可将经编码数据从输出接口24输出至存储装置。类似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在再一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式处理或下载从存储装置存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输至目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。这可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。从存储装置的经编码视频数据的传输可为流式处理传输、下载传输或其组合。
本发明中所描述的技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视传输、***传输、互联网流式处理视频传输(例如HTTP动态自适应流式处理(DASH))、经编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频传输从而支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
计算机可读媒体16可包含：暂时性媒体，例如无线广播或有线网络传输；或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据且例如经由网络传输将所述经编码视频数据提供至目的地装置14。类似地，例如光盘冲压设施的媒体生产设施的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可被理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口26从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器22的视频编码器22定义的语法信息，语法信息也由视频解码器30使用，语法信息包含描述块及其它译码单元(例如图片群组(GOP))的特性及/或处理的语法元素。存储媒体28可存储由输入接口26接收的经编码视频数据。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器22及视频解码器30各自可被实施为多种合适视频编码器及/或视频解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的电路。当所述技术以软件部分地实施时，装置可将用于软件的指令存储于合适非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器22及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编解码器的部分。
在一些实例中，视频编码器22及视频解码器30可根据视频译码标准操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。另外，已由ITU-T视频译码专家群(VCEG)及ISO/IEC动画专家群(MPEG)的视频译码联合协作小组(JCT-VC)开发出新视频译码标准(即，高效视频译码(HEVC)或ITU-T H.265)，包含其范围及屏幕内容译码扩展、3D视频译码(3D-HEVC)及多视图扩展(MV-HEVC)及可缩放扩展(SHVC)。视频译码标准还包含专有视频编解码器(例如Google VP8、VP9、VP10)，及由其它组织(例如开放媒体联盟)开发的视频编解码器。
在一些实例中，视频编码器22及视频解码器30可经配置以根据其它视频译码技术及/或标准操作，包含正由联合视频探索组(JVET)探索的新视频译码技术。JVET根据被称为联合探索模型(JEM)的软件模型执行测试。
如下文将更详细地所阐释，在本发明的一个实例中，视频解码器30可经配置以接收视频数据块，确定用于视频数据块的帧内预测模式，及至少基于经确定帧内预测模式确定是否使用PDPC模式以解码视频数据块。同样地，视频编码器22可经配置以接收视频数据块，确定用于编码视频数据块的帧内预测模式，及至少基于经确定帧内预测模式确定是否使用PDPC模式以编码视频数据块。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含被表示为SL、SCb及SCr的三个样本阵列。SL为亮度样本的二维阵列(例如块)。SCb为Cb彩度样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
为产生图片的经编码表示(例如经编码视频位流)，视频编码器22可产生一组译码树单元(CTU)。CTU中的每一者可包括亮度样本的译码树块、色度样本的两个对应译码树块，及用以译码所述译码树块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单一译码树块，及用以译码所述译码树块的样本的语法结构。译码树块可为样本的N×N块。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续地排序的整数数目个CTU。
为产生经译码CTU，视频编码器22可对CTU的译码树块递归地执行四叉树分割，以将译码树块划分成译码块，之后命名为“译码树单元”。译码块为样本的N×N块。CU可包括亮度样本的译码块，及具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的色度样本的两个对应译码块，以及用于译码所述译码块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单一译码块，及用于译码所述译码块的样本的语法结构。
视频编码器22可将CU的译码块分割为一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括亮度样本的预测块、色度样本的两个对应预测块，及用以预测所述预测块的语法结构。在单色图片或包括单独颜色平面的图片中，PU可包括单一预测块，及用于预测所述预测块的语法结构。视频编码器22可针对CU的每一PU的预测块(例如亮度、Cb及Cr预测块)产生预测性块(例如亮度、Cb及Cr预测性块)。
视频编码器22可使用帧内预测或帧间预测以产生用于PU的预测性块。如果视频编码器22使用帧内预测以产生PU的预测性块，那么视频编码器22可基于包含PU的图片的经解码样本产生PU的预测性块。
在视频编码器22产生用于CU的一或多个PU的预测性块(例如亮度、Cb及Cr预测性块)之后，视频编码器22可产生用于CU的一或多个残差块。作为一个实例，视频编码器22可产生CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器22可产生用于CU的Cb残差块。在色度预测的一个实例中，CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器22还可产生用于CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。然而，应理解，可使用用于色度预测的其它技术。
此外，视频编码器22可使用四叉树分割将CU的残差块(例如亮度、Cb及Cr残差块)分解成一或多个变换块(例如亮度、Cb及Cr变换块)。变换块为供应用相同变换的样本的矩形(例如正方形或非正方形)块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块，及用以变换所述变换块样本的语法结构。因此，CU的每一TU可具有亮度变换块、Cb变换块以及Cr变换块。TU的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单一变换块及用于变换所述变换块的样本的语法结构。
视频编码器22可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器22可将一或多个变换应用于TU的亮度变换块，以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器22可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器22可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如亮度系数块、Cb系数块或Cr系数块)之后，视频编码器22可将系数块量化。量化大体上是指将变换系数量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器22量化系数块之后，视频编码器22可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器22可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器22可输出包含形成经译码图片及相关联数据的表示的位序列的位流。因此，位流包括视频数据的经编码表示。位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示及含有所述数据的呈按需要穿插有仿真阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者可包含NAL单元标头且封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器22产生的经编码视频位流。另外，视频解码器30可解析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素而重构视频数据的图片。重构视频数据的过程可与由视频编码器22执行的过程大体上互逆。举例来说，视频解码器30可使用PU的运动向量确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构当前CU的TU的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本与当前CU的TU的变换块的对应样本相加来重构当前CU的译码块。通过重构图片的各CU的译码块，视频解码器30可重构所述图片。
四叉树加二叉树(QTBT)分割结构当前正由联合视频探索组(JVET)研究。在国际电信联盟，COM16-C966，2015年9月(下文称“VCEG提案COM16-C966”)，J.An等人的“用于下一代视频译码的块分割结构(Block partitioning structure for next generation videocoding)”中，QTBT分割技术针对超越HEVC的未来视频译码标准而描述。模拟已展示所提议QTBT结构可比在HEVC中所使用的四叉树结构更有效。
在VCEG提案COM16-C966中所描述的QTBT结构中，首先使用四叉树分割技术分割CTB，其中一个节点的四叉树拆分可被迭代直到节点到达最小允许四叉树叶节点大小。可由语法元素MinQTSize的值向视频解码器30指示最小允许四叉树叶节点大小。如果四叉树叶节点大小不大于最大允许二叉树根节点大小(例如由语法元素MaxBTSize所指示)，那么四叉树叶节点可使用二叉树分割而进一步分割。一个节点的二叉树分割可被迭代直到节点到达最小允许二叉树叶节点大小(例如由语法元素MinBTSize所表示)或最大允许二叉树深度(例如由语法元素MaxBTDepth所表示)。VCEG提案COM16-C966使用术语“CU”来指二叉树叶节点。在VCEG提案COM16-C966中，CU用于预测(例如帧内预测、帧间预测等等)及在无更进一步分割的情况下变换。一般来说，根据QTBT技术，存在用于二叉树拆分的两种拆分类型：对称水平拆分及对称竖直拆分。在每一情况下，块是通过从中间水平地或竖直地划分块而拆分。这不同于四叉树分割，其将块划分成四个块。
在QTBT分割结构的一个实例中，CTU大小经设定为128×128(例如128×128亮度块及两个对应64×64色度块)，MinQTSize经设定为16×16，MaxBTSize经设定为64×64，MinBTSize(对于宽度及高度两者)经设定为4，且MaxBTDepth经设定为4。四叉树分割首先应用于CTU以产生四叉树叶节点。四叉树叶节点可具有从16×16(即，MinQTSize为16×16)至128×128(即，CTU大小)的大小。根据QTBT分割的一个实例，如果叶四叉树节点为128×128，那么叶四叉树节点不可由二叉树进一步拆分，这是由于叶四叉树节点的大小超过MaxBTSize(即，64×64)。否则，叶四叉树节点由二叉树进一步分割。因此，四叉树叶节点还为二叉树的根节点并具有为0的二叉树深度。到达MaxBTDepth的二叉树深度(例如4)意指不存在进一步拆分。具有等于MinBTSize(例如4)的宽度的二叉树节点意指不存在进一步水平拆分。类似地，具有等于MinBTSize的高度的二叉树节点意指不进一步竖直拆分。二叉树的叶节点(CU)在无更进一步分割的情况下被进一步处理(例如通过执行预测过程及变换过程)。
图2A绘示使用QTBT分割技术分割的块50(例如CTB)的实例。如图2A中所示，使用QTBT分割技术，经由每一块的中心对称地拆分所得块中的每一者。图2B绘示对应于图2A的块分割的树结构。图2B中的实线指示四叉树拆分且点线指示二叉树拆分。在一个实例中，在二叉树的每一拆分(即，非叶)节点中，语法元素(例如旗标)被用信号发送以指示执行的拆分的类型(例如水平或竖直)，其中0指示水平拆分且1指示竖直拆分。对于四叉树拆分，不存在对于指示拆分类型的需要，这是由于四叉树拆分始终将块水平地及竖直地拆分成具有相等大小的4个子块。
如图2B中所示，在节点70处，使用四叉树分割将块50拆分成图2A中所展示的四个块51、52、53及54。块54并不进一步拆分，且因此为叶节点。在节点72处，使用二叉树分割将块51进一步拆分成两个块。如图2B中所示，节点72是以1标记，指示竖直拆分。因而，在节点72处的拆分产生块57及包含块55及块56两者的块。通过节点74处的进一步竖直拆分产生块55及块56。在节点76处，使用二叉树分割将块52进一步拆分成两个块58及59。如图2B中所示，节点76是以1标记，指示水平拆分。
在节点78处，使用四叉树分割将块53拆分成4个相等大小块。块63及块66是从此四叉树分割而产生且不进一步拆分。在节点80处，使用竖直二叉树拆分首先拆分左上方块，从而产生块60及右竖直块。接着使用水平二叉树拆分将右竖直块拆分成块61及块62。在节点84处，使用水平二叉树拆分将在节点78处从四叉树拆分所产生的右下块拆分成块64及块65。
在QTBT分割的一个实例中，举例来说，与HEVC相反(其中针对亮度及色度块共同地执行四叉树分割)，可针对I切片彼此独立地执行亮度及色度分割。即，在一些实例中，亮度块及色度块可被单独地分割，使得亮度块及色度块不直接重叠。因而，在QTBT分割的一些实例中，可以使至少一个分割色度块并不在空间上与单一分割亮度块对准的方式来分割色度块。即，与特定色度块共置的亮度样本可在两个或多于两个不同亮度分割区内。
在HEVC及JEM中，帧内参考(例如用于帧内预测的参考像素/邻近样本)可被平滑。在一些实例中，视频编码器22及视频解码器30可经配置以将滤波器应用于帧内参考样本。在HEVC中，使用模式相依帧内平滑(MDIS)，使得视频编码器22及视频解码器30经配置以在针对特定帧内预测模式从邻近样本产生帧内预测之前将滤波器应用于帧内参考(例如邻近样本)。
图3为展示定义于HEVC中的35个帧内预测模式的实例的概念图。在HEVC中，可使用35个帧内预测中的一者预测亮度块，包含平面模式、DC模式及33个角模式。定义于HEVC中的帧内预测的35个模式经编索引为如下表1中所展示：
表1-帧内预测模式及相关联名称的规范
帧内预测模式 相关联名称
0 INTRA_PLANAR
1 INTRA_DC
2..34 INTRA_ANGULAR2..INTRA_ANGULAR34
视频编码器22及视频解码器30可经配置以基于当前帧内预测模式距水平或竖直方向(例如水平或竖直帧内预测方向)的远近程度来导出启用MDIS所针对的帧内预测模式。在一个实例中，视频编码器22及视频解码器30可经配置以基于用于当前帧内预测模式的帧内模式索引与水平及/或竖直模式帧内预测模式的帧内预测模式索引之间的绝对差导出特定帧内模式距水平或竖直方向的远近程度。如果此绝对差超过特定阈值(例如所述阈值可为块大小相依的)，那么视频编码器22及视频解码器30可经配置以将MDIS滤波器应用于参考样本。如果此绝对差小于或等于特定阈值(例如所述阈值可为块大小相依的)，那么视频编码器22及视频解码器30可经配置以并不将MDIS滤波器应用于参考样本。实例阈值可包含10(例如对于4×4块)、7(例如对于8×8块)、1(例如对于16×16块)，及零(例如对于32×32块)。换句话说，对于距水平或竖直方向较远的帧内预测模式，视频编码器22及视频解码器30可不应用帧内参考滤波器。在一些实例中，视频编码器22及视频解码器30可不应用MDIS滤波器用于非角帧内预测模式，例如DC模式或平面模式。
在JEM中，MDIS是用平滑滤波器(例如参考样本自适应滤波(RSAF)或自适应参考样本平滑(ARSS)，其可适用于所有帧内模式)替换。此平滑滤波器应用于帧内参考样本可被称为帧内平滑。在一些实例中，平滑滤波器并不应用于DC模式。视频编码器22可经配置以产生及用信号发送旗标，所述旗标指示平滑滤波器被应用还是不在当前块中。视频解码器30可经配置以接收及解析此旗标以确定是否应用平滑滤波器用于当前块。
在一些实例中，视频编码器22可经配置以不将此旗标用信号发送为明确旗标，而确切地说，视频编码器22可经配置以掩蔽在变换系数的特性(例如变换系数的奇偶校验)中是否应用平滑滤波器的指示。同样地，视频解码器30可经配置以从变换系数的所述特性(例如变换系数的奇偶校验)确定是否应用平滑滤波器(例如确定旗标的值)。举例来说，如果变换系数满足特定奇偶校验条件(例如奇数或偶数)，那么旗标的值经导出为1，否则旗标的值经导出为0。
用于JEM中的另一工具为位置相依帧内预测组合(PDPC)模式。PDPC模式为加权帧内预测子及帧内参考样本的工具，其中视频编码器22及视频解码器30基于被译码的块的块大小(包含宽度及高度)及帧内预测模式导出权重。
本发明中所描述的技术可用于任何组合中，且用于与其它方法的任何结合中。帧内平滑及PDPC模式是用于说明及描述目的，本发明的技术不限于那些实例且所揭示的方法可应用于其它工具。
以下章节描述用于确定用于位置相依帧内预测组合(PDPC)译码模式的参数的技术。本发明的帧内平滑技术可结合PDPC模式使用。然而，帧内平滑及PDPC模式是用于说明及描述目的，本发明的技术不限于那些实例且所揭示的方法可应用于其它工具。
当使用PDPC译码模式译码视频数据时，视频编码器22及/或视频解码器30可使用定义如何基于滤波及未经滤波参考值及基于预测像素的位置组合预测的一或多个参数化方程式。本发明描述若干参数集合，使得视频编码器22可经配置以测试所述参数集合(例如经由使用速率-失真分析)并将最佳参数(例如产生在被测试的那些参数当中的最佳速率-失真性能的参数)用信号发送至视频解码器30。在一些实例中，视频解码器30可经配置以从视频数据的特性(例如块大小、块高度、块宽度等等)确定PDPC参数。
图4A绘示根据本发明的技术使用未经滤波参考(r)的4×4块(p)的预测。图4B绘示根据本发明的技术使用经滤波参考(s)的4×4块(q)的预测。尽管图4A及4B两者绘示4×4像素块及17(4×4+1)个相应参考值，但本发明的技术可应用于任何块大小及任何数目个参考值。
当执行PDPC译码模式时，视频编码器22及/或视频解码器30可利用经滤波(q)及未经滤波(p)预测之间的组合，使得可使用来自经滤波(s)及未经滤波(r)参考阵列的像素值计算待译码的当前块的预测块。
在PDPC的技术的一个实例中，给定任何两个像素预测集合pr[x,y]及qs[x,y]仅分别使用未经滤波参考r及经滤波参考s来计算，由v[x,y]指示的像素的经组合预测值是由以下公式定义：
v[x,y]＝c[x,y]pr[x,y]+(1-c[x,y])qs[x,y] (1)
其中c[x,y]为组合参数的集合。权重c[x,y]的值可为0与1之间的值。权重c[x,y]及(1-c[x,y])的总和可等于一。
在某些实例中，具有与块中的像素的数目一样大的参数的集合可为不实际的。在这些实例中，c[x,y]可由许多较小参数的集合加方程式定义以计算来自那些参数的所有组合值。在此实例中，可使用以下公式：
Figure BDA0002300410280000131
其中
Figure BDA0002300410280000132
g及dv、dh∈{1,2}为预测参数，N为块大小，
Figure BDA0002300410280000133
及
Figure BDA0002300410280000134
为使用根据HEVC标准的经计算的预测值，对于特定模式，分别使用未经滤波及经滤波参考，且
Figure BDA0002300410280000135
为由预测参数定义的归一化因数(即，用以使经指派给
Figure BDA0002300410280000136
及
Figure BDA0002300410280000137
的总权重与1相加)。
公式2可经广义化用于公式2A中的任何视频译码标准：
Figure BDA0002300410280000138
其中
Figure BDA0002300410280000139
g及dv、dh∈{1,2}为预测参数，N为块大小，
Figure BDA00023004102800001310
及
Figure BDA00023004102800001311
为使用根据视频译码标准(或视频译码方案或算法)的经计算的预测值，对于特定模式，分别使用未经滤波及经滤波参考，且
Figure BDA00023004102800001312
为由预测参数定义的归一化因数(即，用以使经指派给
Figure BDA00023004102800001313
及
Figure BDA00023004102800001314
的总权重与1相加)。
这些预测参数可包含权重以提供根据所使用预测模式的类型(例如HEVC的DC、平面及33个定向模式)的经预测项的最佳线性组合。举例来说，HEVC含有35个预测模式。查找表可运用用于所述预测模式中的每一者的预测参数
Figure BDA00023004102800001315
g、dv及dh中的每一者的值(即，用于每一预测模式的
Figure BDA00023004102800001316
g、dv及dh的35个值)构造。这些值可在具有视频的位流中被编码或可为事先由编码器及解码器已知的常量值且可不需要在文件或位流中被传输。用于
Figure BDA00023004102800001317
g、dv及dh的值及可由发现用于针对培训视频的集合产生最佳压缩的预测参数的值的优化培训算法来确定。
在另一实例中，存在用于每一预测模式的多个预定义预测参数集(在例如查找表中)且选定预测参数集(但并非参数自身)在经编码文件或位流中被传输至解码器。在另一实例中，用于
Figure BDA00023004102800001318
g、dv及dh的值可由视频编码器22在执行中产生且将其在经编码文件或位流中传输至视频解码器30。
在另一实例中，执行这些技术的视频译码装置可使用HEVC的经修改版本而不是使用HEVC预测，类似于使用65定向预测而不是33定向预测的视频译码装置。实际上，可使用任何类型的帧内预测。
在另一实例中，公式可经选择以便于计算。举例来说，我们可使用以下类型的预测子
Figure BDA0002300410280000141
其中
Figure BDA0002300410280000142
且
Figure BDA0002300410280000143
此方法可采用HEVC(或其它)预测的线性。将h定义为来自预定义集合的滤波器k的脉冲响应，如果我们具有
s＝a r+(1-a)(h*r) (7)
其中“*”表示卷积，那么
Figure BDA0002300410280000144
即，可从线性组合参考计算线性组合预测。
公式4、6及8可经广义化用于公式4A、6A及8A中的任何视频译码标准：
Figure BDA0002300410280000145
其中
Figure BDA0002300410280000146
且
Figure BDA0002300410280000147
此方法可利用译码标准的预测的线性。将h定义为来自预定义集合的滤波器k的脉冲响应，如果我们具有
s＝a r+(1-a)(h*r) (7A)
其中“*”表示卷积，那么
Figure BDA0002300410280000148
即，可从线性组合参考计算线性组合预测。
在一实例中，预测函数可仅使用参考向量(例如r及s)作为输入。在此实例中，如果参考已经滤波或未经滤波，那么不改变参考向量的行为。如果r与s相等(例如某一未经滤波参考r恰与另一经滤波参考s相同)，那么应用于经滤波及未经滤波参考的预测性函数(例如pr[x,y](也写成p(x,y,r))等于ps[x,y](也写成p(x,y,s)))相等。另外，像素预测p及q可为当量(例如给定相同输入产生相同输出)。在此实例中，可通过替换像素预测q[x,y]的像素预测p[x,y]来重写公式(1)至公式(8)。
在另一实例中，预测(例如函数的集合)可取决于参考已经滤波的信息而变化。在此实例中，可指示函数的不同集合(例如pr[x,y]及qs[x,y])。在此情况下，即使r与s相等，pr[x,y]及qs[x,y]仍可为不相等的。换句话说，取决于输入已经滤波还是未经滤波，相同输入可产生不同输出。在此实例中，p[x,y]可不能够由q[x,y]替换。
所展示的预测方程式的优点为，可通过参数化公式化使用例如培训的技术针对不同类型的视频结构确定最佳参数的集合(即，优化预测准确度的最佳参数的集合)。在一些实例中，又可针对一些典型类型的结构，通过计算预测参数的若干集合，且具有压缩方案(其中编码器测试来自每一集合的预测子，且将产生最佳压缩的预测子编码为旁侧信息)，来扩展此方法。
如上文所论述，在一些实例中，视频编码器22可经配置以用信号发送旗标或索引以指示用于一或多个视频数据块的特定视频译码工具的使用率(例如是否应用帧内平滑滤波器及/或PDPC模式)。举例来说，视频编码器22可经配置以产生及用信号发送具有0值的旗标以指示特定译码工具(例如帧内平滑滤波器及/或PDPC模式)并不应用于块，而具有1值的旗标可指示译码工具(例如帧内平滑滤波器及/或PDPC模式)应用于块。视频解码器30可经配置以接收及解析此旗标以确定是否使用特定视频译码工具用于与所述旗标相关联的一或多个视频数据块。
在一些实例中，用信号发送用于特定视频译码工具的旗标可采用显著大量数目个位，使得从使用视频译码工具获得的压缩效率可显著减少。本发明描述耦合视频译码工具开销信号发送(例如指示视频译码工具使用率及/或视频译码工具参数的语法元素)以及用于其它视频译码过程的信号发送(包含用于变换处理的信号发送)的技术。
举例来说，视频编码器22可经配置以产生及用信号发送用于变换处理的语法元素，包含初级或次级变换旗标或索引。初级变换旗标或索引(例如多位语法元素)可指示来自多个变换当中的特定变换在译码视频数据块时用作初级变换。同样地，次级变换旗标或索引(例如多位语法元素)可指示来自多个变换当中的特定变换在译码视频数据块时用作次级变换。作为一个实例，初级变换可为基于离散余弦变换(DCT)或离散正弦变换(DST)的变换、JEM中使用的增强型多重变换(EMT)，或任何其它可分离或不可分离变换。实例次级变换可包含旋转变换(ROT)或不可分离次级变换(NSST)，其中两者当前用于JEM中。然而，次级变换可包含任何其它可分离或不可分离变换。初级及/或第二变换可包含若干变换集合，其可由索引指示。举例来说，供任一特定视频数据块使用的变换集可取决于帧内预测模式及/或帧内预测模式方向。即，视频编码器22及视频解码器30可经配置以基于用以译码特定视频数据块的帧内预测模式及/或帧内预测模式方向确定可供用于所述视频数据块的变换集合。
在本发明的一个实例中，视频编码器22及/或视频解码器30可经配置以遵循特定预定义规则，所述特定预定义规则指示当一或多个特定变换旗标或索引值被用信号发送时，一或多个译码工具(例如帧内参考样本平滑滤波器及/或PDPC模式)应用于块，另外，当一或多个特定变换旗标或索引值未被用信号发送时，不应用译码工具。在此情况下，用于指示视频译码工具的使用率的任一明确旗标不必被用信号发送。实际上，是否使用特定译码工具的确定可从变换信号发送导出。上述实例包含帧内参考样本平滑滤波器及PDPC模式，但其它视频译码工具使用率可与变换信号发送耦合。
在一个实例中，由变换信号发送指示的视频译码工具可为帧内参考样本平滑滤波器，例如MDIS、ARSS或应用于帧内参考样本的任何其它平滑及/或滤波。在另一实例中，由变换信号发送指示的视频译码工具可为应用于帧内预测的滤波，例如PDPC模式、多参数帧内预测(MPI)模式，或应用于所导出帧内预测的任何其它滤波。
若干工具可以组合方式使用，例如PDPC、MDIS与ARSS的组合或仅仅PDPC与MDIS的组合。在一个实例中，视频编码器22及视频解码器30可经配置以将特定视频译码工具应用于运用某一次级变换(例如由一或多个次级变换索引所指示)译码的视频数据块。举例来说，视频解码器30可经配置以基于指示次级变换的特定类型的索引的值确定是否使用特定译码工具(例如MDIS、ARSS等等)。以此方式，次级变换及至少一个其它译码工具的使用可运用单一语法元素来指示。
在一个实例中，视频解码器30可仅仅在应用某些次级变换(如由次级变换(NSST)索引所指示)时确定使用PDPC模式。同样地，视频编码器22可仅仅在应用某些次级变换时确定使用PDPC模式。举例来说，视频编码器22及视频解码器30可经配置以在使用特定次级变换时(例如当NSST索引值等于1时)使用PDPC模式。在另一实例中，视频编码器22及视频解码器30可经配置以不顾所使用的次级变换(例如由次级变换索引的值所指示)而使用PDPC模式用于特定帧内预测模式。举例来说，视频编码器22及视频解码器30可经配置以在帧内预测模式为平面模式及/或DC模式或任何其它模式的情况下应用PDPC模式。
在另一实例中，视频编码器22及视频解码器30可经配置以仅仅针对某些次级变换(例如由次级变换(NSST)索引的值所指示)应用MDIS视频译码工具(或其它帧内参考样本平滑滤波器)。作为一个实例，视频编码器22及视频解码器30可经配置以仅仅针对等于3的NSST索引应用MDIS视频译码工具(或其它帧内参考样本平滑滤波器)。
在一些实例中，如果多于一个视频译码工具的使用取决于用于块的变换(例如视频译码工具映射至变换索引)，那么视频译码工具至变换的映射可彼此互斥。即，在一个实例中，每一视频译码工具对应于不同变换索引。
以上实例可被组合。举例来说，视频编码器22及视频解码器30可经配置以针对为1的NSST索引应用PDPC模式，且视频编码器22及视频解码器30可经配置以针对为3的NSST索引应用MDIS或另一帧内参考平滑滤波器。另外，视频编码器22及视频解码器30的使用可经配置以不顾块的NSST索引而总是将PDPC模式应用于使用平面帧内预测模式译码的视频数据块。
在又一实例中，视频编码器22及视频解码器30可经配置以当NSST索引等于2时应用ARSS视频译码工具。
如果不同译码工具(例如PDPC、NSST、EMT、ARSS、MDIS、MPI、ROT)的利用具有多个选项(而非针对译码工具中的每一者用信号发送单独索引)，那么视频编码器22可经配置以仅仅用信号发送一个统一索引。在此实例中，统一索引的值指定不同译码工具如何耦合。在一个实例中，如果PDPC模式被设计成具有三个不同参数集合，且NSST被设计成具有三个不同NSST核心集合，而非单独地用信号发送PDPC索引及NSST索引，那么视频编码器22可用信号发送仅仅一个统一索引，但此统一索引值指定PDPC模式及NSST两者的利用。举例来说，当此统一索引等于0时，既不应用PDPC也不应用NSST。当此统一索引等于1时，使用PDPC模式参数集1及NSST核心1。当此统一索引等于2时，使用PDPC模式参数集2及NSST核心2。当此统一索引等于3时，使用PDPC模式参数集3及NSST核心3。即，不同PDPC模式是运用不同NSST索引来捆绑。在另一实例中，对于不同NSST索引，可应用具有不同滤波器系数的MDIS滤波器。
一个工具(例如PDPC、ARSS及/或MDIS)与变换(例如EMT、NSST)之间的耦合可取决于已经译码的信息，包含但不限于帧内预测模式、块宽度及高度、块分割深度、变换系数。举例来说，对于不同帧内预测模式，PDPC模式可与不同NSST索引耦合。举例来说，对于帧内预测模式0，PDPC模式与NSST索引1耦合，且对于帧内预测模式1，PDPC与NSST索引2耦合。
下一章节涉及强帧内参考滤波。在2017年1月11日申请的美国临时申请案第62/445,207号及2018年1月9日申请的美国专利申请案第15/866,287号中，描述了除法自由强帧内平滑方法。在一些实例中，如果使用非2幂除法，那么视频编码器22及视频解码器30可经配置以将过程拆分成若干部分，其中视频编码器22及视频解码器30可经配置以对过程的各部分执行仅仅2幂除法。此技术可被实施为简单位移位操作。在本发明中，描述了更详细实例。考虑矩形块，其中在JEM中，由于除以块的(宽度+高度)而使用非2幂除法。图5展示对于非正方形块200将滤波过程划分成若干部分的实例。
如图5中所示，对左侧帧内参考样本202及上方帧内参考样本204(由黑色方框指示)以及左下方帧内参考样本206及右上方帧内参考样本208(由点线方框指示)执行滤波过程。所使用的除法为非2幂。视频编码器22及视频解码器30可经配置以将滤波过程拆分成用于水平方向的部分及用于竖直方向的部分，使得一个部分对应于块200的宽度及/或高度，且另一部分为剩余的任何长度。在此特定实例中，剩余部分为用于竖直滤波的宽度长度及用于水平滤波的高度长度(即，点线方框中的左下方帧内参考样本206及右上方帧内参考样本208)。可看到，每一部分可运用2幂除法运行滤波过程，这是由于可要求宽度及高度为2幂的大小。
另外，取决于滤波过程，一些样本可被复制。举例来说，在滤波公式为(长度-i)*a+i*b的情况下，其中i是从1至长度-1。长度为待滤波的样本阵列的大小。举例来说，长度可为宽度+高度。值a及b可为待滤波的样本阵列的末端样本。
可看到，对于i＝0并不滤波一个样本，且此样本可被直接复制。当滤波过程被拆分成若干部分时，直接复制的样本的数目可增加。这可导致额外样本在每一方向上不被滤波，且这些样本可被直接复制。直接复制可意指滤波过程并不应用于所述样本。
哪一样本可被直接复制可为可改变的。在本发明的一个实例中，视频编码器22及视频解码器30可经配置以将直接复制的样本放置在每一方向的帧内参考样本的末端处(即，在用于竖直滤波的左下方样本及用于水平滤波的右上方样本中)。以此方式，那些样本可能不太常用于帧内预测。这些样本的准确度对帧内预测的效率不太敏感，这是由于这些样本距块最远。
在另一实例中，可在滤波过程的各部分中放置直接复制的样本。在以上实例中，其可为在滤波的每一黑色及点线区域中的一个样本。即，视频编码器22及视频解码器30可在左侧参考样本204、左下方参考样本206、上方参考样本202及右上方参考样本208中的每一者中放置一个直接复制的样本。在一个实例中，直接复制的样本可放置于每一部分的末端处。举例来说，视频编码器22及视频解码器30可将直接复制的样本定位于左侧参考样本204的底部处。同样地，视频编码器22及视频解码器30可将直接复制的样本定位于左下方参考样本206的底部处。另外，视频编码器22及视频解码器30可将直接复制的样本定位于上方参考样本202的右末端处。视频编码器22及视频解码器30还可将直接复制的样本定位于右上方参考样本208的右末端处。此设计的优点为滤波过程的均匀性，这是由于不需要将特定区域中的直接复制的样本分组。
在另一实例中，直接复制的样本可放置于左上方区域201(例如样本204及202的块帧的开头)中。在更一般实例中，直接复制的样本可放置于帧内参考样本内的任一位置中。
在另一实例中，视频编码器22及视频解码器30可将强平滑实施为固定N抽头线性滤波器而非两抽头双线性滤波器，使得可避免使用并非为2的幂的除数的除法运算。在一个实例中，5抽头或7抽头高斯滤波器用以替换两抽头双线性强平滑滤波器，其中高斯滤波器的参数可被预定义或取决于已经译码的信息，包含但不限于块大小、块形状、帧内预测模式。
在本发明的一个实例中，视频编码器22及视频解码器30可经配置以使用帧内预测译码非正方形块，及将强帧内参考滤波应用于两个部分中的帧内参考样本，第一部分与沿着块的高度或宽度中的一者的帧内参考样本相关联，且第二部分与剩余帧内参考样本相关联。
视频编码器22及视频解码器30可经进一步配置以直接复制来自第一部分的至少一个参考样本。在另一实例中，视频编码器22及视频解码器30可经进一步配置以直接复制来自第二部分的至少一个参考样本。在另一实例中，视频编码器22及视频解码器30可经进一步配置以直接复制来自第一部分及第二部分两者的至少一个参考样本。
图6为绘示可实施本发明的技术的实例视频编码器22的框图。出于阐释的目的而提供图6，且不应将所述图视为对如本发明中广泛例示及描述的技术的限制。本发明的技术可应用于各种译码标准或方法。视频编码器22可经配置以执行上文所描述的组合式译码工具及变换信号发送技术。另外，视频编码器22可经配置以执行如上文所描述的强帧内参考滤波。
在图6的实例中，视频编码器22包含预测处理单元100、视频数据存储器101、残差产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单120及帧内预测处理单元126。帧间预测处理单元120可包含运动估计单元及运动补偿单元(未展示)。
视频数据存储器101可经配置以存储待由视频编码器22的组件编码的视频数据。存储于视频数据存储器101中的视频数据可例如从视频源18获得。经解码图片缓冲器116可为参考图片存储器，其存储用于由视频编码器22在编码视频数据(例如在帧内或帧间译码模式中)时使用的参考视频数据。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器101及经解码图片缓冲器116可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器22的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器101可与图1的存储媒体20相同或为其部分。
视频编码器22接收视频数据。视频编码器22可编码视频数据的图片的切片中的每一CTU。所述CTU中的每一者可与图片的相等大小的亮度译码树块(CTB)及对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行分割以将CTU的CTB划分成逐渐较小的块。在一些实例中，视频编码器22可使用QTBT结构分割块。所述较小块可为CU的译码块。举例来说，预测处理单元100可根据树结构分割与CTU相关联的CTB。根据本发明的一或多种技术，对于在树结构的每一深度层级处的树结构的每一相应非叶节点，存在针对相应非叶节点的多个允许拆分图案，且对应于相应非叶节点的视频块根据所述多个允许拆分图案中的一者而分割成对应于相应非叶节点的子节点的视频块。
视频编码器22可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与亮度预测块及对应的色度预测块相关联。视频编码器22及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器22及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器22及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。取决于PU是在I切片、P切片还是B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU被帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用空间预测从同一帧内的先前经编码的相邻块而形成。如果PU是在P切片中，那么帧间预测处理单元120可使用单向帧间预测以产生PU的预测性块。如果PU是在B切片中，那么帧间预测处理单元120可使用单向或双向帧间预测以产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式以产生用于PU的多个预测性数据集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本以产生PU的预测性块。在针对PU、CU及CTU假定从左侧至右侧、从上而下的编码次序的情况下，相邻PU可在PU上方、右上方、左上方或左侧。帧内预测处理单元126可使用各种数目个帧内预测模式，例如33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据中，或从由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于多组预测性数据的速率/失真度量而选择用于CU的PU的预测性数据。选定预测性数据的预测性块在本文中可被称作选定预测性块。
残差产生单元102可基于CU的译码块(例如亮度、Cb及Cr译码块)及CU的PU的选定预测性块(例如预测性亮度、Cb及Cr块)产生CU的残差块(例如亮度、Cb及Cr残差块)。举例来说，残差产生单元102可产生CU的残差块，使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的变换块。因此，TU可与亮度变换块及两个色度变换块相关联。CU的TU的亮度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。
量化单元106可将系数块中的变换系数量化。量化过程可减少与所述变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间被舍入至m位变换系数，其中n大于m。量化单位106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器22可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比最初变换系数低的精度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重构残差块。重构单元112可将经重构残差块与来自由预测处理单元100产生的一或多个预测性块的对应样本相加，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器22可重构CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块假像。经解码图片缓冲器116可在滤波器单元114对经重构译码块执行一或多个解块操作之后，存储经重构译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片，以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构译码块来对与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器22的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，并可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器22可输出包含由熵编码单元118所产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
图7为绘示经配置以实施本发明的技术的实例视频解码器30的框图。出于阐释的目的而提供图7，且其并不限制如本发明中所广泛例示及描述的技术。出于阐释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法，包含JVET。视频解码器30可经配置以接收及解析根据上文所描述的组合式译码工具及变换信号发送技术而用信号发送的语法元素。另外，视频解码器30可经配置以执行如上文所描述的强帧内参考滤波。
在图7的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重构单元158、滤波器单元160，及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的经编码视频数据，例如经编码视频位流。存储于视频数据存储器151中的视频数据可例如经由视频数据的有线或无线网络通信从计算机可读媒体16(例如从本地视频源，例如相机)或通过存取物理数据存储媒体获得。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于视频解码器30例如以帧内或帧间译码模式解码视频数据或以供输出的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器151及经解码图片缓冲器162可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器151可与图1的存储媒体28相同或为图1的存储媒体28的部分。
视频数据存储器151接收及存储位流的经编码视频数据(例如NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如NAL单元)，且可解析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重构单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元150可执行与熵编码单元118的过程大体上互逆的过程。
根据本发明的一些实例，熵解码单元150可确定树结构作为从位流获得语法元素的部分。树结构可指定如何将初始视频块(例如CTB)分割成较小视频块(例如译码单元)。根据本发明的一或多种技术，对于在树结构的每一深度层级处的树结构的每一相应非叶节点，存在针对相应非叶节点的多个允许拆分图案，且对应于相应非叶节点的视频块根据所述多个允许拆分图案中的一者而分割成对应于相应非叶节点的子节点的视频块。
除从位流获得语法元素之外，视频解码器30还可对未经分割的CU执行重构操作。为对CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残差块。
作为对CU的TU执行重构操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块，以便产生与TU相关联的残差块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡洛南-洛伊(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素而确定PU的帧内预测模式。
如果使用帧间预测编码PU，那么熵解码单元150可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如预测性亮度、Cb及Cr块)。
重构单元158可使用CU的TU的变换块(例如亮度、Cb及Cr变换块)及CU的PU的预测性块(例如亮度、Cb及Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重构CU的译码块(例如亮度、Cb及Cr译码块)。举例来说，重构单元158可将变换块(例如亮度、Cb及Cr变换块)的样本与预测性块(例如亮度、Cb及Cr预测性块)的对应样本相加，以重构CU的译码块(例如亮度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块相关联的块假像。视频解码器30可将CU的译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。
图8为绘示本发明的实例编码方法的流程图。视频编码器22的一或多个结构组件可经配置以执行图8的技术。
在图8的实例中，视频编码器22可经配置以接收视频数据块(800)，确定用于编码视频数据块的帧内预测模式(802)，及至少基于经确定帧内预测模式确定是否使用PDPC模式以编码视频数据块(804)。在一个实例中，为确定是否使用PDPC，视频编码器22可经进一步配置以在帧内预测模式为平面模式的情况下确定使用PDPC模式以编码视频数据块。
图9为绘示本发明的实例解码方法的流程图。视频解码器30的一或多个结构组件可经配置以执行图9的技术。在图9的实例中，视频解码器30可经配置以视频数据块(900)，确定用于视频数据块的帧内预测模式(902)，及至少基于经确定帧内预测模式确定是否使用PDPC模式以解码视频数据块(904)。
在一个实例中，视频解码器30可经配置以在帧内预测模式为平面模式的情况下确定使用PDPC模式以解码视频数据块。
在另一实例中，视频解码器30可经配置以：接收与用于视频数据块的初级变换或次级变换相关联的语法元素；基于语法元素的值确定一或多个视频译码工具的使用率，一或多个视频译码工具为除初级变换或次级变换以外的视频译码技术；及基于经确定使用率将一或多个译码工具应用于视频数据块。
在另一实例中，视频解码器30可经配置以基于经确定帧内预测模式及与用于视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用PDPC以解码视频数据块。
在另一实例中，视频解码器30可经配置以在帧内预测模式为平面模式的情况下不顾与用于视频数据块的初级变换或次级变换相关联的语法元素的值而确定使用PDPC模式以解码视频数据块。在一个实例中，初级变换为DCT、DST或EMT中的一者。在另一实例中，次级变换为旋转变换或NSST中的一者。在另一实例中，一或多个视频译码工具包含PDPC模式、MDIS、RSAF、ARSS或MPI中的一或多者。
在另一实例中，视频解码器30可经配置以在确定使用PDPC模式的情况下使用经确定帧内预测模式及PDPC模式来解码视频数据块，或在确定不使用PDPC模式的情况下使用经确定帧内预测模式及不使用PDPC模式来解码视频数据块。视频解码器30可经进一步配置以输出经解码视频数据块。
出于说明的目的，已关于HEVC标准的扩展及JEM而描述本发明的某些方面。然而，本发明中描述的技术可用于其它视频译码过程，包含在开发中或尚未开发的其它标准或专有视频译码过程。
如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，适用时，视频译码可指视频编码或视频解码。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如并非所有所描述动作或事件皆为实践所述技术所必要)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非按顺序执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体(其包含例如根据通信协议促进计算机程序从一处传送至另一处的任何媒体)。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、闪速存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源来传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘通过激光以光学方式重现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由一或多个处理器执行指令，所述一或多个处理器是例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可提供于经配置以供编码及解码或并入于组合式编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，包含无线手机、集成电路(IC)或IC集合(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，各种单元可与合适的软件及/或固件一起组合在编解码器硬件单元中或由互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。
各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (22)

1.一种解码视频数据的方法，所述方法包括：
接收视频数据块；
接收与用于所述视频数据块的初级变换或次级变换相关联的语法元素；
确定用于所述视频数据块的帧内预测模式；及
至少基于经确定帧内预测模式及与用于所述视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用位置相依预测组合PDPC模式以解码所述视频数据块，其中，确定是否使用所述PDPC模式包括：
在所述帧内预测模式为平面模式的情况下不顾与用于所述视频数据块的所述初级变换或所述次级变换相关联的所述语法元素的所述值而确定使用所述PDPC模式以解码所述视频数据块。
2.根据权利要求1所述的方法，其进一步包括：
基于所述语法元素的值确定一或多个视频译码工具的使用率，所述一或多个视频译码工具为除所述初级变换或次级变换以外的视频译码技术；及
基于经确定的使用率将所述一或多个译码工具应用于所述视频数据块。
3.根据权利要求1所述的方法，其中所述初级变换为离散余弦变换DCT、离散正弦变换DST或增强型多重变换EMT中的一者。
4.根据权利要求1所述的方法，其中所述次级变换为旋转变换或不可分离次级变换NSST中的一者。
5.根据权利要求2所述的方法，其中所述一或多个视频译码工具包含所述PDPC模式、模式相依帧内平滑MDIS、参考样本自适应滤波RSAF、自适应参考样本平滑ARSS或多参数帧内预测MPI中的一或多者。
6.根据权利要求1所述的方法，其中所述语法元素为至所述初级变换或所述次级变换的索引。
7.根据权利要求1所述的方法，其中所述语法元素为至变换集合的索引。
8.根据权利要求1所述的方法，其进一步包括：
在确定使用所述PDPC模式的情况下使用所述经确定帧内预测模式及所述PDPC模式来解码所述视频数据块；或
在确定不使用所述PDPC模式的情况下使用所述经确定帧内预测模式及不使用所述PDPC模式来解码所述视频数据块。
9.根据权利要求8所述的方法，其进一步包括：
输出经解码视频数据块。
10.一种经配置以解码视频数据的设备，所述设备包括：
存储器，其经配置以存储视频数据块；及
一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以：
接收所述视频数据块；
接收与用于所述视频数据块的初级变换或次级变换相关联的语法元素；
确定用于所述视频数据块的帧内预测模式；及
至少基于经确定帧内预测模式及与用于所述视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用位置相依预测组合PDPC模式以解码所述视频数据块，其中，确定是否使用所述PDPC模式包括：
在所述帧内预测模式为平面模式的情况下不顾与用于所述视频数据块的所述初级变换或所述次级变换相关联的所述语法元素的所述值而确定使用所述PDPC模式以解码所述视频数据块。
11.根据权利要求10所述的设备，其中所述一或多个处理器经进一步配置以：
基于所述语法元素的值确定一或多个视频译码工具的使用率，所述一或多个视频译码工具为除所述初级变换或次级变换以外的视频译码技术；及
基于经确定的使用率将所述一或多个译码工具应用于所述视频数据块。
12.根据权利要求10所述的设备，其中所述初级变换为离散余弦变换DCT、离散正弦变换DST或增强型多重变换EMT中的一者。
13.根据权利要求10所述的设备，其中所述次级变换为旋转变换或不可分离次级变换NSST中的一者。
14.根据权利要求11所述的设备，其中所述一或多个视频译码工具包含所述PDPC模式、模式相依帧内平滑MDIS、参考样本自适应滤波RSAF、自适应参考样本平滑ARSS或多参数帧内预测MPI中的一或多者。
15.根据权利要求10所述的设备，其中所述语法元素为至所述初级变换或所述次级变换的索引。
16.根据权利要求10所述的设备，其中所述语法元素为至变换集合的索引。
17.根据权利要求10所述的设备，其中所述一或多个处理器经进一步配置以：
在确定使用所述PDPC模式的情况下使用所述经确定帧内预测模式及所述PDPC模式来解码所述视频数据块；或
在确定不使用所述PDPC模式的情况下使用所述经确定帧内预测模式及不使用所述PDPC模式来解码所述视频数据块。
18.根据权利要求17所述的设备，其中所述一或多个处理器经进一步配置以：
输出经解码视频数据块。
19.一种经配置以解码视频数据的设备，所述设备包括：
用于接收视频数据块的装置；
用于接收与用于所述视频数据块的初级变换或次级变换相关联的语法元素的装置；
用于确定用于所述视频数据块的帧内预测模式的装置；及
用于至少基于经确定帧内预测模式及与用于所述视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用位置相依预测组合PDPC模式以解码所述视频数据块的装置，其中，确定是否使用所述PDPC模式包括：
在所述帧内预测模式为平面模式的情况下不顾与用于所述视频数据块的所述初级变换或所述次级变换相关联的所述语法元素的所述值而确定使用所述PDPC模式以解码所述视频数据块。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令在执行时致使经配置以解码视频数据的装置的一或多个处理器进行以下操作：
接收视频数据块；
接收与用于所述视频数据块的初级变换或次级变换相关联的语法元素；
确定用于所述视频数据块的帧内预测模式；及
至少基于经确定帧内预测模式及与用于所述视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用位置相依预测组合PDPC模式以解码所述视频数据块，其中，确定是否使用所述PDPC模式包括：
在所述帧内预测模式为平面模式的情况下不顾与用于所述视频数据块的所述初级变换或所述次级变换相关联的所述语法元素的所述值而确定使用所述PDPC模式以解码所述视频数据块。
21.一种编码视频数据的方法，所述方法包括：
接收视频数据块；
接收与用于所述视频数据块的初级变换或次级变换相关联的语法元素；
确定用于编码所述视频数据块的帧内预测模式；及
至少基于经确定帧内预测模式及与用于所述视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用位置相依预测组合PDPC模式以编码所述视频数据块，其中，确定是否使用所述PDPC模式包括：
在所述帧内预测模式为平面模式的情况下不顾与用于所述视频数据块的所述初级变换或所述次级变换相关联的所述语法元素的所述值而确定使用所述PDPC模式以解码所述视频数据块。
22.一种经配置以编码视频数据的设备，所述设备包括：
存储器，其经配置以存储视频数据块；及
一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以：
接收所述视频数据块；
接收与用于所述视频数据块的初级变换或次级变换相关联的语法元素；
确定用于编码所述视频数据块的帧内预测模式；及
至少基于经确定帧内预测模式及与用于所述视频数据块的初级变换或次级变换相关联的语法元素的值确定是否使用位置相依预测组合PDPC模式以编码所述视频数据块，其中，确定是否使用所述PDPC模式包括：
在所述帧内预测模式为平面模式的情况下不顾与用于所述视频数据块的所述初级变换或所述次级变换相关联的所述语法元素的所述值而确定使用所述PDPC模式以解码所述视频数据块。
CN201880036843.3A 2017-06-15 2018-05-24 与视频译码中的变换处理一起应用的帧内滤波 Active CN110720218B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762520426P 2017-06-15 2017-06-15
US62/520,426 2017-06-15
US15/987,560 2018-05-23
US15/987,560 US10805641B2 (en) 2017-06-15 2018-05-23 Intra filtering applied together with transform processing in video coding
PCT/US2018/034352 WO2018231488A1 (en) 2017-06-15 2018-05-24 Intra filtering applied together with transform processing in video coding

Publications (2)

Publication Number Publication Date
CN110720218A CN110720218A (zh) 2020-01-21
CN110720218B true CN110720218B (zh) 2022-08-16

Family

ID=64657715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036843.3A Active CN110720218B (zh) 2017-06-15 2018-05-24 与视频译码中的变换处理一起应用的帧内滤波

Country Status (12)

Country Link
US (1) US10805641B2 (zh)
EP (2) EP4236312A3 (zh)
JP (1) JP6950004B2 (zh)
KR (1) KR102278720B1 (zh)
CN (1) CN110720218B (zh)
AU (1) AU2018282523B2 (zh)
BR (1) BR112019025629A2 (zh)
CA (1) CA3063559C (zh)
CL (1) CL2019003620A1 (zh)
CO (1) CO2019013898A2 (zh)
TW (1) TWI745594B (zh)
WO (1) WO2018231488A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11146795B2 (en) 2017-03-10 2021-10-12 Qualcomm Incorporated Intra filtering flag in video coding
US10805641B2 (en) 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
CN118338016A (zh) * 2017-11-22 2024-07-12 英迪股份有限公司 用于解码图像的方法、用于编码图像的方法和非暂态存储介质
EP3496401A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing Method and apparatus for video encoding and decoding based on block shape
US11252420B2 (en) * 2017-12-15 2022-02-15 Lg Electronics Inc. Image coding method on basis of secondary transform and device therefor
US10567752B2 (en) * 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10911765B2 (en) * 2018-08-01 2021-02-02 Tencent America LLC Method and apparatus for video coding
US10491893B1 (en) 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
WO2020106186A1 (en) * 2018-11-19 2020-05-28 Huawei Technologies Co., Ltd. Method and apparatus for hierarchical signaling of enabling and disabling prediction mechanisms for video coding
EP3903487A4 (en) 2018-12-28 2022-09-21 Telefonaktiebolaget Lm Ericsson (Publ) METHOD AND DEVICE FOR TRANSFORMATION SELECTION IN AN ENCODER AND DECODER
BR112021013709A2 (pt) * 2019-01-14 2021-09-21 Samsung Electronics Co., Ltd. Método de decodificação de vídeo, aparelho de decodificação de vídeo, método de codificação de vídeo, e aparelho de codificação de vídeo
CN113439441A (zh) 2019-02-15 2021-09-24 北京字节跳动网络技术有限公司 基于块分割的变换参数推导
KR20210122797A (ko) * 2019-02-28 2021-10-12 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
CN116939199A (zh) * 2019-03-11 2023-10-24 日本放送协会 图像编码装置、图像解码装置和程序
WO2020185943A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Improvement for inter pdpc mode
MX2021011384A (es) * 2019-03-22 2021-11-04 Lg Electronics Inc Metodo y dispositivo de decodificacion de imagenes y metodo y dispositivo de codificacion de imagenes en sistema de codificacion de imagenes.
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11956469B2 (en) * 2019-04-16 2024-04-09 Hfi Innovation Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on TB level syntax
EP3949423A4 (en) 2019-04-16 2023-04-12 HFI Innovation Inc. METHODS AND DEVICES FOR ENCODING VIDEO DATA WITH SECONDARY TRANSFORMATION
WO2020216296A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Clipping operation in secondary transform based video processing
WO2020228671A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
CN113812155B (zh) * 2019-05-11 2023-10-27 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
WO2020242183A1 (ko) * 2019-05-27 2020-12-03 엘지전자 주식회사 광각 인트라 예측 및 변환에 기반한 영상 코딩 방법 및 그 장치
EP3967032A4 (en) 2019-06-07 2022-07-27 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS
WO2020254256A1 (en) * 2019-06-21 2020-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for non-separable transform selection in an encoder and decoder
WO2020262470A1 (en) * 2019-06-24 2020-12-30 Sharp Kabushiki Kaisha Systems and methods for performing intra prediction coding in video coding
CN113826403A (zh) * 2019-06-25 2021-12-21 Oppo广东移动通信有限公司 信息处理方法及装置、设备、存储介质
CN114208190B (zh) 2019-08-03 2023-12-15 北京字节跳动网络技术有限公司 视频编解码中缩减二次变换的矩阵的选择
CN114223208B (zh) 2019-08-17 2023-12-29 北京字节跳动网络技术有限公司 为视频中的缩减二次变换的边信息的上下文建模
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
US20220295104A1 (en) * 2019-09-20 2022-09-15 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068955A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Use and signaling of refining video coding tools
CN117376557A (zh) 2019-10-13 2024-01-09 北京字节跳动网络技术有限公司 参考图片重采样与视频编解码工具之间的相互作用
WO2021129866A1 (en) 2019-12-27 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice types in video pictures headers
WO2023200966A1 (en) * 2022-04-13 2023-10-19 Beijing Dajia Internet Information Technology Co., Ltd Method and apparatus for cross-component prediction for video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088802A (en) 1997-06-04 2000-07-11 Spyrus, Inc. Peripheral device with integrated security functionality
US7783901B2 (en) 2001-12-05 2010-08-24 At&T Intellectual Property Ii, L.P. Network security device and method
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US8457200B2 (en) 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
US8621601B2 (en) 2008-05-21 2013-12-31 Sandisk Technologies Inc. Systems for authentication for access to software development kit for a peripheral device
EP2559239A2 (en) 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
CN102857752B (zh) 2011-07-01 2016-03-30 华为技术有限公司 一种像素预测方法和装置
US9288508B2 (en) 2011-11-08 2016-03-15 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US10681036B2 (en) 2014-03-28 2020-06-09 Ncr Corporation Composite security interconnect device and methods
US10445710B2 (en) 2014-08-26 2019-10-15 Ncr Corporation Security device key management
CN104301730A (zh) * 2014-10-14 2015-01-21 河海大学常州校区 基于视频移动设备的双向视频编解码***及其方法
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
CN114339228B (zh) * 2016-05-04 2024-04-12 夏普株式会社 用于对变换数据进行编码的***和方法
CN105872564B (zh) * 2016-05-27 2019-02-19 武汉拓宝科技股份有限公司 H.264/avc到h.265/hevc转码的帧内预测模式决定方法及***
US20180199062A1 (en) 2017-01-11 2018-07-12 Qualcomm Incorporated Intra prediction techniques for video coding
US11146795B2 (en) 2017-03-10 2021-10-12 Qualcomm Incorporated Intra filtering flag in video coding
US10805641B2 (en) 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding

Also Published As

Publication number Publication date
EP4236312A2 (en) 2023-08-30
BR112019025629A2 (pt) 2020-06-16
EP4236312A3 (en) 2023-10-25
KR102278720B1 (ko) 2021-07-16
AU2018282523B2 (en) 2022-06-02
TWI745594B (zh) 2021-11-11
CL2019003620A1 (es) 2020-06-26
KR20200019132A (ko) 2020-02-21
US20180367814A1 (en) 2018-12-20
CN110720218A (zh) 2020-01-21
CO2019013898A2 (es) 2020-01-17
CA3063559C (en) 2023-03-28
WO2018231488A1 (en) 2018-12-20
JP6950004B2 (ja) 2021-10-13
AU2018282523A1 (en) 2019-12-05
EP3639518A1 (en) 2020-04-22
TW201906406A (zh) 2019-02-01
JP2020523910A (ja) 2020-08-06
US10805641B2 (en) 2020-10-13
EP3639518B1 (en) 2023-08-23
CA3063559A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
CN110393010B (zh) 视频译码中的帧内滤波旗标
CN108781296B (zh) 为视频译码中非方形块确定预测参数
US10506246B2 (en) Multi-type-tree framework for video coding
US11611757B2 (en) Position dependent intra prediction combination extended with angular modes
US20180199062A1 (en) Intra prediction techniques for video coding
TW201830964A (zh) 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊
TWI844181B (zh) 視頻寫碼中之內濾波旗標

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40015204

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant