CN110622514B - 用于视频译码的帧内参考滤波器 - Google Patents

用于视频译码的帧内参考滤波器 Download PDF

Info

Publication number
CN110622514B
CN110622514B CN201880029408.8A CN201880029408A CN110622514B CN 110622514 B CN110622514 B CN 110622514B CN 201880029408 A CN201880029408 A CN 201880029408A CN 110622514 B CN110622514 B CN 110622514B
Authority
CN
China
Prior art keywords
filter
video data
samples
block
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880029408.8A
Other languages
English (en)
Other versions
CN110622514A (zh
Inventor
马尔塔·卡切维奇
赵欣
瓦迪姆·谢廖金
阿米尔·赛义德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110622514A publication Critical patent/CN110622514A/zh
Application granted granted Critical
Publication of CN110622514B publication Critical patent/CN110622514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种解码视频数据的方法，其包含：接收使用帧内预测模式进行编码的视频数据的当前块；确定用于视频数据的所述当前块的残差视频数据；确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；及将所述预测块的样本与所述经确定残差视频数据相加以产生经解码视频数据块。

Description

用于视频译码的帧内参考滤波器
本申请案主张2017年5月5日申请的美国临时专利申请案第62/502,490号及2017年9月15日申请的美国临时专利申请案第62/559,127号的权益，所述申请案各者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及视频解码。
背景技术
数字视频能力可并入至广泛范围的装置中，所述装置包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些技术。视频装置可通过实施这些视频压缩技术而更高效地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如视频帧或视频帧的一部分)可分割成视频块，例如译码树块及译码块。空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。为了进一步压缩，可将残差数据从像素域变换至变换域，从而产生可接着进行量化的残差变换系数。
发明内容
大体来说，本发明描述与帧内预测及帧内模式译码相关的技术。本发明的技术可用于高级视频编解码器的上下文中，例如HEVC的扩展或视频译码标准的下一代中。在各种实例中，本发明描述用于将双边滤波器应用于模式相关帧内平滑(MDIS)或帧内参考样本平滑的技术。
在一个实例中，本发明描述一种方法，其包含：接收使用帧内预测模式进行编码的视频数据的当前块；确定用于视频数据的所述当前块的残差视频数据；确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；及将所述预测块的样本与所述经确定残差视频数据相加以产生经解码视频数据块。
在另一实例中，本发明描述一种编码视频数据的方法，其包含接收视频数据的当前块；确定用于视频数据的所述当前块的帧内预测模式；基于所述经确定帧内预测模式确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据；及将所述残差视频数据编码为经编码视频数据块。
在另一实例中，本发明描述一种经配置以解码视频数据的设备，所述设备包含：存储器，其经配置以存储视频数据的当前块；及一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以进行以下操作：接收使用帧内预测模式进行编码的视频数据的所述当前块；确定用于视频数据的所述当前块的残差视频数据；确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；及将所述预测块的样本与所述经确定残差视频数据相加以产生经解码视频数据块。
在另一实例中，本发明描述一种经配置以编码视频数据的设备，所述设备包含：存储器，其经配置以存储视频数据的当前块；及一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以进行以下操作：接收视频数据的所述当前块；确定用于视频数据的所述当前块的帧内预测模式；基于所述经确定帧内预测模式确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据；及将所述残差视频数据编码为经编码视频数据块。
在另一实例中，本发明描述一种经配置以解码视频数据的设备，所述设备包含：用于接收使用帧内预测模式进行编码的视频数据的当前块的装置；用于确定用于视频数据的所述当前块的残差视频数据的装置；用于确定视频数据的所述当前块的参考样本的装置；用于基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数的装置；用于将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本的装置；用于使用所述经滤波参考样本产生预测块的装置；及用于将所述预测块的样本与所述经确定残差视频数据相加以产生经解码视频数据块的装置。
在另一实例中，本发明描述一种经配置以编码视频数据的设备，所述设备包含：用于接收视频数据的当前块的装置；用于确定用于视频数据的所述当前块的帧内预测模式的装置；用于基于所述经确定帧内预测模式确定视频数据的所述当前块的参考样本的装置；用于基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数的装置；用于将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本的装置；用于使用所述经滤波参考样本产生预测块的装置；用于使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据的装置；及用于将所述残差视频数据编码为经编码视频数据块的装置。
在另一实例中，本发明描述一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时使经配置以解码视频数据的装置的一或多个处理器进行以下操作：接收使用帧内预测模式进行编码的视频数据的当前块；确定用于视频数据的所述当前块的残差视频数据；确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；及将所述预测块的样本与所述经确定残差视频数据相加以产生经解码视频数据块。
在另一实例中，本发明描述一种存储指令的非暂时性计算机可读存储媒体，所述指令在执行时使经配置以解码视频数据的装置的一或多个处理器进行以下操作：接收视频数据的当前块；确定用于视频数据的所述当前块的帧内预测模式；基于所述经确定帧内预测模式确定视频数据的所述当前块的参考样本；基于所述参考样本与相邻参考样本之间的距离且基于所述参考样本与所述相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数；将具有所述经确定滤波器系数的所述双边滤波器应用于所述经确定参考样本以产生经滤波参考样本；使用所述经滤波参考样本产生预测块；使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据；及将所述残差视频数据编码为经编码视频数据块。
下文在附图及具体实施方式中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从具体实施方式、附图及权利要求书显而易见。
附图说明
图1为绘示可使用本发明中所描述的一或多种技术的实例视频编码及解码***的框图。
图2A为绘示使用四叉树加二叉树(QTBT)结构进行块分割的实例的概念图。
图2B为绘示对应于使用图2A的QTBT结构进行块分割的实例树结构的概念图。
图3为用于16×16块的帧内预测的实例。
图4为定义于HEVC中的35个帧内预测模式的实例。
图5为定义于HEVC中的平坦模式的实例绘示。
图6为定向帧内预测模式的实例绘示。
图7为不等权重预测的实例。
图8A及8B为用于4×4像素块的可用于位置相关预测组合的数据的实例。
图9A绘示根据本发明的一或多种技术的平坦模式的实例。
图9B绘示根据本发明的一或多种技术的平坦模式的实例。
图10为绘示可实施本发明中所描述的一或多种技术的实例视频编码器的框图。
图11为绘示可实施本发明中所描述的一或多种技术的实例视频解码器的框图。
图12为绘示本发明的实例视频编码技术的流程图。
图13为绘示本发明的实例视频解码技术的流程图。
具体实施方式
本发明涉及视频译码(例如视频编码及/或视频解码)中的帧内预测及帧内参考样本滤波的使用。在HEVC及联合探索模型(JEM)中(其为联合视频专家小组(JVET)所研究的测试软件)，可使帧内参考样本平滑(例如可应用滤波器)。在HEVC中，在从帧内参考产生帧内预测之前，以滤波器被应用于帧内参考样本(与当前经译码块/样本有关的相邻者样本)的方式使用模式相关帧内平滑(MDIS)。
在一些实例中，在包含具有丰富倾斜纹理样式的图像区域的情况下，一些帧内参考平滑滤波器可降低帧内预测沿锐边的压缩效率。另外，对于用于非正方形块的一些平坦帧内预测模式，应用一些帧内参考平滑滤波器产生非所要程度的压缩性能。本发明描述可产生改进式压缩性能的用于确定帧内参考样本平滑滤波器的滤波器系数的技术。在一个实例中，本发明描述可用于帧内参考样本平滑的用于确定双边滤波器的滤波器系数的技术。在一个实例中，视频译码器(例如视频编码器及/或视频解码器)可基于参考样本与相邻参考样本之间的距离且基于参考样本与相邻参考样本之间的样本值差确定双边滤波器的滤波器系数。
图1为绘示可将本发明的技术用于帧内参考滤波的实例视频编码及解码***10的框图。如图1中所示，***10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。特定地说，源装置12经由计算机可读媒体16将经编码视频数据提供至目的地装置14。源装置12及目的地装置14可为或包含广泛范围的装置中的任一者，包含桌上型计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些情况下，源装置12及目的地装置14经装备用于无线通信。因此，源装置12及/或目的地装置14可为无线通信装置。可将本发明中所描述的技术应用于无线及/或有线应用。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。
图1的所绘示***10仅是一个实例。包含执行帧内参考滤波的用于处理视频数据的技术可由任何数字视频编码及/或解码装置执行。在一些实例中，所述技术可由视频编码器/解码器(通常被称为“编解码器”)执行。源装置12及目的地装置14为源装置12产生经译码视频数据用于传输至目的地装置14的此类译码装置的实例。在一些实例中，源装置12及目的地装置14以大致上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，***10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如用于视频流式处理、视频回放、视频广播或视频电话。
在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体19、视频编码器20，及输出接口22。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30，及显示装置32。在其它实例中，源装置12及目的地装置14可包含其它组件或布置。举例来说，源装置12可从外部视频源(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。
视频源18为视频数据的源。视频数据可包含一系列图片。视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频存档，及/或用以从视频内容提供者接收视频数据的视频馈送接口。在一些实例中，视频源18产生基于计算机图形的视频数据或实况视频、存档视频及计算机产生的视频的组合。存储媒体19可经配置以存储视频数据。在每一状况下，所捕获、所预捕获或计算机产生的视频可由视频编码器20编码。
输出接口22可将经编码视频信息输出至计算机可读媒体16。输出接口22可包含各种类型的组件或装置。举例来说，输出接口22可包含无线发射器、调制解调器、有线联网组件(例如以太网卡)，或另一物理组件。在输出接口22包含无线发射器的实例中，输出接口22可经配置以传输根据例如4G、4G-LTE、高级LTE、5G等等的蜂窝通信标准进行调制的数据，例如经编码视频数据。在输出接口22包含无线发射器的一些实例中，输出接口22可经配置以传输根据例如IEEE 802.11规范、IEEE 802.15规范(例如ZigBeeTM)、BluetoothTM标准等等的其它无线标准进行调制的数据，例如经编码视频数据。在一些实例中，输出接口22的电路集成于源装置12的视频编码器20及/或其它组件的电路中。举例来说，视频编码器20及输出接口22可为***单芯片(SoC)的部分。SoC还可包含其它组件，例如通用微处理器、图形处理单元等等。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包含能够将经编码视频数据从源装置12移动至目的地装置14的任何类型的媒体或装置。在一些实例中，计算机可读媒体16包含通信媒体，使得源装置12能够实时将经编码视频数据直接传输至目的地装置14。通信媒体可包含任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置12至目的地装置14的通信的任何其它设备。目的地装置14可包含经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。
在一些实例中，输出接口22可将例如经编码视频数据的数据输出至中间装置，例如存储装置。类似地，目的地装置14的输入接口26可从中间装置接收经编码数据。中间装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在一些实例中，中间装置对应于文件服务器。文件服务器的实例包含网页服务器、FTP服务器、网络连接存储(NAS)装置，或本地磁盘驱动器。
目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。这可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。从存储装置的经编码视频数据的传输可为流式处理传输、下载传输或其组合。
计算机可读媒体16可包含：暂时性媒体，例如无线广播或有线网络传输；或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，且例如经由网络传输将经编码视频数据提供至目的地装置14。类似地，例如光盘冲压设施的媒体生产设施的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可被理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口26从计算机可读媒体16接收数据。输出接口26可包含各种类型的组件或装置。举例来说，输出接口26可包含无线接收器、调制解调器、有线联网组件(例如以太网卡)，或另一物理组件。在输入接口26包含无线接收器的实例中，输入接口26可经配置以接收根据蜂窝通信标准(例如4G、4G-LTE、高级LTE、5G等等)进行调制的数据，例如位流。在输入接口26包含无线接收器的一些实例中，输入接口26可经配置以接收根据例如IEEE 802.11规范、IEEE 802.15规范(例如ZigBeeTM)、BluetoothTM标准等等的其它无线标准进行调制的数据，例如位流。在一些实例中，输入接口26的电路可集成于目的地装置14的视频解码器30及/或其它组件的电路中。举例来说，视频解码器30及输入接口26可为SoC的部分。SoC还可包含其它组件，例如通用微处理器、图形处理单元等等。
存储媒体28可经配置以存储经编码视频数据，例如由输入接口26接收的经编码视频数据(例如位流)。显示装置32将经解码视频数据显示给用户。显示装置32可包含多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器单元30各自可被实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且可使用一或多个处理器在硬件中执行所述指令，以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在一些实例中，视频编码器20及视频解码器30根据视频译码标准或规范编码及解码视频数据。举例来说，视频编码器20及视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)(包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展)或另一视频译码标准或规范而编码及解码视频数据。在一些实例中，视频编码器20及视频解码器30根据高效视频译码(HEVC)标准(其被称为ITU-T H.265)、其范围及屏幕内容译码扩展、其3D视频译码扩展(3D-HEVC)、其多视图扩展(MV-HEVC)或其可缩放扩展(SHVC)而编码及解码视频数据。在下文中被称作HEVC WD的HEVC规范的草案可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。
本发明通常可指“用信号发送”某一信息，例如语法元素。术语“用信号发送”通常可指用于解码经编码视频数据的语法元素及/或其它数据的传达。此传达可实时或接近实时发生。替代地，可历时时间跨度而发生此传达，例如当在编码时间将经编码位流中的语法元素存储至计算机可读存储媒体时，可发生此传达，接着，在存储于此媒体之后可由解码装置在任何时间检索所述语法元素。
在HEVC及其它视频译码规范中，视频数据包含一系列图片。图片也可被称为“帧”。图片可包含一或多个样本阵列。图片的每一相应样本阵列可包含相应颜色分量的样本阵列。图片可包含三个样本阵列，被指示为SL、SCb及SCr。SL为亮度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。如本发明中所用，样本可总体上是指亮度样本(Y)、红色色度样本(Cr)、蓝色色度样本(Cb)或像素的任何其它类型的颜色分量。
作为编码视频数据的部分，视频编码器20可编码视频数据的图片。换句话说，视频编码器20可产生视频数据的图片的经编码表示。图片的经编码表示在本文中可被称作“经译码图片”或“经编码图片”。
为了产生图片的经编码表示，视频编码器20可编码图片的块。视频编码器20可将视频块的经编码表示包含于位流中。在一些实例中，为了编码图片的块，视频编码器20执行帧内预测或帧间预测以产生一或多个预测性块。此外，视频编码器20可产生用于块的残差数据。残差块包含残差样本。每一残差样本可指示所产生的预测性块中的一者的样本与块的对应样本之间的差。视频编码器20可将变换应用于残差样本的块以产生变换系数。此外，视频编码器20可量化变换系数。在一些实例中，视频编码器20可产生一或多个语法元素以表示变换系数。视频编码器20可熵编码表示变换系数的语法元素中的一或多者。
更特定地说，当根据HEVC或其它视频译码规范编码视频数据时，为了产生图片的经编码表示，视频编码器20可将图片的每一样本阵列分割成译码树块(CTB)且编码CTB。CTB可为图片的样本阵列中的样本的N×N块。在HEVC主规范中，CTB的大小可介于16×16至64×64的范围(尽管技术上可支持8×8CTB大小)。
图片的译码树单元(CTU)可包含一或多个CTB且可包含用以编码所述一或多个CTB的样本的语法结构。举例来说，每一CTU可包含亮度样本的CTB、色度样本的两个对应CTB，及用以编码CTB的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包含单一CTB及用以编码CTB的样本的语法结构。CTU也可被称作“树块”或“最大译码单元(LCU)”(LCU)。在本发明中，“语法结构”可经定义为按指定次序一起在位流中呈现的零或多个语法元素。在一些编解码器中，经编码图片为含有图片的所有CTU的经编码表示。
为了编码图片的CTU，视频编码器20可将CTU的CTB分割成一或多个译码块。译码块为样本的N×N块。在一些编解码器中，为了编码图片的CTU，视频编码器20可对CTU的译码树块递归地执行四叉树分割以将CTB分割成译码块，因此命名为“译码树单元”。译码单元(CU)可包含一或多个译码块及用以编码一或多个译码块的样本的语法结构。举例来说，CU可包含具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的译码块，及色度样本的两个对应译码块，及用于对所述译码块的样本进行编码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包含单一译码块及用于译码所述译码块的样本的语法结构。
另外，视频编码器20可编码视频数据的图片的CU。在一些编解码器中，作为编码CU的部分，视频编码器20可将CU的译码块分割成一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包含CU的一或多个预测块，及用以预测所述一或多个预测块的语法结构。举例来说，PU可包含亮度样本的预测块、色度样本的两个对应预测块，及用以对预测块进行预测的语法结构。在单色图片或包含三个单独颜色平面的图片中，PU可包含单一预测块及用于对所述预测块进行预测的语法结构。
视频编码器20可产生用于CU的PU的预测块(例如亮度、Cb及Cr预测块)的预测性块(例如亮度、Cb及Cr预测性块)。视频编码器20可使用帧内预测或帧间预测以产生预测性块。如果视频编码器20使用帧内预测以产生预测性块，那么视频编码器20可基于包含CU的图片的经解码样本产生预测性块。如果视频编码器20使用帧间预测以产生当前图片的PU的预测性块，那么视频编码器20可基于参考图片(即，除当前图片之外的图片)的经解码样本产生PU的预测性块。在HEVC中，视频编码器20在“coding_unit”语法结构内产生用于帧间预测的PU的“prediction_unit”语法结构，但不在“coding_unit”语法结构内产生用于帧内预测的PU的“prediction_unit”语法结构。确切地说，在HEVC中，关于帧内预测的PU的语法元素直接包含于“coding_unit”语法结构中。
例如视频编码器20或视频解码器30的视频译码器可使用从多个可用帧内预测模式选择的帧内预测模式执行帧内预测。帧内预测模式可包含定向帧内预测模式，其也可被称作帧内预测方向。不同定向帧内预测模式对应于不同角。在一些实例中，为了使用定向帧内预测模式确定预测性块的当前样本的值，视频译码器可确定在对应于定向帧内预测模式的角度下穿过当前样本的线与边界样本集合交叉处的点。边界样本可包含紧靠预测性块左侧的列中的样本及预测性块正上方的行中的样本。如果所述点介于边界样本中的两个样本之间，那么视频译码器可内插或以其它方式确定对应于所述点的值。如果所述点对应于边界样本中的单一样本，那么视频译码器可确定所述点的值等于边界样本。视频译码器可将预测性块的当前样本的值设定为等于所述点的经确定值。
在HEVC及一些其它编解码器中，视频编码器20使用仅仅一种预测模式(即，帧内预测或帧间预测)编码CU。因此，在HEVC及特定其它编解码器中，视频编码器20可使用帧内预测产生CU的每一PU的预测性块或视频编码器20可使用帧间预测产生CU的每一PU的预测性块。当视频编码器20使用帧间预测来编码CU时，视频编码器20可将CU分割成2或4个PU，或一个PU对应于整个CU。当两个PU存在于一个CU中时，两个PU可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。在HEVC中，存在用于运用帧间预测模式译码的CU的八种分割模式，即：PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。当CU经帧内预测时，2N×2N及N×N为仅容许的PU形状，且在每一PU内，单一帧内预测模式经译码(而色度预测模式是在CU层级处用信号发送)。
视频编码器20可产生CU的一或多个残差块。举例来说，视频编码器20可产生用于CU的亮度残差块。CU的亮度残差块中的各样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块的中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
另外，视频编码器20可将CU的残差块分解为一或多个变换块。举例来说，视频编码器20可使用四叉树分割以将CU的残差块分解成一或多个变换块。变换块为应用相同变换的样本的矩形(即，正方形或非正方形)块。CU的变换单元(TU)可包含一或多个变换块。举例来说，TU可包含亮度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有亮度变换块、Cb变换块以及Cr变换块。TU的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包含单一变换块及用以对所述变换块的样本进行变换的语法结构。
四叉树加二叉树(QTBT)分割结构正由联合视频探索小组(JVET)研究。在国际电信联盟，COM16-C966，2015年9月(下文中“VCEG proposal COM16-C966”)，J.An等人的“Blockpartitioning structure for next generation video coding”中，QTBT分割技术针对除HEVC之外的未来视频译码标准而描述。模拟已展示所提议QTBT结构可比在HEVC中使用的四叉树结构更有效。
在VCEG proposal COM16-C966中描述的QTBT结构中，首先使用四叉树分割技术分割CTB，其中一个节点的四叉树拆分可被迭代直到节点达到最小允许四叉树叶节点大小。可由语法元素MinQTSize的值向视频解码器30指示最小允许四叉树叶节点大小。如果四叉树叶节点大小不大于最大允许二叉树根节点大小(例如如由语法元素MaxBTSize所指示)，那么四叉树叶节点可使用二叉树分割而进一步分割。一个节点的二叉树分割可经迭代直到节点达到最小允许二叉树叶节点大小(例如如由语法元素MinBTSize所指示)或最大允许二叉树深度(例如如由语法元素MaxBTDepth所指示)。VCEG proposal COM16-C966使用术语“CU”来指二叉树叶节点。在VCEG proposal COM16-C966中，CU用于预测(例如帧内预测、帧间预测等等)及在无更进一步分割的情况下变换。一般来说，根据QTBT技术，存在用于二叉树拆分的两种拆分类型：对称水平拆分及对称竖直拆分。在每一情况下，块是通过从中间水平地或竖直地划分块而拆分。这不同于四叉树分割，其将块划分成四个块。
在QTBT分割结构的一个实例中，CTU大小经设定为128×128(例如128×128亮度块及两个对应64×64色度块)，MinQTSize经设定为16×16，MaxBTSize经设定为64×64，MinBTSize(对于宽度及高度两者)经设定为4，且MaxBTDepth经设定为4。四叉树分割首先应用于CTU以产生四叉树叶节点。四叉树叶节点可具有从16×16(即，MinQTSize为16×16)至128×128(即，CTU大小)的大小。根据QTBT分割的一个实例，如果叶四叉树节点为128×128，那么叶四叉树节点不可由二叉树进一步拆分，这是由于叶四叉树节点的大小超过MaxBTSize(即，64×64)。否则，叶四叉树节点由二叉树进一步分割。因此，四叉树叶节点还为二叉树的根节点并具有为0的二叉树深度。达到MaxBTDepth的二叉树深度(例如4)意指不存在进一步拆分。具有等于MinBTSize(例如4)的宽度的二叉树节点意指不存在进一步水平拆分。类似地，具有等于MinBTSize的高度的二叉树节点意指不进一步竖直拆分。二叉树的叶节点(CU)在无更进一步分割的情况下被进一步处理(例如通过执行预测过程及变换过程)。
图2A绘示使用QTBT分割技术分割的块50(例如CTB)的实例。如图2A中所示，使用QTBT分割技术，经由每一块的中心对称地拆分所得块中的每一者。图2B绘示对应于图2A的块分割的树结构。图2B中的实线指示四叉树拆分且点线指示二叉树拆分。在一个实例中，在二叉树的每一拆分(即，非叶)节点中，语法元素(例如旗标)经用信号发送以指示执行的拆分的类型(例如水平或竖直)，其中0指示水平拆分且1指示竖直拆分。对于四叉树拆分，不存在对于指示拆分类型的需要，这是由于四叉树拆分始终将块水平地及竖直地拆分成具有相等大小的4个子块。
如图2B中所示，在节点70处，使用四叉树分割将块50拆分成图2A中所展示的四个块51、52、53及54。块54并不进一步拆分，且因此为叶节点。在节点72处，使用二叉树分割将块51进一步拆分成两个块。如图2B中所示，节点72是以1标记，指示竖直拆分。因而，在节点72处的拆分导致块57及包含块55及块56两者的块。通过节点74处的另一竖直拆分产生块55及块56。在节点76处，使用二叉树分割将块52进一步拆分成两个块58及59。如图2B中所示，节点76是以1标记，指示水平拆分。
在节点78处，使用四叉树分割将块53拆分成4个相等大小块。块63及块66是从此四叉树分割而产生且不进一步拆分。在节点80处，使用竖直二叉树拆分首先拆分左上方块，从而产生块60及右竖直块。接着使用水平二叉树拆分将右竖直块拆分成块61及块62。在节点84处，使用水平二叉树拆分将在节点78处从四叉树拆分所产生的右下块拆分成块64及块65。
在QTBT分割的一个实例中，举例来说，与HEVC相反(其中针对亮度及色度块共同地执行四叉树分割)，可针对I切片彼此独立地执行亮度及色度分割。即，在正在研究的一些实例中，亮度块及色度块可经单独地分割，使得亮度块及色度块不直接重叠。因而，在QTBT分割的一些实例中，可以使得至少一个分割色度块并不在空间上与单一分割亮度块对准的方式来分割色度块。即，与特定色度块共置的亮度样本可在两个或大于两个不同亮度分割区内。
视频编码器20可将一或多个转换应用于TU的转换块以产生所述TU的系数块。系数块可为变换系数的一个二维阵列。变换系数可为标量。在一些实例中，所述一或多个变换将变换块从像素域转换至频域。因此，在这些实例中，变换系数可为被视为在频域中的标量。变换系数层级为表示在缩放变换系数值的计算之前与解码过程中的特定2维频率索引相关联的值的整数数量。
在一些实例中，视频编码器20跳过变换至变换块的应用。在这些实例中，视频编码器20可以与变换系数相同的方式处理残差样本值。因此，在视频编码器20跳过变换的应用的实例中，变换系数及系数块的以下论述可适用于残差样本的变换块。
在产生系数块之后，视频编码器20可量化系数块以可能地减小用以表示系数块的数据的量，潜在地提供进一步压缩。量化通常是指其中值的范围压缩为单一值的过程。举例来说，可通过以常数除以值且接着舍入至最接近的整数进行量化。为了量化系数块，视频编码器20可量化系数块的变换系数。量化可减小与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数向下舍入至m位变换系数，其中n大于m。在一些实例中，视频编码器20跳过量化。
视频编码器20可产生指示一些或所有潜在地经量化的变换系数的语法元素。视频编码器20可熵编码指示经量化变换系数的语法元素中的一或多者。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。因此，经编码块(例如经编码CU)可包含指示经量化变换系数的经熵编码语法元素。
视频编码器20可输出包含经编码视频数据的位流。换句话说，视频编码器20可输出包含视频数据的经编码表示的位流。视频数据的经编码表示可包含视频数据的图片的经编码表示。举例来说，位流可包含形成视频数据及相关联数据的经编码图片的表示的位的序列。在一些实例中，经编码图片的表示可包含图片的块的经编码表示。
视频解码器30可接收由视频编码器20产生的位流。如上文所提及，位流可包含视频数据的经编码表示。视频解码器30可解码位流以重构视频数据的图片。作为解码位流的部分，视频解码器30可从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素构造视频数据的图片。重构视频数据的图片的过程可与由视频编码器20执行以编码图片的过程大体上互逆。
举例来说，作为解码视频数据的图片的部分，视频解码器30可使用帧间预测或帧内预测以产生预测性块。此外，视频解码器30可基于从位流获得的语法元素确定变换系数。在一些实例中，视频解码器30反量化经确定变换系数。反量化将经量化值映射至经重构值。举例来说，视频解码器30可通过确定值乘以量化步长而反量化所述值。此外，视频解码器30可对经确定变换系数应用反变换以确定残差样本的值。视频解码器30可基于残差样本及所产生的预测性块的对应样本重构图片的块。举例来说，视频解码器30可将残差样本与所产生的预测性块的对应样本相加以确定块的经重构样本。
更特定地说，在HEVC及其它视频译码规范中，视频解码器30可使用帧间预测或帧内预测以产生当前CU的每一PU的一或多个预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构当前CU的TU的变换块。基于当前CU的PU的预测性块的样本及当前CU的TU的变换块的残差样本，视频解码器30可重构当前CU的译码块。在一些实例中，通过将当前CU的PU的预测性块的样本与当前CU的TU的变换块的对应经解码样本相加，视频解码器30可重构当前CU的译码块。通过重构图片的各CU的译码块，视频解码器30可重构图片。
如上文所提及，视频编码器20及视频解码器30可将CABAC编码及解码应用于语法元素。为了将CABAC编码应用于语法元素，视频编码器20可对语法元素进行二进制化以形成被称作“二进制(bin)”的一系列一或多个位。此外，视频编码器20可识别译码上下文。译码上下文可识别具有特定值的二进制的概率。举例来说，译码上下文可指示译码0值二进制的0.7概率及译码1值二进制的0.3概率。在识别译码上下文之后，视频编码器20可将区间划分成下部子区间及上部子区间。所述子区间中的一者可与值0相关联且另一子区间可与值1相关联。所述子区间的宽度可与由经识别的译码上下文关于相关联值所指示的概率成正比。如果语法元素的二进制具有与下部子区间相关联的值，那么经编码值可等于下部子区间的下边界。如果语法元素的同一二进制具有与上部子区间相关联的值，那么经编码值可等于上部子区间的下边界。为了编码语法元素的下一个二进制，视频编码器20可重复这些步骤，其中区间为与经编码位的值相关联的子区间。当视频编码器20针对下一个二进制重复这些步骤时，视频编码器20可使用基于由经识别译码上下文所指示的概率及经编码的二进制的实际值的经修改概率。
当视频解码器30对语法元素执行CABAC解码时，视频解码器30可识别译码上下文。视频解码器30可接着将区间划分成下部子区间及上部子区间。所述子区间中的一者可与值0相关联且另一子区间可与值1相关联。所述子区间的宽度可与由经识别的译码上下文关于相关联值所指示的概率成正比。如果经编码值在下部子区间内，那么视频解码器30可解码具有与下部子区间相关联的值的二进制。如果经编码值在上部子区间内，那么视频解码器30可解码具有与上部子区间相关联的值的二进制。为了解码语法元素的下一个二进制，视频解码器30可重复这些步骤，其中区间为含有经编码值的子区间。当视频解码器30针对下一个二进制重复这些步骤时，视频解码器30可使用基于由经识别译码上下文所指示的概率及经解码二进制的经修改概率。视频解码器30可接着对二进制进行解二进制化以恢复语法元素。
视频编码器20可使用旁路CABAC译码来编码一些二进制而非对所有语法元素执行常规CABAC编码。相比于对二进制执行常规CABAC译码，对二进制执行旁路CABAC译码在计算上可花费较少。此外，执行旁路CABAC译码可允许较高的并行化度及输送量。使用旁路CABAC译码编码的二进制可被称作“旁路二进制”。将旁路二进制分组在一起可使视频编码器20及视频解码器30的输送量增加。旁路译码引擎可能够在单一循环中译码若干二进制，而常规CABAC译码引擎可能够在一循环中译码仅单一二进制。旁路CABAC译码引擎可较简单，这是因为旁路CABAC译码引擎不选择上下文且可针对两个符号(0及1)假定1/2的概率。因此，在旁路CABAC译码中，区间是直接拆分成两半。
在一些实例中，为了译码视频数据块，视频编码器20及视频解码器30可经配置以执行帧内预测技术。帧内预测为将当前块的空间相邻的经重构图像样本用作预测符的图像块预测技术。图3为展示用于16×16块202的帧内预测的实例的概念图。在一些实例中，视频编码器20及/或视频解码器30可经配置以对16×16块202执行帧内预测。视频编码器20及视频解码器30沿选定预测方向204(例如如由箭头所指示)，从上方相邻经重构样本206及左侧相邻经重构样本208(统称为参考样本)预测块202。举例来说，视频编码器20可从使用上方相邻经重构样本206及左侧相邻经重构样本208产生的预测值减去块202的样本的值，以产生残差值。视频解码器30可以与视频编码器20相同的方式，使用上方相邻经重构样本206及左侧相邻经重构样本208产生预测值。视频解码器30可接着将残差值与所产生预测值相加以重构用于块202的样本值。预测值得以产生的方式可视所用的帧内预测模式而定。下文更详细地描述例如如由预测方向204所指示的实例帧内预测模式。
图4为展示定义于HEVC中的35个帧内预测模式209的实例的概念图。在HEVC中，可使用35个帧内预测模式中的一者预测亮度块，包含平坦模式、DC模式及33个角模式。定义于HEVC中的帧内预测的35个模式经索引化展示于下表1中：
表1-帧内预测模式及相关联名称的规范
帧内预测模式 相关联名称
0 INTRA_PLANAR
1 INTRA_DC
2..34 INTRA_ANGULAR2..INTRA_ANGULAR34
对于通常最常使用的帧内预测模式的平坦模式，预测样本是如图5中所示而产生。为了对N×N块210执行平坦预测，视频编码器20及视频解码器30可经配置以计算位于位置(x,y)处的每一样本(例如样本212)的预测值pxy。视频编码器20及视频解码器30可经配置以使用四个相邻经重构样本(例如参考样本)及双线性滤波器计算预测值pxy。四个参考样本包含右上方经重构样本TR 214、左下方经重构样本BL 216及分别位于当前样本212的同一列(rx,-1)及同一行(r-1,y)处的两个经重构样本218(T)及220(L)。用于平坦模式的预测值pxy可如下公式化为：
pxy＝((N-x1)·L+(N-y1)·T+x1·R+y1·B)/(2*N)
其中N等于块的宽度或高度，x1＝x+1，y1＝y+1，R等于样本值TR，B等于样本值BL，T等于样本值T，且L等于样本值L。
对于DC模式，视频编码器20及视频解码器30可经配置以用相邻经重构样本的平均值填充预测块。一般来说，为了建模平滑变化及恒定的图片区域而应用平坦模式及DC模式两者。
对于可包含33个不同预测方向的角帧内预测模式(例如如同HEVC中)，视频编码器20及视频解码器30可如下执行帧内预测。对于每一给定角帧内预测方向，视频编码器20及视频解码器30可使用索引(例如如图4中所示)识别帧内预测方向。举例来说，帧内预测模式10对应于纯水平预测方向，且帧内预测模式26对应于纯竖直预测方向。
图6为展示角帧内预测的实例的概念图。在给定特定帧内预测方向228的情况下，对于预测块的每一样本，视频编码器20及视频解码器30首先沿预测方向228将坐标(x,y)投影至相邻经重构样本的行/列，如图6中的实例中所示。在一个实例中，视频编码器20及视频解码器30将当前样本230的x,y处的位置232投影至两个相邻经重构样本L(234)及R(236)之间的分数位置α。随后，视频编码器20及视频解码器30使用两抽头双线性内插滤波器计算位置232的预测值pxy，如下公式化为：
pxy＝(1-α)·L+α·R。
为了避免浮点操作，在HEVC中，上方计算可使用整数算术粗略估计为
pxy＝((32-a)·L+a·R+16)>>5，
其中a为等于32*α的整数，且>>5为按位方向右移5。
现在将论述帧内参考平滑技术。在一些实例中，在执行帧内预测之前，视频编码器20及视频解码器30可经配置以使用2抽头双边或3抽头(1,2,1)/4滤波器对相邻参考样本滤波。这些滤波过程可被称为帧内参考平滑或模式相关帧内平滑(MDIS)。当执行帧内预测时，在给定帧内预测模式索引(predModeIntra)及块大小(nTbS)的情况下，视频编码器20及视频解码器30确定是否执行参考平滑过程且使用哪个滤波器(例如平滑滤波器)。HEVC中的帧内参考样本平滑的实例在下方进行重现：
8.4.4.2.3相邻样本的滤波过程
对此过程的输入为：
-相邻样本p[x][y]，其中x＝-1，y＝-1..nTbS*2-1且x＝0..nTbS*2-1，y＝-1，
-变量nTbS，其指定变换块大小。
此过程的输出为经滤波样本pF[x][y]，其中x＝-1，y＝-1..nTbS*2-1且x＝0..nTbS*2-1，y＝-1。
如下导出变量filterFlag：
-如果以下条件中的一或多者为真，那么将filterFlag设定为等于0：
-predModeIntra等于INTRA_DC。
-nTbS等于4。
-否则，以下适用：
-将变量minDistVerHor设定为等于Min(Abs(predModeIntra-26),Abs(predModeIntra-10))。
-在表8-3中指定变量intraHorVerDistThres[nTbS]。
-如下导出变量filterFlag：
-如果minDistVerHor大于intraHorVerDistThres[nTbS]，那么将filterFlag设定为等于1。
-否则，将filterFlag设定为等于0。
表8-3-用于各种变换块大小的intraHorVerDistThres[nTbS]的规范
nTbS＝8 nTbS＝16 nTbS＝32
intraHorVerDistThres[nTbS] 7 1 0
当filterFlag等于1时，以下情形适用：
-如下导出变量biIntFlag：
-如果以下所有条件为真，那么将biIntFlag设定为等于1：
-strong_intra_smoothing_enabled_flag等于1
-nTbS等于32
-Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1])<(1<<(BitDepthY-5))
-Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])<(1<<(BitDepthY-5))
-否则，将biIntFlag设定为等于0。
-如下执行滤波：
-如果biIntFlag等于1，那么如下导出经滤波样本值pF[x][y]，其中x＝-1，
y＝-1..63且x＝0..63，y＝-1：
pF[-1][-1]＝p[-1][-1] (8-30)
针对y＝0..62，pF[-1][y]＝((63-y)*p[-1][-1]+(y+1)*p[-1][63]+32)>>6(8-31)
pF[-1][63]＝p[-1][63] (8-32)
针对x＝0..62，pF[x][-1]＝((63-x)*p[-1][-1]+(x+1)*p[63][-1]+32)>>6(8-33)
pF[63][-1]＝p[63][-1] (8-34)
-否则(biIntFlag等于0)，如下导出经滤波样本值pF[x][y]，其中x＝-1，
y＝-1..nTbS*2-1且x＝0..nTbS*2-1，y＝-1：
pF[-1][-1]＝(p[-1][0]+2*p[-1][-1]+p[0][-1]+2)>>2
(8-35)
针对y＝0..nTbS*2-2，pF[-1][y]＝(p[-1][y+1]+2*p[-1][y]+p[-1][y-1]+2)>>2(8-36)
pF[-1][nTbS*2-1]＝p[-1][nTbS*2-1] (8-37)
针对x＝0..nTbS*2-2，pF[x][-1]＝(p[x-1][-1]+2*p[x][-1]+p[x+1][-1]+2)>>2(8-38)
pF[nTbS*2-1][-1]＝p[nTbS*2-1][-1] (8-39)
现在将论述用于不等权重平坦模式的实例技术。在ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11联合视频探索小组(JVET)，Doc.JVET-E0068第5次会议上K.Panusopone、S.Hong、L.Wang的“ImprovementsonAMTforinterpredictionresiduals”中提议不等权重平坦(UWP)模式。在实例UWP模式中，对于W×H块，视频编码器20及视频解码器30可执行平坦预测，如图7中所示。图7展示与图5相同的块及样本，但预测值pxy是以不同方式进行计算。举例来说，视频编码器20及视频解码器30可经配置以将预测值pxy计算为pxy＝((y1*H*(W-x1))·L+(x1*W*(H-y1))·T+(x1*y1*H)·R+(x1*y1*W)·B)/(W*H*(x1+y1))，其中R及B如下计算为，
R＝(TR*(H-y1)+BR*y1)/H
B＝(BL*(W-x1)+BR*(k+1))/W，
且其中BR如下计算为，
BR＝(H*TR+W*BL)/(W+H)
在此实例中，y1及x1在图5的实例中进行定义。W为样本中的块210的宽度(例如亮度样本或色度样本)且H为样本中的块210的高度(例如亮度样本或色度样本)。L为样本220的样本值。T为样本218的样本值。R为样本222的样本值。B为样本224的样本值。BR为样本226的样本值。
现在将论述位置相关预测组合(PDPC)模式。2017年3月30日公开的美国专利公开案第2017/0094285号描述经参数化方程式集合，其定义如何基于经滤波及未经滤波参考值且基于经预测像素的位置组合预测。
图8A及8B为用于4×4像素块的可用于位置相关预测组合的数据的实例。图8A绘示根据本发明的技术使用未经滤波参考(r)的4×4块(p)240的预测。图8B绘示根据本发明的技术使用经滤波参考(s)的4×4块(q)242的预测。尽管图8A及8B两者绘示4×4像素块及17(4×4+1)相应参考值，但本发明的技术可应用至任何块大小及任何数目的参考值。
当执行PDPC译码模式时，视频编码器20及/或视频解码器30可利用经滤波(q)及未经滤波(p)预测之间的组合，使得可使用来自经滤波(s)及未经滤波(r)参考阵列的像素值计算待译码的当前块的预测块。
在使用PDPC模式译码视频数据的情况下，给定分别仅仅使用未经滤波及经滤波(或平滑)参考r及s计算的任何两个像素预测集合pr[x,y]及qs[x,y]，表示为v[x,y]的像素的经组合预测值定义为
v[x,y]＝c[x,y]pr[x,y]+(1-c[x,y])qs[x,y]
其中c[x,y]为组合参数集，其值取决于像素位置。
PDPC的一个实际实施方案使用公式：
其中g及dv,dh∈{1,2}为控制左上方及上方未经滤波参考样本的权重沿水平及竖直方向衰变的快速程度的预定义参数，N为块大小，/>为根据HEVC标准针对特定模式使用经滤波参考计算的预测值，且
为由预定义参数定义的标准化因数。参考滤波器(例如3抽头{1,2,1}、5抽头{1,4,6,4,1}或7抽头{1,6,15,20,15,6,1}参考滤波器)可应用于未经滤波参考以产生经滤波参考。低通滤波器可被用作参考滤波器，典型低通滤波器可仅仅具有正滤波器系数，或可存在负滤波器系数，但绝对值相对较小或接近零。
实例双边滤波技术在1998年1月印度孟买IEEE ICCV会刊中，C.Tomasi及R.Manduchi的“Bilateral filtering for gray and color images”中进行描述。在一些实例中，双边滤波可用以避免沿着边缘(例如样本的块的边缘)的像素的非所要过度平滑。双边滤波的一个方面为相邻样本的加权考虑自身像素/样本值，以将更多加权应用于具有类似亮度或色度值的那些像素。位于位置(i,j)处的样本使用其在位置(k,l)处的相邻样本进行滤波。权重ω(i,j,k,l)是经指派用于样本(k,l)的权重以对样本(i,j)进行滤波，且定义为：
在上文的方程式中，I(i,j)及I(k,l)分别为样本(i,j)及(k,l)的强度值。σd为空间参数，且σr为范围参数。具有表示为ID(i,j)的经滤波样本值的滤波过程可定义为：
双边滤波器的性质(或强度)受参数σd及σr控制。经定位更接近待滤波样本的相邻者样本及关于待滤波样本具有较小强度差的相邻者样本可相比距离当前样本更远的相邻者样本及/或关于当前样本具有较大强度差的相邻者样本与较大权重相关联。
现在将论述非本地滤波器。在双边滤波中，所用的滤波器权重的精确性部分取决于待滤波样本的强度(I(i,j))与相邻者样本的强度(I(k,l))之间的差可靠还是不可靠。因此，任何噪声可关于权重的指派产生一些不精确性。另外，定义于双边滤波器中的加权可通过比较两个样本的值导出。因此，在考虑存在于图像中的整体结构/结构/样式的情况下，不确定双边滤波器的权重，这是因为权重仅仅基于隔离中的几个样本(例如2)的比较进行确定。然而，在视频序列或静态图像中，可存在大量类似于边缘、结构等等的重复样式，其可用以进一步加强加权的可靠性。
为了获得更多抗噪声加权且利用结构图像图案，非本地滤波在2005年IEEE CVPR会刊第2卷，A.Buades、B.Coll及J.M.Morel的“A non-local algorithm for imagedenoising”中进行描述。在非本地滤波中，将位于位置(i,j)及位置(k,l)中心的两个窗之间的样本值的经加权绝对差的总和进行比较，而非测量当前样本的强度(I(i,j))与相邻样本的强度(I(k,l)之间的绝对差。以此方式，加权可更耐噪声，且视频数据块的结构信息相比一些实例双边滤波器总体上保持较佳。
在JEM的实例中，存在与帧内参考平滑(例如PDPC译码模式)、非可分离次要变换(NSST)、增强型多重变换及其它者具有交互的若干译码工具。对于具有丰富倾斜纹理样式的图像区域，一些当前实例帧内参考平滑技术可降低帧内预测沿锐边的译码效率。可使用更精确帧内预测平滑滤波器系数改进HEVC平坦模式，尤其针对非正方形块。增大帧内预测平滑滤波器系数的精确性可增大译码效率。增大译码效率可通过可能地允许装置呈现更详细图片及/或通过减少装置对可能稀少的传输资源的需求来改进装置。
为了解决上述问题，描述以下技术。装置(例如视频编码器20及/或视频解码器30)可经配置以个别地应用以下详细列举的技术中的每一者。替代地，视频编码器20及/或视频解码器30可经配置以组合形式应用以下技术。以下者描述可连同MDIS应用的用于帧内参考样本平滑及/或帧内参考样本滤波的技术。即，本发明的技术可用于帧内参考样本平滑，此时此平滑以模式相关方式应用(例如如同在MDIS中)。另外，本发明的技术可用以针对任何帧内预测模式对帧内参考样本滤波。举例来说，以下详细列举的技术还适用于其它帧内参考样本平滑方法(包含但不限于参考样本自适应滤波(RSAF))，及/或其它线性或非线性参考样本滤波方法。
根据本发明的第一实例，视频编码器20及视频解码器30可经配置以确定在基于已经译码信息或现有译码工具的使用对视频数据块执行帧内预测时是否将使用MDIS或另一帧内参考样本滤波方法。举例来说，视频编码器20及视频解码器30可经配置以基于增强型多重变换(EMT)的使用(例如基于EMT旗标的值)、所用EMT变换(例如基于EMT索引的值)、所用非可分离次要变换(例如基于NSST索引的值)、是否使用PDPC模式(例如基于PDPC旗标的值)、正经译码的块的块大小、正经译码的块的块宽度/高度、正经译码的块的预测样本位置，及/或正经译码的块的非零变换系数的数目确定是否使用MDIS或另一帧内参考样本滤波方法。
在一个实例中，视频编码器20可经配置以在针对视频数据块使用特定(例如非可分离)次要变换时将MDIS或另一帧内参考样本滤波方法用于视频数据块。举例来说，视频编码器20可经配置以在所确定的次要变换针对视频数据块为具有NSST索引1的非可分离次要变换时将MDIS或另一帧内参考样本滤波方法用于视频数据块。同样，视频解码器30可经配置以在由视频解码器30接收及/或导出的NSST索引针对视频数据块等于某一索引(例如1)时将MDIS或另一帧内参考样本滤波方法用于视频数据块。在一些实例中，视频解码器30可经配置以接收经编码视频位流中的NSST索引。在其它实例中，视频解码器30可经配置以在无信号发送的情况下导出NSST索引。
在另一实例中，视频编码器20可经配置以在所确定的次要变换针对视频数据块为不具有NSST索引0的非可分离次要变换时将MDIS或另一帧内参考样本滤波方法用于视频数据块。并非为0的NSST索引指示使用一些类型的次要变换。同样，视频解码器30可经配置以在由视频解码器30接收及/或导出的NSST索引针对视频数据块不等于0时将MDIS或另一帧内参考样本滤波方法用于视频数据块。
在另一实例中，视频编码器20可经配置以在所确定的次要变换针对视频数据块为具有NSST索引0的非可分离次要变换时将MDIS或另一帧内参考样本滤波方法用于视频数据块。为0的NSST索引指示不使用次要变换。同样，视频解码器30可经配置以在由视频解码器30接收及/或导出的NSST索引针对视频数据块等于0时将MDIS或另一帧内参考样本滤波方法用于视频数据块。
在另一实例中，视频编码器20可经配置以在视频编码器20确定不将PDPC模式用于视频数据块时将MDIS或另一帧内参考样本滤波方法用于视频数据块。视频编码器20可通过用信号发送具有值0的PDPC模式旗标来指示PDPC模式并不用于视频数据块。视频解码器30可经配置以在由视频解码器30接收及/或导出的PDPC模式旗标等于0时将MDIS或另一帧内参考样本滤波方法用于视频数据块。
除上文关于NSST索引及PDPC模式旗标的条件之外，视频编码器20及视频解码器30还可经进一步配置以基于用以对块译码的帧内预测模式确定将MDIS或另一帧内参考样本滤波方法用于视频数据块。在一些实例中，视频编码器20及视频解码器30可经配置以将MDIS或另一帧内参考样本滤波方法用于所有帧内预测模式。在其它实例中，视频编码器20及视频解码器30可经配置以将MDIS或另一帧内参考样本滤波方法用于帧内预测模式的预定子集。
在本发明的另一实例中，视频编码器20及视频解码器30可经配置以基于已经译码信息的组合或现有译码工具的使用确定将MDIS或另一帧内参考样本滤波方法用于帧内预测，包含但不限于：EMT旗标、EMT索引、NSST索引、PDPC旗标、块大小、块宽度/高度、预测样本位置、非零变换系数的数目。举例来说，视频编码器20及视频解码器30可经配置以在NSST索引为0(即，不使用次要变换)且PDPC模式旗标为0(不应用PDPC)时使用MDIS或另一帧内参考样本滤波方法。
在本发明的第二实例中，当使用MDIS时，视频编码器20及视频解码器30可基于已经译码信息确定将哪个帧内参考平滑滤波器(例如滤波器系数的值及滤波器抽头的数目)应用于帧内预测，所述信息包含但不限于：帧内预测模式、EMT旗标、EMT索引、NSST索引、PDPC旗标、块大小、参考样本位置、预测样本位置，及/或非零变换系数的数目。
在一个实例中，视频编码器20及视频解码器30可存储将用于MDIS的预定义滤波器集合。从此预定义滤波器集合，视频编码器20及视频解码器30可经配置以确定用于给定帧内预测模式的滤波器子集(例如用于图4的给定帧内预测方向)。在一些实例中，用于特定帧内预测模式的滤波器子集可小于用于MDIS的整个滤波器集合，且可仅仅包含一个滤波器。在其它实例中，用于特定帧内预测模式的滤波器子集可包含整个滤波器集合。
在执行帧内预测时，给定预测样本位置，视频编码器20及视频解码器30可经配置以确定来自用于特定帧内预测模式的经确定滤波器子集中的一个滤波器被应用于帧内参考样本以产生帧内预测样本值。在一些实例中，视频编码器20及视频解码器30可经配置以将更坚固平滑滤波器应用于相对于更接近预测样本的参考样本进一步远离预测样本的参考样本。视频编码器20及视频解码器30可经配置以存储指示待用于块中的每一像素的经滤波参考的类型的预定义表。在一些实例中，对于平坦模式，视频数据块的右上方及左下方参考样本可使用不同于应用于上方参考样本及左侧参考样本的滤波器的滤波器进行滤波。
根据本发明的第三实例，视频编码器20及视频解码器30可经配置以将双边滤波器用于帧内参考平滑。举例来说，参考视频编码过程，视频编码器20可确定使用特定帧内预测模式编码视频数据的当前块。在执行帧内预测之前，视频编码器20可经配置以针对特定帧内预测模式将双边滤波器应用于帧内预测参考样本。在对帧内预测参考样本进行滤波之后，可从经滤波帧内参考样本确定预测值。当前块的样本可接着用预测值进行预测以产生残差值。残差值可接着进行变换以形成变换系数。变换系数可接着如上文所论述进行编码。
类似地，视频解码器30可经配置以接收使用特定帧内预测模式进行编码的视频数据的经编码当前块。用于块的特定帧内预测模式可由经编码视频位流中所接收的语法元素的值指示。视频解码器30可对经编码视频数据块进行熵解码以恢复变换系数。视频解码器30可接收经编码视频数据块作为经编码视频位流的部分。视频解码器30可应用反变换以将变换系数变换，从而恢复残差数据。在执行帧内预测之前，视频解码器30可经配置以将双边滤波器应用于来自先前经解码块的帧内预测参考样本。视频解码器30可经配置以基于特定帧内预测模式确定用于双边滤波器的滤波器系数。在对帧内预测参考样本进行滤波之后，可从经滤波帧内参考样本确定预测值。当前块的样本可接着用预测值及残差值进行预测。举例来说，从经滤波帧内预测参考样本获得的预测值可与残差数据相加以恢复用于视频数据的当前块的样本值。
在本发明的一个实例中，视频编码器20及视频解码器30可基于从滤波器抽头(例如其它相邻参考样本)至待滤波参考样本的若干样本的距离(Δd)及滤波器抽头相较于待滤波参考样本的像素值差(ΔI)确定用于帧内参考平滑(例如使用MDIS)的双边滤波器的滤波器系数。在此实例中，可按样本的数目测量距离。举例来说，如果待滤波样本位于位置(0,0)处，那么正好位于待滤波样本左侧的滤波器抽头就在x轴上一个样本以外的位置(-1,0)处。
在一个实例中，视频编码器20及视频解码器30可经配置以将具有参数σ0及σ1的一个5抽头双边滤波器应用于帧内预测参考样本rx(其中x为待滤波参考样本的位置)。视频编码器20及视频解码器30可经配置以将所述5抽头双边滤波器(f)产生为f＝{f-2,f-1,f0,f1,f2}/(f-2+f-1+f0+f1+f2)，其中在此方程式中，变量i表示待滤波样本与滤波器抽头之间的距离。项rx+i-rx表示位置x+i处的滤波器抽头与待滤波参考样本(rx)之间的强度差。
在一些实例中，上文用于双边滤波器的方程式中的参数(例如a、σ0及σ1)可为在视频编码器20及视频解码器30两者处存储于存储器中的预定义常数。参数σ0及σ1为平滑参数。在其它实例中，视频编码器20可经配置以在经编码视频位流中的高层级语法元素中用信号发送上文方程式中的参数(例如a、σ0及σ1)，所述经编码视频位流包含但不限于视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)及/或切片标头。视频解码器30可经配置以接收及解析此高层级语法以恢复滤波器参数。在另外其它实例中，视频编码器20及视频解码器30可经配置以基于经重构图像样本的统计、图像分辨率、经估计噪声统计(例如差、标准差等等)、先前图片中所用的参数、切片类型、时间层及/或量化参数中的一或多者，针对双边滤波器导出上文方程式中的参数(例如a、σ0及σ1)。
双边滤波器中所用的参数可针对每一块或针对选定块群组被用信号发送或导出。在其它实例中，视频编码器20及视频解码器30可经配置以基于经译码信息确定参数，所述经译码信息包含但不限于帧内预测模式、用于其它译码工具的索引/旗标(例如PDPC、NSST、EMT等等)、指示块是否具有非零变换系数、所述块是否为亮度块、所述块是否为色度块的经译码块旗标(CBF)、图像样本的位深度(例如如由bitdepth语法元素所指示)、块大小、块宽度/高度、参考样本位置、预测样本位置及/或用于空间/时间相邻块中的双边滤波器参数。
在本发明的一个实例中，参数a被设定成纳皮尔常数(2.71828，也被称作欧拉数)，σ0＝2.4且σ1＝260。在本发明的其它实例中，视频编码器20及视频解码器30可经配置以使用2的幂次计算双边滤波器。举例来说，a被设定成2的幂次(例如2)，使得此公式化可用于实施简化，这是由于2的幂次可使用乘法及移位粗略估计。
在本发明的另一实例中，视频编码器20及视频解码器30可经配置以使用上文所描述的双边滤波器以产生参考样本，并替换应用于PDPC模式中的未经滤波/经滤波参考样本。在此实例中，可个别地或联合地应用以下替代方案：
·在一些实例中，视频编码器20及视频解码器30可经配置以将双边滤波器应用于未经滤波参考样本，且所产生参考样本替换PDPC模式中所用的未经滤波参考样本。
·在一些实例中，双边滤波器替换用于PDPC中的滤波器(应用于参考样本，例如低通滤波器)以产生经滤波参考样本。
·在一些实例中，为了产生如PDPC中所用的经滤波参考样本，视频编码器20及视频解码器30可经配置以首先将双边滤波器应用于未经滤波参考样本，随后紧接着双边滤波的结果进一步应用线性滤波器(例如低通滤波器)。
·在一些实例中，为了产生如PDPC中所用的经滤波参考样本，视频编码器20及视频解码器30可经配置以首先将线性滤波器(例如低通滤波器)应用于未经滤波参考样本，随后紧接着线性滤波器的结果进一步应用双边滤波器。
在本发明的另一实例中，视频编码器20及视频解码器30可经配置以使用非本地双边滤波器(也被称作非本地滤波器或非本地装置滤波器)以产生参考样本且可替换应用于PDPC中的未经滤波/经滤波参考样本。可个别地或联合地应用以下替代方案：
·在一些实例中，将非本地双边滤波器应用于未经滤波参考样本，且所产生参考样本替换用于PDPC中的未经滤波参考样本。
·在一些实例中，非本地双边滤波器替换用于PDPC中的滤波器(应用于参考样本，例如低通滤波器)以产生经滤波参考样本。
·在一些实例中，为了产生如PDPC中所用的经滤波参考样本，首先将线性滤波器(例如低通滤波器)应用于未经滤波参考样本，随后紧接着线性滤波器的结果进一步应用非本地双边滤波器。
在一些实例中，可由双边或非本地双边滤波器对多条参考线进行滤波(例如多行或多列样本值)。在此状况下，平滑滤波器变为2-D滤波器，其中滤波器支持覆盖多条参考样本线。
上文所描述的双边/非本地滤波器可用于线性模型(LM)模式中以下取样共置经重构亮度样本。“线性模型模式”可将从亮度预测色度的线性模型用作色度帧内预测模式。
在本发明的另一实例中，视频编码器20及视频解码器30可经配置以使用如上文所描述的双边及/或非本地滤波器对帧内预测参考样本滤波，及可通过计算经滤波参考样本的加权总和产生预测样本。在一些实例中，用以产生预测样本的参考样本的加权由如2017年1月JVET-E0068第5次会议上K.Panusopone、S.Hong及L.Wang的“Unequal Weight PlanarPrediction and Constrained PDPC”中所描述的不等权重平坦模式定义，或由2017年4月JVET-F0104第6次会议上K.Panusopone、Y.Yu及L.Wang的“经加权角预测”中所描述的不等权重对角模式定义。在一些实例中，用以产生预测样本的参考样本的加权由PDPC模式定义。
如果指定预测方向(例如竖直预测、水平预测或对角预测)，那么可根据预测样本与参考样本之间的沿预测方向的距离导出参考样本的权重。如果未指定预测方向(例如平坦模式或DC模式)，那么可根据预测样本的水平坐标及竖直坐标导出参考样本的权重，其对应于至参考样本的左列的距离及至参考样本的顶部行的距离。
由于至双边/非本地滤波器的输入值为有限数(例如0～255)，因此对应于不同参考样本差的加权可经预计算且存储于查找表中。以此方式，在参考样本滤波期间，视频编码器20及视频解码器30可通过使用所计算的样本差检查查找表来导出加权，而非在运行时计算那些加权。
根据本发明的第四技术，在平坦模式中，对于不同预测样本位置，可使用不同参考样本产生预测样本。在一个实例中，视频编码器20及视频解码器30可使用参考样本TL、上方参考样本rx,-1及左侧参考样本r-1,y产生左上方预测样本。视频编码器20及视频解码器30可产生使用参考样本TR及BL产生的右下预测样本。
在一些实例中，右上方参考样本TR及左下方参考样本BL可移位预定义值，可基于块大小、宽度/高度及预测样本位置决定所述预定义值，如下文从图9A至图9B的变化中所示。即，图9A中的块260的左下方参考样本及右上方样本可经移位至关于图9B中的块262所展示的位置。在一些实例中，平坦模式使用5抽头滤波器，其使用TL、TR、BL、上方及左侧参考样本。
根据本发明的第五技术，视频编码器20及视频解码器30可经配置以使用应用于具有不同块大小的另一块的平坦预测滤波器来导出应用于具有第一特定块大小的块的平坦模式预测滤波器。在一个实例中使用应用于16×16或16×8块上的平坦预测滤波器导出应用于4×8块上的平坦预测滤波器。视频编码器20及视频解码器30可经配置以使用应用于给定16×16或16×8块中的对应经下取样/经上取样位置上的预测滤波器导出4×8块的给定位置上的预测滤波器系数。
根据本发明的第六技术，视频编码器20及视频解码器30可经配置以基于视频数据块中的非零变换系数的数目确定对如上文所论述的语法元素(例如旗标或索引)中的任一者进行熵译码的上下文。举例来说，一个上下文可用于处于一个范围(例如介于3个与5个非零系数之间，包含端点)中的非零变换系数的数目，且另一上下文可经指派用于非零变换系数的数目的另一范围，等等。范围的数目可为固定的或自适应的。举例来说，范围的数目可取决于块大小或块形状。另外，非零变换系数的数目的范围可取决于块大小及/或块形状(例如矩形、方形等等)。举例来说，此上下文建模可用以用信号发送样本平滑工具，例如ARSS(自适应参考样本平滑)、PDPC、MDIS或其它滤波或平滑方法。
以下为用于实施本发明的一或多种技术的可能的规范的实例。
导出用于双边滤波器加权的查找表的过程
输出为待导出的两个查找表。下文过程在编码/解码之前可仅仅调用一次，或将查找表预计算且存储于外部ROM(只读存储器)中，且在编码/解码之前仅仅加载一次。
MAX_CU_SIZE_LOG2＝7；
BIRS_SCALE＝256；
const Double bilateralSigma0[MAX_CU_SIZE_LOG2]＝{2.4,2.4,2.4,2.4,2.4,2.4,2.4}；
/>
在使用上文处理的情况下，导出两个查找表lutSigma0及lutSigma1。
执行双边帧内参考滤波的过程
输入包含待滤波参考样本(即，p2)及其相邻参考样本p0、p1、p3及p4，其分别位于-2、-1、+1、+2位置处。图像样本的位深度(bitDepth)、块宽度W及高度H、查找表lutSigma0及lutSigma1基于实施例#4.1导出。
输出为经滤波参考样本值。
const Int sizeIndex＝((log(W)+log(H))>>1)-1；
const Int shiftBitDepth＝bitDepth-8；
const Int *sigma0＝lutSigma0[sizeIndex]；
const Int *sigma1＝lutSigma1[sizeIndex]+255；
const Int w0＝sigma0[1]*sigma1[(p0-p2)>>shiftBitDepth]；
const Int w1＝sigma0[0]*sigma1[(p1-p2)>>shiftBitDepth]；
const Int w2＝BIRS_SIGMA0_SCALE*BIRS_SIGMA1_SCALE；
const Int w3＝sigma0[0]*sigma1[(p3-p2)>>shiftBitDepth]；
const Int w4＝sigma0[1]*sigma1[(p4-p2)>>shiftBitDepth]；
const Int output＝((w0*p0+w1*p1+w2*p2+w3*p3+w4*p4)/(w0+w1+w2+w3+w4))；
返回输出；
图10为绘示可实施本发明的技术的实例视频编码器20的框图。出于阐释的目的而提供图10，且不应将所述图视为对如本发明中广泛举例例示及描述的技术的限制。本发明的技术可应用于各种译码标准或方法。
处理电路包含视频编码器20，且视频编码器20经配置以执行本发明中所描述的实例技术中的一或多者。举例来说，视频编码器20包含集成电路，且图10中所绘示的各种单元可形成为与电路总线互连的硬件电路块。这些硬件电路块可为单独电路块，或所述单元中的两者或两者以上可组合为共同硬件电路块。硬件电路块可形成为电力组件的组合，所述电力组件形成例如算术逻辑单元(ALU)、基础功能单元(EFU)的操作块，以及例如AND、OR、NAND、NOR、XOR、XNOR及其它类似逻辑块的逻辑块。
在一些实例中，图10中所绘示的单元中的一或多者可为在处理电路上执行的软件单元。在这些实例中，用于这些软件单元的对象代码存储于存储器中。操作***可使视频编码器20检索对象代码并执行对象代码，这使视频编码器20执行实施实例技术的操作。在一些实例中，软件单元可为视频编码器20在启动时执行的固件。因此，视频编码器20为具有执行实例技术的硬件或具有在硬件上执行以特化执行所述实例技术的硬件的软件/固件的结构组件。
在图10的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残差产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120可包含运动估计单元及运动补偿单元(未展示)。
视频数据存储器101可经配置以存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储于视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储由视频编码器20用于编码视频数据(例如以帧内或帧间译码模式)的参考视频数据的参考图片存储器。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器101及经解码图片缓冲器116可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器101可与图1的存储媒体28相同或为其部分。
视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。所述CTU中的每一者可与图片的相等大小的亮度译码树块(CTB)及对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行四叉树分割以将CTU的CTB分割成逐渐较小的块。所述较小块可为CU的译码块。举例来说，预测处理单元100可根据树结构分割与CTU相关联的CTB。
视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与亮度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的非对称分割。
帧间预测处理单元120可产生用于PU的预测性数据。作为产生用于PU的预测性数据的部分，帧间预测处理单元120对PU执行帧间预测。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。取决于PU是在I切片中、P切片中还是B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测的块是使用空间预测从相同帧内的先前经编码的相邻块而形成。如果PU在P切片中，那么帧间预测处理单元120可使用单向帧间预测以产生PU的预测性块。如果PU在B切片中，那么帧间预测处理单元120可使用单向或双向帧间预测以产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生用于PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本以产生用于PU的预测性块。对于PU、CU及CTU，假定从左至右、从上而下的编码次序，那么所述相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目的帧内预测模式，例如33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
帧内预测处理单元126可执行上文所描述的本发明的技术。将在下文参看图12更详细地描述特定实例。
预测处理单元100可从由帧间预测处理单元120针对PU产生的预测性数据或由帧内预测处理单元126针对PU产生的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于数组预测性数据的速率/失真量度而选择用于CU的PU的预测性数据。选定预测性数据的预测性块在本文中可被称作选定预测性块。
残差产生单元102可基于CU的译码块(例如亮度、Cb及Cr译码块)及CU的PU的选定预测性块(例如预测性亮度块、预测性Cb块及预测性Cr块)而产生CU的残差块(例如亮度、Cb及Cr残差块)。举例来说，残差产生单元102可产生CU的残差块，使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行将CU的残差块分割成CU的TU的变换块。举例来说，变换处理单元104可执行四叉树分割以将CU的残差块分割成CU的TU的变换块。因此，TU可与亮度变换块及两个色度变换块相关联。CU的TU的亮度变换块及色度变换块的大小及定位可或可不基于CU的PU的预测块的大小及定位。被称为“残差四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用至变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。
量化单元106可将系数块中的变换系数量化。量化单元106可基于相关联于CU的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比最初变换系数低的精度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重构残差块。重构单元112可将经重构残差块与来自由预测处理单元100产生的一或多个预测性块的对应样本相加，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。
滤波器单元114可执行一或多个解块操作以减小与CU相关联的译码块中的块假象。经解码图片缓冲器116可在滤波器单元114对经重构译码块执行一或多个解块操作之后存储经重构译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构译码块以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，并可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的变换系数的值的数据。
图11为绘示经配置以实施本发明的技术的实例视频解码器30的框图。出于阐释的目的而提供图11，且其并不限制如本发明中所广泛例示及描述的技术。出于阐释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
处理电路包含视频解码器30，且视频解码器30经配置以执行本发明中所描述的实例技术中的一或多者。举例来说，视频解码器30包含集成电路，且图11中所绘示的各种单元可形成为与电路总线互连的硬件电路块。这些硬件电路块可为单独电路块，或所述单元中的两者或两者以上可组合为共同硬件电路块。硬件电路块可形成为电力组件的组合，所述电力组件形成例如算术逻辑单元(ALU)、基础功能单元(EFU)的操作块，以及例如AND、OR、NAND、NOR、XOR、XNOR及其它类似逻辑块的逻辑块。
在一些实例中，图11中所绘示的单元中的一或多者可为在处理电路上执行的软件单元。在这些实例中，用于这些软件单元的对象代码存储于存储器中。操作***可使视频解码器30检索对象代码并执行对象代码，这使视频解码器30执行实施实例技术的操作。在一些实例中，软件单元可为视频解码器30在启动时执行的固件。因此，视频解码器30为具有执行实例技术的硬件或具有在硬件上执行以特化执行所述实例技术的硬件的软件/固件的结构组件。
在图11的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重构单元158、滤波器单元160，及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体，例如从计算机可读媒体16、例如从例如相机的本地视频源获得存储于视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储由视频解码器30用于解码视频数据(例如以帧内或帧间译码模式)，或用于输出的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)；磁阻式RAM(MRAM)；电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器151及经解码图片缓冲器162可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器151可与图1的存储媒体28相同或为其部分。
视频数据存储器151接收及存储位流的经编码视频数据(例如NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如NAL单元)，且可解析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重构单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元150可执行与熵编码单元118的过程大体上互逆的过程。
除从位流获得语法元素之外，视频解码器30还可对未经分割的CU执行重构操作。为了对CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残差块。
作为对CU的TU执行重构操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块，以便产生与TU相关联的残差块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡洛南-洛伊(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。帧内预测处理单元166可执行上文所描述的本发明的技术。将在下文参看图13更详细地描述特定实例。
如果使用帧间预测编码PU，那么运动补偿单元164可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如预测性亮度、Cb及Cr块)。
重构单元158可使用CU的TU的变换块(例如亮度、Cb及Cr变换块)及CU的PU的预测性块(例如亮度、Cb及Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重构CU的译码块(例如亮度、Cb及Cr译码块)。举例来说，重构单元158可将变换块(例如亮度、Cb及Cr变换块)的样本与预测性块(例如亮度、Cb及Cr预测性块)的对应样本相加来重构CU的译码块(例如亮度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块相关联的块假象。视频解码器30可将CU的译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。
图12为绘示本发明的实例视频编码技术的流程图。图12的技术可由视频编码器20的一或多个结构组件执行，包含帧内预测处理单元126。
在本发明的一个实例中，视频编码器20可经配置以接收视频数据的当前块(1200)，且确定用于视频数据的当前块的帧内预测模式(1202)。视频编码器20可进一步基于经确定帧内预测模式确定视频数据的当前块的参考样本(1204)，且基于参考样本与相邻参考样本之间的距离且基于参考样本与相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数(1206)。视频编码器20可将具有经确定滤波器系数的双边滤波器应用于经确定参考样本以产生经滤波参考样本(1208)，且使用经滤波参考样本产生预测块(1210)。预测块可包含分别对应于当前块的样本中的每一者的预测值。视频编码器20可使用视频数据的当前块的样本及预测块的样本产生残差视频数据(1212)。举例来说，视频编码器20可经配置以通过从预测块的对应样本减去当前块的样本来产生残差视频数据。视频编码器20可进一步将残差视频数据编码为经编码视频数据块(1214)。
在本发明的一个实例中，双边滤波器为5抽头双边滤波器。在本发明的另一实例中，视频编码器20可经配置以使用如下方程式确定滤波器系数：
其中fi为位置i处的滤波器系数，rx为待滤波参考样本的值，rx+i为与待滤波参考样本相距i个样本的相邻参考样本的值，i为待滤波参考样本与相邻参考样本之间的对应于滤波器系数fi的距离，a为第一滤波器参数，σ0为第二滤波器参数，且σ1为第三滤波器参数。
在本发明的一个实例中，a等于纳皮尔常数(2.71828)。在另一实例中，a为2的幂次。在另一实例中，σ0等于2.4且σ1等于260。
在本发明的另一实例中，视频编码器20经进一步配置以产生指示视频参数集(VPS)、序列参数集(SPS)、图片参数集(SPS)或切片标头中的一或多者中的第一滤波器参数、第二滤波器参数或第三滤波器参数中的一或多者的值的语法元素。
在本发明的另一实例中，视频编码器20经进一步配置以从查找表确定应用于经确定参考样本的双边滤波器的输出。
图13为绘示本发明的实例视频解码技术的流程图。图13的技术可由视频解码器30的一或多个结构组件执行，包含帧内预测处理单元166。
在本发明的一个实例中，视频解码器30可经配置以接收使用帧内预测模式进行编码的视频数据的当前块(1300)，且确定用于视频数据的当前块的残差视频数据(1302)。视频解码器30可基于帧内预测模式进一步确定视频数据的当前块的参考样本(1304)，且基于参考样本与相邻参考样本之间的距离且基于参考样本与相邻参考样本之间的样本值差确定用于双边滤波器的滤波器系数(1306)。视频解码器30可将具有经确定滤波器系数的双边滤波器应用于经确定参考样本以产生经滤波参考样本(1308)，且使用经滤波参考样本产生预测块(1310)。预测块可包含分别对应于当前块的样本中的每一者的预测值。视频解码器30可进一步将预测块的样本与经确定残差视频数据相加以产生经解码视频数据块(1312)。
在本发明的一个实例中，双边滤波器为5抽头双边滤波器。在本发明的另一实例中，视频解码器30可经配置以使用如下方程式确定滤波器系数：
其中fi为位置i处的滤波器系数，rx为待滤波参考样本的值，rx+i为与待滤波参考样本相距i个样本的相邻参考样本的值，i为待滤波参考样本与相邻参考样本之间的对应于滤波器系数fi的距离，a为第一滤波器参数，σ0为第二滤波器参数，且σ1为第三滤波器参数。
在本发明的一个实例中，a等于纳皮尔常数(2.71828)。在另一实例中，a为2的幂次。在另一实例中，σ0等于2.4且σ1等于260。
在本发明的另一实例中，视频解码器30经进一步配置以接收指示视频参数集(VPS)、序列参数集(SPS)、图片参数集(SPS)或切片标头中的一或多者中的第一滤波器参数、第二滤波器参数或第三滤波器参数中的一或多者的值的语法元素。
在本发明的另一实例中，视频解码器30经进一步配置以从查找表确定应用于经确定参考样本的双边滤波器的输出。
为了说明的目的，本发明的某些方面已经关于HEVC标准的扩展而描述。然而，本发明中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，适用时，视频译码可指视频编码或视频解码。在本发明中，短语“基于”可指示仅仅基于、至少部分地基于，或以某一方式基于。本发明可使用术语“视频单元”或“视频块”或“块”来指一或多个样本块及用以译码样本的一或多个块的样本的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分割区等等。在一些情形中，PU的论述可与宏块或宏块分割区的论述互换。视频块的实例类型可包含译码树块、译码块及其它类型的视频数据块。
本发明的技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视传输、***传输、互联网流式处理视频传输(例如经由HTTP的动态自适应流式处理(DASH))、经编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如并非所有所描述动作或事件为实践所述技术所必要)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非按顺序执行动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，所述通信媒体包含例如根据通信协议促进计算机程序从一处传送至另一处的任何媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理电路存取以检索指令、代码及/或数据结构以用于实施本发明中描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例说明而非限制，这些计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、快闪存储器、高速缓冲存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘通过激光以光学方式重现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
本发明中所描述的功能可由固定功能及/或可编程处理电路执行。举例来说，指令可由固定功能及/或可编程处理电路执行。这些处理电路可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能可提供于经配置以供编码及解码或并入于组合式编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。处理电路可以各种方式耦合至其它组件。举例来说，处理电路可经由内部装置互连件、有线或无线网络连接或另一通信媒体耦合至其它组件。
本发明的技术可实施于广泛多种装置或设备中，包含无线手机、集成电路(IC)或IC集合(例如芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件来提供所述单元。
已描述了各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (30)

1.一种解码视频数据的方法，所述方法包括：
接收使用帧内预测模式进行编码的视频数据的当前块；
确定用于视频数据的所述当前块的残差视频数据；
确定视频数据的所述当前块的参考样本；
基于所述参考样本与相邻参考样本之间的距离、所述参考样本与所述相邻参考样本之间的样本值差以及对应于参考样本的样本差值的滤波器权重的值，确定用于双边滤波器的滤波器系数，其中，所述双边滤波器的输入值为有限数且所述双边滤波器的输出从查找表中确定，所述双边滤波器的输出是对应于所述样本差值的所述滤波器权重；
将具有所确定的滤波器系数的所述双边滤波器应用于所确定的参考样本以产生经滤波参考样本；
使用所述经滤波参考样本产生预测块；以及
将所述预测块的样本与所确定的残差视频数据相加以产生经解码视频数据块。
2.根据权利要求1所述的方法，其中所述双边滤波器为5抽头双边滤波器。
3.根据权利要求1所述的方法，其中确定所述滤波器系数包括使用如下方程式确定所述滤波器系数：
其中，fi为滤波器系数，rk为待滤波参考样本的值，rx+i为与所述待滤波参考样本相距i个样本的相邻参考样本的值，i为所述待滤波参考样本与所述相邻参考样本之间的对应于所述滤波器系数fi的距离，a为所接收的语法元素中指示的第一滤波器参数，σ0为所接收的语法元素中指示的第二滤波器参数，且σ1为所接收的语法元素中指示的第三滤波器参数。
4.根据权利要求3所述的方法，其中a等于纳皮尔常数(2.71828)。
5.根据权利要求3所述的方法，其中a为2的幂次。
6.根据权利要求3所述的方法，其中σ0等于2.4且σ1等于260。
7.根据权利要求1所述的方法，其中所述帧内预测模式为位置相关预测组合PDPC模式。
8.根据权利要求1所述的方法，其中所述双边滤波器的输入值在[0,255]范围内。
9.根据权利要求1所述的方法，其进一步包括：
显示所述经解码视频数据块。
10.一种编码视频数据的方法，所述方法包括：
接收视频数据的当前块；
确定用于视频数据的所述当前块的帧内预测模式；
基于所确定的帧内预测模式确定视频数据的所述当前块的参考样本；
基于所述参考样本与相邻参考样本之间的距离、所述参考样本与所述相邻参考样本之间的样本值差以及对应于参考样本的样本差值的滤波器权重，确定用于双边滤波器的滤波器系数，其中，所述双边滤波器的输入值为有限数且所述双边滤波器的输出从查找表中确定，所述双边滤波器的输出是对应于所述样本差值的所述滤波器权重；
将具有所确定的滤波器系数的所述双边滤波器应用于所确定的参考样本以产生经滤波参考样本；
使用所述经滤波参考样本产生预测块；
使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据；以及
将所述残差视频数据编码为经编码视频数据块。
11.根据权利要求10所述的方法，其中所述双边滤波器为5抽头双边滤波器。
12.根据权利要求10所述的方法，其中确定所述滤波器系数包括使用如下方程式确定所述滤波器系数：
其中fi为滤波器系数，rx为待滤波参考样本的值，rx+i为与所述待滤波参考样本相距i个样本的相邻参考样本的值，i为所述待滤波参考样本与所述相邻参考样本之间的对应于所述滤波器系数fi的距离，a为第一滤波器参数，σ0为第二滤波器参数，且σ1为第三滤波器参数。
13.根据权利要求12所述的方法，其中a等于纳皮尔常数(2.71828)。
14.根据权利要求12所述的方法，其中a为2的幂次。
15.根据权利要求12所述的方法，其中σ0等于2.4且σ1等于260。
16.根据权利要求10所述的方法，其中所述帧内预测模式为位置相关预测组合PDPC模式。
17.根据权利要求10所述的方法，其中所述双边滤波器的输入值在[0,255]的范围内。
18.根据权利要求10所述的方法，其进一步包括：
在经编码视频位流中输出所述经编码视频数据块。
19.一种经配置以解码视频数据的设备，所述设备包括：
存储器，其经配置以存储视频数据的当前块；及
一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以进行以下操作：
接收使用帧内预测模式进行编码的视频数据的所述当前块；
确定用于视频数据的所述当前块的残差视频数据；
确定视频数据的所述当前块的参考样本；
基于所述参考样本与相邻参考样本之间的距离、所述参考样本与所述相邻参考样本之间的样本值差以及对应于参考样本的样本差值的滤波器权重，确定用于双边滤波器的滤波器系数，其中，所述双边滤波器的输入值为有限数且所述双边滤波器的输出从查找表中确定，所述双边滤波器的输出是对应于所述样本差值的所述滤波器权重；
将具有所确定的滤波器系数的所述双边滤波器应用于所确定的参考样本以产生经滤波参考样本；
使用所述经滤波参考样本产生预测块；以及
将所述预测块的样本与所确定的残差视频数据相加以产生经解码视频数据块。
20.根据权利要求19所述的设备，其中所述双边滤波器为5抽头双边滤波器。
21.根据权利要求19所述的设备，其中为了确定所述滤波器系数，所述一或多个处理器经进一步配置以使用如下方程式确定所述滤波器系数：
其中fi为滤波器系数，rx为待滤波参考样本的值，rx+i为与所述待滤波参考样本相距i个样本的相邻参考样本的值，i为所述待滤波参考样本与所述相邻参考样本之间的对应于所述滤波器系数fi的距离，a为所接收的语法元素中指示的第一滤波器参数，σ0为所接收的语法元素中指示的第二滤波器参数，且σ1为所接收的语法元素中指示的第三滤波器参数。
22.根据权利要求21所述的设备，其中a等于纳皮尔常数(2.71828)。
23.根据权利要求21所述的设备，其中a为2的幂次。
24.根据权利要求21所述的设备，其中所述双边滤波器的输入值在[0,255]范围内。
25.一种经配置以编码视频数据的设备，所述设备包括：
存储器，其经配置以存储视频数据的当前块；及
一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以进行以下操作：
接收视频数据的所述当前块；
确定用于视频数据的所述当前块的帧内预测模式；
基于所确定的帧内预测模式确定视频数据的所述当前块的参考样本；
基于所述参考样本与相邻参考样本之间的距离、所述参考样本与所述相邻参考样本之间的样本值差以及对应于参考样本的样本差值的滤波器权重，确定用于双边滤波器的滤波器系数，其中，所述双边滤波器的输入值为有限数且所述双边滤波器的输出从查找表中确定，所述双边滤波器的输出是对应于所述样本差值的所述滤波器权重；
将具有所确定的滤波器系数的所述双边滤波器应用于所确定的参考样本以产生经滤波参考样本；
使用所述经滤波参考样本产生预测块；
使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据；以及
将所述残差视频数据编码为经编码视频数据块。
26.根据权利要求25所述的设备，其中所述双边滤波器为5抽头双边滤波器。
27.根据权利要求25所述的设备，其中为了确定所述滤波器系数，所述一或多个处理器经进一步配置以使用如下方程式确定所述滤波器系数：
其中，fi为滤波器系数，rx为待滤波参考样本的值，rx+i为与所述待滤波参考样本相距i个样本的相邻参考样本的值，i为所述待滤波参考样本与所述相邻参考样本之间的对应于所述滤波器系数fi的距离，a为所接收的语法元素中指示的第一滤波器参数，σ0为所接收的语法元素中指示的第二滤波器参数，且σ1为所接收的语法元素中指示的第三滤波器参数。
28.根据权利要求25所述的设备，其中所述双边滤波器的输入值在[0,255]的范围内。
29.一种存储指令的非暂时性计算机可读存储介质，所述指令在执行时使经配置以解码视频数据的装置的一或多个处理器进行以下操作：
接收使用帧内预测模式进行编码的视频数据的当前块；
确定用于视频数据的所述当前块的残差视频数据；
确定视频数据的所述当前块的参考样本；
基于所述参考样本与相邻参考样本之间的距离、所述参考样本与所述相邻参考样本之间的样本值差以及对应于参考样本的样本差值的滤波器权重，确定用于双边滤波器的滤波器系数，其中，所述双边滤波器的输入值为有限数且所述双边滤波器的输出从查找表中确定，所述双边滤波器的输出是对应于所述样本差值的所述滤波器权重；
将具有所确定的滤波器系数的所述双边滤波器应用于所确定的参考样本以产生经滤波参考样本；
使用所述经滤波参考样本产生预测块；以及
将所述预测块的样本与所确定的残差视频数据相加以产生经解码视频数据块。
30.一种存储指令的非暂时性计算机可读存储介质，所述指令在执行时使经配置以编码视频数据的装置的一或多个处理器进行以下操作：
接收视频数据的当前块；
确定用于视频数据的所述当前块的帧内预测模式；
基于所确定的帧内预测模式确定视频数据的所述当前块的参考样本；
基于所述参考样本与相邻参考样本之间的距离、所述参考样本与所述相邻参考样本之间的样本值差以及对应于参考样本的样本差值的滤波器权重，确定用于双边滤波器的滤波器系数，其中，所述双边滤波器的输入值为有限数且所述双边滤波器的输出从查找表中确定，所述双边滤波器的输出是对应于所述样本差值的所述滤波器权重；
将具有所确定的滤波器系数的所述双边滤波器应用于所确定的参考样本以产生经滤波参考样本；
使用所述经滤波参考样本产生预测块；
使用视频数据的所述当前块的样本及所述预测块的样本产生残差视频数据；以及
将所述残差视频数据编码为经编码视频数据块。
CN201880029408.8A 2017-05-05 2018-05-03 用于视频译码的帧内参考滤波器 Active CN110622514B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762502490P 2017-05-05 2017-05-05
US62/502,490 2017-05-05
US201762559127P 2017-09-15 2017-09-15
US62/559,127 2017-09-15
US15/969,294 US10638126B2 (en) 2017-05-05 2018-05-02 Intra reference filter for video coding
US15/969,294 2018-05-02
PCT/US2018/030912 WO2018204664A1 (en) 2017-05-05 2018-05-03 Intra reference filter for video coding

Publications (2)

Publication Number Publication Date
CN110622514A CN110622514A (zh) 2019-12-27
CN110622514B true CN110622514B (zh) 2023-11-03

Family

ID=64014269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880029408.8A Active CN110622514B (zh) 2017-05-05 2018-05-03 用于视频译码的帧内参考滤波器

Country Status (4)

Country Link
US (1) US10638126B2 (zh)
CN (1) CN110622514B (zh)
TW (1) TW201843999A (zh)
WO (1) WO2018204664A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252420B2 (en) * 2017-12-15 2022-02-15 Lg Electronics Inc. Image coding method on basis of secondary transform and device therefor
US11172201B2 (en) * 2017-12-18 2021-11-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN110662065A (zh) 2018-06-29 2020-01-07 财团法人工业技术研究院 图像数据解码方法及解码器、图像数据编码方法及编码器
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
US20200162737A1 (en) * 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US11652984B2 (en) * 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
WO2020098782A1 (en) * 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Weights in combined inter intra prediction mode
KR20210091161A (ko) 2018-11-20 2021-07-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 부분적 위치에 기반한 차분 계산
JP7401542B2 (ja) * 2018-11-26 2023-12-19 華為技術有限公司 ピクチャのブロックのイントラ予測の方法
CN116567207B (zh) * 2018-12-29 2024-02-13 华为技术有限公司 用于帧内预测的方法和装置
EP3934251A4 (en) * 2019-02-28 2022-11-30 Samsung Electronics Co., Ltd. VIDEO ENCODING AND DECODING METHOD FOR PREDICTING CHROMA COMPONENT AND VIDEO ENCODING AND DECODING DEVICE FOR PREDICTING CHROMA COMPONENT
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
US11425374B2 (en) 2019-03-12 2022-08-23 FG Innovation Company Limited Device and method for coding video data
CN113785588B (zh) 2019-04-12 2023-11-24 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的色度编解码模式确定
CN113812150B (zh) * 2019-05-01 2023-11-28 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
WO2020228671A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
EP3967032A4 (en) 2019-06-07 2022-07-27 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS
US11197025B2 (en) * 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
WO2020259476A1 (en) * 2019-06-24 2020-12-30 Huawei Technologies Co., Ltd. Sample distance calculation for geometric partition mode
US11057623B2 (en) * 2019-07-03 2021-07-06 Qualcomm Incorporated Deblock filtering for video coding
US11985306B2 (en) * 2019-07-22 2024-05-14 Interdigital Madison Patent Holdings, Sas Method and apparatus for video encoding and decoding with matrix based intra-prediction
CN114208190B (zh) 2019-08-03 2023-12-15 北京字节跳动网络技术有限公司 视频编解码中缩减二次变换的矩阵的选择
CN114223208B (zh) 2019-08-17 2023-12-29 北京字节跳动网络技术有限公司 为视频中的缩减二次变换的边信息的上下文建模
JP7189854B2 (ja) * 2019-09-19 2022-12-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114731436B (zh) * 2019-10-04 2023-06-16 Lg电子株式会社 基于变换的图像编码方法及其设备
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
WO2021134759A1 (en) * 2020-01-02 2021-07-08 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of symmetric mode dependent intra smoothing when wide angle intra prediction is activated
WO2022037583A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter
WO2022268185A1 (en) * 2021-06-25 2022-12-29 Beijing Bytedance Network Technology Co., Ltd. Bilateral filter in video coding
US20230099292A1 (en) * 2021-09-29 2023-03-30 Malini MANOCHA Detection and management of dysfunctions in subterranean operations
WO2023091780A1 (en) * 2021-11-22 2023-05-25 Beijing Dajia Internet Information Technology Co., Ltd. Planar mode improvement for intra prediction

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231447A (ja) * 1994-02-08 1995-08-29 Daewoo Electron Co Ltd 映像符号化装置におけるビデオ信号の動きに適応する空間フィルタリング方法
US5502510A (en) * 1993-09-17 1996-03-26 Daewoo Electronics Co., Ltd. Method for temporal filtering of video signals using a motion adaptive spatial filter
CN1778112A (zh) * 2003-04-24 2006-05-24 皇家飞利浦电子股份有限公司 组合的采样率变换和增益控制滤波
CN101027883A (zh) * 2004-08-13 2007-08-29 诺基亚公司 适于由高阶调制射频发射器使用的高效fir滤波器
CN103081474A (zh) * 2010-07-31 2013-05-01 吴秀美 帧内预测解码设备
CN103733624A (zh) * 2011-08-18 2014-04-16 数码士有限公司 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
CN103931185A (zh) * 2011-10-25 2014-07-16 高通股份有限公司 确定视频译码的解块滤波的边界强度值
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器
CN104054339A (zh) * 2012-01-19 2014-09-17 高通股份有限公司 用信号通知视频译码中的解块滤波器参数
CN104380730A (zh) * 2012-01-19 2015-02-25 华为技术有限公司 模式依赖帧内平滑的简化
CN104396247A (zh) * 2012-04-09 2015-03-04 高通股份有限公司 用于视频译码的基于lcu的自适应环路滤波
CN104620580A (zh) * 2012-05-14 2015-05-13 卢卡·罗萨托 通过运动区对多维信号中的运动信息以及通过辅助区对辅助信息的估计、编码和解码
CN105009590A (zh) * 2013-03-15 2015-10-28 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
CN107736023A (zh) * 2015-06-18 2018-02-23 高通股份有限公司 帧内预测及帧内模式译码

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684491B2 (en) * 2005-03-31 2010-03-23 Intel Corporation Reference data buffer for intra-prediction of digital video
US9432699B2 (en) * 2011-05-18 2016-08-30 Nokia Technologies Oy Methods, apparatuses and computer programs for video coding
US9280835B2 (en) * 2011-10-18 2016-03-08 Nokia Technologies Oy Method for coding and an apparatus based on a DC prediction value
JP5833757B2 (ja) * 2012-07-09 2015-12-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US20180146213A1 (en) * 2015-06-05 2018-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Filtering for video processing
US10425648B2 (en) 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502510A (en) * 1993-09-17 1996-03-26 Daewoo Electronics Co., Ltd. Method for temporal filtering of video signals using a motion adaptive spatial filter
JPH07231447A (ja) * 1994-02-08 1995-08-29 Daewoo Electron Co Ltd 映像符号化装置におけるビデオ信号の動きに適応する空間フィルタリング方法
CN1778112A (zh) * 2003-04-24 2006-05-24 皇家飞利浦电子股份有限公司 组合的采样率变换和增益控制滤波
CN101027883A (zh) * 2004-08-13 2007-08-29 诺基亚公司 适于由高阶调制射频发射器使用的高效fir滤波器
CN103081474A (zh) * 2010-07-31 2013-05-01 吴秀美 帧内预测解码设备
CN104041051A (zh) * 2011-06-30 2014-09-10 华为技术有限公司 一种简化的双边帧内平滑滤波器
CN103733624A (zh) * 2011-08-18 2014-04-16 数码士有限公司 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
CN103931185A (zh) * 2011-10-25 2014-07-16 高通股份有限公司 确定视频译码的解块滤波的边界强度值
CN104054339A (zh) * 2012-01-19 2014-09-17 高通股份有限公司 用信号通知视频译码中的解块滤波器参数
CN104380730A (zh) * 2012-01-19 2015-02-25 华为技术有限公司 模式依赖帧内平滑的简化
CN104396247A (zh) * 2012-04-09 2015-03-04 高通股份有限公司 用于视频译码的基于lcu的自适应环路滤波
CN104620580A (zh) * 2012-05-14 2015-05-13 卢卡·罗萨托 通过运动区对多维信号中的运动信息以及通过辅助区对辅助信息的估计、编码和解码
CN105009590A (zh) * 2013-03-15 2015-10-28 高通股份有限公司 用于视频信息的可缩放译码的装置和方法
CN107736023A (zh) * 2015-06-18 2018-02-23 高通股份有限公司 帧内预测及帧内模式译码

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cross-check of JVET-I0021: Chroma Artifact Reduction by New Sample Adaptive Offset method for Chroma;TianYang Zhou;Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11;全文 *
NEAREST-NEIGHBOR INTRA PREDICTION FOR SCREEN CONTENT VIDEO CODING;Haoming Chen;IEEE;3151-3155 *

Also Published As

Publication number Publication date
TW201843999A (zh) 2018-12-16
CN110622514A (zh) 2019-12-27
US20180324417A1 (en) 2018-11-08
WO2018204664A1 (en) 2018-11-08
US10638126B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110622514B (zh) 用于视频译码的帧内参考滤波器
KR102382410B1 (ko) 비디오 코딩에서의 포지션-종속 예측 결합들
US11025903B2 (en) Coding video data using derived chroma mode
US11044473B2 (en) Adaptive loop filtering classification in video coding
US20200296405A1 (en) Affine motion compensation refinement using optical flow
US10200719B2 (en) Modification of transform coefficients for non-square transform units in video coding
US11962796B2 (en) Gradient-based prediction refinement for video coding
US11539952B2 (en) Implicit transform selection in video coding
CN112385223A (zh) 取决于模式的帧内平滑(mdis)与帧内内插滤波器切换的组合
US11259052B2 (en) Transform variations of multiple separable transform selection
US10764605B2 (en) Intra prediction for 360-degree video
US10897617B2 (en) Rounding of motion vectors for adaptive motion vector difference resolution and increased motion vector storage precision in video coding
US11310519B2 (en) Deblocking of subblock boundaries for affine motion compensated coding
US11418796B2 (en) Intra block copy prediction restrictions in video coding
US10999596B2 (en) Unification of affine motion field derivation and affine motion compensation
US20220215593A1 (en) Multiple neural network models for filtering during video coding
US20210211685A1 (en) Multiple transform set signaling for video coding
US11019332B2 (en) Chroma intra prediction in video coding
US11849131B2 (en) Adaptive subblock size for affine motion compensation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant