CN104041051B - 一种简化的双边帧内平滑滤波器 - Google Patents

一种简化的双边帧内平滑滤波器 Download PDF

Info

Publication number
CN104041051B
CN104041051B CN201280032347.3A CN201280032347A CN104041051B CN 104041051 B CN104041051 B CN 104041051B CN 201280032347 A CN201280032347 A CN 201280032347A CN 104041051 B CN104041051 B CN 104041051B
Authority
CN
China
Prior art keywords
pixel
filter
current
current pixel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280032347.3A
Other languages
English (en)
Other versions
CN104041051A (zh
Inventor
李贵春
刘凌志
赖昌材
林楠
郑建铧
菲利普·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104041051A publication Critical patent/CN104041051A/zh
Application granted granted Critical
Publication of CN104041051B publication Critical patent/CN104041051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种方法，包括：接收多个参考像素；基于所述多个参考像素中参考像素与相邻参考像素之间的差异，计算出多个滤波系数；结合所述滤波系数、所述参考像素和所述相邻参考像素生成滤波值，所述滤波值用于帧内预测。

Description

一种简化的双边帧内平滑滤波器
优先权信息
本发明要求2012年6月13日由李贵春等递交的发明名称为“一种简化的双边帧内平滑滤波器”的美国非临时专利申请13/495,899的在先申请优先权和2011年6月30日由李贵春等递交的发明名称为“一种简化的双边帧内平滑滤波器”的美国临时专利申请61/503,415的在先申请优先权，其在先申请的内容以引入的方式并入本文本中。
关于联邦赞助的研究或开发的声明
不适用。
缩微平片附件的引用
不适用。
背景技术
即使描述一部较短的电影也需要相当可观的视频数据，这些数据难以在宽带容量有限的通信网络中进行传输或交换。因此，视频数据通常在经过压缩后再通过现代电信网络交换。通常，视频压缩设备在视频数据传输前使用源端软件和/或硬件对该视频数据进行编码，从而降低表示数字视频图像所需的数据量。目的端的视频解压设备接收压缩数据，并进行解码。由于网络资源有限，而对更高视频质量的要求却不断提高，需要更加完善的压缩和解压技术，以在不增加比特率的情况下提高图像质量。
发明内容
本发明一实施例公开了一种方法，包括：接收多个参考像素；基于所述多个参考像素中参考像素与相邻参考像素之间的差异，计算出多个滤波系数；结合所述滤波系数、所述参考像素和所述相邻参考像素生成滤波值，所述滤波值用于帧内预测。
本发明另一实施例公开了一种装置，包括：处理器，用于接收多个参考像素；基于所述多个参考像素中参考像素与相邻参考像素之间的差异，计算出多个滤波系数；结合所述滤波系数、所述参考像素和所述相邻参考像素生成滤波值，其中，所述滤波值用于帧内预测。
本发明再一实施例公开了一种装置，包括：至少一个处理器，用于接收多个参考像素，其中，所述参考像素包括当前像素和多个相邻像素；基于包括多个范围滤波系数的范围滤波器以及包括多个域滤波系数的域滤波器，计算出多个双边滤波系数，其中，至少一个范围滤波系数基于所述当前像素和至少一个相邻像素之间的差异，至少一个域滤波系数基于所述当前像素和至少一个相邻像素之间的距离；结合所述双边滤波系数、所述当前像素和所述相邻像素生成滤波值，其中，所述滤波值用于帧内预测。
通过下述具体实施方式并结合附图说明和权利要求，将会更加清楚地理解这些特征及其他特征。
附图说明
为更全面地理解本发明，下面结合具体实施方式对附图作简要说明，其中，相同的附图标记表示相同的部件。
图1为多个帧内预测模式的示意图；
图2为帧内预测方案实施例的示意图；
图3为参考像素序列实施例的示意图；
图4为一种简化的双边滤波方法的实施例的流程图；
图5为网络单元实施例的示意图；
图6为通用计算机***实施例的示意图。
具体实施方式
首先应当理解的是，虽然下文提供了一个或多个实施例的示意性实施方式，所公开的***和/或方法可以通过多种当前已知或存在的技术实现。本发明不受限于下文所述的示意性实施方式、附图和技术，包括此处示出和描述的示例性设计和实施方式，即可在所附权利要求的范围及其等同要求的全部范围内进行修改。
通常情况下，视频媒体涉及较快并连续地显示静止图像或帧的序列，从而使观众能够感知运动。每个帧包括多个图片元素或像素，每个图片元素或像素表示帧中单独的参考点。在数字处理中，可为每个像素分配一个整数值（例如，0、1、……、或255），表示相应参考点的图像质量或特征，如亮度或色度。实质上，单一帧内的像素组（宏块）可与同一帧内的其他宏块相关联，这样跨宏块的像素值只发生轻微的变化和/或表现出重复的纹理。现代视频压缩方法使用各种技术开发这些空间关联性，这些技术可统称为帧内预测（或简称为帧内预测）。帧内预测可降低同一帧中邻近和/或相邻宏块（下文也称为块）之间的空间冗余，从而在不大大降低图像质量的情况下实现视频数据压缩。各种传统的视频/图像编码标准，如国际通信联盟(ITU)电信标准化部门(ITU-T)H.264（以下称为H.264），已经描述了不同形式的帧内预测，其内容以引入的方式并入本文本中。
在实际应用中，帧内预测可由视频编码器/解码器（编解码器）来实现，以从一个或多个先前编码/解码的相邻块中得到一个内插的预测块（或被预测的块），从而生成一个近似的当前块。因此，编码器和解码器可单独***所述预测块，进而能够从较少参考块之间的通信中重构帧和/或图像的主要部分，例如，位于帧的左上角（并从帧的左上角开始延伸）的块。然而，单独的帧内预测可能无法为现代视频重现足够质量的图像。因此，编码器和解码器之间可能会交换残差消息等误差校正消息，以纠正所述预测块与所述当前块之间的差异。例如，解码器可从所述当前块中减去所述预测块，生成一个残差块，对所述残差块进行转换、量化和扫描后将其编码成编码数据流。解码器收到所述编码数据流后，可将所述重构的残差块加入到所述单独生成的预测块中，重建所述当前块。由于帧内编码压缩的有损性质等原因，所述重建的当前块与原始当前块相比可能不够完善，但人眼很难察觉到两者之间的差异。因此，这既可以节省大量的位资源，又不会大幅降低重构图像的质量。
所述残差块中几乎不存在所述预测块和所述当前块之间的差异。因此，在所述预测块与所述当前块相同和/或接近相同的区域，很多残差块的离散值如像素数据等可由零和/或接近零的系数组成。进一步地，对所述残差块进行转化、量化和/或扫描可去除数据流中大部分为零和/或接近零的系数，从而实现进一步压缩视频数据。因此，对原始图像的更加精确的预测可生成编码功效。为了利用这些编码功效，传统的视频/图像编码标准可在帧内预测中通过使用多个预测模式提高预测准确性，每个预测模式可以生成一个唯一的纹理。例如，高性能视频编码(HEVC)视频压缩标准（也称为H.265）会在统一帧内预测(UIP)方案中采用不同的预测模式。
图1为所述HEVC UIP方案中使用的多个帧内预测模式100的示意图。对于亮度块，所述帧内预测模式100包括高达34个帧内预测模式，其中33个为定向模式，1个为非定向模式，如直流(DC)预测模式。使用时，编码器选择一个预测模式，为每个当前块生成最准确的预测。例如，为帧内预测模式100中的每个模式计算绝对误差和(SAE)，并选择SAE最小的模式。一般而言，使用的帧内预测模式越多，生成的帧内预测越精确。例如，最近的研究已经表明，与仅使用9个帧内预测模式的H.264等使用较少帧内预测模式的协定相比，所述帧内预测模式100等使用34个帧内预测模式的协定可更准确地预测复杂的纹理。虽然图1示出了34个帧内预测模式，但是根据块的大小和/或帧内预测方案，也可以使用任何其他数量的预测模式。
如上文所述，在帧内预测中，当前块周围的像素可用作参考像素（或预测样品）生成预测块。帧内预测的质量受块的大小和预测模式等因素的影响。例如，随着所述预测块的增大，会降低对远离所述参考像素的预测块中的像素的预测准确性。预测准确性的降低可能会导致残差数据增多，从而增加要编码、存储和/或传输的数据。为了避免帧内预测准确性下降，可将平滑滤波器应用于参考像素。然而，在某些情况下，不使用平滑滤波器也可以达到较好的结果。因此，在实际应用中，视频解码器可以对基于过滤参考像素的帧内预测的准确性和基于未过滤参考像素的帧内预测的准确性进行比较，然后确定是否将平滑滤波器应用于参考像素。这种方法可称为自适应帧内平滑(AIS)。
可选地，为了降低因比较过滤参考像素和未过滤参考像素而造成的编码器的复杂性，可使用另外一种被称为模式相关帧内平滑(MDIS)的技术来确定将帧内平滑滤波器应用于参考像素的场合。MDIS可以根据当前块的大小和预测模式（或方向）确定是否使用平滑滤波器。目前有很多种MDIS方法。例如，一种MDIS方法可明确标志是否过滤参考像素。编码器可通过测试所有潜在帧内预测模式的码率失真(RD)代价决定是否进行平滑。在一种可选的MDIS方法中，仅针对最佳帧内预测模式测试过滤或未过滤参考像素的RD代价，可较快完成MDIS过程。
HEVC测试模型(HM)的现有设计可使用MDIS作为帧内平滑方案。在现有的MDIS滤波器中，会将当前像素附近的像素值的加权平均值计算为当前参考像素的值。通常情况下，平均权重会随着与邻区中心之间距离的增加而降低。例如，HM 3.1使用有两个相邻像素围绕在当前像素周围的3抽头滤波器。在这种情况下，当前参考像素与其相邻像素之间的距离可仅等于1，滤波系数可为[1 2 1]。尽管MDIS中使用的空间过滤方案有利于提高帧内预测的准确性，但该方案仍存在某些问题和/或局限。例如，该帧内平滑滤波器基于一个潜在假设，即图像通常在空间上缓慢变化，接近（或邻近）的像素可能有相似的值，因此将像素平均化较为合理，而且与破坏这些邻近像素的噪声值的关联性又小于与色值的关联性，因此可以将噪声平均化，而保留实际的色彩信息。然而，在视频帧的边缘或线条处，空间缓慢变化这一假设可能无法成立，这标志着邻近像素的色值会发生急剧变化。所述边缘或线条可能会因帧内平滑滤波而变得模糊，从而导致信息丢失。为了保留所述边缘或线条，在将平滑区像素平均化的同时，可用一个双边滤波器，基于参考像素与相邻像素的空间接近性以及其与相邻像素的光度相似性过滤参考像素。
双边滤波的基本思想是在图像范围内完成传统滤波器（如MDIS滤波器）在其图像域内进行的操作。例如，两个像素彼此接近，即占用邻近的空间位置，或者两个像素彼此相似，即有邻近的色（或光度）值。此处，接近性是指域的邻近，相似性是指范围的邻近。MDIS滤波是一种域滤波（或者距离滤波），其可通过基于随距离增加而减小的系数对像素值进行加权来增强接近性。同样地，范围滤波可基于随差异或不同而衰变的权重将像素平均化。这样，范围滤波可以保留图像的边缘或线条特性。组合范围滤波和域滤波，可形成双边滤波。尽管双边滤波可以克服MDIS滤波的一些局限，但其实际上可能难以在视频编解码器中实现。双边滤波器原始设计的计算过于复杂，可能使其无法应用于高效的编解码器。根据以引入的方式并入本文本中的、由C.Tomasi和R.Manduchi撰写并收入1998年1月4日至7日在印度孟买举行的第16届IEEE国际计算机视觉大会的文集中的《黑白和彩色图像的双边滤波》以及由V.Aurich和J.Weule撰写并收入1995年9月13日至15日在德国比勒费尔德举行的德国模式识别协会(DAGM)研讨会的文集中的《进行边缘保留扩散的非线性高斯滤波器》，可能需使用非线性高斯过滤等复杂的算法。由于双边滤波器原始设计中使用的算法非常复杂，所以需要进行浮点计算等复杂的操作，这导致原始双边滤波器无法成为进行HEVC编码的可行滤波方案。
此处公开了一种简化的双边帧内平滑滤波***和方法。所公开的双边滤波器可包括范围滤波器和域滤波器。这两个滤波器可依次应用于当前参考像素或用作一个统一的（或组合的）滤波器。所述范围滤波器可通过计算所述当前参考像素与其相邻参考像素之间的亮度差确定其系数，使其可基于邻近像素的相似性适时地调整范围滤波系数。另一方面，与MDIS中使用的现有帧内平滑滤波器相同或相似，所述域滤波器可基于所述当前参考像素与其相邻参考像素之间的距离（或接近性）将亮度平均化。结合所述范围滤波系数和域滤波系数，计算所述双边滤波器的系数，所述双边滤波器的系数可以是所述当前参考像素的值和其相邻参考像素的值的线性组合。计算所述当前参考像素的滤波值时，整数除法可被简化为整数移位、加法和/或减法运算，这可降低计算的复杂度。因此，与双边滤波器的原始设计相比，本发明中算法的计算复杂度更低。由于所公开的双边滤波器可在将视频帧或图像的平滑区域平均化的同时保留边缘和/或线条，因此，所公开的技术可有效进行帧内平滑并提高解码视频的主观质量。
图2为帧内预测方案200的实施例的示意图。所述帧内预测方案200可生成NxN的预测块210，以预测大小为NxN的当前块，其中N是大于零的整数。为便于说明，如图2所示，假设所述预测块210的大小为8x8。所述预测块210周围的像素先于所述预测块210生成，这些像素可用于生成所述预测块210。特别地，位于所述预测块210左边（及邻近）一列中的像素和位于所述预测块210上方（及邻近）一行中的像素可用作参考像素220，如图2中以交叉线所示的阴影部分。在实际使用中，NxN的预测块可以有高达4N+1个参考像素220。例如，如图2所示，所述8x8预测块210可以有高达33个参考像素。在一个实施例中，为了提高帧内预测的质量，可在生成所述预测块210之前，在任意数量的帧内预测模式（如图1中的帧内预测模式100）下使用所公开的双边滤波器对所述参考像素220进行帧内平滑。根据所述帧内预测模式和所述预测块210的大小，也可以不进行帧内平滑。尽管图2示出了一个方形预测块210，但应该理解的是，所公开的双边滤波器也可以用于生成非方形预测块，例如可用在短距离帧内预测(SDIP)方案中的非方形预测块。
在一个实施例中，为便于双边滤波，可在一维(1D)阵列或序列中存储和/或处理参考像素。所述1D序列可从所述预测块左边一列中最底部的像素开始，以线性方式通过所有参考像素，并在所述预测块上方一行中最后（即最右边）一个像素处结束。图3为参考像素序列300的实施例的示意图。对于NxN的预测块，所述序列300可包括高达4N+1个参考像素，其值从左到右依次为P(0)到P(4N)。可使用左像素320和右像素330等众多相邻像素过滤相应的参考像素，该参考像素可视为序列300中的当前像素310。所述当前像素、左像素和右像素的色值在此处分别表示为P(n)、P(n-1)和P(n+1)，其中n是1到4N之间（包括1和4N）的整数。在这种情况下，所述当前像素310与其相邻像素即所述左像素320和所述右像素330之间的距离均为1。图3仅示出用于过滤所述当前像素310的一个左像素320和一个右像素330，但双边滤波过程中可使用更多相邻像素（或邻区中的像素）。基于过滤所述当前像素310所涉及的相邻像素的数量，所述当前像素310与其相邻像素之间的距离可能大于1。使用时，窗口大小指过滤所述当前像素310所考虑的相邻像素的数量。如图3所示，所述窗口大小可以为2，或者更大。
如前文所述，可组合范围滤波器和域滤波器以形成双边滤波器。本发明一个实施例中，所述范围滤波器可以是复杂的原始范围滤波器的线性近似体。所述范围滤波器的系数与所述当前像素及其相邻像素的光度相似性相关联。另一方面，所述域滤波器也可以是应用在所述范围滤波器上方的滤波器。所述域滤波器的系数会因预定义的窗口大小及所述当前像素与相邻像素之间距离的不同而不同。
为便于说明，假设一个3抽头双边滤波器（窗口大小为2）使用一个左像素和一个右像素过滤当前像素。通常，所述双边过滤器的系数可从所述范围滤波器和所述域滤波器的系数中获取。假设所述范围滤波器的系数为[a,b,c]，所述域滤波器的系数为[x,y,z]，其中a、b、c、x、y、z为自然数。当统一（或组合）两个滤波器时，所述双边滤波器的最终系数为：
现在来看一个双边滤波器的实施案例。此处，所述当前像素与所述左像素之间的差异可表示为：
DL=|P(n)-P(n-1)|
所述当前像素与所述右像素之间的差异可表示为：
DR=|P(n)-P(n+1)|
在一个3抽头范围滤波器的实施例中，可将所述系数配置为：
其中，Max指像素的最大色值，该值由用于表示像素的位深度决定。例如，对于8位的色值，Max为255。此外，k是决定滤波程度的常量。使用时，基于k的值，所述范围滤波器可以是平滑或锐化滤波器。通常，当k的值相对较低（如1或2）时，所述范围滤波器为平滑滤波器；当k的值相对较高（如6）时，所述范围滤波器为锐化滤波器。
所述范围滤波系数中的被除数（或分子）可以是取决于相邻像素色差的权重。例如，假设所述参考像素位于视频帧中视频对象的锐边上。进一步地，假设所述左像素的值远小于所述当前像素，所述右像素与所述当前像素相似。在这种情况下，根据公式(2)，过滤时可将更多的权重赋予所述左像素，使所述锐边特性在进行帧内平滑时得以保留。再如，假设所述参考像素位于视频帧的平滑区内，且左像素、当前像素和右像素均有相同的色值。在这种情况下，根据公式(2)，在归一化后，所述范围滤波器将仅是一个[1 1 1]滤波器，该滤波器所有像素的权重均相同。此外，应该注意的是不可将所述公约数（或分母）3Max-k(DL+DR)配置为零。
在一个3抽头域滤波器的实施例中，所述当前像素与其相邻像素（如左像素和右像素）之间的距离可仅等于1。此时，可使用线性系数为[1 2 1]的平滑滤波器。事实上，该平滑滤波器与HEVC HM（如HM 3.1）的当前设计中使用的一些MDIS滤波器相同或相似。在这种情况下，可按照公式(1)中描述的推导组合所述范围滤波器和所述域滤波器。归一化后，所述双边滤波器的最终系数为：
相应地，当将所述双边滤波器应用于当前像素时，所述当前像素的滤波值为：
因此，一旦计算出所述双边滤波器的系数，则可得出所述滤波值为像素值的线性组合。使用时，应该注意的是不可将所述公约数4Max-k(DL+DR)配置为零。如等式(4)所示，计算滤波像素值F(n)时，会涉及多个除法、乘法、加法和/或减法运算。最大像素值以及各像素之间的差异是正数，因此对F(n)的计算可简化为以下除法运算：
其中，F(n)的被除数（或分子）和除数（或分母）可分别表示为：
被除数=(Max-k*DL)*P(n-1)+2Max*P(n)+(Max-k*DR)*P(n+1)（6）
除数=4Max-k(DL+DR)（7）
如等式(5)所示，对F(n)的计算仍涉及除法运算，其复杂性要比位移等其他运算高。既然F(n)内的所有变量都是整数，上述除法运算也是整数除法运算，并可进一步简化。在一个实施例中，将舍入因子加入所述被除数。所述舍入因子是等式(7)中除数的一半。加入所述舍入因子后，等式(6)中的被除数变为：
在二进制位***中，2的幂运算的乘法或除法可转换成移位运算（如，逐位运算）。例如，乘以2时，可通过将二进制数向左移动一位（表示为<<1）来实现，除以2时，可通过将二进制数向右移动一位（表示为>>1）来实现。相应地，等式(8)中的被除数和等式(7)中的除数可进一步简化为：
被除数＝（Max-k*DL)*P(n-1)+(Max*P(n))<<1+
(Max-k*DR)*P(n+1)+Max<<1-(k(DL+DR))>>1 (9)
除数=Max<<2-k(DL+DR) （10）
如前所述，常量k可确定随应用场合变化的滤波程度。在一个实施例中，当k=1时，等式(9)中的被除数和等式(10)中的除数可分别简化为：
被除数＝（Max-DL)*P(n-1)+(Max*P(n))<<1+
(Max-DR)*P(n+1)+Max<<1-(DL+DR)>>1 (11)
除数=Max<<2-(DL+DR) （12）
同样地，在一个实施例中，当k=2时，等式(9)中的被除数和等式(10)中的除数可分别简化为：
被除数＝(Max-(DL<<1))*P(n-1)+(Max*P(n))<<1+
(Max-(DR<<1))*P(n+1)+Max<<1-(DL+DR) (13)
除数=Max<<2-(DL+DR)<<1 （14）
此外，上述被除数和除数的整数除法运算也可简化为移位、加法和/或减法运算。如表1所示，简化所述整数除法运算的算法实施例以伪码的方式呈现。
表1：一种简化整数除法运算的算法
如表1所示，所述算法可用C或C++语言等编程软件实现。在一个实施例中，所述算法的输入可以为被除数（如等式6中计算的）和除数（如等式7中计算的），所述算法的输出可以为所述当前像素的滤波值。为了消除除法运算，可通过所述被除数与所述除数之间的迭代比较生成商。例如，在一次迭代中，如果所述被除数大于所述除数，其商（初始设定为零）将增加1，并从所述被除数中减去所述除数。下一次迭代中，再次比较所述减小的被除数和所述除数，如果所述被除数仍大于所述除数，其商将再次增加1。继续进行迭代，直到迭代减小的被除数小于所述除数。然后，所述递增的商可作为所述当前像素的滤波值。不管值是多少，所述除法的余数都可忽略不计。
如果使用合适的算法（如表1中的算法），对所述当前像素的滤波值（即F(n)）的计算可仅包括移位、乘法、加法和/或减法等整数运算，这可相对较低上述计算的复杂性。在一个实施例中，可基于通过硬件、软件、固件或它们的组合来实现的算法确定F(n)。例如，所述算法可在编解码器中实现。
图4为一种简化的双边滤波方法400的实施例的流程图，该方法可用于过滤预测块的参考像素。所述方法400可基于当前像素与相邻像素的光度相似性及其与相邻像素之间的空间距离过滤所述当前像素。所述方法400从步骤410开始。步骤410：获取预定义的窗口大小内所述当前像素与其相邻像素的色值。例如，对于一个窗口大小为2的3抽头双边滤波器，可获取所述当前像素、一个左像素和一个右像素的值。窗口越大，需要获取的像素值越多。步骤420：计算所述当前像素与其相邻像素之间的色差。在一个3抽头双边滤波器的实施例中，可计算所述当前像素与一个左像素（即DL）和一个右像素（即DR）之间的差异。窗口越大，则需要计算所述当前像素与越多相邻像素之间的差异。所述差异从零到最大值不等，具体由用于表示像素颜色的位深度决定。
步骤430：配置范围滤波器和域滤波器（或距离滤波器），两者组成双边滤波器。所述范围滤波器可基于计算出的所述当前像素与其相邻像素之间的差异。在一个3抽头范围滤波器的实施例中，所述范围滤波系数如公式(2)所示。此外，所述域滤波器可基于所述当前像素与其相邻像素之间的空间距离。在一个3抽头域滤波器的实施例中，所述域滤波系数可以是[1 2 1]。在这种情况下，所述当前像素与所述左像素之间及与所述右像素之间的距离均仅等于1。应该注意的是，如果窗口增大，所述当前像素与其相邻像素之间的距离会大于1。所述域滤波器中相邻像素的平均权重会随其与所述当前像素之间距离的增加而降低。配置了所述范围滤波系数和域滤波系数后，所公开的双边滤波器可同时对参考像素的光度相似性和空间接近性进行解释。组合将所述范围滤波系数和域滤波系数，可形成双边滤波系数。在一个实施例中，所述双边滤波系数如公式(3)所示。
步骤440：将所述双边滤波器用于所述当前像素，以调整所述当前像素的颜色。使用时，所述双边滤波器可用作两个单独的滤波器，其中，所述域滤波器在所述范围滤波器之后使用。可选地，所述双边滤波器还可用作一个统一的（或组合的）滤波器。基于所述双边滤波系数，可生成所述当前像素需要的滤波值（即F(n)），如带有除数和被除数的等式(5)所示。由于F(n)的计算中所有变量都是整数，所以所述除法运算可转换成整数移位、加法和/或减法运算，这可降低计算的复杂度。最后，F(n)中具有如等式(9)所示的被除数和如等式(10)所示的除数。在给定k的值的情况下，F(n)的计算可进一步简化。在实际应用中，还可采用其他多种算法计算F(n)。例如，采用表1所示的算法计算F(n)。将颜色值调整到需要的过滤值后，可使用所述当前像素对其他参考像素进行帧内平滑和/或生成预测块中的预测像素。
使用时，对一实施例中公开的一种简化的双边滤波器进行检测，并将其与HEVC HM比较对象中使用的当前MDIS滤波器进行比较。为了评估所述简化的双边滤波器的性能，将使用所公开的帧内平滑方案的模拟应用于熵编码，测试帧内高性能(HE)和帧内低复杂度(LC)配置。测试结果包括色彩空间的三个分量（Y、U、V）在多级分辨率（A、B、C、D、E级）下的RD代价的平均百分比，以及加密(Enc)和解密(Dec)倍数。所述模拟中，在三种不同的场景下，将使用所公开的帧内平滑方案的帧内预测的RD代价与HM 3.1比较对象中使用的帧内预测进行比较，其测试结果分别如表2-4所示。
表2示出使用所公开的双边滤波器的帧内预测与HM 3.1比较对象在HM 3.1比较对象中的MDIS滤波器关闭时使用的帧内预测之间的比较测试结果。可见，所述测试用例中对参考像素使用双边滤波进行了帧内平滑，而所述HM 3.1比较对象（或控制用例）中没有对参考像素进行帧内平滑。结果表明对于所有分量Y、U和V，所述测试用例的平均RD代价都有所降低。例如，在全帧内HE配置中，所述Y-亮度分量在所有级别分辨率下的平均RD代价均降低了约0.21％。RD代价的降低表明需要具有相同视频失真量的更低比特率，这标志着视频编码质量的提高。然而，与MDIS滤波器关闭时的HM 3.1比较对象相比，对于全帧内HE配置（大约增加3%）和全帧内LC配置（大约增加3%至5%），所述测试用例的Enc和Dec倍数均有少量增加。
表3示出使用所公开的双边滤波器的帧内预测与HM 3.1比较对象在HM 3.1比较对象中的MDIS滤波器打开时使用的帧内预测之间的比较测试结果。可见，在所述测试用例和所述HM 3.1比较对象（或控制用例）中都进行了帧内平滑。结果表明对于所有分量Y、U和V，所述测试用例的平均RD代价都有小幅降低。例如，在全帧内HE配置中，所述Y-亮度分量在所有级别分辨率下的平均RD代价均降低了约0.06％。RD代价的小幅降低表明需要具有相同视频失真量的稍低比特率，这也标志着视频编码质量的提高。然而，与MDIS滤波器打开时的HM3.1比较对象相比，对于全帧内HE配置（大约增加2%）和全帧内LC配置（大约增加1%至2%），所述测试用例的Enc和Dec倍数均有少量增加。
如前所述，所公开的帧内平滑方案的优势之一在于保留了视频帧的强边缘或线条。因此，为了评估所公开的帧内平滑方案在具有强边缘或线条的视频序列方面的性能，用一个“BasketballDrill”序列对所公开的帧内平滑方案和所述HM3.1比较对象（打开MDIS滤波器）进行比较，其中，所述序列是标准的C级测试序列。如表4所示，测试结果表明对于所有分量Y、U和V，所述测试用例的平均RD代价都有大幅降低。例如，在全帧内HE配置中，Y-亮度分量在所有级别分辨率下的平均RD代价均降低了约0.4%，在全帧内LC配置中均降低了约0.6%。RD代价的降低表明需要具有相同视频失真量的更低比特率，这还标志着视频编码质量的提高。
应该注意的是，表4所示的“BasketballDrill”序列（C级）的测试结果与表3所示的C级测试结果不同。这是因为表3中测试的C级视频包含四个不同的视频序列，其中包括所述“BasketballDrill”序列和其他三个序列。因此，表3所示的RD性能是四个视频序列的平均值。实际上，表3和表4中C级视频的RD性能差异可证实所公开的双边帧内平滑滤波器尤其适用于包含强边缘或线条的视频序列。
表2：所公开的帧内平滑方案的RD性能与MDIS滤波器关闭时的HM 3.1比较对象之间的比较
表3：所公开的帧内平滑方案的RD性能与MDIS滤波器打开时的HM 3.1比较对象之间的比较
表4：所公开的帧内平滑方案的RD性能与MDIS滤波器打开时的HM 3.1比较对象针对“BasketballDrill”序列的比较
表2-4中的模拟结果表明与所述HM 3.1比较对象相比，在一实施例中，使用所公开的双边滤波器的RD代价有所下降。对于“BasketballDrill”等包含强边缘或线条的视频序列，RD代价的降低更为显著。更多有关上述模拟测试的详细信息，请参阅李贵春、刘凌志、Nam Ling、郑建铧和Philipp Zhang在ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11视频编码联合协作小组(JCT-VC)第六次会议上所作的题为《一种简化的双边帧内平滑滤波器》的报告。该会议于2011年7月14日至22日在意大利托里诺举行。报告的编号为Doc.JCTVC-F528，其内容以引入的方式并入本文本中。总体而言，所述简化的双边滤波方案可带来编码增益。进一步地，所公开的双边滤波保留了边缘或线条，有助于避免信息丢失，从而提高解码视频的主观质量。
图5示出网络单元500的实施例，包括处理器或视频/图像编解码器，用于在网络或***中对图像进行处理及对块进行预测，如上文所述。例如，所述网络单元500对应与图像发送器和/或接收器上的媒体控制器。所述网络单元500包括多个入口510和/或接收单元512、逻辑单元或处理器520和多个出口530和/或发送单元532，其中多个入口510和/或接收单元512用于接收其他编解码器的数据，逻辑单元或处理器520用于处理图像并确定将数据发送到哪些编解码器，多个出口530和/或发送单元532用于发送数据到其他编解码器。所述逻辑单元或处理器520可用于实施本文描述的任何一个方案，如所述简化的双边滤波方法400等，而且，所述逻辑单元或处理器520可用硬件、软件或两者的组合来实现。
上述方案可在任意通用网络组件上实现，例如，有足够处理能力、存储资源和网络吞吐能力来处理其上必需的工作量的计算机或网络组件。图6示出一个典型的通用网络组件或计算机***600，其适用于实现本文所公开的方法的一个或多个实施例，如所述简化的双边滤波方法400。所述通用网络组件或计算机***600包括与存储设备进行通信的处理器602（可称为中央处理单元或CPU），所述存储设备包括辅助存储器604、只读存储器(ROM)606、随机存取存储器(RAM)608、输入/输出(I/O)设备610和网络连接设备612。尽管描述为单独的处理器，但所述处理器602并不限于此，其可包括多个处理器。所述处理器602可由一个或多个CPU芯片、磁心（例如，多核处理器）、现场可编程门阵列(FPGAs)，专用集成电路(ASICs)和/或数字信号处理器(DSPs)来实现，和/或是一个或多个ASIC的一部分。可将如图3所示的参考像素序列加载到所述RAM 606等存储器中。所述处理器602可用于实施本文描述的包括所述简化的双边滤波方法400在内的任一方案，并可用硬件、软件或两者的组合来实现。
所述辅助存储器604通常由一个或多个磁盘驱动器或磁带驱动器组成，用于永久存储数据。如果RAM 608无法容纳所有工作数据，所述辅助存储器604可用作溢流数据存储设备。所述辅助存储器604可用于存储加载到RAM 608中并被选中执行的程序。所述ROM 606用于存储指令和/或在程序执行过程中读取的数据。ROM 606是一种非易失性存储设备，相对于辅助存储器604的较大存储容量而言，其存储容量通常较小。所述RAM 608用于存储易失性数据和/或指令。对ROM 606和RAM 608的访问通常比对辅助存储器604的访问快速。
本发明至少公开了一个实施例，本领域普通技术人员对本发明实施例和/或本发明实施例的特征所作的变动、合并和/或修改都应涵盖在本发明范围之内。因合并、整合和/或删略本发明实施的特征而产生的替代实施例也应涵盖在本发明范围之内。应当理解的是，本发明中已详细阐明了数值范围或限值，此类详述的范围或限值应包括涵盖在上述范围或限值范围（如从大约1至大约10的范围包括2、3、4等，大于0.10的范围包括0.11、0.12、0.13等）内的类似数量级的重复范围或限值。例如，每当公开一数值范围，其下限值为Rl，上限值为Ru，则表示具体公开了该数值范围内的任意数值，尤其是具体公开了该数值范围内的以下数值：R=Rl+k*(Ru-Rl)，其中，k是1%至100%之间、每次增量为1%的变量，即k为1%、2%、3%、4%、7%、……、70%、71%、72%、……、97%、96%、97%、98%、99%、或100%；此外，还具体公开了根据上述定义的两个R数值而定义的任何数值范围。除非另行说明，否则术语“大约”表示其后数值±10%的范围。权利要求中任何要素涉及到的术语“可选地”表示该要素是必需的，或者表示该要素不是必需的，这两种情况均应涵盖在该权利要求范围内。上位概念词如“包含”、“包括”、“具有”等均应理解为支持下位概念词如“由……组成”、“基本上由……组成”、“大体上由……组成”等。相应地，本发明的保护范围不应仅限于上文的描述说明，也不应仅限于下文权利要求所限定的范围，还应包括下述权利要求中要求保护客体的所有等同物。进一步，下述各权利要求和上述说明书均结合在本发明申请中，且下述权利要求是本发明的具体体现。对本发明中引用的讨论不表示认可该引用是现有技术，尤其是公开日期在本申请优先权日期之后的任何引用。本发明中引用的所有公开专利、专利申请和出版物均以引入的方式并入本文本中，为本发明提供示例性、程序性、或其他细节性补充说明。
虽然本发明提供了多个具体实施例，但应当理解，所公开的***和方法也可通过其他多种具体形式体现，而不会脱离本发明的精神或范围。本申请中的示例可视为说明性示例而非限制性示例，而且本发明并不限于此处描述的详细内容，例如，另一***可能合并或融合各种要素或组件，或者删略或不实现某些特征。
此外，各种实施例中分离或单独描述或说明的技术、***、子***、方法还可与其他***、模块、技术或方法进行合并或融合，而不会脱离本发明的范围。所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电的，机械的或其它的形式。其他变更、替换、更替示例对本领域技术人员而言是显而易见的，均不脱离此处公开的精神和范围。

Claims (16)

1.一种用于帧内预测的滤波方法，其特征在于，包括：
接收多个参考像素，所述多个参考像素包括当前像素和所述当前像素的相邻参考像素；
基于所述当前像素与所述相邻参考像素之间的差异，计算出三个滤波系数；
结合所述滤波系数、所述参考像素和所述相邻参考像素生成滤波值，所述滤波值用于帧内预测，
其中，所述滤波系数为：
&lsqb; ( M a x - k * D L ) 4 M a x - k ( D L + D R ) 2 M a x 4 M a x - k ( D L + D R ) M a x - k * D R 4 M a x - k ( D L + D R ) &rsqb; ,
Max表示所述多个参考像素的最大值，k表示滤波程度，DL表示所述当前像素和左像素之间的第一差异，DR表示所述当前像素和右像素之间的第二差异，所述左像素与所述当前像素左相邻，所述左像素与所述当前像素距离为1，所述右像素与所述当前像素右相邻，所述右像素与所述当前像素距离为1。
2.如权利要求1所述的方法，其特征在于，所述当前像素与所述相邻参考像素之间的差异，进一步包括：所述当前像素与所述相邻参考像素之间的距离。
3.如权利要求2所述的方法，其特征在于，所述滤波值是所述当前像素和所述相邻参考像素的线性组合。
4.如权利要求1所述的方法，其特征在于，k＝2。
5.如权利要求2所述的方法，其特征在于，所述滤波值由单独的整数除法计算得出。
6.如权利要求1所述的方法，其特征在于，还包括：
基于所述多个参考像素中第二参考像素与第二相邻参考像素之间的差异，计算出多个第二滤波系数；
结合所述多个第二滤波系数、所述第二参考像素和所述第二相邻参考像素生成第二滤波值，所述第二滤波值用于帧内预测。
7.一种用于帧内预测的滤波装置，其特征在于，包括：
处理器，用于：
接收多个参考像素，所述多个参考像素包括当前像素和所述当前像素的相邻参考像素；
基于所述当前像素与所述相邻参考像素之间的差异，计算出三个滤波系数；
结合所述滤波系数、所述参考像素和所述相邻参考像素生成滤波值，所述滤波值用于帧内预测，
其中，所述滤波系数为：
&lsqb; ( M a x - k * D L ) 4 M a x - k ( D L + D R ) 2 M a x 4 M a x - k ( D L + D R ) M a x - k * D R 4 M a x - k ( D L + D R ) &rsqb; ,
Max表示所述多个参考像素的最大值，k表示滤波程度，DL表示所述当前像素和左像素之间的第一差异，DR表示所述当前像素和右像素之间的第二差异，所述左像素与所述当前像素左相邻，所述左像素与所述当前像素距离为1，所述右像素与所述当前像素右相邻，所述右像素与所述当前像素距离为1。
8.如权利要求7所述的装置，其特征在于，所述当前像素与所述相邻参考像素之间的差异，进一步包括：所述当前像素与所述多个相邻参考像素之间的距离。
9.如权利要求8所述的装置，其特征在于，所述滤波值是所述当前像素和所述相邻参考像素的线性组合。
10.如权利要求7所述的装置，其特征在于，k＝2。
11.如权利要求8所述的装置，其特征在于，所述滤波值由单独的整数除法计算得出。
12.如权利要求7所述的装置，其特征在于，所述处理器还用于：
基于所述多个参考像素中第二参考像素与第二相邻参考像素之间的差异，计算出多个第二滤波系数；
结合所述多个第二滤波系数、所述第二参考像素和所述第二相邻参考像素生成第二滤波值，所述第二滤波值用于帧内预测。
13.一种用于帧内预测的滤波装置，其特征在于，包括：
至少一个处理器，用于：
接收多个参考像素，所述多个参考像素包括当前像素和所述当前像素的相邻像素；
基于以下信息计算出多个双边滤波系数：
包括多个范围滤波系数的范围滤波器，其中，至少一个范围滤波系数基于所述当前像素和至少一个相邻像素之间的差异，和
包括多个域滤波系数的域滤波器，其中，至少一个域滤波系数基于所述当前像素和至少一个相邻像素之间的距离；
结合所述双边滤波系数、所述当前像素和所述相邻像素生成滤波值，所述滤波值用于帧内预测，
其中，所述范围滤波系数为：
&lsqb; ( M a x - k * D L ) 4 M a x - k ( D L + D R ) 2 M a x 4 M a x - k ( D L + D R ) M a x - k * D R 4 M a x - k ( D L + D R ) &rsqb; ,
Max表示所述多个参考像素的最大值，k表示滤波程度，DL表示所述当前像素和左像素之间的第一差异，DR表示所述当前像素和右像素之间的第二差异，所述左像素与所述当前像素左相邻，所述左像素与所述当前像素距离为1，所述右像素与所述当前像素右相邻，所述右像素与所述当前像素距离为1。
14.如权利要求13所述的装置，其特征在于，所述滤波值是所述当前像素和所述多个相邻像素的线性组合。
15.如权利要求13所述的装置，其特征在于，所述域滤波器是一个包括三个域滤波系数[1 2 1]的3抽头滤波器。
16.如权利要求15所述的装置，其特征在于，k＝2。
CN201280032347.3A 2011-06-30 2012-07-02 一种简化的双边帧内平滑滤波器 Active CN104041051B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161503415P 2011-06-30 2011-06-30
US61/503,415 2011-06-30
US13/495,899 US9179148B2 (en) 2011-06-30 2012-06-13 Simplified bilateral intra smoothing filter
US13/495,899 2012-06-13
PCT/CN2012/078022 WO2013000435A1 (en) 2011-06-30 2012-07-02 Simplified bilateral intra smoothing filter

Publications (2)

Publication Number Publication Date
CN104041051A CN104041051A (zh) 2014-09-10
CN104041051B true CN104041051B (zh) 2017-05-24

Family

ID=47390663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032347.3A Active CN104041051B (zh) 2011-06-30 2012-07-02 一种简化的双边帧内平滑滤波器

Country Status (3)

Country Link
US (1) US9179148B2 (zh)
CN (1) CN104041051B (zh)
WO (1) WO2013000435A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516225B (en) * 2013-07-12 2015-12-09 Canon Kk Method, device, and computer program for block filtering in a video encoder and decoder
US8983223B2 (en) 2013-07-23 2015-03-17 Nvidia Corporation Low-complexity bilateral filter (BF) implementation in a data processing device
WO2015134360A1 (en) 2014-03-03 2015-09-11 Sony Corporation Strong intra smoothing for in rext
CN108293117A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 基于像素梯度的后处理帧内或帧间预测块的方法和装置
KR102345475B1 (ko) * 2016-01-05 2022-01-03 한국전자통신연구원 잔차 신호에 대한 예측 방법 및 장치
US10121231B2 (en) * 2016-02-01 2018-11-06 Texas Instruments Incorporated Adaptive bilateral (BL) filtering for computer vision
WO2017142301A1 (ko) 2016-02-16 2017-08-24 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
JP2019508944A (ja) * 2016-02-16 2019-03-28 サムスン エレクトロニクス カンパニー リミテッド イントラ予測誤差低減のためのイントラ予測方法及びその装置
JP2018074491A (ja) * 2016-11-02 2018-05-10 富士通株式会社 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10887622B2 (en) * 2017-07-05 2021-01-05 Qualcomm Incorporated Division-free bilateral filter
US20190089952A1 (en) * 2017-09-19 2019-03-21 Futurewei Technologies, Inc. Bidirectional Weighted Intra Prediction
EP3695598A1 (en) * 2017-10-11 2020-08-19 Fraunhofer Gesellschaft zur Förderung der Angewand Onedimensional bilateral filtering of intra prediction reference pixels
CN111386703B (zh) * 2017-12-01 2022-06-03 索尼公司 编码装置、编码方法、解码装置和解码方法
US10834396B2 (en) * 2018-04-12 2020-11-10 Qualcomm Incorporated Bilateral filter for predicted video data
AU2019292266B2 (en) 2018-06-25 2023-02-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intra-frame prediction method and device
TWI818064B (zh) 2018-08-21 2023-10-11 大陸商北京字節跳動網絡技術有限公司 用於在雙邊濾波器中的加權參數推導的量化差
WO2020043710A1 (en) * 2018-08-27 2020-03-05 Telefonaktiebolaget Lm Ericsson (Publ) Filtering of image data
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
US11445216B2 (en) * 2018-09-14 2022-09-13 Lg Electronics Inc. Image prediction method and apparatus for performing intra prediction
EP3949424A4 (en) * 2019-04-25 2022-12-21 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING OR DECODING WITH MODE-DEPENDENT INTRA SMOOTHING FILTER IN INTRA PREDICTION
GB2623072A (en) * 2022-09-30 2024-04-10 Imagination Tech Ltd Adaptive sharpening for blocks of upsampled pixels

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212561A (zh) * 2006-12-31 2008-07-02 华晶科技股份有限公司 去除图像噪声的方法
CN101706954A (zh) * 2009-11-13 2010-05-12 北京中星微电子有限公司 图像增强方法和装置以及图像低频分量计算方法和装置
CN101909141A (zh) * 2009-06-03 2010-12-08 晨星软件研发(深圳)有限公司 电视影像调整方法与装置
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212561A (zh) * 2006-12-31 2008-07-02 华晶科技股份有限公司 去除图像噪声的方法
CN101909141A (zh) * 2009-06-03 2010-12-08 晨星软件研发(深圳)有限公司 电视影像调整方法与装置
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
CN101706954A (zh) * 2009-11-13 2010-05-12 北京中星微电子有限公司 图像增强方法和装置以及图像低频分量计算方法和装置

Also Published As

Publication number Publication date
CN104041051A (zh) 2014-09-10
US9179148B2 (en) 2015-11-03
US20130003832A1 (en) 2013-01-03
WO2013000435A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
CN104041051B (zh) 一种简化的双边帧内平滑滤波器
CN104380741B (zh) 用于lm帧内预测的参考像素缩减
CN104718759B (zh) Lm模式的简化
CN104255033B (zh) 用于lm模式计算的简化查找表
CN104205845B (zh) 具有统一位宽乘法器的lm模式
CN107852513A (zh) 对输入视频序列的像素进行编码
AU2019390215B2 (en) Method of intra predicting a block of a picture
KR102598789B1 (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
US11589055B2 (en) Method and apparatus of mode- and size-dependent block-level restrictions for position dependent prediction combination
AU2019401170B2 (en) Method and apparatus of mode- and size-dependent block-level restrictions
CN116193132A (zh) 色度块的预测方法和装置
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
CN110740319B (zh) 视频编解码方法、装置、电子设备及存储介质
CN111800629A (zh) 视频解码方法、编码方法以及视频解码器和编码器
US20240048756A1 (en) Switchable Dense Motion Vector Field Interpolation
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
EP3843399B1 (en) Video image component prediction method and apparatus, and computer storage medium
US20230239500A1 (en) Intra Prediction Method and Apparatus
CN110868590B (zh) 图像划分方法及装置
Al-Jammas et al. FPGA implementation of intra frame for H. 264/AVC based DC mode
CN118264812A (zh) 图像划分方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant