CN107040778A - 环路滤波方法以及环路滤波装置 - Google Patents

环路滤波方法以及环路滤波装置 Download PDF

Info

Publication number
CN107040778A
CN107040778A CN201610162343.7A CN201610162343A CN107040778A CN 107040778 A CN107040778 A CN 107040778A CN 201610162343 A CN201610162343 A CN 201610162343A CN 107040778 A CN107040778 A CN 107040778A
Authority
CN
China
Prior art keywords
sample value
image unit
pixel
loop filtering
sao
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610162343.7A
Other languages
English (en)
Inventor
赵屏
林惠敏
王智鸣
张永昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/015,552 external-priority patent/US20160241881A1/en
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107040778A publication Critical patent/CN107040778A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种环路滤波处理的装置或方法。根据一个或多个样值偏移补偿参数，对当前影像单元中经去块滤波处理过的像素进行样值偏移补偿处理。当前影像单元的样值偏移补偿参数边界内的全部或部分像素共享同样的样值偏移补偿参数。当前影像单元的垂直样值偏移补偿参数边界由当前影像单元的垂直边向左位移xs行，且当前影像单元的水平样值偏移补偿参数边界由当前影像单元的水平边向上位移ys行。为了降低行缓冲器需求，xs大于m，m为去块滤波在水平边线各侧修正的像素数量，且ys大于或等于0。本发明所提出的环路滤波方法以及环路滤波装置，可提升硬件效率。

Description

环路滤波方法以及环路滤波装置
技术领域
本发明是有关于视频编码***，特别是有关于，对于结合样值偏移补偿(Sample Adaptive Offset，缩写SAO)以及样本滤波补偿(Adaptive Loop Filter，缩写ALF)虚拟边界(virtual boundary)的视频编码***，本发明关于降低样值偏移补偿(SAO)以及样本滤波补偿(ALF)的行缓冲器(line buffers)。
背景技术
运动估计(motion estimation)是一种有效的帧间编码(Inter-frame coding)技术，用以利用视频序列中的时间冗余信息(temporal redundancy)。已运动补偿(motioncompensation)的帧间编码(Inter-frame coding)已广泛应用在各种国际视频编码标准。应用在各种编码标准的运动估计常是以区块(block)为基础的，使用的运动信息(motion information)(如，编码模式(coding mode)以及运动向量(motion vector))对应每一宏块(macroblock)或类似区块结构。此外，帧内编码(Intra-coding)也被自适应地应用(adaptively applied)，其中图片的处理不参考其他图片。帧间预测或帧内预测残差(Inter-predicted or Intra-predicted residues)通常进一步进行转换(transformation)、量化(quantization)以及熵编码(entropy coding)，以产生压缩的视频比特流。在编码过程中(特别是在量化程序中)，编码损伤(coding artifacts)发生。为了降低编码损伤，较新的编码***需在重建的视频上进行额外的处理，以提升图片质量。额外的处理常设计成环路内操作(in-loop operation)，以使得编码器和解码器可导出同样的参考图片，提升***效能。
图1A描述了包括环路内处理的自适应帧间/帧内视频编码***的示意图。对于帧间预测(Inter prediction)而言，运动估计(Motion Estimation，缩写ME)/运动补偿(Motion Compensation，缩写MC)112用于基于其他单一画面或多个画面的视频数据，提供预测数据。切换器114选择帧内预测(Intra Prediction)110或帧间预测数据，且选定的预测数据供应至加法器116而形成预测误差(predictionerror)，又称残差(residues)。预测误差再由转换器(Transformation，缩写T)118以及其后的量化器(Quantization，缩写Q)120处理。转换以及量化后的残差再由熵编码器(Entropy Encoder)122编码，以形成对应压缩的视频数据的视频比特流。转换系数(transform coefficients)相关的比特流再填入辅助信息(sideinformation)(如，动作(motion)、模式(mode)、或其他与影像区域相关的信息)。辅助信息也可用于熵编码，以减少带宽需求。因此，辅助信息相关的数据可如图1A所示供应给熵编码器122。使用帧间预测模式时，单一参考图片或多个参考图片也必须于编码器端重建。因此，转换以及量化后的残差交由反量化器(Inverse Quantization，缩写IQ)124以及反转换器(Inverse Transformation，缩写IT)126处理，使残差复原(recover)。复原后的残差可在重建器(Reconstruction，缩写REC)128处加回预测数据136，以重建视频数据(reconstruct video data)。重建的视频数据可存入参考图片缓冲器(Refernce Picture Biffer)134、且用于预测其他帧。
如图1A所示，接收的视频数据在编码***内经一连串的处理。来自重建器128的重建视频数据可能因一连串的处理有多种损坏(impairment)。因此，重建的视频数据在存入参考图片缓冲器134之前，更被施以多种环路内处理，提升视频质量。在高效视频编码(High Efficiency Video Coding，缩写HEVC)标准的发展中，已发展去块滤波器(Deblocking Filter，缩写DF)130、样值偏移补偿(SampleAdaptive Offset，缩写SAO)131、以及样本滤波补偿(Adaptive Loop Filter，缩写ALF)132来提升图片质量。环路内滤波器信息(in-loop filter information)可能需并入比特流中，使得解码器可适当地复原所需信息。因此，出自样值偏移补偿(SAO)以及样本滤波补偿(ALF)的环路内滤波器信息将供应给熵编码器122，以包含于比特流中。图1A中，去块滤波器130首先施用于重建视频(reconstructed video)，样值偏移补偿(SAO)131再施用于去块滤波(DF)处理后的视频，样本滤波补偿(ALF)132再施用于样值偏移补偿(SAO)处理后的视频。然而，去块滤波器(DF)、样值偏移补偿(SAO)、以及样本滤波补偿(ALF)的顺序可调。图1A所示***可对应高效视频编码(HEVC)***(样本滤波补偿(ALF)除外)、或视频编码标准AVS2(此由中国团队发展的视频与音频编码标准)。高效视频编码(HEVC)发展中已评估过样本滤波补偿(ALF)，但样本滤波补偿(ALF)在目前高效视频编码(HEVC)尚未被采用。
图1B为***方块图，其对应包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)的视频解码器。由于编码器可包括用于视频数据重构的本地解码器(local decoder)，因此部分解码器组件(除了熵解码器142)已经使用在编码器中。此外，解码器端尚需求运动补偿144。切换器146选择帧间预测或帧内预测，且选定的预测数据用于重建器(REC)128，以与复原的残差结合。除了对压缩视频数据执行熵解码，熵解码器142也负责辅助信息的熵解码，为对应区块提供辅助信息。例如，帧内模式信息供应至帧内预测缓冲器111、帧间模式信息供应至运动补偿144、自适应偏移信息(adaptive offset information)供应至样值偏移补偿(SAO)131、样本滤波补偿信息供应至样本滤波补偿(ALF)132、且残差供应至反量化器(IQ)124。残差经反量化(IQ)124、反转换(IT)126以及随后的的重建程序处理，重建出视频数据。再一次地，重建器(REC)128提供的重建视频数据是经过如图1B所示的包括反量化(IQ)124、反转换(IT)126的一连串处理后，存在强度偏移(intensity shift)。重建视频数据进一步由去块(DF)130、样值偏移补偿(SAO)131、以及样本滤波补偿(ALF)132处理。
高效视频编码(HEVC)的编码程序是根据最大编码单元(Logic Coding Unit，缩写LCU，又称编码树单元(Coding Tree Unit，缩写CTU))施行。最大编码单元利用四分树(quadtree)自适应地分割成(adaptively partitioned)多个编码单元。高效视频编码(HEVC)中，去块滤波(DF)作用在8x8区块范围。对每个8x8区块，跨垂直区块边界的水平滤波首先施行，接着施行跨水平区块边界的垂直滤波。图2A举例说明高效视频编码(HEVC)亮度(luma)组分的去块滤波(DF)处理。区块边界210两侧各需考虑4个边界像素。边界可对应垂直边界或水平边界。边界像素标号为q0、q1、q2与q3以及p0、p1、p2与p3。q0与p0两个像素紧邻该边界。亮度区块边界的处理过程中，各侧的四个像素用于滤波参数推导，且各侧多达3个像素(即，p0、p1、p2或q0、q1、q2)可经滤波修正。关于跨垂直区块边界的水平滤波，未滤波的重建像素用于滤波器参数推导，且也用作滤波的原始像素。关于跨水平区块边界的垂直滤波，去块滤波(DF)处理过的中间的像素(即，水平滤波后的像素)用于滤波器参数推导，且也用作滤波的原始像素。高效视频编码(HEVC)色度(chroma)组分的去块滤波(DF)处理中，区块边界各侧使用到两个边界像素，且各侧仅一像素(即，p0或q0)被修正。
图2B描述了视频编码标准AVS2亮度组分(luma component)的去块滤波(DF)处理，其中涉及区块边界220各侧三个边界像素。边界像素标号为q0、q1、q2以及p0、p1与p2，两个像素q0与p0紧邻该边界。至于色度区块边界的去块滤波(DF)处理，各侧的两个像素用于滤波器参数推导。对应视频编码标准AVS2，去块滤波(DF)处理可修正涉及的所有边界像素。换句话说，区块边界各侧的三个亮度像素以及两个色度像素可被调整。
根据高效视频编码(HEVC)以及视频编码标准AVS2所作的样值偏移补偿(SAO)类型如图3所示，有四种样值偏移补偿(SAO)类型对应0度、90度、135度以及45度四种指向。样值偏移补偿(SAO)对每个像素作环路内滤波(per-pixelin-loop filtering)。样值偏移补偿(SAO)参数对应于各最大编码单元(LCU)或编码树单元(CTU)作更新。对应样值偏移补偿(SAO)的指向类型，首先实施像素分类，如根据表格1的分类状况，将像素归类为多个组(groups，又称为种类(categories)或等级(classes))。分类后，每个重建并去块滤波(DF)后的像素基于选定的指向类型以及分类结果由一个偏移数值补偿。
表格1
种类 状况
1 C<两个相邻像素
2 C<其一相邻像素&&C＝＝另一邻像素
3 C>其一邻像素&&C＝＝另一邻像素
4 C>两个相邻像素
0 不为上述任一状况
如表格1所示，样值偏移补偿(SAO)分类状况的实施可将中央像素(C)与两个相邻像素分开比较。分类状况检查中央像素是否大于、小于或等于所对应的相邻像素。三种比较结果可用两个比特(2-bit)数据表示。
样值偏移补偿(SAO)参数(如，像素偏移数值(pixel offset)以及样值偏移补偿类型(SAO type))可对应各编码树单元(CTU)而自适应地决定。对于高效视频编码(HEVC)而言，样值偏移补偿(SAO)参数边界(parameter boundary)与编码树单元(CTU)相同。参数边界内的所有像素的样值偏移补偿(SAO)处理共享同样的样值偏移补偿(SAO)类型以及偏移数值。因为样值偏移补偿(SAO)应用于去块滤波(DF)后的像素，当前编码树单元(CTU)的样值偏移补偿处理(SAO process)必须等到当前编码树单元(CTU)的去块滤波(DF)处理完成后才可进行。然而，直至编码树单元(CTU)边界旁位于该编码树单元(CTU)边界另一侧的重建视频数据备妥前，编码树单元(CTU)边界周围的像素不能作去块滤波(DF)处理。基于如此数据相依性，视频编码标准AVS2使用偏移的样值偏移补偿(SAO)参数边界。图4描述了根据视频编码标准AVS2的样值偏移补偿(SAO)的参数边界的偏移的示例。对于高效视频编码(HEVC)而言，相应的样值偏移补偿(SAO)参数边界的实施例410对应编码树单元(CTU)边界。对于视频编码标准AVS2而言，相应的样值偏移补偿(SAO)参数边界420对应于编码树单元(CTU)边界向左位移xS、且向上位移yS。进一步而言，视频编码标准AVS2中，xS＝4且yS＝4。
样本滤波补偿(ALF)132为视频编码工具，用于提升图片质量。样本滤波补偿(ALF)已在高效视频编码(HEVC)发展阶段做过评估。然而，样本滤波补偿(ALF)并未使用在目前高效视频编码(HEVC)标准上，却已被结合入视频编码标准AVS2。特别是如图5所示的用于视频编码标准AVS2的17抽头(17-tap)对称样本滤波补偿(ALF)。17抽头对称样本滤波补偿(ALF)意味当前像素的滤波操作可能需要下方三行(lines)的数据。若该些行来自另一个编码树单元(CTU)(特别是位于随后的编码树单元行(CTU row)的该编码树单元(CTU))，样本滤波补偿(ALF)处理必须延迟直至获得后续的相关数据。以上特征意味着需配置行缓冲器(line buffer)，以瞬时储存当前编码树单元(CTU)的相关数据，供后续处理使用。为了应付数据依赖的问题，视频编码标准AVS2采用样本滤波补偿(ALF)虚拟边界(virtualboundary)，以限制样本滤波补偿(ALF)处理不跨越该虚拟边界。图6描述了根据视频编码标准AVS2的亮度组分的样本滤波补偿(ALF)虚拟边界的示例，其中描述了关于选定像素(如，像素a、b、c与d)的样本滤波补偿(ALF)处理。行(line)610为编码树单元(CTU)X与编码树单元(CTU)Y之间的编码树单元(CTU)边界。行620为亮度的样本滤波补偿(ALF)虚拟边界(即yC-4)，其根据视频编码标准AVS2的规范而位于编码树单元(CTU)边界(即yC)上方距离四行(即位于yC-4)之处。关于色度组分，根据视频编码标准AVS2(参阅：Information Technology–AdvancedMedia Coding Part2:Video Final Committee Draft,Audio and Video CodingStandard Workgroup of China,Feb.7,2015,Document:N2120.D3)，样本滤波补偿(ALF)虚拟边界位于编码树单元(CTU)边界上方距离3行(即位于yC-3)之处。像素a、b与c的样本滤波补偿(ALF)处理在编码树单元(CTU)X处理阶段施行。此外，像素a、b与c的样本滤波补偿(ALF)处理仅使用虚拟边界上方的信息。至于虚拟边界下方的像素d，其样本滤波补偿(ALF)处理是在编码树单元(CTU)Y处理阶段实施，且仅使用虚拟边界下方的信息。虚拟边界的使用将抑制数据依赖性，降低行缓冲的容量需求。
如上述内容，去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)程序涉及相邻的数据。在高效视频编码(HEVC)以及视频编码标准(AVS2)，编码树单元(CTU)已用作编码处理的单元。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理跨编码树单元(CTU)边界施行时，数据相依性必须被谨慎管理，以减少行缓冲器的需求。因为去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理相继施行在各编码树单元(CTU)，对应的硬件实践必须设计为管线化(pipeline)方式。图7描述了对应视频编码标准AVS2解码器的、去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的数据依赖性。采用编码树单元(CTU)的处理顺序700如图7所示，且编码树单元(CTU)X以及编码树单元(CTU)Y之间的编码树单元(CTU)边界标号为705。如图7所示，来自重建方块710的重建视频由去块滤波器(DF)720、样值偏移补偿(SAO)730以及样本滤波补偿(ALF)740处理。样本滤波补偿(ALF)740的输出储存于已解码的帧缓冲器。
去块滤波器(DF)720、样值偏移补偿(SAO)730以及样本滤波补偿(ALF)740处理对应的处理状态分别标号725、735以及745。图形725显示编码树单元(CTU)X的去块滤波(DF)处理阶段结束时的去块滤波(DF)处理状态。行722上方的亮度像素以及行724上方的色度像素已完成去块滤波(DF)。因为区块边界另一侧的像素(即编码树单元(CTU)边界705以下)尚不可得，行722下方的亮度像素以及行724下方的色度像素无法在编码树单元(CTU)X的去块滤波(DF)处理阶段中被处理。图形735显示编码树单元(CTU)X的样值偏移补偿(SAO)处理阶段结束时的样值偏移补偿(SAO)处理状态。行732上方的亮度像素以及行734上方的色度像素已完成样值偏移补偿(SAO)，其中行732与行734对齐。图形745显示编码树单元(CTU)X的样本滤波补偿(ALF)处理阶段结束时的样本滤波补偿(ALF)处理状态。类似地，因为其中涉及编码树单元(CTU)Y标志的样值偏移补偿(SAO)参数，其尚未由可变长度解码(variable length decode，VLD)处理完成，行732下方的亮度像素以及行734下方的色度像素尚无法作编码树单元(CTU)X的样值偏移补偿(SAO)。行742(亮度的样本滤波补偿(ALF)虚拟边界)上方的亮度像素基于视频编码标准AVS2草案经样本滤波补偿(ALF)处理。行744(色度的样本滤波补偿(ALF)虚拟边界)上方的色度像素可经样本滤波补偿(ALF)处理。然而，色度组分的样本滤波补偿(ALF)不能在编码树单元(CTU)X处理阶段中对色度行A至D执行。例如，像素746的样本滤波补偿(ALF)处理将使用像素748。因为色度像素748位于色度样值偏移补偿(SAO)边界734下方，色度像素748在编码树单元(CTU)X处理阶段尚未作样值偏移补偿(SAO)处理。因此，虽然位于色度的样本滤波补偿(ALF)虚拟边界上方，色度像素746仍无法作样本滤波补偿(ALF)处理。因此，像素748上方(即行D上方)已作过样值偏移补偿(SAO)处理的六行必须储存至缓冲器，以稍后在编码树单元(CTU)Y处理阶段作行A至D的样本滤波补偿(ALF)处理时使用。其中，行A上方三行已经在编码树单元(CTU)X处理阶作过样本滤波补偿(ALF)，但也需要使用在行A的样本滤波补偿(ALF)处理。
硬件实现上，图片宽度六行的色度采样必须储存于行缓冲器，一般使用嵌入式存储器实现，且如此应用可能需要高芯片成本。因此，期望发展一种方法与装置，用于降低环路滤波处理(如去块滤波器(DF)、样值偏移补偿(SAO)、样本滤波补偿(ALF)处理、其他环路滤波处理或其组合)需要的行缓冲器数量。此外，针对不同的样值偏移补偿(SAO)参数边界，***将在不同的样值偏移补偿(SAO)参数间切换。如此一来会增加***复杂度以及耗电量。因此，期望发展出具有适当***参数设计的环路滤波处理(如去块滤波器(DF)、样值偏移补偿(SAO)、样本滤波补偿(ALF)处理其他环路滤波程序或其组合)，以降低行缓冲需求、***复杂度以及***耗电量或获得以上任何改良的结合好处。在另一观点中，本领域期望发展出一种方法与装置，以高效以及节省成本的方式作包括去块滤波器(DF)、样值偏移补偿(SAO)、样本滤波补偿(ALF)、其他环路滤波程序或其组合的环路滤波处理，供结合如此环路滤波处理的视频编码***应用。
发明内容
本发明揭示一种进行重建视频数据的环路滤波处理的方法以及装置。为了降低样值偏移补偿(SAO)参数切换的计算复杂度、并减少行缓冲器需求，本发明的实施方式根据对应目标对样值偏移补偿(SAO)参数边界作水平方向与垂直方向位移。根据本发明的实施方式，去块滤波(DF)处理先施行在重建像素上。去块滤波(DF)处理在两个影像单元之间的影像单元边界对应的水平边线的各侧修正多达m个像素。根据一个或多个样值偏移补偿(SAO)参数，对当前影像单元中经去块滤波(DF)处理过的像素进行样值偏移补偿(SAO)处理。当前影像单元的样值偏移补偿(SAO)参数边界内的全部或部分像素共享同样的上述一个或多个样值偏移补偿(SAO)参数。当前影像单元的垂直样值偏移补偿参数(SAO)边界由当前影像单元的垂直边向左位移xs行，且当前影像单元的水平样值偏移补偿(SAO)参数边界由当前影像单元的水平边向上位移ys行。根据一个或多个空间环路滤波器参数对当前影像单元中空间环路滤波器限缩边界上方已经样值偏移补偿(SAO)处理过的像素作空间环路滤波处理。当前影像单元的该空间环路滤波器限缩边界自当前影像单元的底边向上位移yv行。为了降低行缓冲器需求，m、xs、ys以及yv为正整数，xs大于m，ys大于或等于0，且ys小于yv，且yv根据m设定。
各影像单元可对应编码树单元(CTU)。空间环路滤波器处理可对应样本滤波补偿(ALF)处理。
若上述重建视频数据报括亮度组分以及色度组分，上述去块滤波处理、样值偏移补偿处理以及空间环路滤波处理分亮度组分以及色度组分进行，各自使用的上述m值标号为M与N，各自使用的上述xs标号为xS与xSC，各自使用的上述ys标号为yS与ySC。且，各自使用的上述yv标号为yV与yVC。在一种实施方式中，yS与ySC等于0。yV可大于M且yVC可大于N。例如，yV等于(M+1)且yVC等于(N+1)。在一种实施方式中，M等于3且N等于2。
在另一种实施方式中，yS等于ySC、yV等于yVC且yVC大于MAX(M,N)。例如，yV与yVC等于MAX(M,N)+1且yS与ySC可为0至MAX(M,N)的整数。在一种实施方式中，M等于3且N等于2。
在另一种实施方式中，当前影像单元的当前处理阶段中处理的当前行的当前像素与随后的处理阶段中处理的相邻行的相邻像素的比较所得的符号数据储存下来，上述符号数据对应”大于”、”小于”、或”等于”。上述符号数据可使用2位(bit)储存。
本发明所提出的环路滤波方法以及环路滤波装置，可提升硬件效率。
附图说明
图1A描述了自适应帧间/帧内视频编码***，其中结合环路滤波器，所述环路滤波器包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)用以处理重建的视频数据；
图1B描述了对应视频解码器的***方块图，视频解码器包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)；
图2A描述了根据高效视频编码(HEVC)对亮度组分作去块滤波(DF)处理所涉及的区块边界两侧的像素；
图2B描述了根据视频编码标准AVS2对亮度组分作去块滤波(DF)处理所涉及的区块边界两侧的像素；
图3描述了基于3x3窗口所作的像素分类，有四种指向形式，对应0度、90度、135度以及45度；
图4描述了根据视频编码标准AVS2的样值偏移补偿(SAO)边界位移；
图5描述了用于视频编码标准AVS2的17抽头(17-tap)对称样本滤波补偿(ALF)；
图6描述了根据视频编码标准AVS2的亮度组分的样本滤波补偿(ALF)虚拟边界；
图7描述了用于视频编码标准AVS2的解码器的、与去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理相关的数据依赖性；
图8描述了去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的处理状态，其中标示环路滤波器相关的边界参数；
图9描述了根据本发明实施方式的具有不同的水平样值偏移补偿(SAO)参数边界和水平样值偏移补偿(SAO)处理边界的样值偏移补偿(SAO)处理；
图10描述了根据本发明第一实施方式的当前编码树单元(CTU)处理阶段结束时去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的处理状态；
图11描述了根据本发明第二实施方式的当前编码树单元(CTU)处理阶段结束时去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的处理状态；
图12描述了包括本发明实施方式的编码***的流程图，所述***对齐环路滤波器相关边界，以降低行缓冲器需求。
具体实施方式
以下描述了列举的本发明的较佳实施方式。以下叙述目的是介绍本发明的基本概念，并非意图限制本发明内容。本发明的保护范围应依照权利要求确定的范围为准。
为了方便讨论不同环路处理阶段之间的数据依赖性，本申请介绍边界参数相关的环路滤波器。图8再现图7的去块滤波器(Deblocking Filter，DF)、样值偏移补偿(Sample Adaptive Offset，SAO)以及样本滤波补偿(Adaptive Loop Filter，ALF)处理的相关处理状态，并将环路滤波器相关的边界参数标示其中。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)的处理状态分别标号825、835以及845。图形825显示编码树单元(CTU)X于去块滤波(DF)处理阶段末端的去块滤波(DF)处理状况。行822(即亮度去块滤波器边界)上方的亮度像素以及行824(即色度去块滤波器边界)上方的色度像素经去块滤波(DF)处理。在由去块滤波(DF)处理中更新的区块边界各侧的亮度像素最大数量为M，以及色度像素最大数量为N。图8中，编码树单元(CTU)界线805也是区块边界。
图形835显示编码树单元(CTU)X于样值偏移补偿(SAO)处理阶段末端的样值偏移补偿(SAO)处理状况。行832(即亮度的样值偏移补偿(SAO)边界)上方的亮度像素以及行834(即色度的样值偏移补偿(SAO)边界)上方的色度像素经样值偏移补偿(SAO)处理。基于视频编码标准AVS2提出的样值偏移补偿(SAO)参数边界位移技术，行832与行834对齐。为了避免在各编码树单元(CTU)的处理阶段中发生样值偏移补偿(SAO)参数切换，样值偏移补偿(SAO)参数边界在亮度组分位移(xS，yS)，且在色度组分位移(xSC，ySC)。换句话说，对应左上方点为(xC，yC)的编码树单元(CTU)，对应亮度组分的样值偏移补偿(SAO)参数的上方边界位移至(yC-yS)、并对应色度组分的样值偏移补偿(SAO)参数的上方边界位移至(yC-ySC)(如图8所绘示)。类似地，样值偏移补偿(SAO)参数边界位移也实施在x方向。起初，高效视频编码(HEVC)的规范下，样值偏移补偿(SAO)参数根据编码树单元(CTU)决定。现有技术中，为了降低样值偏移补偿(SAO)参数切换的运算复杂度，样值偏移补偿(SAO)参数基于已去块滤波(DF)处理后、且准备作样值偏移补偿(SAO)处理的该些像素决定。也就是，现有技术的样值偏移补偿(SAO)参数边界等同于准备好作样值偏移补偿(SAO)处理的已去块滤波(DF)处理的像素边界。准备好作样值偏移补偿(SAO)处理的已去块滤波(DF)处理的像素边界又称样值偏移补偿(SAO)处理边界(processing boundary)。
图形845显示编码树单元(CTU)X于样本滤波补偿(ALF)处理阶段末端的样本滤波补偿(ALF)的处理状况。行842(即亮度的样本滤波补偿(ALF)虚拟边界)上方的亮度像素经样本滤波补偿(ALF)处理。行844(即色度的样本滤波补偿(ALF)虚拟边界)上方的色度像素可经样本滤波补偿(ALF)处理。然而，色度行D无法在编码树单元(CTU)X处理阶段实施色度组分的样本滤波补偿(ALF)处理。对应亮度组分的样本滤波补偿(ALF)虚拟边界为(yC-yV)、对应色度组分的样本滤波补偿(ALF)虚拟边界为(yC-yVC)。其中，yV与yVC分别对应亮度及色度组分的边界垂直位移。对视频编码标准AVS2草案而言，将被更新的亮度以及色度组分的边界像素数量(即M与N)分别为3与2。亮度以及色度组分的样值偏移补偿(SAO)参数边界垂直位移都设为4。另一方面，亮度以及色度组分的样本滤波补偿(ALF)虚拟边界的垂直位移(即yV与yVC)分别设为4与3。
为了同时降低行缓冲器尺寸需求、并降低编码树单元(CTU)处理阶段的样值偏移补偿(SAO)参数切换的运算复杂度，本申请揭露一种样值偏移补偿(SAO)参数边界设定技巧，根据各个目标，水平及垂直方向而位移样值偏移补偿(SAO)参数边界，而有不同的样值偏移补偿(SAO)参数边界以及样值偏移补偿(SAO)处理边界。如前述内容，现有技术中，样值偏移补偿(SAO)参数边界以及样值偏移补偿(SAO)处理边界相同。根据本发明，垂直样值偏移补偿(SAO)参数边界维持等于样值偏移补偿(SAO)处理边界，但水平样值偏移补偿(SAO)参数边界可不同于样值偏移补偿(SAO)处理边界。特别是，样值偏移补偿(SAO)处理边界是根据已去块滤波处理过的像素数据的位置决定。图9描述了根据本发明实施方式的不相等的水平样值偏移补偿(SAO)参数以及处理边界。在一种实施方式中，水平样值偏移补偿(SAO)参数边界912等同编码树单元(CTU)水平边界910。另一方面，水平样值偏移补偿(SAO)处理边界920位于去块边界930上一行。至于水平样值偏移补偿(SAO)处理边界920上方的像素940，其样值偏移补偿(SAO)处理是基于编码树单元(CTU)X的样值偏移补偿(SAO)参数边界内(即其上方)的样值偏移补偿(SAO)参数进行。然而，根据本申请的内容，行D上的像素950也是基于编码树单元(CTU)X的样值偏移补偿(SAO)参数进行样值偏移补偿(SAO)处理，因为像素950位于水平样值偏移补偿(SAO)参数边界912之内(即其上方)。传统样值偏移补偿(SAO)处理中，行D上的像素950是根据编码树单元(CTU)Y的样值偏移补偿(SAO)参数进行样值偏移补偿(SAO)。
在以上讨论中，一个影像划分为多个编码树单元，且各编码树单元划分为一个或多个编码单元(CUs)。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理施行在区块边界内，降低区块边界上、或附近的伪像(artifacts)。对其中编码树单元(CTUs)以水平光栅扫描顺序作处理的编码***而言，编码树单元(CTU，又称区块范围)为边界的去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理将需要行缓冲器储存跨编码树单元行(CTU row)边界的信息。然而，影像也可被划分作其他影像单元(如宏块(macroblock)或磁砖状(tile))以作编码处理。影像单元边界(image unit boundary)同样面临编码树单元(CTU)边界面临的行缓冲器议题。
上述的样本滤波补偿(ALF)仅为一个例子，本发明可应用在任何空间环路滤波器(spatial loop filter)。例如，具有一组空间环路滤波器参数的二维有限冲激响应(finite impulse response，缩写FIR)滤波器可用于取代样本滤波补偿(ALF)。为了降低空间环路滤波处理的行缓冲器需求，限缩的空间环路滤波边界可用于限制空间环路滤波处理仅使用限缩空间环路滤波边界内经样值偏移补偿(SAO)处理过的数据。例如，限缩的空间环路滤波器边界可位于编码树单元(CTU)边界上方距离y行处。空间环路滤波器实施于限缩的空间环路滤波器边界上方经样值偏移补偿(SAO)处理过的像素，且将仅会使用限缩的空间环路滤波器边界上方经样值偏移补偿(SAO)处理过的像素作为空间环路滤波器的输入。
图9描述本发明的一种实施方式，水平样值偏移补偿(SAO)参数边界912无须与编码树单元(CTU)水平边界910相同。根据本发明的实施方式，水平样值偏移补偿(SAO)参数边界912可设计在编码树单元(CTU)水平边界910起至水平样值偏移补偿(SAO)处理边界920下一行中任一行。对于编码树单元(CTU)X中水平样值偏移补偿(SAO)处理边界920下方的像素，因为该区像素的样值偏移补偿(SAO)操作是基于编码树单元(CPU)X中的样值偏移补偿(SAO)参数信息，故样值偏移补偿(SAO)操作所需的样值偏移补偿(SAO)参数信息需缓冲储存。然而，在高效视频编码(HEVC)与视频编码标准AVS2中，样值偏移补偿(SAO)参数可编码为向上合并(merge-up)或向左合并(merge-left)语法(syntax)，也需要缓冲储存整个编码树单元行(CTU row)的样值偏移补偿(SAO)参数，故储存的样值偏移补偿(SAO)参数可共享。
若处理中的视频数据对应彩***数据，本案技术可应用在亮度组分与色度组分。在第一种实施例中，水平样值偏移补偿(SAO)参数边界的垂直位移yS与ySC以及样本滤波补偿(ALF)虚拟边界的垂直位移yV与yVC以式(1)以及(2)决定：
0≤yS<yV＝M+1,以及 (1)
0≤ySC<yVC＝N+1 (2)
行缓冲器需求的主要作用是起于一个编码树单元行至下一编码树单元行的边界环路滤波处理的储存需求。因为一个影像可能很宽，对应的行缓冲器尺寸可能很大。因此，本发明的目标是缩减跨两个编码树单元行(CTU row)之间编码树单元(CTU)边界的环路滤波处理的行缓冲器需求。若对应垂直边界的边界位移对行缓冲器需求有影响，也非常小。亮度与色度组分的样值偏移补偿(SAO)参数边界水平位移xS以及xSC维持与传统方式相同(即，xS＝M+1以及xSC＝N+1)。当***以垂直扫描顺序处理图片时，编码树单位栏(CTU column)处理方式同编码树单位行(CTU row)。
图10描述了根据本发明的实施方式，其中M＝3、N＝2、yS＝3、ySC＝2、yV＝4且yVC＝3。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的处理状态分别在图10标号1025、1035以及1045。环路处理边界与图8所示内容部分相同。图10中，同图8参考编号者表示该些环路处理边界相同。图10指示用于亮度与色度组分的样值偏移补偿(SAO)处理边界，亮度组分的样值偏移补偿(SAO)处理的垂直位移(yS’)为4，色度组分的样值偏移补偿(SAO)处理的垂直位移(ySC’)为3。如图10所示，亮度以及色度组分的样值偏移补偿(SAO)参数边界1032以及1034在对应的样值偏移补偿(SAO)处理边界1036以及1038下方一行。
样值偏移补偿(SAO)参数边界水平方向的位移等于样值偏移补偿(SAO)处理边界。例如，亮度以及色度组分的样值偏移补偿(SAO)参数边界水平位移xS以及xSC与样值偏移补偿(SAO)处理边界水平方向的位移相同。
在第二种实施方式中，样值偏移补偿(SAO)参数边界垂直位移yS以及ySC以及样本滤波补偿(ALF)虚拟边界垂直位移yV以及yVC是根据式(3)决定：
0≤yS＝ySC<yV＝yVC＝MAX(M,N)+1 (3)
换句话说，亮度以及色度组分的样值偏移补偿(SAO)参数边界相同，使内存存取行为一致。亮度以及色度组分的样本滤波补偿(ALF)虚拟边界也相同。此外，样本滤波补偿(ALF)虚拟边界位于样值偏移补偿(SAO)参数边界上方至少一行。
图11描述了根据本发明的实施方式，其中M＝3、N＝2、yS＝ySC＝2、yV＝VC＝4。去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的处理状态分别在图11标号1125、1135以及1145。环路处理边界与图8所示内容部分相同。图11中，与图8相同的参考编号者表示相同的环路处理边界。图11也描述用于亮度与色度组分的样值偏移补偿(SAO)处理边界，亮度组分与色度组分的样值偏移补偿(SAO)处理边界垂直位移(即标号为yS’与ySC’)为4。如图11所示，亮度以及色度组分的样值偏移补偿(SAO)参数边界1132以及1134位在对应的样值偏移补偿(SAO)处理边界1136以及1138下方距离两行之处。图中进一步标示亮度以及色度组分的样本滤波补偿(ALF)虚拟边界1142以及1044。
水平方向的样值偏移补偿(SAO)参数边界等于水平方向的样值偏移补偿(SAO)处理边界。例如，亮度以及色度组分的样值偏移补偿(SAO)参数边界水平位移xS以及xSC可设定为xS＝xSC＝MAX(M,N)+1。
在样值偏移补偿(SAO)处理中，当前编码树单元(CTU)处理边界中的像素数据可用于稍后的样值偏移补偿(SAO)处理。例如，图9行D是在编码树单元(CTU)Y的管线级(pipeline stage)处理。行D的样值偏移补偿(SAO)处理将需要行C的数据；所述行C数据是在编码树单元(CTU)X的样值偏移补偿(SAO)处理阶段中处理。如前述内容，样值偏移补偿(SAO)分类处理将中央像素数据与两个个别的相邻像素进行比较。比较结果判断该中央像素是否大于、小于或等于选择的相邻像素。据此，样值偏移补偿(SAO)操作模块可预处理行C与行D之间的比较行为，并储存其结果(即，”>”、”<”或”＝”)。因为未对齐的样值偏移补偿(SAO)参数边界以及处理边界会使得行D将同行C采用同样的样值偏移补偿(SAO)参数作样值偏移补偿(SAO)处理，比较结果在编码树单元(CTU)X的管线级处理对行C作样值偏移补偿(SAO)处理时即可得。
像素行C以及相邻像素行D之间的比较结果可逐一像素由二比特数据代表，以标示三种比较结果之一。相较一般为8位或更多位的完整像素储存，所述二比特符号数据的数据量较低。据此，行缓冲器成本可大大地调降。
以上揭露的环路滤波处理边界设计可用于解决包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的视频***(如视频编码标准AVS2)的数据依赖状况引发的大量的行缓冲器需求。本发明也可施行在任何包括去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)处理的高阶视频编码***。
表格2比较视频编码标准AVS2以及本发明实施例的行缓冲器需求。如前述内容，以上所有实施方式对亮度与色度组分各需要三行储存数据，用作去块滤波(DF)。对样值偏移补偿(SAO)处理，所有***都需要对亮度与色度组分储存行C与行D数据。然而，替代行C像素数据的储存，可通过储存行C与行D之间的比较结果来降低储存需求。如前述内容，各比较结果仅需要用两比特储存。根据传统视频编码标准AVS2，六行的样值偏移补偿(SAO)结果将储存作色度组分的样本滤波补偿(ALF)处理。包括本发明任何实施方式的***可解决以六行缓冲器储存色度组分样本滤波补偿(ALF)处理的需求。对应传统视频编码标准AVS2、第一实施例以及第二实施例，去块滤波器(DF)、样值偏移补偿(SAO)以及样本滤波补偿(ALF)所需要的行缓冲器总数分别为16、7.5与8.5。通过储存样值偏移补偿(SAO)处理涉及的比较结果的符号，两个实施例都达到额外的存储空间精简效果。换句话说，第一与第二实施例可分别缩减8.5与7.5条行缓冲器。在表2例子中，传统视频编码标准AVS2的样本滤波补偿(ALF)色度虚拟边界为yC-3，样值偏移补偿(SAO)位移像素量(由参数SAO_SHIFT_PIX_NUM表达)为4；第一实施例对应图9内容；且第二实施例对应图10内容。
表格2
图12描述了包括本发明实施方式的视频编码***的流程图，所述视频***系对齐环路滤波器相关边界，以降低行缓冲器需求。步骤1210，视频***接收对应一个影像单元的重建视频数据。重建的视频数据可取自存储器(例如，计算机存储器、缓冲器(随机存取内存(RAM)或动态随机存取内存(DRAM)或其他媒体)，或取自处理器。去块滤波(DF)处理接着在步骤1220施行于重建像素。去块滤波(DF)处理修正两个影像单元之间的影像单元边界对应的水平边界各侧多达m个像素。步骤1230，基于一个或多个样值偏移补偿(SAO)参数，样值偏移补偿(SAO)处理施行在当前影像单元中去块滤波(DF)处理过的像素。当前影像单元的样值偏移补偿(SAO)参数边界内的全部或部分像素共享同样的样值偏移补偿(SAO)参数。当前影像单元的垂直样值偏移补偿(SAO)参数边界自当前影像单元的垂直边界向左位移xs行，且当前影像单元的水平样值偏移补偿(SAO)参数边界自当前影像单元的水平边界向上位移ys行。步骤1240，根据一个或多个空间环路滤波器参数，对当前影像单元的空间环路滤波器的限缩边界上方经样值偏移补偿(SAO)处理过的像素施行空间环路滤波处理，其中自当前影像单元的底边向上位移yV行获得所述当前影像单元的空间环路滤波器的限缩边界。为了降低行缓冲器需求且/或减少环路滤波处理切换，环路滤波器相关边界根据正整数m、xs、ys以及yv设定，xs大于m，ys大于或等于0、且ys小于yv，且yv根据m设定(如步骤1250所示)。
上面所示的流程图旨在根据本发明来说明环路滤波处理的例子。本领域的技术人员可以修改各步骤，重新排列步骤顺序，分割步骤，或结合步骤来实施本发明而不脱离本发明的精神实质。在本公开，特定的语法和语义已被用来说明实施例。本领域技术人员可通过等效替换语法和语义不脱离本发明的精神的前提实施本发明。
以上说明使本技术领域人员得以依照所揭露的特定应用的内文以及条件实现本发明。本案技术人员当可以多种方式变动以上实施例内容，且本说明书定义的一般原则可能应用在其他实施例中。因此，本案并不意图限定于以上显示与描述的特定实施例，而应符合所描述的原理以及新颖特征授予最广范围。以上详细说明中，多种具体细节的描述用于帮助彻底理解本案。本领域技术人员应理解本发明可以实践。
如上述的本发明的实施例可由各种硬件、软件代码、或两者的组合来实现。例如，一个本发明的实施例可以是一个或一个以上电子电路集成到一个视频压缩芯片、或程序代码集成到视频压缩软件来执行此处描述的处理程序。本发明的一个实施方案也可以是程序代码，由数字信号处理器(DSP)执行，以执行本文描述的处理程序。本案也可能涉及若干数量的功能方快，由计算器处理器、数字信号处理器、微处理器、或场效可编程逻辑数组(FPGA)执行。这些处理器可根据本案被配置来执行特定任务，其中执行机器可读软件代码、或执行定义由本发明所体现的具体方法的固件代码。软件代码或固件代码可由不同的编程语言和不同的格式或样式开发。该软件代码也针对不同的目标平台作编译。然而，根据本案技术执行任务的不同的编码格式，风格和软件代码语言和其他编码装置将不脱离本发明的精神和范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (26)

1.一种环路滤波处理的方法，其特征在于，所述方法供视频编码***进行重建视频数据，上述重建视频数据划分为多个影像单元，且所述方法包括：
接收影像单元的重建视频数据；
对重建像素实施去块滤波处理，其中，去块滤波处理在两个影像单元之间的影像单元边界对应的水平边线的各侧修正多达m个像素；
根据一个或多个样值偏移补偿参数，对当前影像单元中经去块滤波处理过的像素进行样值偏移补偿处理，其中当前影像单元的样值偏移补偿参数边界内的全部或部分像素共享同样的上述一个或多个样值偏移补偿参数，其中当前影像单元的垂直样值偏移补偿参数边界由当前影像单元的垂直边界向左位移xs行，且当前影像单元的水平样值偏移补偿参数边界由当前影像单元的水平边界向上位移ys行；且
根据一个或多个空间环路滤波器参数对当前影像单元中空间环路滤波器限缩边界上方已经样值偏移补偿处理过的像素作空间环路滤波处理，其中当前影像单元的该空间环路滤波器限缩边界自当前影像单元的底边向上位移yv行；
其中，m、xs、ys以及yv为正整数，xs大于m，ys大于或等于0，且ys小于yv，且yv根据m设定。
2.根据权利要求1所述的环路滤波处理的方法，其特征在于，每一个影像单元对应一个编码树单元。
3.根据权利要求1所述的环路滤波处理的方法，其特征在于，上述空间环路滤波处理对应自适应环路滤波处理。
4.根据权利要求1所述的环路滤波处理的方法，其特征在于，上述重建视频数据包括亮度组分以及色度组分，上述去块滤波处理、样值偏移补偿处理以及空间环路滤波处理分亮度组分以及色度组分进行，各自使用的上述m值标号为M与N，各自使用的上述xs标号为xS与xSC，各自使用的上述ys标号为yS与ySC，且各自使用的上述yv标号为yV与yVC。
5.根据权利要求4所述的环路滤波处理的方法方法，其特征在于，yS与ySC等于0。
6.根据权利要求4所述的环路滤波处理的方法，其特征在于，yV大于M且yVC大于N。
7.根据权利要求6所述的环路滤波处理的方法，其特征在于，yV等于(M+1)且yVC等于(N+1)。
8.根据权利要求7所述的环路滤波处理的方法，其特征在于，M等于3且N等于2。
9.根据权利要求4所述的环路滤波处理的方法，其特征在于，yS等于ySC、yV等于yVC，且yVC大于MAX(M,N)。
10.根据权利要求9所述的环路滤波处理的方法，其特征在于，yV与yVC等于MAX(M,N)+1。
11.根据权利要求10所述的环路滤波处理的方法，其特征在于，M等于3且N等于2。
12.根据权利要求1所述的环路滤波处理的方法，其特征在于，进一步将当前影像单元的当前处理阶段中处理的当前行的当前像素与随后的处理阶段中处理的相邻行的相邻像素的比较所得的符号数据储存下来，上述符号数据对应于“大于”、“小于”、或“等于”。
13.根据权利要求12所述的环路滤波处理的方法，其特征在于，上述符号数据以两个比特来储存。
14.一种环路滤波处理的装置，其特征在于，所述装置供视频编码***进行重建视频数据，上述重建视频数据划分为多个编码树单元，且所述装置包括：
一个或多个电子电路，耦接于行缓冲器，且被配置为：
接收影像单元的重建视频数据；
对重建像素实施去块滤波处理，其中，去块滤波处理在两个影像单元之间的影像单元边界对应的水平边线的各侧修正多达m个像素；
根据一个或多个样值偏移补偿参数，对当前影像单元中经去块滤波处理过的像素进行样值偏移补偿处理，其中当前影像单元的样值偏移补偿参数边界内的全部或部分像素共享同样的上述一个或多个样值偏移补偿参数，其中当前影像单元的垂直样值偏移补偿参数边界由当前影像单元的垂直边界向左位移xs行，且当前影像单元的水平样值偏移补偿参数边界由当前影像单元的水平边界向上位移ys行；且
根据一个或多个空间环路滤波器参数对当前影像单元中空间环路滤波器限缩边界上方已经样值偏移补偿处理过的像素作空间环路滤波处理，其中当前影像单元的该空间环路滤波器限缩边界自当前影像单元的底边向上位移yv行；
其中，m、xs、ys以及yv为正整数，xs大于m，ys大于或等于0、且小于yv，且yv根据m设定。
15.根据权利要求14所述的环路滤波处理的装置，其特征在于，每一个影像单元对应一个编码树单元。
16.根据权利要求14所述的环路滤波处理的装置，其特征在于，上述空间环路滤波处理对应自适应环路滤波处理。
17.根据权利要求14所述的环路滤波处理的装置，其特征在于，上述重建视频数据报包括亮度组分以及色度组分，上述去块滤波处理、样值偏移补偿处理以及空间环路滤波处理分亮度组分以及色度组分进行，各自使用的上述m值标号为M与N，各自使用的上述xs标号为xS与xSC，各自使用的上述ys标号为yS与ySC，且各自使用的上述yv标号为yV与yVC。
18.根据权利要求17所述的环路滤波处理的装置，其特征在于，yS与ySC等于0。
19.根据权利要求17所述的环路滤波处理的装置，其特征在于，yV大于M且yVC大于N。
20.根据权利要求19所述的环路滤波处理的装置，其特征在于，yV等于(M+1)且yVC等于(N+1)。
21.根据权利要求20所述的环路滤波处理的装置，其特征在于，M等于3且N等于2。
22.根据权利要求17所述的环路滤波处理的装置，其特征在于，yS等于ySC、yV等于yVC、且yVC大于MAX(M,N)。
23.根据权利要求22所述的环路滤波处理的装置，其特征在于，yV与yVC等于MAX(M,N)+1。
24.根据权利要求23所述的环路滤波处理的装置，其特征在于，M等于3且N等于2。
25.根据权利要求14所述的环路滤波处理的装置，其特征在于，当前影像单元的当前处理阶段中处理的当前行的当前像素与随后的处理阶段中处理的相邻行的相邻像素的比较所得的符号数据被储存下来，上述符号数据对应”大于”、”小于”、或”等于”。
26.根据权利要求25所述的环路滤波处理的装置，其特征在于，上述符号数据以两个比特来储存。
CN201610162343.7A 2016-02-04 2016-03-22 环路滤波方法以及环路滤波装置 Withdrawn CN107040778A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/015,552 2016-02-04
US15/015,552 US20160241881A1 (en) 2015-02-13 2016-02-04 Method and Apparatus of Loop Filters for Efficient Hardware Implementation

Publications (1)

Publication Number Publication Date
CN107040778A true CN107040778A (zh) 2017-08-11

Family

ID=59532170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610162343.7A Withdrawn CN107040778A (zh) 2016-02-04 2016-03-22 环路滤波方法以及环路滤波装置

Country Status (1)

Country Link
CN (1) CN107040778A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043192A1 (en) * 2018-08-31 2020-03-05 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
CN113489984A (zh) * 2021-05-25 2021-10-08 杭州博雅鸿图视频技术有限公司 Avs3的样点自适应补偿方法、装置、电子设备及存储介质
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238318A (zh) * 2010-11-02 2013-08-07 联发科技股份有限公司 用于高效率视频编码的条带边缘滤波方法及其装置
US20130322523A1 (en) * 2011-05-10 2013-12-05 Mediatek Inc. Method and apparatus for reduction of in-loop filter buffer
CN103843350A (zh) * 2011-10-14 2014-06-04 联发科技股份有限公司 回路滤波方法及其装置
CN103891277A (zh) * 2011-10-14 2014-06-25 联发科技股份有限公司 回路滤波方法及其装置
CN104067245A (zh) * 2012-08-03 2014-09-24 联发科技股份有限公司 使用共享/可配置的环路滤波器数据缓冲器架构的视频处理***及其相关视频处理方法
CN104584561A (zh) * 2012-08-06 2015-04-29 联发科技股份有限公司 应用于视频译码器中的取样自适应偏移处理方法及装置
CN104823446A (zh) * 2012-12-06 2015-08-05 索尼公司 图像处理装置、图像处理方法及程序

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103238318A (zh) * 2010-11-02 2013-08-07 联发科技股份有限公司 用于高效率视频编码的条带边缘滤波方法及其装置
US20130322523A1 (en) * 2011-05-10 2013-12-05 Mediatek Inc. Method and apparatus for reduction of in-loop filter buffer
CN103843350A (zh) * 2011-10-14 2014-06-04 联发科技股份有限公司 回路滤波方法及其装置
CN103891277A (zh) * 2011-10-14 2014-06-25 联发科技股份有限公司 回路滤波方法及其装置
CN104067245A (zh) * 2012-08-03 2014-09-24 联发科技股份有限公司 使用共享/可配置的环路滤波器数据缓冲器架构的视频处理***及其相关视频处理方法
CN104584561A (zh) * 2012-08-06 2015-04-29 联发科技股份有限公司 应用于视频译码器中的取样自适应偏移处理方法及装置
CN104823446A (zh) * 2012-12-06 2015-08-05 索尼公司 图像处理装置、图像处理方法及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ESENLIK S ET AL: "《Grid displacements for in-loop filtering》", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043192A1 (en) * 2018-08-31 2020-03-05 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11089335B2 (en) 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
CN113489984A (zh) * 2021-05-25 2021-10-08 杭州博雅鸿图视频技术有限公司 Avs3的样点自适应补偿方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105898335B (zh) 提升硬件效率的环路滤波方法以及环路滤波装置
EP2708027B1 (en) Method and apparatus for reduction of in-loop filter buffer
EP3057320A1 (en) Method and apparatus of loop filters for efficient hardware implementation
TWI738092B (zh) 減少環路濾波緩衝器的方法及裝置
CN103947208B (zh) 减少解块滤波器的方法及装置
CN103891277B (zh) 回路滤波方法及其装置
CN104185989B (zh) 用于帧内预测残差的二值化方案和hevc中无损编码中的改进帧内预测
TWI737137B (zh) 視訊編碼之非線性適應性迴圈濾波方法和裝置
US20060133504A1 (en) Deblocking filters for performing horizontal and vertical filtering of video data simultaneously and methods of operating the same
KR102359415B1 (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
CN107040778A (zh) 环路滤波方法以及环路滤波装置
CN107172424A (zh) 环路滤波方法及其设备
CN103051892B (zh) 内嵌式回路滤波方法以及内嵌式回路滤波装置
CN105306957B (zh) 自适应环路滤波方法和设备
CN104521234B (zh) 合并去区块处理和取样自适应偏移处理的视频处理方法和装置
WO2022116113A1 (zh) 一种帧内预测方法、装置及解码器和编码器
CN103491372A (zh) 一种适用于hevc标准的去方块滤波器的滤波方法
JP7005480B2 (ja) 画像復号装置、画像符号化装置、プログラム及び画像処理システム
CN110720216B (zh) 用于视频编码的设备和方法
TW202034699A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式
CN117440153A (zh) 包含文字的图像编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170811