CN108028924B - 用于编码/解码图像的方法及其装置 - Google Patents

用于编码/解码图像的方法及其装置 Download PDF

Info

Publication number
CN108028924B
CN108028924B CN201680051894.4A CN201680051894A CN108028924B CN 108028924 B CN108028924 B CN 108028924B CN 201680051894 A CN201680051894 A CN 201680051894A CN 108028924 B CN108028924 B CN 108028924B
Authority
CN
China
Prior art keywords
block
filter
samples
prediction
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680051894.4A
Other languages
English (en)
Other versions
CN108028924A (zh
Inventor
林宰显
朴婡利
许镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108028924A publication Critical patent/CN108028924A/zh
Application granted granted Critical
Publication of CN108028924B publication Critical patent/CN108028924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

所公开的是用于编码/解码图像的方法及其装置。特别地，用于解码图像的方法可以包括步骤：对参考图片执行内插滤波；从在已经对其执行内插滤波的参考图片中的采样产生预测的采样；通过将残留的采样和预测的采样相加产生重建的采样；以及对重建的采样执行环路滤波，其中当执行内插滤波时，通过应用预先确定的滤波器，在第一块的单元中确定是否预测的采样已经产生；在第二块的单元中确定是否滤波器应用于重建的采样，以及当执行环路滤波时，是否滤波器应用于重建的采样是基于当执行内插滤波时是否滤波器已经应用于预测的采样而确定的。

Description

用于编码/解码图像的方法及其装置
技术领域
本发明涉及处理图像的方法，尤其是，涉及使用帧间预测编码/解码图像的方法和支持其的装置。
背景技术
压缩编码指的是用于经由通信线路发送数字化信息的一系列信号处理技术，或者用于以应用于存储介质的形式存储信息的技术。包括图片、图像、音频等等的介质可以是用于压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容被假定为是具有高空间分辨率、高帧速率和景物呈现的高维度的特征。为了处理这样的内容，将导致在存储器贮存、存储器存取速率和处理能力方面急剧的增长。
因此，所需要的是设计一种用于有效率地处理下一代视频内容的编译工具。
发明内容
技术问题
本发明的一个目的提出一种方法，该方法集成用于应用于帧间预测块以便改善帧间预测性能的内插滤波器以及用于细化重建的块的环路滤波器的选择和/或应用的信息。
要由本发明实现的技术目的不局限于前面提到的技术目的，并且没有如上所述的其它的技术目的可以由本发明涉及的本领域普通技术人员从以下的描述中显而易见地理解。
技术方案
在本发明的一个方面中，一种解码图像的方法，包括步骤：对参考图片执行内插滤波，从在已经对其执行内插滤波的参考图片内的采样产生预测的采样，通过将残留的采样和预测的采样相加在一起产生重建的采样，以及对重建的采样执行环路滤波，其中可以在第一块单元中确定当执行内插滤波时是否已经通过应用特定的滤波器产生预测的采样，可以在第二块单元中确定是否滤波器应用于重建的采样，以及当对重建的采样执行环路滤波时是否应用滤波器可以基于当对预测的采样执行内插滤波时是否已经应用滤波器来确定。
在本发明的一个方面中，一种解码图像的装置，包括：对参考图片执行内插滤波的内插滤波单元，从在已经对其执行内插滤波的参考图片内的采样产生预测的采样的预测采样产生单元，通过将残留的采样和预测的采样相加在一起产生重建的采样的加法器，以及对重建的采样执行环路滤波的滤波单元，其中，可以在第一块单元中确定当执行内插滤波时是否已经通过应用特定的滤波器产生预测的采样，可以在第二块单元中确定是否滤波器应用于重建的采样，以及当对重建的采样执行环路滤波时是否应用滤波器可以基于当对预测的采样执行内插滤波时是否已经应用滤波器来确定。
优选地，当第一块的大小与第二块的大小相同时，如果第一块的预测的采样已经通过当执行内插滤波器时应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第一块被包括在第二块中时，如果当执行内插滤波时，包括在第二块中的所有的第一块的预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第一块被包括在第二块中时，如果当执行内插滤波时，具有大于包括在第二块中的第一块的一半的第一块的预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第一块被包括在第二块中时，如果当执行内插滤波时，包括在第二块中的第一块的至少任何一个的预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第二块被包括在第一块中时，如果当执行内插滤波时，第一块的预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第二块被包括在第一块中，并且第二块位于多个第一块的边界上时，如果当执行内插滤波时，多个第一块的所有预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第二块被包括在第一块中，并且第二块位于多个第一块的边界上时，如果当执行内插滤波时，属于多个第一块并且具有第二块的大部分的第一块的预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，当第二块被包括在第一块中，并且第二块位于多个第一块的边界上时，如果当执行内插滤波时，多个第一块的至少任何一个的预测的采样已经通过应用滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用滤波器。
优选地，如果当执行环路滤波时，应用滤波器，则用于环路滤波的滤波器的系数可以从用于内插滤波的滤波器的系数导出。
优选地，如果当执行环路滤波时，应用滤波器，则用于环路滤波的滤波器的系数可以通过将用于内插滤波的滤波器的系数校正为第一块的大小和第二块的大小的比率来确定。
有益效果
根据本发明的一个实施例，可以通过集成用于应用于帧间预测的块的内插滤波器和应用于重建的块的环路滤波器的选择和/或应用的信息，来减少附加信息的量。
此外，根据本发明的一个实施例，可以通过减小用于环路滤波器的选择和/或应用的附加信息而改善视频压缩性能。
在本发明中可以获得的技术效果不局限于如上所述的技术效果，并且在此处没有提及的其它的技术效果可以由本领域技术人员从以下的描述中理解。
附图说明
附图作为用于帮助理解本发明的说明书的一部分被包括在此处，其提供了本发明的实施例，并且借助于以下的描述来描述本发明的技术特征。
图1图示作为本发明应用于其的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
图2图示作为本发明应用于其的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
图3是用于描述可以应用于本发明的编译单元的分割结构的图。
图4是用于描述可以应用于本发明的预测单元的图。
图5是本发明可以应用于其的一个实施例，并且图示用于1/4采样内插的整数和分数采样位置。
图6是本发明的一个实施例，并且图示用于1/4采样内插的每个整数和分数采样位置的滤波器系数集。
图7是本发明的一个实施例，并且图示确定应用于帧间预测的块的滤波器系数的方法。
图8是本发明的一个实施例，并且图示用于环路滤波的维纳滤波器的应用单元。
图9是根据本发明的一个实施例，用于图示当执行环路滤波时确定是否应用维纳滤波器方法的示意图。
图10是根据本发明的一个实施例，用于图示当执行环路滤波时确定是否应用维纳滤波器方法的示意图。
图11是图示根据本发明的一个实施例的解码图像方法的示意图。
图12是图示根据本发明的一个实施例的图像解码装置的示意图。
具体实施方式
在下文中，本发明的优选实施例将通过参考伴随的附图描述。在下面借助于伴随的附图描述的说明书将描述本发明示范的实施例，并且不意欲描述仅仅可以实现本发明的实施例。以下的描述包括特定细节以便提供对本发明完美的理解。但是，应该明白，对于本领域技术人员来说，本发明可以无需特定细节实施。
在一些情形中，为了防止本发明的技术概念不清楚，公知的结构或者设备可以被省略，或者可以作为以结构或者设备的核心功能为中心的框图描述。
此外，虽然当前广泛地使用的常规的术语被尽可能地选择为在本发明中的术语，但是任意地由申请人选择的术语被用在特定情形中。由于在这样的情况下，该术语的含义将在说明书的相应的部分中清楚地描述，应该明白，本发明将不是简单地由仅仅在本发明的描述中使用的术语解释，而是该术语的含义将被领会到。
在以下的描述中使用的特定术语可以被提供以帮助对本发明理解。此外，特定术语可以被修改为在本发明的技术概念范围内的其他形式。例如，信号、数据、采样、图片、帧和块等等可以在每个编译过程中适当地替换和解释。
在下文中，在本说明书中，“模块”或者“单元”指的是执行编码/解码过程，诸如预测、变换和/或量化的单元，并且可以包括采样(或者图片元素或者像素)的多维的方案。
“模块”或者“单元”可以指的是用于亮度分量的采样的多维的方案，并且可以指的是用于色度分量的采样的多维的方案。此外，“模块”或者“单元”可以共同地包括用于亮度分量的采样的多维的方案和用于色度分量的采样的多维的方案。
例如，“模块”或者“单元”可以认为是包括指的是对其执行编码/解码目标的采样方案的所有编译块(CB)的含义，编译树块(CTB)由多个编译块组成，预测块(PB)(或者预测单元(PU))指的是相同的预测应用于其的采样方案，并且变换块(TB)(或者变换单元(TU))指的是相同的变换应用于其的采样方案。
此外，除了在本说明书中分别地描述的之外，“模块”或者“单元”可以认为是包括用于编码/解码用于亮度分量和/或色度分量的采样方案过程的语法结构的含义。在这种情况下，语法结构指的是在比特流内以特定的顺序存在0个以上的语法元素。语法元素指的是在比特流内表示的数据元素。
例如，“模块”或者“单元”可以认为是包括包含编译块(CB)和用于相应编译块(CB)的编码的语法结构的所有编译单元(CU)的含义，编译树单元(CTU)由多个编译单元组成，预测单元(PU)包括预测块(PB)和用于相应预测块(PB)的预测的语法结构，并且变换单元(TU)包括变换块(TB)和用于相应变换块(TB)的变换的语法结构。
此外，在本说明书中，“模块”或者“单元”实质上不局限于正方形或者矩形形式的采样(或者图片元素或者像素)方案，并且可以指的是具有三个以上顶点的多边形形式的采样(或者图片元素或者像素)方案。在这种情况下，这可以称作多边形块或者多边形单元。
图1图示作为本发明应用于其的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
参考图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、反量化单元140、反变换单元150、滤波单元160、解码的图片缓冲器(DPB)单元170、预测单元180和熵编码单元190。此外，预测单元180可以包括间预测单元(inter-predictionunit)181和内预测单元(intra-prediction unit)182。
视频分解单元110将输入给编码器100的输入视频信号(或者图片或者帧)分解为一个或多个块。
减法器115通过从输入视频信号中减去由预测单元180(即，间预测单元181或者内预测单元182)输出的预测的信号(或者预测的块)产生残留信号(或者残留块)。产生的残留信号(或者残留块)被传送给变换单元120。
变换单元120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或者卡南-洛维变换(KLT))应用于残留信号(或者残留块)来生成变换系数。在这种情况下，可以通过使用应用于残留块的预测模式和基于残留块的大小所确定的变换方案执行变换，变换单元120生成变换系数。
量化单元130量化变换系数，并且将其传送给熵编码单元190，并且熵编码单元190执行量化信号的熵编码操作，并且将其作为比特流输出。
同时，由量化单元130输出的量化的信号可用于产生预测信号。例如，残留信号可以通过经由反量化单元140和反变换单元150将反量化和反变换应用于量化的信号重建。重建的信号(或者重建的块)可以通过将重建的残留信号与由间预测单元181或者内预测单元182输出的预测信号相加产生。
同时，在这样的压缩过程期间，邻近块通过不同的量化参数来量化。因此，块边界示出的伪影(artifact)可能出现。这样的现象被称为块伪影，其是用于评估图像质量的重要因素的一个。为了降低这样的伪影，可以执行滤波处理。经由这样的滤波处理，块伪影被除去，并且当前图片的误差同时被降低，从而改善图像质量。
滤波单元160将滤波应用于重建的信号，并且经由回放设备将其输出，或者将其发送给解码的图片缓冲器170。发送给解码的图片缓冲器170的滤波的信号可以在间预测单元181中用作参考图片。如上所述，可以以图片间预测模式，使用滤波的图片作为参考图片来改善编码速率以及图像质量。
解码的图片缓冲器170可以存储滤波的图片，以便在间预测单元181中将其用作参考图片。
间预测单元181参考重建的图片来执行时间预测和/或空间预测，以便除去时间冗余和/或空间冗余。
在这种情况下，块伪影或者环形伪影可能出现，因为用于执行预测的参考图片是变换的信号，当其被预先地编码/解码时，其在块单元中经历量化或者反量化。
因此，为了解决可归因于这样的信号或者量化的中断的性能退化，在像素之间的信号可以通过将低通滤波器应用于间预测单元181，在子像素单元中被内插。在这种情况下，子像素指的是通过应用内插滤波器生成的虚拟像素，并且整体像素指的是存在于重建的图片之中的实际的像素。线性内插、双线性内插、维纳滤波器等等可以作为内插方法被应用。
内插滤波器可以应用于重建的图片，并且可以改善预测的精度。例如，间预测单元181可以通过将内插滤波器应用于整数像素和通过使用包括***的像素的***的块，通过产生内插像素执行预测。
内预测单元182参考邻近现在要编码的块的采样预测当前块。内预测单元182可以执行以下的步骤以便执行内预测。首先，内预测单元182可以准备对产生预测信号说来是必需的参考采样。此外，内预测单元182可以使用准备的参考采样产生预测的信号(预测的块)。接下来，内预测单元182可以编码预测模式。在这种情况下，参考采样可以经由参考采样填充和/或参考采样滤波准备。可能存在量化误差，因为参考采样经历预测和重建过程。因此，为了减小这样的误差，可以对用于内预测的每个预测模式执行参考采样滤波过程。
经由间预测单元181或者内预测单元182产生的预测的信号(或者预测的块)可用于产生重建的信号(或者重建的块)，或者可用于产生残留信号(或者残留块)。
图2图示作为本发明应用于其的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
参考图2，解码器200可以包括熵解码单元210、反量化单元220、反变换单元230、加法器235、滤波单元240、解码的图片缓冲器(DPB)250和预测单元260。此外，预测单元260可以包括间预测单元261和内预测单元262。
此外，经由解码器200输出的重建的视频信号可以经由回放设备被回放。
解码器200可以接收由在图1中示出的编码器100输出的信号(即，比特流)。熵解码单元210对接收的信号执行熵解码操作。
反量化单元220使用量化步长大小信息(quantization step sizeinformation)，从熵解码的信号获得变换系数。
反变换单元230通过应用反变换方案反变换该变换系数来获得残留信号(或者残留块)。
加法器235将获得的残留信号(或者残留块)与由预测单元260(即，间预测单元261或者内预测单元262)输出的预测的信号(或者预测的块)相加，从而产生重建的信号(或者重建的块)。
滤波单元240将滤波应用于重建的信号(或者重建的块)，并且将滤波的信号输出给回放设备，或者将滤波的信号发送给解码的图片缓冲器250。发送给解码的图片缓冲器250的滤波的信号可以在间预测单元261中用作参考图片。
在本说明书中，在编码器100的滤波单元160、间预测单元181和内预测单元182中描述的实施例可以分别地同等地应用于解码器的滤波单元240、间预测单元261和内预测单元262。
块分解结构
通常，基于块的图像压缩方法被在静止图像或者视频的压缩技术(例如，HEVC)中使用。基于块的图像压缩方法是通过将其分割为特定块单元处理图像的方法，并且可以降低存储器使用和计算的负载。
图3是用于描述可以应用于本发明的编译单元的分割结构的图。
编码器将单个图像(或者图片)分割为方格形式的编译树单元(CTU)，并且按照光栅扫描顺序逐个地编码CTU。
在HEVC中，CTU的大小可以确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或者输入视频信号的特征来选择和使用CTU的大小。CTU包括用于亮度分量的编译树块(CTB)和用于与其相对应的两个色度分量的CTB。
一个CTU可以以四叉树结构分割。也就是说，一个CTU可以被分割为每个具有正方形形式，并且具有一半水平大小和一半垂直大小的四个单元，从而能够生成编译单元(CU)。四叉树结构的这样的分割可以递归地执行。也就是说，CU被以四叉树结构从一个CTU分等级地分割。
CU可以指的是用于处理输入视频信号的处理过程的基本单元，例如，执行内/间预测的编译。CU包括用于亮度分量的编译块(CB)和用于与亮度分量相对应的两个色度分量的CB。在HEVC中，CU大小可以确定为64×64、32×32、16×16和8×8中的一个。
参考图3，四叉树的根节点与CTU有关。四叉树被分割，直到达到叶节点。叶节点对应于CU。
这些被更详细地描述。CTU对应于根节点，并且具有最小的深度(即，深度＝0)值。取决于输入视频信号的特征，CTU不能被分割。在这种情况下，CTU对应于CU。
CTU可以以四叉树形式分割。因此，生成下节点，也就是说，深度1(深度＝1)。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点a、b和j的CU(a)、CU(b)和CU(j)已经从CTU分割一次，并且具有深度1。
具有深度1的节点的至少一个可以以四叉树形式分割。因此，生成具有深度1的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点c、h和i的CU(c)、CU(h)和CU(i)已经从CTU分割两次，并且具有深度2。
此外，具有深度2的节点中的至少一个可以以四叉树形式再次分割。因此，生成具有深度3的下节点(即，深度＝3)。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)已经从CTU分割三次，并且具有深度3。
在编码器中，CU的最大大小或者最小大小可以基于视频图像的特征(例如，分辨率)或者通过考虑编码速率来确定。此外，有关最大或者最小大小的信息或者能够得到该信息的信息可以被包括在比特流中。具有最大大小的CU被称为最大编译单元(LCU)，并且具有最小大小的CU被称为最小编译单元(SCU)。
此外，具有树结构的CU可以以预先确定的最大深度信息(或者最大级别信息)分等级地分割。此外，每个分割的CU可以具有深度信息。由于深度信息表示分割计数和/或CU的程度，其可以包括有关CU大小的信息。
由于LCU被以四叉树形状分割，所以SCU的大小可以通过使用LCU的大小和最大深度信息来获得。或者，相反地，LCU的大小可以通过使用SCU的大小和树的最大深度信息来获得。
对于单个CU，表示是否相应的CU被分割的信息(例如，分割的CU标记(split_cu_flag))可以转发给解码器。这个分割的信息被包括在除了SCU之外的所有CU中。例如，当表示是否分割的标记的值是“1”时，相应的CU被进一步分割为四个CU，并且当表示是否分割的标记的值是“0”时，相应的CU不再分割，并且可以执行用于相应的CU的处理过程。
如上所述，CU是执行内预测或者间预测的编译的基本单元。HEVC在用于编译输入视频信号的预测单元(PU)中更加有效地分割CU。
PU是用于生成预测块的基本单元，并且甚至在单个CU中，预测块可以通过PU的单元以不同的方式生成。但是，内预测和间预测没有对于属于单个CU的PU一起地使用，并且属于单个CU的PU通过相同的预测方法(即，内预测或者间预测)编译。
PU没有以四叉树结构分割，但是在单个CU中以预先确定的形状分割一次。这些将通过参考以下的附图来描述。
图4是用于描述可以应用于本发明的预测单元的图。
取决于是否使用内预测模式或者间预测模式用作PU所属于的CU的编译模式，PU被不同地分割。
图4(a)图示如果使用内预测模式的PU，并且图4(b)图示如果使用间预测模式的PU。
参考图4(a)，假设单个CU的大小是2N×2N(N＝4、8、16和32)，单个CU可以被分割为两个类型(即，2N×2N或者N×N)。
在这种情况下，如果单个CU被分割为2N×2N形状的PU，这指的是仅仅一个PU存在于单个CU中。
同时，如果单个CU被分割为N×N形状的PU，则单个CU被分割为四个PU，并且对于每个PU单元来生成不同的预测块。但是，只有在用于CU的亮度分量的CB的大小是最小大小(即，CU是SCU的情形)时，可以执行这样的PU分割。
参考图4(b)，假设单个CU的大小是2N×2N(N＝4、8、16和32)，单个CU可以被分割为八个PU类型(即，2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)。
像在内预测中一样，只有在用于CU的亮度分量的CB的大小是最小大小(即，CU是SCU的情形)时，可以执行N×N形状的PU分割。
间预测以在水平方向上分割的2N×N形状和以在垂直方向上分割的N×2N形状来支持PU分割。
此外，间预测以nL×2N、nR×2N、2N×nU和2N×nD形状来支持PU分割，其是不对称运动分割(AMP)。在这种情况下，“n”指的是2N的1/4值。但是，如果PU所属于的CU是最小大小的CU，则AMP不能被使用。
为了在单个CTU中有效率地编码输入视频信号，可以经由如下的处理过程基于最小速率失真值来确定编译单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，关于在64×64CTU中的最佳CU分割过程，可以经由从64×64大小的CU到8×8大小的CU的分割过程来计算速率失真成本。详细的过程如下。
1)生成最小速率失真值的PU和TU的最佳分割结构通过对64×64大小的CU执行中间/内预测、变换/量化、反量化/反变换和熵编码来确定。
2)PU和TU的最佳分割结构被确定以将64×64CU分割为32×32大小的四个CU，并且生成用于每个32×32CU的最小速率失真值。
3)PU和TU的最佳分割结构被确定以进一步将32×32CU分割为16×16大小的四个CU，并且生成用于每个16×16CU的最小速率失真值。
4)PU和TU的最佳分割结构被确定以进一步将16×16CU分割为8×8大小的四个CU，并且生成用于每个8×8CU的最小速率失真值。
5)通过将在过程3)中获得的16×16CU的速率失真值与在过程4)中获得的四个8×8CU的速率失真值的增加比较来确定在16×16块中的CU的最佳分割结构。也以相同的方式对于剩余的三个16×16CU来执行这个过程。
6)通过将在过程2)中获得的32×32CU的速率失真值与在过程5)中获得的四个16×16CU的速率失真值的增加比较来确定在32×32块中的CU的最佳分割结构。也以相同的方式对于剩余的三个32×32CU来执行这个过程。
7)最后，在64×64块中CU的最佳分割结构通过将在过程1)中获得的64×64CU的速率失真值与在过程6)中获得的四个32×32CU的速率失真值的增加比较确定。
在内预测模式中，预测模式被选择为PU单元，并且在实际的TU单元中对选择的预测模式执行预测和重建。
TU指的是执行实际的预测和重建的基本单元。TU包括用于亮度分量的变换块(TB)和用于与亮度分量相对应的两个色度分量的TB。
在图3的示例中，像在一个CTU被以四叉树结构分割以生成CU的示例中一样，TU被从要编译的一个CU以四叉树结构分等级地分割。
从CU分割的TU可以被分割为更小和更低的TU，因为TU被以四叉树结构分割。在HEVC中，TU的大小可以被确定为32×32、16×16、8×8和4×4中的一个。
返回参考图3，四叉树的根节点假设为与CU相关。四叉树被分割，直到达到叶节点，并且叶节点对应于TU。
这些被更详细地描述。CU对应于根节点，并且具有最小的深度(即，深度＝0)值。取决于输入图像的特征，CU不能被分割。在这种情况下，CU对应于TU。
CU可以以四叉树形式分割。因此，生成具有深度1(深度＝1)的下节点。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点a、b和j的TU(a)、TU(b)和TU(j)已经从CU分割一次，并且具有深度1。
具有深度1的节点的至少一个可以再次以四叉树形式分割。因此，生成具有深度2的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点c、h和i的TU(c)、TU(h)和TU(i)已经从CU分割两次并且具有深度2。
此外，具有深度2的节点的至少一个可以以四叉树形式再次分割。因此，生成具有深度3的下节点(即，深度＝3)。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)已经从CU分割三次，并且具有深度3。
具有树结构的TU可以以预先确定的最大深度信息(或者最大级别信息)分等级地分割。此外，每个分割的TU可以具有深度信息。该深度信息可以包括有关TU的大小的信息，因为其指示分割数目和/或TU的程度。
指示是否相应的TU已经相对于一个TU分割的信息(例如，分割的TU标记“split_transform_flag”)可以传送给解码器。分割信息被包括在除了最小大小的TU之外的所有TU中。例如，如果指示是否TU已经分割的标记的值是“1”，则相应的TU被分割为四个TU。如果指示是否TU已经分割的标记的值是“0”，则相应的TU不再分割。
内插滤波器
用于当前间预测的处理块的预测块的采样是从在通过参考图片索引识别的参考图片内相应的参考区域的采样值中获得的。
在这种情况下，在参考图片内相应的参考区域表示由运动矢量的水平分量和垂直分量表示的位置区域。
除了运动矢量具有整数值的情形之外，为了产生用于非整数采样坐标的预测采样，使用分数采样内插。例如，可以支持具有在采样之间距离的1/4单元的运动矢量。
在HEVC的情况下，在亮度分量的分数采样内插中，水平地和垂直地应用8抽头滤波器。此外，在色度分量的分数采样内插中，水平地和垂直地应用4抽头滤波器。
图5是本发明可以应用于其的一个实施例，并且图示用于1/4采样内插的整数和分数采样位置。
参考图5，写成大写字母(A_i,j)的阴影块表示整数采样位置，并且写成小写字母(x_i,j)的不具有阴影的块表示分数采样位置。
分数采样可以通过将内插滤波器应用于水平地和垂直地接近于相应的分数采样的整数采样值(和/或分数采样值)产生。例如，分数采样a_0,0、b_0,0和c_0,0可以在水平方向通过将8抽头滤波器应用于在相应分数采样的左侧上的四个整数采样和在其右侧上的四个整数采样而产生。此外，分数采样d_0,0、h_0,0和n_0,0可以在垂直方向通过将8抽头滤波器应用于在相应分数采样的上端上的四个整数采样和在其下端上的四个整数采样而产生。同样地，分数采样e_0,0、i_0,0、p_0,0、f_0,0、j_0,0、q_0,0、g_0,0、k_0,0和r_0,0可以在垂直方向/水平方向通过将8抽头滤波器应用于在相应分数采样的上/左侧上的四个整数采样和在其下/右侧上的四个整数采样而产生。
环路滤波器
HEVC是环路滤波器(或者环内)技术，并且使用去块滤波器和两个采样自适应的偏移(SAO)环路滤波器。
去块滤波器是通过消除在由于量化产生的块边界上的失真，用于改善解码的图像的主观的图片质量的技术。此外，由于使用包括在解码过程内的去块滤波器过程中的环内滤波器，一旦执行间预测，编码效率可以使用环路滤波器已经应用于其的图像作为参考图像改善。
SAO是经由子像素单元的偏移，通过补偿在原始图像和经由编码过程，诸如量化产生的解码的图像之间的失真，用于改善主观的图片质量和编码效率的技术。在SAO中，可以使用自适应补偿方法有效地减到最小部分地取决于图像的特征不同地产生的失真，在自适应补偿方法中使用具有不同的失真度的子像素并应用不同的偏移。
统一的内插和环路滤波器
自适应的内插滤波(AIF)可以通过将AIF应用于预测的信号，将在预测的信号和原始信号之间的差值(例如，平均均方误差(MSE))减到最小。如上所述，通过将在预测的信号和原始信号之间的差值减到最小，可以将作为在原始信号和预测的信号之间差值的残留信号减到最小。因此，可以改善编码性能。
此外，自适应的环路滤波(AIF)可以通过将AIF应用于重建的信号，将在重建的信号(例如，去块滤波器和SAO滤波器已经应用于其的重建的信号)和原始信号之间的差值(例如，平均均方误差(MSE))减到最小。如上所述，通过将在预测的信号和原始信号之间的差值减到最小，主观的图片质量可以改善，并且预测性能可以改善。
例如，维纳滤波器可以用于AIF和ALF。
维纳滤波器用于产生类似于期望的输出信号的输入信号。
换句话说，关于视频编码/解码方法，维纳滤波器可以主要在两个部分中使用。也就是说，维纳滤波器可以在一个内插滤波器中使用，并且可以在环路滤波器中使用。
用于内插滤波的维纳滤波器对帧间预测块执行小于整数单元的子像素预测，并且还产生类似于用于子像素预测的原始信号的维纳滤波器已经应用于其的块。因此，残留信号被减小，从而有助于视频压缩性能。
相比之下，在环路滤波器中使用的维纳滤波器起到细化通过相加预测值和残留信号产生的重建的信号(类似于原始信号)的作用。
本发明提出一种方法，该方法集成用于关于具有在视频编码/解码过程中应用的不同部分并且具有用于确定是否已经应用滤波器的不同单元的内插滤波器和环路滤波器的滤波器选择以及是否滤波器已经被应用的信息。
因此，用于表示滤波器系数和/或是否已经应用滤波器的附加信息可以减小，并且视频压缩性能可以经由用于内插滤波器和环路滤波器的滤波器的联合而被改善。
在下文中，在本发明的描述中，为了描述的方便起见，假设和描述维纳滤波器用作内插滤波器和环路滤波器的情形，但是，本发明不受限于此。也就是说，除了维纳滤波器之外，本发明可以同等地应用于可以同时用于内插滤波器和环路滤波器的滤波器。
实施例1
图6是本发明的一个实施例，并且图示用于1/4采样内插的每个整数和分数采样位置的滤波器系数集。
图6图示整数像素(整数采样)和用于每个2维(2-D)相位的子像素的位置，以及如果支持的运动信息的分辨率达到1/4子像素(或者子像素/分数采样)单元，相应的滤波器系数。
在使用维纳滤波器的内插方法中，如图5，取决于16个子像素(即，整数像素和子像素)的位置(即，相位)，使用单独的滤波器系数。此外，可以确定是否应用滤波器(开启/关闭)。
也就是说，滤波器系数可以相对于每个子像素(即，整数像素和子像素)的位置分别地确定。例如，如果维纳滤波器应用于16个子像素(即，整数像素和子像素)的所有位置，则包括16个滤波器系数的滤波器系数集可以由编码器确定，并且确定的滤波器系数集可以示意给解码器。
在这种情况下，关于维纳滤波器没有被应用到的子像素的位置，滤波器系数不可以被确定。例如，如果维纳滤波器没有应用于在水平方向的1/2位置和在垂直方向的1/2位置的子像素，并且维纳滤波器应用于剩余的子像素位置，则根据剩余的子像素位置包括15个滤波器系数的滤波器系数集可以由编码器确定，并且确定的滤波器系数集可以示意给解码器。
这样的滤波器系数和/或是否滤波器已经应用可以以片为单元(或者以图片为单元)刷新。
也就是说，通过在1/4单元的子像素单元中应用维纳滤波器，如在相应的片(或者图片)内使用整数像素的图5的例子，则16个子像素(即，整数像素和子像素)可以相对于在相应片内的所有整数像素对于每个整数像素而产生。在这种情况下，如果在特定的片(或者图片)中应用维纳滤波器，则具有相同相位的子像素(即，整数像素和子像素)可以在相应片(或者图片)内使用相同的滤波器系数。
在帧间预测的情况下，由于在预测块单元中执行预测，所以特定的子像素的位置(即，相位)基于预测块的运动信息而确定。因此，是否维纳滤波器应用于相应的预测块，和/或维纳滤波器的系数可以被确定。这些在下面参考以下的附图描述。
图7是本发明的一个实施例，并且图示确定应用于帧间预测的块的滤波器系数的方法。
如果支持的运动信息的分辨率达到1/4子像素(或者子像素/分数采样)单元，则通过对于每个整数像素的内插滤波而产生的16个子像素的位置的特定的子像素的位置(即，相位)可以基于预测块的运动矢量确定。
参考图7，当前预测块的左上子像素701(在下文中，No.1子像素)的(1/2，1/4)位置通过运动矢量确定。图7仅仅图示左上子像素701，但是，确定属于相应的预测块的所有剩余的子像素的相同的(1/2，1/4)位置。
如上所述，由于使用对于每个子像素的每个位置(即，相位)独立确定的维纳滤波器的系数，所以当前预测块的所有预测的采样可以使用维纳滤波器的相同的系数产生。
在这种情况下，维纳滤波器已经应用于预测块的预测的采样可以指的是，关于在由运动矢量表示的参考图片内的采样，通过应用使用对应于相应采样的位置的滤波器系数的维纳滤波器产生当前预测块的预测值(即，预测的采样值)。
如上所述，由于子像素的位置对于每个预测块被确定，使用当在预测块单元中执行内插滤波时，维纳滤波器的系数和是否应用维纳滤波器可以被确定。
图8是本发明的一个实施例，并且图示用于环路滤波器的维纳滤波器的应用单元。
在使用维纳滤波器的环路滤波器中，如在图8中，是否应用维纳滤波器可以以包括预测块802和803的正方形形式的块(例如，编译块)801为单元确定。
相比之下，调用动作的参数值可以以小于预测块单元的子块为单元计算。可以使用由对应于相应的参数的索引表示的滤波器系数。
在这种情况下，将维纳滤波器应用于编译块的重建的采样可以指的是相对于编译块的重建的块(即，重建的采样的方案)，使用在相应的编译块内的每个子块单元中确定的滤波器系数，应用维纳滤波器。
也就是说，是否当执行环路滤波时应用维纳滤波器可以以编译块为单元确定，并且维纳滤波器的系数可以以子块为单元确定。
同时，在图8中图示的预测块仅仅是说明性的，并且可以分解为如在图4中的各种形式的预测块。此外，子块的大小也可以可变地确定。
如上所述，由于内插滤波器和环路滤波器的应用单元是不同的，应用的部分独立地确定。如果滤波器系数被独立地确定，编码器必须将附加信息的每个片传送给解码器。为了减小这样的附加信息，并且从而改善编码效率，本发明提出一种使用统一的内插滤波器和环路滤波器处理图像的方法。
在由本发明提出的一个实施例中，有关是否应用用于内插的维纳滤波器的信息也可以应用于环路滤波器。
也就是说，如上所述，是否在环路滤波器中应用维纳滤波器可以以编译块为单元确定。当如下执行内插滤波时，这可以通过考虑是否应用维纳滤波器确定。
a)是否应用(开启/关闭)应用于内插滤波的维纳滤波器也可以仅仅相对于编译块和预测块的大小是相同的2N×2N形式的预测块应用于环路滤波器。
也就是说，假设编译块的大小是2N×2N，如果当执行内插滤波时，2N×2N形式的预测块的预测的采样已经通过应用维纳滤波器产生，则当执行环路滤波时，编码器/解码器可以将维纳滤波器应用于相应的编译块的重建的采样。
在这种情况下，是否维纳滤波器应用于在环路滤波器中具有除2N×2N形式以外的形式的预测块可以如在现有的方法中作为单独的信息(例如，标记)示意。也就是说，假设编译块的大小是2N×2N，如果编译块已经分解为以除2N×2N以外的形式的预测块，则编码器可以将有关当对相应编译块执行环路滤波时是否应用维纳滤波器的信息示意给解码器。此外，解码器可以基于从编码器接收的信息，确定当对相应编译块的重建的采样执行环路滤波时是否应用维纳滤波器。
b)做为选择，虽然预测块不具有2N×2N形式，如果当对属于编译块的所有预测块执行内插时已经应用维纳滤波器，则维纳滤波器也可以应用于环路滤波器。
也就是说，如果当执行内插滤波时，包括在编译块中的所有预测块的预测的采样已经通过应用维纳滤波器产生，则当对相应的编译块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
c)虽然预测块不具有2N×2N形式，如果维纳滤波器已经应用于属于预测块(属于编译块)，并且占据大部分区域的部分，则维纳滤波器也可以应用于环路滤波器。
也就是说，如果当执行内插滤波时，包括在编译块中并且具有大部分的预测块的预测的采样已经通过应用维纳滤波器产生，则当对相应的编译块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
d)虽然预测块不具有2N×2N形式，如果维纳滤波器已经应用于属于编译块的预测块的任何一个，则维纳滤波器也可以应用于环路滤波器。
也就是说，如果当执行内插滤波时，包括在编译块中的至少任何一个的预测块的预测的采样已经通过应用维纳滤波器产生，则当对相应的编译块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
e)编码器/解码器可以有选择地合并和使用a)至d)的前面提到的方法的一个或多个。
实施例2
应用于内插滤波的维纳滤波器具有产生作为维纳滤波器应用的结果获得的预测的块(即，预测的采样的2-D方案)类似于原始块的目的，并且由此，建立公式1。
【公式1】
Figure BDA0001590795290000252
在公式1中，Block_pred表示预测的块(即，当执行内插滤波时，通过应用维纳滤波器产生的预测的采样的方案)，并且Block_Ori表示原始块(即，原始采样的方案)。
在公式1中，Block_pred可以如在公式2中表示的。
【公式2】
Figure BDA0001590795290000251
在公式2中，Block_pred_L0表示从L0参考图片(即，在列表0(L0)内的参考图片)产生的预测的块，并且Block_pred_L1表示从L1参考图片(即，在列表1(L1)内的参考图片)产生的预测的块。
此外，Coeff_Intp_L0表示应用于Block_pred_L0的维纳滤波器的系数，并且Coeff_Intp_L1表示应用于Block_pred_L1的维纳滤波器的系数。
也就是说，如在公式2中，Block_pred可以作为维纳滤波器已经应用于其的Block_pred_L0和维纳滤波器已经应用于其的Block_pred_L1的总和而产生。
在这种情况下，在L0/L1方向每个中的预测块和用于内插的维纳滤波器的系数可以仅仅存在于L0方向之中，或者可以仅仅存在于L1方向之中，或者可以取决于预测块的方向存在于两个方向之中。
同时，应用于环路滤波器的维纳滤波器具有产生维纳滤波器应用于重建的块(即，维纳滤波器已经应用于其的重建的块)结果类似于原始块的目的，并且由此，公式3建立。
【公式3】
Figure BDA0001590795290000262
Block_Recon表示重建的块(即，重建的采样的方案)，并且Block_Ori表示原始块(即，原始采样的方案)。Coeff_Loop表示应用于重建的块的维纳滤波器的系数。
在公式3中，Block_Recon可以如在公式4中表示的。
【公式4】
BlockRecon＝(BlockPred+BlockRes)
在公式4中，Block_Pred表示预测的块，并且Block_Res表示残留块。
也就是说，重建的块是从预测的块和残留块的总和中获得的。
公式1和公式3可以相加在一起，并且如在公式5中表示的。
【公式5】
Figure BDA0001590795290000261
如果公式2应用于公式5，其可以如在公式6中表示的。
【公式6】
Figure BDA0001590795290000272
也就是说，这可以表示为在用于产生预测块和用于内插的维纳滤波器的系数(即，Coeff_Intp_L0和Coeff_Intp_L2)的相应的L0/L1方向(即，Block_pred_L0和Block_pred_L1)中的预测块和重建的块(即，Block_Recon)和用于环路滤波器的维纳滤波器系数(即，Coeff_Loop)之间的关系公式。
在这种情况下，如上所述，取决于预测块的方向,在L0/L1方向的预测块和用于内插的维纳滤波器的系数可以仅仅存在于L0方向之中，可以仅仅存在于L1方向之中，或者可以存在于两个方向之中。
如在实施例1中描述的，在其中确定是否应用维纳滤波器用于内插，以及是否应用维纳滤波器用于环路滤波器的块的单元可能是不同的。
因此，由于各种条件可以取决于块的包含关系产生，参数α、β和γ可以相加到公式6，以便反映各种条件。这可以如公式7表示。
【公式7】
Figure BDA0001590795290000271
在环路滤波器应用于其的编译块之中可能存在多个预测块。在公式7中，k表示在编译块内的预测块的索引。
当基于是否用于内插的维纳滤波器系数来自公式7的关系公式来确定是否维纳滤波器应用于环路滤波器时，用于环路滤波器的维纳滤波器的系数可以更加适宜地修改和使用。也就是说，如果基于公式7的关系公式，当执行环路滤波时应用维纳滤波器，则用于环路滤波的维纳滤波器的系数可以从用于内插滤波的维纳滤波器的系数导出。
在公式左侧的情况下，参数α和β用于表示是否维纳滤波器已经用于形成预测块的向前或者向后的每个预测分量。
此外，参数γ用于表示属于预测块(其属于编译块)并且使用维纳滤波器用于内插滤波的区域的比率。
例如，如果双向预测已经用于特定的预测块，但是，维纳滤波器已经在L0方向中应用，并且维纳滤波器没有在L1方向应用，则可以使用公式，诸如α＝1和β＝0。
做为选择，在以上所述的情况下，如果例如通过应用α＝1和β＝0权重被完全地应用于L0分量，则可以提高具有实际的预测块的差值。因此，通过调整该权重，接近于1的值可以用作α，并且接近于0的值可以用作β。也就是说，在已经保持α+β＝1的状态下，维纳滤波器已经应用于其的方向参数可以与其它的参数相比较，并且可以设置为更大的值。
此外，参数γ可以通过在实施例1中***内容而定义如下。
a)假设编译块的大小是2N×2N，如果属于编译块的预测块的形式是2N×2N，并且维纳滤波器已经应用于相应的预测块，则可以设置为γ＝1。
也就是说，假设编译块的大小是2N×2N，如果当执行内插滤波时，2N×2N形式的预测块的预测的采样已经通过应用维纳滤波器产生，则当对相应编译块的重建的采样执行环路滤波时，编码器/解码器应用维纳滤波器。因此，用于环路滤波的维纳滤波器的系数可以通过公式7的关系公式确定。
相比之下，如果编译块已经以除2N×2N以外的形式分解为预测块，则当对相应的编译块执行环路滤波时，编码器可以将有关是否应用维纳滤波器的信息示意给解码器。此外，解码器可以基于从编码器接收的信息，确定当对相应编译块的重建的采样执行维纳环路滤波时，是否应用维纳滤波器。
b)做为选择，如果当对属于编译块的所有预测块执行内插时维纳滤波器已经应用，则可以设置为γ＝1。
相比之下，不然的话，当对相应的编译块执行环路滤波时，编码器可以将有关是否应用维纳滤波器的信息示意给解码器。此外，解码器可以基于从编码器接收的信息，确定当对相应编译块的重建的采样执行维纳环路滤波时，是否应用维纳滤波器。
c)其可以确定为属于预测块(其属于编译块)并且已经使用维纳滤波器对其执行内插的预测块的表面接触比率。
例如，如果相应的编译块使用2N×N分解模式，并且当仅仅对两个预测块的一个执行内插时使用维纳滤波器，则可以设置为γ＝0.5。
因此，可以通过使用编译块的大小和预测块的大小的比率，校正用于内插滤波的维纳滤波器的系数确定用于环路滤波的维纳滤波器的系数。
d)如果在编译块内存在属于预测块的预测块的任何一个，并且对其已经使用维纳滤波器执行内插，则可以设置为γ＝1。
e)编码器/解码器可以有选择地合并和使用a)至d)的前面提到的方法的一个或多个。
此外，前面提到的实施例仅仅是与该参数γ相关的一个例子，并且在a)至e)每个的情况下，γ可以设置为特定的值。
实施例3
在前面提到的实施例中，已经描述了以编译块为单元确定是否在环路滤波中应用维纳滤波器的情形。
如在图8中图示的，维纳滤波器的系数可以确定为是编译块的子块单元。
因此，与前面提到的实施例不同，是否在环路滤波中应用维纳滤波器不能以编译块为单元确定，但是，可以以编译块的子块为单元确定。在这种情况下，在实施例1中，在按照在a)至d)中描述的预测块的形式环路滤波时应用维纳滤波器的条件可以变化如下。
a)是否在环路滤波中应用维纳滤波器可以在与编译块(其是确定维纳滤波器的系数的单元)的子块相同的单元中确定。
在这种情况下，可以基于当执行内插时维纳滤波器已经应用于属于相应子块的预测块来确定当执行环路滤波时是否对子块应用维纳滤波器。
换句话说，如果当执行内插滤波时，相应的子块属于的预测块的预测的采样已经通过应用维纳滤波器对于编译块的每个子块而产生，则当对相应子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
b)在编译块的子块位于预测块的边界(或者如果包括该边界)上的情形下(参考图9)，如果当对设置在子块内(或者重叠于子块)的所有预测块执行内插时已经应用维纳滤波器，则当对相应的子块执行环路滤波时，可以应用维纳滤波器。
也就是说，如果当执行内插滤波时，设置在编译块(或者重叠子块)的子块内的所有预测块的预测的采样已经通过应用维纳滤波器而产生，则当对相应的子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
图9是根据本发明的一个实施例，用于图示当执行环路滤波时确定是否应用维纳滤波器方法的示意图。
图9图示编译块901已经分解为总共四个子块A、B、C和D，并且编译块已经分解为预测块1 902和预测块2 903的情形。
在这种情况下，编译块的子块A和C可以位于预测块1 902和预测块2 903(其属于相同的编译块)的边界上。换句话说，预测块1 902和预测块2 903的边界可以包括在子块A和子块C中。
在这种情况下，如果当对设置在编译块的子块内的所有预测块执行内插时已经应用维纳滤波器，则当对相应编译块的子块执行环路滤波时，可以应用维纳滤波器。
在图9的示例中，在子块A的情况下，如果当对预测块1 902和预测块2 903两者执行内插时已经应用维纳滤波器，则当对子块A执行环路滤波时，可以应用维纳滤波器。同样地，在子块C的情况下，如果当对预测块1 902和预测块2 903两者执行内插时已经应用维纳滤波器，则当对子块C执行环路滤波时，可以应用维纳滤波器。
c)在编译块的子块位于预测块的边界(或者如果包括该边界)上的情形下(参考图9)，如果维纳滤波器已经应用于属于设置在子块内(或者重叠于子块)的预测块，并且占据大部分区域的部分，则当对相应的子块执行环路滤波时，可以应用维纳滤波器。
也就是说，如果当执行内插滤波时，属于设置在编译块的子块内(或者重叠于子块)的预测块并且占据大部分区域的预测块的预测的采样已经通过应用维纳滤波器而产生，则当对相应子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
在图9的示例中，在子块A的情况下，如果当对预测块1 902和预测块2 903的任何一个(因为两个预测块的每个占据子区域A的一半)执行内插时已经应用维纳滤波器，则当对子块A执行环路滤波时，可以应用维纳滤波器。同样地，在子块C的情况下，如果当对预测块1 902和预测块2 903的任何一个(因为两个预测块的每个占据子区域C一半)执行内插时已经应用维纳滤波器，则当对子块C执行环路滤波时，可以应用维纳滤波器。
d)在编译块的子块位于预测块的边界(或者如果包括该边界)上的情形下(参考图9)，如果维纳滤波器已经应用于设置在子块内(或者重叠于子块)的预测块的任何一个，则当对相应的子块执行环路滤波时，可以应用维纳滤波器。
也就是说，如果当对设置在编译块的子块内(或者重叠于子块)的预测块的任何一个执行内插滤波时，预测块的预测的采样已经通过应用维纳滤波器而产生，则当对相应子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
在图9的示例中，在子块A的情况下，如果当对预测块1 902和预测块2 903的任何一个执行内插时已经应用维纳滤波器，则当对子块A执行环路滤波时，可以应用维纳滤波器。同样地，在子块C的情况下，如果当对预测块1 902和预测块2 903的任何一个执行内插时已经应用维纳滤波器，则当对子块C执行环路滤波时，可以应用维纳滤波器。
e)编码器/解码器可以有选择地合并和使用a)至d)的前面提到的方法。
同时，在当通过应用实施例3的方法执行环路滤波时，确定是否应用维纳滤波器的过程中，环路滤波器的维纳滤波器的系数可以通过应用如在实施例2的方法中确定的参数α、β和γ来计算。
实施例4
相同的运动信息不包括在预测块中，并且单独的运动信息可以以子块为单元包括在相同的预测块中。也就是说，间预测可以在相同的预测内以子块为单元独立地执行。
在这种情况下，当基于应用于在预测块内的子块的运动信息执行内插时，可以应用单独的维纳滤波器系数。此外，是否应用维纳滤波器可以不同的确定。
因此，当执行环路滤波时确定是否应用维纳滤波器，其可以通过当对在预测块内的子块执行内插时，考虑到已经应用维纳滤波器来确定。
在下文中，用于环路滤波应用的编译块的子块被称作编译子块SB_loop，并且用于内插滤波应用的预测块的子块被称作预测子块SB_pred。在这种情况下，编译块不能分解为子块。在这种情况下，编译块与SB_loop相同。同样地，预测块不能分解为子块。在这种情况下，预测块与SB_pred相同。
a)是否在环路滤波中应用维纳滤波器可以在与SB_loop(其是确定维纳滤波器的系数的单元)相同的单元中确定。
在这种情况下，如果SB_loop具有与SB_pred相同的大小，或者SB_loop包括在SB_pred中，则当对SB_pred执行内插时，基于当对SB_loop执行环路滤波时是否已经执行维纳滤波，可以确定是否应用维纳滤波器。
也就是说，如果当执行内插滤波时，预测(子)块(其与编译子块相同，或者相应的编译子块属于其)的预测的采样已经通过应用维纳滤波器而产生，则当对相应编译子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
b)在SB_loop位于SB_pred的边界(或者如果包括该边界)上的情形下(参考图10)，如果当对设置在SB_loop内(或者重叠于SB_loop)的所有SB_preds执行内插时已经应用维纳滤波器，则当对相应的SB_loop执行环路滤波时，可以应用维纳滤波器。
也就是说，如果当执行内插滤波时，设置在编码子块内(或者重叠于子块)的预测(子)块的所有预测的采样已经通过应用维纳滤波器而产生，则当对相应编译子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
图10是根据本发明的一个实施例，用于图示当执行环路滤波时确定是否应用维纳滤波器方法的示意图。
图10图示预测块的分解类型是N×2N，并且预测块2 1003已经分解为子块的情形。此外，图10图示因为预测块1 1002和预测块2 1003设置在编译块的子块1001内，存在多个预测块边界的情形。
在这种情况下，编译子块1001位于预测块1 1002和预测块2 1003的边界上，并且也可以位于预测块2 1003的预测子块A和预测子块C的边界上。换句话说，预测块1 1002和预测块2 1003的边界包括在编译子块1001中，并且可以包括预测块2 1003的预测子块A和预测子块C的边界。
在这种情况下，如果当对设置在编译子块的所有预测(子)块执行内插时已经应用维纳滤波器，则当对相应的编译子块执行环路滤波时，也可以应用维纳滤波器。
在图9示例中，在编译子块1001的情况下，如果当对预测块1 1002和预测块2 1003的所有子块A和B执行内插时已经应用维纳滤波器，则当对编译子块1001执行环路滤波时，也可以应用维纳滤波器。
c)在SB_loop位于SB_preds的边界(或者如果包括该边界)上的情形下(参考图10)，如果维纳滤波器已经应用于属于设置在SB_loop内(或者重叠于SB_loop)的SB_preds并且占据大部分区域的部分，则当对相应的SB_loop执行环路滤波时，也可以应用维纳滤波器。
也就是说，如果当执行内插滤波时，属于设置在编译子块内(或者重叠于子块)的预测(子)块的预测(子)块并且占据大部分区域的预测的采样已经通过应用维纳滤波器而产生，则当对相应编译子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
在图10的示例中，如果当对预测(子)块(例如，预测块1，或者预测块1和A，或者预测块1和B，或者A和B，或者预测块1和A和B)(其属于预测块1 1002、在编译子块1001内的预测子块A和预测子块B，并且占据大部分区域)执行内插时，已经应用维纳滤波器，则当对编译子块1001执行环路滤波时，可以应用维纳滤波器。
d)在SB_loop位于SB_preds的边界(或者如果包括该边界)上的情形下(参考图10)，如果维纳滤波器已经应用于设置在SB_loop内(或者重叠于SB_loop)的SB_preds的任何一个，则当对相应的SB_loop执行环路滤波时，可以应用维纳滤波器。
也就是说，如果当执行内插滤波时，设置在编码子块内(或者重叠于子块)的任何一个预测(子)块的预测的采样已经通过应用维纳滤波器而产生，则当对相应的编译子块的重建的采样执行环路滤波时，编码器/解码器可以应用维纳滤波器。
在图10的示例中，如果当对预测块1 1002的预测(子)块(例如，预测块1或者A或B)、在编译子块1001内的预测子块A和预测子块B的任何一个执行内插时，已经应用维纳滤波器，则当对编译子块1001执行环路滤波时，可以应用维纳滤波器。
e)编码器/解码器可以有选择地合并和使用a)至d)的前面提到的方法的一个或多个。
同时，在当使用实施例4的方法执行环路滤波时，确定是否应用维纳滤波器的过程中，环路滤波的维纳滤波器的系数可以通过如在实施例2的方法中应用参数α、β和γ来计算。
在前面提到的实施例中，当执行内插滤波时，是否应用维纳滤波器的单元已经作为编译块或者编译块的子块图示，并且当执行环路滤波时，是否应用维纳滤波器的单元已经作为预测块或者预测块的子块图示。如果这些概括起来，则当执行内插滤波时是否应用维纳滤波器以及当执行环路滤波时是否应用维纳滤波器可以确定为不同的单元。
在下文中，确定当执行内插滤波时是否应用维纳滤波器的单元被称作第一块，并且确定当执行环路滤波时是否应用维纳滤波器的单元被称作第二块。
图11是图示根据本发明的一个实施例的解码图像方法的示意图。
参考图11，编码器/解码器对参考图片执行内插滤波(S1101)。
在这种情况下，编码器/解码器可以通过使用在图5至7中描述的方法执行内插滤波，使用参考图片的整数像素产生子像素。
此外，编码器/解码器可以确定当在第一块单元中执行内插滤波时，是否应用特定的滤波器(例如，维纳滤波器)，并且可以确定滤波器的系数。
编码器/解码器从在已经对其执行内插滤波的参考图片内的采样中产生预测的采样(S1102)。
编码器/解码器可以使用在预测块单元(或者预测块的子块单元)中相应的预测块(或者预测块的子块)的运动信息，从在参考图片内的采样中产生相应的预测块(或者预测块的子块)的预测的采样。
编码器/解码器通过将残留采样和预测的采样相加在一起产生重建的采样(S1103)。
编码器/解码器对重建的采样执行环路滤波(S1103)(应为S1104)。
在这种情况下，编码器/解码器可以使用实施例1至4的前面提到的方法，确定当在第二块单元中执行环路滤波时，是否应用特定的滤波器(例如，维纳滤波器)和滤波器系数。在这种情况下，如上所述，确定是否应用特定的滤波器(例如，维纳滤波器)的单元和确定滤波器系数的单元可能是不同的。
这在以下更具体地描述。在第一块的大小与第二块的大小相同的情形下，如果第一块的预测的采样已经通过当执行内插滤波时应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第一块被包括在第二块中的情形下，如果当执行内插滤波时，包括在第二块中的所有第一块的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第一块被包括在第二块中的情形下，如果当执行内插滤波时，第一块(其属于包括在第二块中，并且具有大部分的第一块)的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第一块被包括在第二块中的情形下，如果当执行内插滤波时，包括在第二块中的至少任何一个的第一块的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中的情形下，如果当执行内插滤波时，第一块的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中，并且第二块位于多个第一块的边界上的情形下，如果当执行内插滤波时，多个第一块的所有预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中，并且第二块位于多个第一块的边界上的情形下，如果当执行内插滤波时，第一块(其属于多个第一块，并且包括第二块的大部分)的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中，并且第二块位于多个第一块的边界上的情形下，如果当执行内插滤波时，多个第一块的至少任何一个的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
此外，如果当执行环路滤波时用于内插的滤波器应用于第二块，则用于环路滤波的滤波器的系数可以如实施例2从用于内插滤波的滤波器的系数中导出。例如，用于环路滤波的滤波器的系数可以通过将用于内插滤波的滤波器的系数校正为第一块的大小和第二块的大小的比率来确定。
图12是图示根据本发明的一个实施例的图像解码装置的示意图。
在图12中，为了描述的方便起见，间预测单元181(参考图1)；261(参考图2)已经作为一个块图示，并且滤波单元160(参考图1)；240(参考图2)已经作为一个块图示，但是，间预测单元181、261和滤波单元160、240可以作为包括在编码器和/或解码器中的单元实现。
参考图12，图像解码装置可以被配置为包括间预测单元181、261，加法器1204和滤波单元160、240。在这种情况下，图12的图像解码装置仅仅是一个示例，并且可以实现为进一步包括在图12中未示出的单元。
在这种情况下，间预测单元181、261和滤波单元160、240实现在图5至11中提出的功能、过程和/或方法。
特别地，间预测单元181、261可以被配置为包括运动信息推导单元1201、内插滤波单元1202和预测采样产生单元1203。
运动信息推导单元1201推导出当前块(例如，预测块)的运动信息。
在这种情况下，运动信息可以包括表示参考图片的参考图片信息(例如，参考图片索引)，表示在运动信息候选者列表(例如，合并候选者列表或者运动矢量预测值候选者列表)内的运动信息的信息(例如，合并索引或者运动矢量预测值标记)，和/或运动矢量残留值信息。
内插滤波单元1202对参考图片执行内插滤波。在这种情况下，内插滤波单元1202可以通过使用在图5至7中描述的方法执行内插滤波，使用参考图片的整数像素产生子像素。
此外，内插滤波单元1202可以确定当在第一块单元中执行内插滤波时，是否应用特定的滤波器(例如，维纳滤波器)，并且也可以确定滤波器的系数。
预测采样产生单元1203从在已经对其执行内插滤波的参考图片内的采样产生预测的采样。
编码器/解码器可以使用在预测块单元(或者预测块的子块单元)中相应的预测块(或者预测块的子块)的运动信息，从在参考图片内的采样中产生相应的预测块(或者预测块的子块)的预测的采样。
同时，加法器1204通过将残留采样和预测的采样相加在一起产生重建的采样。
在这种情况下，加法器1204可以通过将从在预测块单元中产生的预测的采样中获得的编译块的预测的采样和相应的编译块的残留采样相加，产生相应的编译块的重建的采样。
滤波单元160、240对重建的采样执行环路滤波。
在这种情况下，编码器/解码器可以使用实施例1至4的前面提到的方法，确定当在第二块单元中执行环路滤波时，是否应用特定的滤波器(例如，维纳滤波器)和滤波器系数。在这种情况下，如上所述，确定是否应用特定的滤波器(例如，维纳滤波器)的单元和确定滤波器系数的单元可能是不同的。
这些以下更具体地描述。在第一块的大小与第二块的大小相同的情形下，如果第一块的预测的采样已经通过当执行内插滤波时应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第一块被包括在第二块中的情形下，如果当执行内插滤波时，包括在第二块中的所有第一块的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第一块被包括在第二块中的情形下，如果当执行内插滤波时，第一块(其属于包括在第二块中，并且具有大部分的第一块)的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第一块被包括在第二块中的情形下，如果当执行内插滤波时，包括在第二块中的至少任何一个的第一块的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中的情形下，如果当执行内插滤波时，第一块的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中，并且第二块位于多个第一块的边界上的情形下，如果当执行内插滤波时，多个第一块的所有预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块被包括在第一块中，并且第二块位于多个第一块的边界上的情形下，如果当执行内插滤波时，第一块(其属于多个第一块，并且包括第二块的大部分)的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
做为选择，在第二块包括在第一块中，并且第二块位于多个第一块的边界上的情形下，如果当执行内插滤波时，多个第一块的至少任何一个的预测的采样已经通过应用特定的滤波器产生，则当对第二块的重建的采样执行环路滤波时，可以应用相应的滤波器。
此外，如果当执行环路滤波时用于内插的滤波器应用于第二块，则用于环路滤波的滤波器的系数可以如实施例2从用于内插滤波的滤波器的系数中导出。例如，用于环路滤波的滤波器的系数可以通过将用于内插滤波的滤波器的系数校正为第一块的大小和第二块的大小的比率来确定。
在前面提到的实施例中，本发明的要素和特征已经以特定的形式合并。除了另外明确地描述的之外，该要素或者特征的每个可以考虑是可选择性的。该要素或者特征的每个可以以不与其它的要素或者特征相结合的形式实现。此外，该要素和/或特征的一些可以合并去形成本发明的一个实施例。在本发明的实施例中描述的操作顺序可以变化。一个实施例的该要素或者特征的一些可以包括在另一个实施例中，或者可以以另一个实施例的相应的要素或者特征替换。很显然，一个实施例可以通过合并在权利要求书中不具有明确的引证关系的权利要求构成，或者可以在申请一个申请之后，通过修改作为新的权利要求包括。
按照本发明的实施例可以通过各种各样的手段，例如，硬件、固件、软件或者它们的组合实现。在通过硬件实现的情况下，本发明的实施例可以使用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程序逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等等实现。
在通过固件或者软件实现的情况下，本发明的实施例可以以用于执行前面提到的功能或者操作的模块、步骤或者功能的形式实现。软件代码可以存储在存储器中，并且由处理器驱动。存储器可以设置在处理器的内部或者外部，并且可以经由各种各样已知的装置与处理器交换数据。
对于那些本领域技术人员来说显而易见，不脱离本发明的精神和基本特征，本发明可以以其他特定的形式实施。因此，该详细说明从所有方面不应该认为是限制性的，而是，应该认为是说明性的。本发明的范围将通过所附的权利要求书的合理的分析确定，并且在本发明的等效范围内的所有变化包括在本发明的范围中。
工业实用性
本发明前面提到的优选的实施例已经为了说明性的目的公开，并且不脱离在附属的权利要求书中公开的本发明的技术精神和范围，本领域技术人员可以改进、变化、替换或者增加各种各样其它的实施例。

Claims (12)

1.一种解码图像的方法，包括步骤：
当确定在执行内插滤波时已经应用滤波器时，通过将所述滤波器应用于参考图片中的采样来对所述参考图片执行所述内插滤波；
从对其应用所述滤波器的所述参考图片内的所述采样产生用于第一块的预测的采样；
通过将残留的采样和所述预测的采样相加在一起产生重建的采样；
当基于在执行所述内插滤波时是否已经应用所述滤波器确定应用所述滤波器用于环路滤波时，通过将所述滤波器应用于第二块的所述重建的采样，来对所述重建的采样执行所述环路滤波，
其中，所述第一块是预测块并且所述第二块是编译块，或者所述第一块是预测块并且所述第二块是编译块的子块，或者所述第一块是预测块的子块并且所述第二块是编译块的子块，并且
其中，当将所述滤波器应用于所述环路滤波时，从用于所述内插滤波的所述滤波器的系数导出用于所述环路滤波的所述滤波器的系数。
2.根据权利要求1所述的方法，其中，当所述第一块的大小与所述第二块的大小相同，并且所述第一块的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
3.根据权利要求1所述的方法，其中，当所述第一块被包括在所述第二块中，并且包括在所述第二块中的所述第一块的所有的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
4.根据权利要求1所述的方法，其中，当所述第一块被包括在所述第二块中，并且具有大于包括在所述第二块中的所述第一块的一半的所述第一块的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
5.根据权利要求1所述的方法，其中，当所述第一块被包括在所述第二块中，并且包括在所述第二块中的所述第一块的至少任何一个的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
6.根据权利要求1所述的方法，其中，当所述第二块被包括在所述第一块中，并且所述第一块的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
7.根据权利要求1所述的方法，其中，当多个第一块的边界位于所述第二块中，并且所述多个第一块的所有所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
8.根据权利要求1所述的方法，其中，当多个第一块的边界位于所述第二块中，并且属于所述多个第一块并且具有所述第二块的大部分的所述第一块的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
9.根据权利要求1所述的方法，其中，当多个第一块的边界位于所述第二块中，并且所述多个第一块的至少任何一个的所述预测的采样已经通过应用所述滤波器而产生时，对所述第二块的所述重建的采样应用所述滤波器。
10.根据权利要求1所述的方法，其中，当应用所述滤波器用于所述环路滤波时，用于所述环路滤波的系数通过将用于所述内插滤波的滤波器的系数校正为所述第一块的大小和所述第二块的大小的比率来确定。
11.根据权利要求1所述的方法，其中，所述滤波器是维纳滤波器。
12.一种解码图像的装置，包括：
内插滤波单元，所述内插滤波单元用于当确定在执行内插滤波时已经应用滤波器时，通过将所述滤波器应用于参考图片中的采样来对所述参考图片执行所述内插滤波；
预测采样产生单元，所述预测采样产生单元用于从对其应用所述滤波器的所述参考图片内的所述采样产生用于第一块的预测的采样；
加法器，所述加法器用于通过将残留的采样和所述预测的采样相加在一起产生重建的采样；以及
滤波单元，所述滤波单元用于当基于在执行所述内插滤波时是否已经应用所述滤波器确定应用所述滤波器用于环路滤波时，通过将所述滤波器应用于第二块的所述重建的采样，来对所述重建的采样执行所述环路滤波，
其中，所述第一块是预测块并且所述第二块是编译块，或者所述第一块是预测块并且所述第二块是编译块的子块，或者所述第一块是预测块的子块并且所述第二块是编译块的子块，并且
其中，当将所述滤波器应用于所述环路滤波时，从用于所述内插滤波的所述滤波器的系数导出用于所述环路滤波的所述滤波器的系数。
CN201680051894.4A 2015-09-08 2016-05-13 用于编码/解码图像的方法及其装置 Active CN108028924B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562215675P 2015-09-08 2015-09-08
US62/215,675 2015-09-08
PCT/KR2016/005094 WO2017043730A1 (ko) 2015-09-08 2016-05-13 영상의 부호화/복호화 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
CN108028924A CN108028924A (zh) 2018-05-11
CN108028924B true CN108028924B (zh) 2020-12-01

Family

ID=58240064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051894.4A Active CN108028924B (zh) 2015-09-08 2016-05-13 用于编码/解码图像的方法及其装置

Country Status (6)

Country Link
US (1) US10575019B2 (zh)
EP (1) EP3349450B1 (zh)
JP (1) JP6791952B2 (zh)
KR (1) KR20180039722A (zh)
CN (1) CN108028924B (zh)
WO (1) WO2017043730A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2587091B (en) 2017-04-21 2022-01-05 Zenimax Media Inc Systems and methods for encoder-guided adaptive-quality rendering
CN110692248B (zh) * 2017-08-29 2024-01-02 株式会社Kt 视频信号处理方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166071A (zh) * 2006-10-19 2008-04-23 北京三星通信技术研究有限公司 差错帧隐藏装置与方法
JP2009302821A (ja) * 2008-06-12 2009-12-24 Sony Corp 受信装置および受信方法、並びにプログラム
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
US20110243222A1 (en) 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
US9363533B2 (en) * 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
AU2012267007B2 (en) * 2011-06-10 2016-03-17 Mediatek Inc. Method and apparatus of scalable video coding
CN102325256B (zh) * 2011-09-14 2013-10-02 河海大学常州校区 基于图像宏块编码模式决策的环路滤波方法
WO2013128010A2 (en) * 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
US9924189B2 (en) * 2012-09-28 2018-03-20 Sony Corporation Image processing device and method
KR101712108B1 (ko) * 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
MX364032B (es) * 2013-10-22 2019-04-11 Kt Corp Metodo y dispositivo para codificar/descodificar una señal de video de multicapa.

Also Published As

Publication number Publication date
CN108028924A (zh) 2018-05-11
US10575019B2 (en) 2020-02-25
US20180270508A1 (en) 2018-09-20
EP3349450A4 (en) 2019-02-27
JP2018530956A (ja) 2018-10-18
EP3349450A1 (en) 2018-07-18
WO2017043730A1 (ko) 2017-03-16
JP6791952B2 (ja) 2020-11-25
EP3349450B1 (en) 2021-08-25
KR20180039722A (ko) 2018-04-18

Similar Documents

Publication Publication Date Title
CN109792519B (zh) 基于帧内预测模式的图像处理方法及其装置
US20220124357A1 (en) Image processing method and apparatus therefor
CN107409207B (zh) 在内预测模式的基础上处理图像的方法及其装置
US9762918B2 (en) Method and apparatus for line buffer reduction for video processing
CN110622511B (zh) 图像编码/解码方法及其设备
US10511839B2 (en) Image encoding/decoding method and device for same
US10893267B2 (en) Method for processing image on basis of intra-prediction mode and apparatus therefor
KR20210152476A (ko) 코딩 된 비디오의 양자화된 잔차 차동 펄스 코드 변조 표현의 제약
CN114402601B (zh) 色度去块滤波的量化参数偏移的方法及装置
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN113508586A (zh) 视频编解码中变换系数的编解码
KR20180009048A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180040577A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN108028924B (zh) 用于编码/解码图像的方法及其装置
US20190342545A1 (en) Intra-prediction mode-based image processing method and apparatus for same
KR20230137232A (ko) 컨텍스트 모델 초기화를 사용하는 비디오 코딩방법 및 장치
WO2023158765A1 (en) Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order
KR20240049364A (ko) 디코더측 인트라 모드 도출을 위한 방법 및 디바이스
KR20230042236A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2024044404A1 (en) Methods and devices using intra block copy for video coding
KR20180009358A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant