CN103119935A - 图像插值方法和设备 - Google Patents

图像插值方法和设备 Download PDF

Info

Publication number
CN103119935A
CN103119935A CN201180043659XA CN201180043659A CN103119935A CN 103119935 A CN103119935 A CN 103119935A CN 201180043659X A CN201180043659X A CN 201180043659XA CN 201180043659 A CN201180043659 A CN 201180043659A CN 103119935 A CN103119935 A CN 103119935A
Authority
CN
China
Prior art keywords
interpolation
pixel
sub
interpolation filter
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180043659XA
Other languages
English (en)
Other versions
CN103119935B (zh
Inventor
李泰美
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103119935A publication Critical patent/CN103119935A/zh
Application granted granted Critical
Publication of CN103119935B publication Critical patent/CN103119935B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种图像插值方法和设备。所述图像插值方法包括：根据整数像素之间的子像素的位置选择不同的插值滤波器；以及使用选择的插值滤波器产生在子像素的位置处的子像素值。

Description

图像插值方法和设备
技术领域
本发明涉及一种用于对图像进行插值的方法和设备，更具体地，涉及一种用于对整数像素之间的子像素的像素值进行插值的方法和设备。
背景技术
在图像编码/解码方法中，将一个画面划分为多个宏块以对图像进行编码。随后，通过执行帧间预测或帧内预测来对多个宏块中的每一个进行预测编码。
帧间预测是通过去除画面之间的时间冗余来对图像进行压缩的方法。帧间预测的代表示例是运动估计编码。在运动估计编码中，通过使用至少一个参考画面来对当前画面的每个块进行预测。通过使用预定的估计函数在预定的搜索范围中搜索与当前块最相似的参考块。
基于参考块来对当前块进行预测，通过从当前块减去作为预测的结果的预测块来获得残差块，并随后对残差块进行编码。在这种情况下，为了精确地对当前块进行预测，通过在参考画面的搜索范围中执行插值来产生小于整数像素的子像素，并基于具有子像素的精确度的参考画面来执行帧间预测。
发明内容
技术目标
本发明提供了一种通过对整数像素单元的像素值进行插值来产生子像素单元的像素值的图像插值方法和设备。
技术方案
根据本发明的实施例，根据子像素的位置设置具有不同特性的多个插值滤波器中的一个，根据子像素的位置选择设置的插值滤波器，并执行子像素的插值。
技术效果
根据本发明的实施例，可更精确地对图像进行插值，从而可以以高压缩效率来对图像执行编码和解码。
附图说明
图1是根据本发明实施例的用于对图像进行编码的设备的框图；
图2是根据本发明实施例的用于对图像进行解码的设备的框图；
图3示出根据本发明实施例的分层编码单元；
图4是根据本发明实施例的基于编码单元的图像编码器的框图；
图5是根据本发明实施例的基于编码单元的图像解码器的框图；
图6示出根据本发明实施例的最大编码单元、子编码单元和预测单元；
图7示出根据本发明实施例的编码单元和变换单元；
图8a和图8b示出根据本发明实施例的编码单元、预测单元和变换单元的划分形状；
图9是根据本发明实施例的图像插值设备的框图；
图10是用于解释根据本发明实施例的选择用于对子像素进行插值的插值滤波器的处理的参考示图；
图11是用于解释根据本发明实施例的对布置在与整数像素相同行或列的子像素进行插值的处理的参考示图；
图12是用于解释对图10的1/2子像素j进行插值的处理的参考示图；
图13是用于解释对图10的1/4子像素f、l、k和n进行插值的处理的参考示图；
图14是用于解释对图10的1/4子像素e、g、m和o进行插值的处理的参考示图；
图15是根据本发明实施例的图像插值方法的流程图。
具体实施方式
最优模式
根据本发明的一方面，提供了一种图像插值方法，包括：根据整数像素之间的子像素的位置从不同插值滤波器中选择插值滤波器；以及使用选择的插值滤波器产生在子像素的位置处的子像素值。
根据本发明的另一方面，提供了一种图像插值方法，包括：根据包括整数像素的块的尺寸和整数像素之间的子像素的位置来设置具有不同特性的插值滤波器以对整数像素之间的子像素进行插值，并根据所述块的尺寸和子像素的位置来选择用于对子像素进行插值的插值滤波器；以及使用选择的插值滤波器产生在子像素的位置处的子像素值。
根据本发明的另一方面，提供了一种图像插值设备，包括：插值滤波器选择器，用于根据整数像素之间的子像素的位置从不同插值滤波器中选择插值滤波器；以及插值器，用于使用选择的插值滤波器产生在子像素的位置处的子像素值。
根据本发明的另一方面，提供了一种图像插值设备，包括：插值滤波器选择器，用于根据包括整数像素的块的尺寸和整数像素之间的子像素的位置来设置具有不同特性的插值滤波器以对整数像素之间的子像素进行插值，并根据所述块的尺寸和子像素的位置来选择用于对子像素进行插值的插值滤波器；以及插值器，用于使用选择的插值滤波器产生在子像素的位置处的子像素值。
发明模式
以下，将参照示出本发明的示例性实施例的附图对本发明进行更充分地描述。
图1是根据本发明实施例的用于对图像进行编码的设备100的框图。参照图1，用于对图像进行编码的设备100包括最大编码单元划分器110、编码深度确定器120、图像数据编码器130和编码信息编码器140。
最大编码单元划分器110可基于作为最大尺寸的编码单元的最大编码单元来对当前帧或条带进行划分。也就是说，最大编码单元划分器110可将当前帧或条带划分为至少一个最大编码单元。
根据本发明的实施例，编码单元可使用最大编码单元和深度来表征。如上所述，最大编码单元指示当前帧的编码单元中具有最大尺寸的编码单元，深度指示分层减小编码单元的程度。随着深度增加，编码单元可从最大编码单元减小为最小编码单元，其中，最大编码单元的深度被定义为最小深度，最小编码单元的深度被定义为最大深度。由于编码单元的尺寸随着深度增加而从最大编码单元减小，因此，第k深度的子编码单元可包括多个深度大于k的子编码单元。
根据将被编码的帧的尺寸的增加，按照更大的编码单元对图像进行编码可导致更高的图像压缩率。然而，如果更大的编码单元被固定，则通过反映连续改变的图像特征可能不能对图像进行有效的编码。
例如，当诸如海或天空的平滑区域被编码时，编码单元越大，压缩率可提高越多。然而，当诸如人或建筑的复杂区域被编码时，编码单元越小，压缩率可提高越多。
因此，根据本发明的实施例，对每个帧或条带设置不同的最大图像编码单元和不同的最大深度。由于最大深度表示编码单元可减小的最大次数，故包括在最大图像编码单元中的每个最小编码单元的尺寸可根据最大深度而被可变地设置。可对每个帧或条带或者对每个最大编码单元不同地确定最大深度。
编码深度确定器120确定最大编码单元的划分形状。可基于率失真（RD）代价的计算来确定划分形状。确定的最大编码单元的划分形状被提供给编码信息编码器140，并且根据最大编码单元的图像数据被提供给图像数据编码器130。
最大编码单元可根据不同深度被划分为具有不同尺寸的子编码单元，包括在最大编码单元中的具有不同尺寸的子编码单元可基于具有不同尺寸的处理单元被预测或变换。变换是将空间域的系数转换为频域的系数的处理，诸如，离散余弦变换（DCT）或Karhunen-Loever变换（KLT）。
换句话说，用于对图像进行编码的设备100可基于具有各种尺寸和各种形状的处理单元来执行用于图像编码的多个处理操作。为了对图像数据进行编码，诸如预测、变换和熵编码中的至少一个的处理操作被执行，其中，具有相同尺寸或不同尺寸的处理单元可被分别用于处理操作。
例如，用于对图像进行编码的设备100可选择与编码单元不同的处理单元来对编码单元进行预测。
当编码单元的尺寸是2N×2N（其中，N是正整数）时，用于预测的处理单元可以是2N×2N、2N×N、N×2N和N×N。换句话说，可基于具有编码单元的高度和宽度中的至少一个被二等分的形状的处理单元来执行运动预测。以下，作为预测的基础的处理单元被定义为“预测单元”。
预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个，可仅对具有特定尺寸或特定形状的预测单元执行特定预测模式。例如，可仅对形状为正方形的具有2N×2N和N×N的尺寸的预测单元执行帧内模式。此外，可仅对具有2N×2N的尺寸的预测单元执行跳过模式。如果在编码单元中存在多个预测单元，则在对每个预测单元执行预测之后，可选择具有最小编码误差的预测模式。
可选择地，用于对图像进行编码的设备100可基于与编码单元具有不同尺寸的处理单元对图像数据执行变换。对于编码单元中的变换，可基于具有与编码单元的尺寸相等或更小的尺寸的处理单元来执行变换。以下，作为变换的基础的处理单元被定义为“变换单元”。
编码深度确定器120可通过使用基于拉格朗日乘子的RD优化来确定包括在最大编码单元中的子编码单元。换句话说，编码深度确定器120可确定从最大编码单元划分的多个子编码单元具有何种形状，其中，多个子编码单元根据子编码单元的深度而具有不同尺寸。图像数据编码器130通过基于由编码深度确定器120确定的划分形状对最大编码单元进行编码来输出比特流。
编码信息编码器140对关于由编码深度确定器120确定的最大编码单元的编码模式的信息进行编码。换句话说，编码信息编码器140通过对以下信息进行编码来输出比特流：关于最大编码单元的划分形状的信息、关于最大深度的信息和关于每个深度的子编码单元的编码模式的信息。关于子编码单元的编码模式的信息可包括关于子编码单元的预测单元的信息、关于每个预测单元的预测模式的信息和关于子编码单元的变换单元的信息。
关于最大编码单元的划分形状的信息可以是指示每个编码单元是否被划分的信息，例如，标志信息。例如，当最大编码单元被划分并被编码时，指示最大编码单元是否被划分的信息被编码。另外，当从最大编码单元划分的子编码单元被划分并被编码时，指示子编码单元是否被划分的信息被编码。
由于对于每个最大编码单元存在具有不同尺寸的子编码单元并且对每个子编码单元必须确定关于编码模式的信息，故可对一个最大编码单元确定关于至少一个编码模式的信息。
用于对图像进行编码的设备100可根据深度的增加通过将最大编码单元的高度和宽度两者均等地划分为二来产生子编码单元。也就是说，当第k深度的编码单元的尺寸是2N×2N时，第（k+1）深度的编码单元的尺寸是N×N。
因此，用于对图像进行编码的设备100可考虑图像特征，基于最大编码单元的尺寸和最大深度对每个最大编码单元确定最优划分形状。通过考虑图像特征可变地调整最大编码单元的尺寸并通过将最大编码单元划分为不同深度的子编码单元而对图像进行编码，具有不同分辨率的图像可被更有效地编码。
图2是根据本发明实施例的用于对图像进行解码的设备200的框图。参照图2，用于对图像进行解码的设备200包括图像数据获取单元210、编码信息提取器220和图像数据解码器230。
图像数据获取单元210通过对由用于对图像进行解码的设备200接收的比特流进行解析来获取根据最大编码单元的图像数据，并将图像数据输出到图像数据解码器230。图像数据获取单元210可从当前帧或条带的头提取关于当前帧或条带的最大编码单元的信息。换句话说，图像数据获取单元210根据最大编码单元来划分比特流，从而图像数据解码器230可根据最大编码单元对图像数据进行解码。
编码信息提取器220通过对由用于对图像进行解码的设备200接收的比特流进行解析来从当前帧的头提取关于最大编码单元、最大深度、最大编码单元的划分形状和子编码单元的编码模式的信息。关于划分形状的信息和关于编码模式的信息被提供给图像数据解码器230。
关于最大编码单元的划分形状的信息可包括关于根据深度具有不同尺寸并包括在最大编码单元中的子编码单元的信息，并可以是指示每个编码单元是否被划分的信息（例如，标志信息）。关于编码模式的信息可包括关于根据子编码单元的预测单元的信息、关于预测模式的信息以及关于变换单元的信息。
图像数据解码器230通过基于由编码信息提取器220提取的信息对每个最大编码单元的图像数据进行解码来恢复当前帧。
图像数据解码器230可基于关于最大编码单元的划分形状的信息对包括在最大编码单元中的子编码单元进行解码。解码处理可包括帧内预测、包括运动补偿的帧间预测以及逆变换。
图像数据解码器230可基于关于预测单元的信息和关于预测模式的信息执行帧内预测或帧间预测，以对预测单元进行预测。图像数据解码器230还可基于关于子编码单元的变换单元的信息对每个子编码单元执行逆变换。
图3示出根据本发明实施例的分层编码单元。参照图3，分层编码单元可包括宽度和高度是64×64、32×32、16×16、8×8和4×4的编码单元。除了这些具有完美正方形状的编码单元之外，还可存在宽度和高度是64×32、32×64、32×16、16×32、16×8、8×16、8×4和4×8的编码单元。
参照图3，对于分辨率是1920×1080的图像数据310，最大编码单元的尺寸被设置为64×64，最大深度被设置为2。
对于分辨率是1920×1080的图像数据320，最大编码单元的尺寸被设置为64×64，最大深度被设置为3。对于分辨率是352×288的图像数据330，最大编码单元的尺寸被设置为16×16，最大深度被设置为1。
当分辨率高或者数据量大时，编码单元的最大尺寸可被设置为相对大以提高压缩率并精确地反映图像特征。因此，对于比图像数据330具有更高分辨率的图像数据310和320，可选择64×64作为最大编码单元的尺寸。
最大深度指示分层编码单元中的层的总数量。由于图像数据310的最大深度是2，故图像数据310的编码单元315可根据深度的增加而包括长轴尺寸是64的最大编码单元和长轴尺寸是32和16的子编码单元。
另一方面，由于图像数据330的最大深度是1，故图像数据330的编码单元335可根据深度的增加而包括长轴尺寸是16的最大编码单元以及长轴尺寸是8和4的编码单元。
然而，由于图像数据320的最大深度是3，故图像数据320的编码单元325可根据深度的增加而包括长轴尺寸是64的最大编码单元以及长轴尺寸是32、16、8和4的子编码单元。由于随着深度增加，基于较小的子编码单元对图像进行编码，故当前实施例适用于对包括更多微小场景的图像进行编码。
图4是根据本发明实施例的基于编码单元的图像编码器400的框图。帧内预测单元410对当前帧405中的帧内模式的预测单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对帧间模式的预测单元执行帧间预测和运动补偿。
基于从帧内预测单元410、运动估计器420和运动补偿器425输出的预测单元产生残差值，产生的残差值随后通过经过变换器430和量化器440而被输出为量化的变换系数。
量化的变换系数通过经过反量化器460和逆变换器470而被恢复为残差值，并且恢复的残差值通过经过去块单元480和环路滤波单元490被后处理并随后被输出为参考帧495。量化的变换系数可通过经过熵编码器450而被输出为比特流455。
为了执行基于根据本发明实施例的编码方法的编码，图像编码器400的所有部件（即，帧内预测单元410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490）可基于最大编码单元、根据深度的子编码单元、预测单元和变换单元来执行图像编码处理。
图5是根据本发明实施例的基于编码单元的图像解码器500的框图。参照图5，比特流505由解析器510解析，以获得将被解码的编码的图像数据以及解码所必需的编码信息。编码的图像数据通过经过熵解码器520和反量化器530而被输出为反量化的数据，并通过经过逆变换器540而被恢复为残差值。通过根据编码单元将残差值与帧内预测单元550的帧内预测结果或运动补偿器560的运动补偿结果相加来恢复残差值。恢复的编码单元通过经过去块单元570和环路滤波单元580而被用于下一编码单元或下一帧的预测。
为了执行基于根据本发明实施例的解码方法的解码，图像解码器500的所有部件（即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测单元550、运动补偿器560、去块单元570和环路滤波单元580）可基于最大编码单元、根据深度的子编码单元、预测单元和变换单元来执行图像解码处理。
具体地讲，帧内预测单元550和运动补偿器560通过考虑最大编码单元和深度来按照子编码单元确定预测单元和预测模式，逆变换器540通过考虑变换单元的尺寸来执行逆变换。
图6示出根据本发明实施例的最大编码单元、子编码单元和预测单元。图1中示出的用于对图像进行编码的设备100和图2中示出的用于对图像进行解码的设备200考虑图像特征使用分层编码单元以执行编码和解码。最大编码单元和最大深度可根据图像特征而被自适应地设置，或可根据用户的需要而被不同地设置。
在图6中，分层编码单元结构600具有高度和宽度是64并且最大深度是4的最大编码单元610。深度沿着分层编码单元结构600的纵轴增加，并且随着深度增加，子编码单元620到650的高度和宽度减小。最大编码单元610和子编码单元620到650的预测单元沿着分层编码单元结构600的横轴被显示。
最大编码单元610具有深度0和64×64的编码单元的尺寸（即高度和宽度）。深度沿着纵轴增加，并且存在尺寸是32×32且深度是1的子编码单元620，尺寸是16×16且深度是2的子编码单元630，尺寸是8×8且深度是3的子编码单元640，以及尺寸是4×4且深度是4的子编码单元650。尺寸是4×4且深度是4的子编码单元650是最小编码单元，并且最小编码单元可被划分为预测单元，每个预测单元小于最小编码单元。
参照图6，预测单元的示例根据每个深度沿着横轴而被示出。也就是说，深度是0的最大编码单元610的预测单元可以是尺寸等于编码单元610（即，64×64）的预测单元，或者是具有小于尺寸是64×64的编码单元610的尺寸的尺寸是64×32的预测单元612，尺寸是32×64的预测单元614或尺寸是32×32的预测单元616。
深度是1且尺寸是32×32的编码单元620的预测单元可以是尺寸等于编码单元620（即，32×32）的预测单元，或者是具有小于尺寸是32×32的编码单元620的尺寸的尺寸是32×16的预测单元622，尺寸是16×32的预测单元624或尺寸是16×16的预测单元626。
深度是2且尺寸是16×16的编码单元630的预测单元可以是尺寸等于编码单元630（即，16×16）的预测单元，或者是具有小于尺寸是16×16的编码单元630的尺寸的尺寸是16×8的预测单元632，尺寸是8×16的预测单元634或尺寸是8×8的预测单元636。
深度是3且尺寸是8×8的编码单元640的预测单元可以是尺寸等于编码单元640（即，8×8）的预测单元，或者是具有小于尺寸是8×8的编码单元640的尺寸的尺寸是8×4的预测单元642，尺寸是4×8的预测单元644或尺寸是4×4的预测单元646。
最后，深度是4且尺寸是4×4的编码单元650是最小编码单元和最大深度的编码单元。具有最大深度的编码单元650的预测单元可以是具有小于编码单元650的尺寸的尺寸是4×4的预测单元650，具有尺寸4×2的预测单元652，具有尺寸2×4的预测单元654或具有尺寸2×2的预测单元656。
图7示出根据本发明实施例的编码单元和变换单元。图1中示出的用于对图像进行编码的设备100和图2中示出的用于对图像进行解码的设备200使用最大编码单元本身或者使用从最大编码单元划分的等于或小于最大编码单元的子编码单元来执行编码和解码。在编码和解码处理中，用于变换的变换单元的尺寸可被选择为不大于相应的编码单元的尺寸。例如，参照图7，在当前编码单元710具有尺寸64×64时，可使用具有尺寸32×32的变换单元720执行变换。
图8a到图8b示出根据本发明实施例的编码单元、预测单元和变换单元的划分形状。具体地，图8a示出根据本发明实施例的编码单元和预测单元。
图8a的左侧示出由图1中示出的用于对图像进行编码的设备100选择的划分形状，以对最大编码单元810进行编码。用于对图像进行编码的设备100将最大编码单元810划分为各个形状，对它们执行编码，并通过基于R-D代价将各个划分形状的编码结果彼此进行比较来选择最优划分形状。当按原样对最大编码单元810进行编码最优时，如图8a和图8b中所示，可对最大编码单元810进行编码而不划分最大编码单元810。
参照图8a的左侧，通过将深度是0的最大编码单元810划分为深度等于或大于1的子编码单元来对最大编码单元810进行编码。也就是说，最大编码单元810被划分为四个深度是1的子编码单元，所有或一些深度是1的子编码单元被划分为深度是2的子编码单元。
深度是1的子编码单元中位于右上侧的子编码单元和位于左下侧的子编码单元被划分为深度等于或大于2的子编码单元。一些深度等于或大于2的子编码单元可被划分为深度等于或大于3的子编码单元。
图8a的右侧示出用于最大编码单元810的预测单元的划分形状。参照图8a的右侧，可与最大编码单元810不同地划分用于最大编码单元810的预测单元860。换句话说，用于每个子编码单元的预测单元可小于相应的子编码单元。
例如，用于深度是1的子编码单元中位于右下侧的子编码单元854的预测单元可小于子编码单元854。此外，用于深度是2的子编码单元814、816、818、828、850和852中的一些子编码单元814、816、850和852的预测单元可分别小于子编码单元814、816、850和852。
此外，用于深度是3的子编码单元822、832和848的预测单元可分别小于子编码单元822、832和848。预测单元可具有各个子编码单元按照高度或宽度的方向被平均地划分为二的形状，或具有各个子编码单元按照高度和宽度的方向被平均地划分为四的形状。
图8b示出根据本发明实施例的预测单元和变换单元。
图8b的左侧示出用于图8a的右侧示出的最大编码单元810的预测单元的划分形状，图8b的右侧示出最大编码单元810的变换单元的划分形状。
参照图8b的右侧，可与预测单元860不同地设置变换单元870的划分形状。
例如，即使以深度是1的编码单元854的高度被平均地划分为二的形状来选择用于编码单元854的预测单元，也可以以与编码单元854相同的尺寸来选择变换单元。同样，即使以深度是2的编码单元814和850中的每一个的高度被平均地划分为二的形状来选择用于编码单元814和850的预测单元，也可以以与编码单元814和850中的每一个的原始尺寸相同的尺寸来选择变换单元。
可以以小于预测单元的尺寸来选择变换单元。例如，当以深度是2的编码单元852的宽度被平均地划分为二的形状来选择用于编码单元852的预测单元时，可以以编码单元852按照高度和宽度的方向被平均地划分为四的，具有小于预测单元的形状的尺寸的形状来选择变换单元。
下面将详细描述根据本发明实施例的由图4的图像编码器400的运动估计器420和运动补偿器425以及图5的图像解码器500的运动补偿器560执行的图像插值处理。以下，上述预测单元现将被称为块。
图9是根据本发明实施例的图像插值设备900的框图。
图像插值可用于将具有低分辨率的图像转换为具有高分辨率的图像。另外，图像插值可用于将隔行图像（interlaced image）转换为逐行图像（progressive image），或可用于将具有低分辨率的图像上采样为更高分辨率。当图4的图像编码器400对图像进行编码时，运动估计器420和运动补偿器425可通过使用插值的参考帧来执行帧间预测。也就是说，参照图4，可通过对参考帧495进行插值来产生具有高分辨率的图像，并可基于具有高分辨率的图像来执行运动估计和补偿，从而增加帧间预测的精度。同样，当图5的图像解码器500对图像进行解码时，运动补偿器560可通过使用插值的参考帧来执行运动补偿，从而增加帧间预测的精度。也就是说，根据本发明实施例的图像插值设备900可包括在图4的图像编码器400的运动估计器420和运动补偿器425以及图5的图像解码器500的运动补偿器560中或可连接到上述部件以进行操作。
参照图9，根据本发明实施例的图像插值设备900可包括插值滤波器选择器910和插值器920。
插值滤波器选择器910预先从具有不同特性的多个插值滤波器中根据将***值的子像素的位置来设置将被应用的插值滤波器，并根据当前将***值的子像素的位置来输出关于设置的插值滤波器的信息。由插值滤波器选择器910选择并应用于各个子像素的插值滤波器可以是预先从具有不同特性（诸如，不同抽头数、不同抽头系数或不同插值方向和形状等）的插值滤波器中针对子像素的位置而设置的插值滤波器。更详细地，插值滤波器选择器910可预先根据包括插值的像素的块的尺寸来设置将被应用的插值滤波器，以根据包括将***值的像素的块的尺寸来应用预先设置的插值滤波器。也就是说，插值滤波器选择器910可预先根据块的尺寸从具有不同抽头数、不同抽头系数、不同插值方向和形状的多个插值滤波器中针对子像素的各个位置来设置将被应用的插值滤波器，并根据块的尺寸和被输入并将***值的子像素的位置来输出关于插值滤波器的信息。例如，插值滤波器选择器910可预先针对各个子像素的位置来设置具有与块的尺寸成比例的抽头数并具有不同特性的插值滤波器，并根据块的尺寸以及当前将***值的子像素的位置来输出设置的插值滤波器。另外，插值滤波器选择器910可预先设置关于在针对子像素的位置的插值期间是使用水平方向、垂直方向还是对角线方向的***像素的插值方向。另外，插值滤波器选择器910可预先设置关于在针对子像素的位置的插值期间是利用1D形状的插值滤波器、利用使用垂直和水平方向的***像素的交叉形状的插值滤波器还是利用使用包括在具有2Dm×n（m和n是整数）的尺寸的掩罩（mask）中的***像素的插值滤波器的插值形状。
插值器920使用选择的插值滤波器产生在子像素的位置处的子像素值。
图10是用于解释根据本发明实施例的选择用于对子像素进行插值的插值滤波器的处理的参考示图。
参照图10，插值滤波器选择器910针对整数像素A1001、整数像素B1002、整数像素C1003和整数像素D1004之间的将***值的子像素的位置来选择不同插值滤波器中的一个。如上所述，插值滤波器选择器910可预先从具有不同特性的多个插值滤波器中根据将***值的子像素的位置来设置将被应用的插值滤波器，并根据当前将***值的子像素的位置来输出关于设置的插值滤波器的信息。
更详细地，插值滤波器选择器910可预先从具有不同抽头数、不同抽头系数、不同插值方向和形状的多个插值滤波器中针对子像素的各个位置来设置将被应用的插值滤波器，并根据子像素的位置从多个插值滤波器中选择和输出设置的插值滤波器。例如，插值滤波器选择器910可预先将具有诸如{8，-40，160，160，-40，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器以及具有诸如{-1，8，16，24，-48，161，161，-48，24，-16，8，-1}/256的系数的12抽头插值滤波器中的一个设置为用于对整数像素A1001与整数像素B1002之间的1/2子像素b1006或整数像素A1001与整数像素C1003之间的1/2子像素h1012进行插值的插值滤波器，并将设置的插值滤波器输出为插值滤波器信息。另外，插值滤波器选择器910可预先从具有不同系数的多个插值滤波器中根据包括整数像素的块的尺寸来设置具有不同抽头数的插值滤波器，并输出具有根据块的尺寸设置的抽头数的插值滤波器信息。例如，当插值滤波器选择器910使16×16、32×32和64×64之一作为当前块的尺寸时，插值滤波器选择器910可设置用于对包括在具有16×16的尺寸的块中的像素进行插值的6抽头插值滤波器，用于对包括在具有32×32的尺寸的块中的像素进行插值的8抽头插值滤波器，以及用于对包括在具有64×64的尺寸的块中的像素进行插值的12抽头插值滤波器，并输出关于根据当前块的尺寸设置的插值滤波器的信息。
另外，插值滤波器选择器910可选择具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中的一个作为用于对整数像素A1001与整数像素B1002之间的1/4子像素a1005或整数像素A1001与整数像素C1003之间的1/4子像素d1008进行插值的插值滤波器。
相似地，除了用于对1/4子像素a1005和1/4子像素d1008进行插值的插值滤波器之外，插值滤波器选择器910可使用具有与用于对1/4子像素a1005和1/4子像素d1008进行插值的插值滤波器的系数成镜像（mirror）（即对称）的系数的插值滤波器作为用于对整数像素A1001与整数像素B1002之间的1/4子像素c1007或整数像素A1001与整数像素C1003之间的1/4子像素I1016进行插值的插值滤波器。具体地，插值滤波器选择器910可预先选择与具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器对称的具有诸如{8，-24，72，224，-32，8}/256的系数的6抽头插值滤波器、与具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器对称的具有诸如{1，-5，17，58，-10，4，-1}/64的系数的7抽头插值滤波器以及与具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器对称的具有诸如{-1，4，-8，16，-32，76，229，-40，20，-12，5，-1}/256的系数的12抽头插值滤波器中的一个，以设置用于对子像素进行插值的插值滤波器，从而与当前***值的1/4子像素更靠近的***像素的值可被很好地反映到插值值。
插值滤波器选择器910可选择具有诸如{8，-40，160，160，-40，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器以及具有诸如{-1，8，16，24，-48，161，161，-48，24，-16，8，-1}/256的系数的12抽头插值滤波器中的一个，以将选择作为插值滤波器的插值滤波器预先设置为用于对布置在整数像素A1001、整数像素B1002、整数像素C1003和整数像素D1004的中心的1/2子像素j1014进行插值的插值滤波器。插值器920通过将选择的插值滤波器应用于布置在与1/2子像素j1014处于相同行和列的1/2子像素来对1/2子像素j1014的像素值进行插值。将参照图12描述1/2子像素j1014的详细插值处理。
插值滤波器选择器910可选择具有诸如{8，-40，160，160，-40，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器以及具有诸如{-1，8，16，24，-48，161，161，-48，24，-16，8，-1}/256的系数的12抽头插值滤波器中的一个，以将选择作为插值滤波器的插值滤波器预先设置为用于对整数像素之间的1/2子像素（诸如，当1/2子像素j1014的附近区域中的1/4子像素f1010、1/4子像素i1013、1/4子像素k1015和1/4子像素n1018***值时的1/2子像素b1006和1/2子像素h1012）进行插值的插值滤波器。插值器920通过使用选择的插值滤波器对1/2子像素进行插值。插值滤波器选择器910再次选择具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中的一个，以将选择作为插值滤波器的插值滤波器设置为将被应用到由插值器920插值的1/2子像素的插值滤波器。插值器920通过应用选择用于1/2子像素的插值滤波器来再次对1/4子像素f1010、1/4子像素i1013、1/4子像素k1015和1/4子像素n1018进行插值。将参照图13描述1/2子像素j1014的附近区域中的1/4子像素f1010、1/4子像素i1013、1/4子像素k1015和1/4子像素n1018的插值处理。
插值滤波器选择器910可选择具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中的一个，或者选择与所述6抽头插值滤波器、7抽头插值滤波器和12抽头插值滤波器的系数对称的插值滤波器中的一个，以将选择的插值滤波器设置为插值滤波器，从而对1/4子像素e1009、1/4子像素g1011、1/4子像素m1017和1/4子像素o1019进行插值。将参照图14来描述详细的插值处理。
图11是用于解释根据本发明实施例的对布置在与整数像素相同行或列的子像素进行插值的处理的参考示图。在图11中，子像素a、b和c分别与图10的子像素a、b和c相应。
现将描述对1/2子像素b1100进行插值的处理。
插值滤波器选择器910从具有诸如{8，-40，160，160，-40，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器以及具有诸如{-1，8，16，24，-48，161，161，-48，24，-16，8，-1}/256的系数的12抽头插值滤波器中选择预先设置的插值滤波器，以对整数像素P-11101与整数像素P11111之间的1/2子像素b1100进行插值。假设具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器被设置并被选择为用于对1/2子像素b1100进行插值的插值滤波器。插值器920通过将选择的插值滤波器应用到布置在与1/2子像素b1100相同行的整数像素来产生1/2子像素b1100的像素值。也就是说，插值器920通过计算布置在与1/2子像素b1100相同行的左侧的整数像素1120和右侧的整数像素1110的像素值与滤波器系数的加权和来产生1/2子像素b1100的像素值。更具体地，假设整数像素P-4到P4（1111到1114，1121到1124）的像素值具有如所示的Pi值。在这种情况下，插值器920通过计算等式b={P-4*(-1)+P-3*4+P-2*(-11)+P-1*40+P1*40+P2*(-11)+P3*4+P4*(-1)}>>n（n是整数）来产生1/2子像素b1100的像素值。在上述等式中，“>>”表示右移位运算符，并相应于除以值2^n。可基于抽头数和抽头系数来确定n的值。除了图10的整数像素A1001与整数像素C1003之间的1/2子像素h1012使用布置在相同列的整数像素的区别之外，可以按照与对1/2子像素b1100进行插值的处理相同的方式来对1/2子像素h1012进行插值。
现将描述对1/4子像素a1101进行插值的处理。
插值滤波器选择器910从具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中选择预先设置的插值滤波器以对1/4子像素a1101进行插值。假设具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器被选为用于对1/4子像素a1101进行插值的插值滤波器。插值器920通过将选择的插值滤波器应用于布置在与1/4子像素a1101相同行的整数像素来产生1/4子像素a1101的像素值。也就是说，插值器920通过计算布置在与1/4子像素a1101相同行的左侧的整数像素1120和右侧的整数像素1110的像素值与滤波器系数的加权和来产生1/4子像素a1101的像素值。然而，由于整数像素P-11121比整数像素P11111更靠近1/4子像素a1101，故插值器920将更靠近当前***值的1/4子像素a1101的左侧的4个整数像素1121到1124以及3个整数像素P11111、P21112和P31113确定为将被用于插值的整数像素，并计算整数像素与系数的加权和。更具体地，插值器920通过计算等式b={P-4*(-1)+P-3*4+P-2*(-10)+P-1*58+P1*17+P2*(-5)+P3*1}>>n来产生1/4子像素a1101的像素值。
相似地，插值滤波器选择器910从具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中选择并输出预先设置的插值滤波器，以对1/4子像素c1102进行插值。假设具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器被选为用于对1/4子像素c1102进行插值的插值滤波器。插值器920通过将选择的插值滤波器应用于布置在与1/4子像素c1102相同行的整数像素来产生1/4子像素c1102的像素值。插值器920将更靠近当前***值的1/4子像素c1102的左侧的4个整数像素1111到1114以及当前***值的3个整数像素P-11121、P-21122和P-31123确定为将被用于插值的整数像素，并计算整数像素与系数的加权和。更具体地，插值器920通过计算等式b={P-3*1+P-2*(-5)+P-1*17+P1*58+P2*(-10)+P3*4+P4*(-1)}>>n来产生1/4子像素c1102的像素值。
除了图10的1/4子像素d1008和1/4子像素l1016使用布置在相同列的整数像素的区别之外，可以按照与对图11的1/4子像素a1101和1/4子像素c1102进行插值的处理相同的方式来对1/4子像素d1008和1/4子像素l1016进行插值。
图12是用于解释对图10的1/2子像素j1014进行插值的处理的参考示图。
参照图12，插值滤波器选择器910从具有诸如{8，-40，160，160，-40，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器以及具有诸如{-1，8，16，24，-48，161，161，-48，24，-16，8，-1}/256的系数的12抽头插值滤波器中选择并输出预先设置的插值滤波器，以对1/2子像素j1210进行插值。假设具有诸如{-1，4，-11，40，40，-11，4，-1}/64的系数的8抽头插值滤波器被选为用于对1/2子像素j1210进行插值的插值滤波器。插值器920通过将选择的插值滤波器应用于布置在与1/2子像素j1210相同行和列的1/2子像素来产生1/2子像素j1210的像素值。更详细地，插值器920产生布置在与1/2子像素j1210相同列的1/2子像素nn、mm、ll、h、hh、ii、jj和kk以及布置在与1/2子像素j1210相同行的1/2子像素aa、bb、cc、b、dd、ee、ff和gg。如上所述，可按照与对图10的1/2子像素b1006和1/2子像素h1012进行插值的处理相同的方式来对1/2子像素nn、mm、ll、h、hh、ii、hh、kk、aa、bb、cc、b、dd、ee、ff和gg进行插值。插值器920通过计算布置在与1/2子像素j1210相同列和行的1/2子像素与选择的插值滤波器的系数的加权和来产生1/2子像素j1210的像素值。更具体地，插值器920通过计算等式j={{aa*(-1)+bb*4+cc*(-11)+b*40+dd*40+ee*(-11)+ff*4+gg*(-1)}+{nn*(-1)+mm*4+ll*(-11)+h*40+hh*40+ii*(-11)+jj*4+kk*(-1)}}>>n（n是整数）来产生1/2子像素j1210的像素值。另外，插值器920还可通过选择布置在与1/2子像素j1210相同列和行的1/2子像素之一并计算选择的1/2子像素与系数的加权和来产生1/2子像素j1210的像素值。也就是说，插值器920可通过计算等式j={aa*(-1)+bb*4+cc*(-11)+b*40+dd*40+ee*(-11)+ff*4+gg*(-1)}>>n或j={nn*(-1)+mm*4+ll*(-11)+h*40+hh*40+ii*(-11)+jj*4+kk*(-1)}>>n来产生1/2子像素j1210的像素值。
图13是用于解释对图10的1/4子像素f1010、1/4子像素i1013、1/4子像素k1015和1/4子像素n1018进行插值的处理的参考示图。
参照图13，现将描述对1/4子像素f1310进行插值的处理。
如上所述，插值滤波器选择器910从具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中选择并输出预先设置的插值滤波器以对1/4子像素c1102进行插值。假设具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器被选择。
插值器920通过计算布置在与1/4子像素f1310相同列的上侧的4个1/2子像素aa、bb、cc和b以及下侧的3个1/2子像素dd、ee和ff的加权和来产生1/4子像素f1310的像素值。如上所述，可按照与对图10的1/2子像素b1006和1/2子像素h1012进行插值的处理相同的方式来对1/2子像素nn、mm、ll、h、hh、ii、hh、kk、aa、bb、cc、b、dd、ee、ff和gg进行插值。更详细地，插值器920通过计算等式f={aa*(-1)+bb*4+cc*(-10)+b*58+dd*17+ee*(-5)+ff*1}>>n来产生1/4子像素f1310的像素值。
接下来，将描述对1/4子像素n1340进行插值的处理。
插值滤波器选择器910从具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中选择并输出预先设置的插值滤波器，以对1/4子像素n1340进行插值。假设具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器被选择。
插值器920通过计算布置在与1/4子像素n1340相同列的上侧的3个1/2子像素bb、cc和b以及下侧的4个1/2子像素dd、ee、ff和gg的加权和来产生1/4子像素n1340的像素值。如上所述，可使用与系数{-1，4，-10，58，17，-5，1}/64对称的系数{1，-5，17，58，-10，4，-1}/64，从而与1/4子像素n1340更靠近的1/2子像素的像素值可被很好地反映到插值值。更详细地，插值器920通过计算等式n={bb*1+cc*(-5)+b*17+dd*58+ee*(-10)+ff*4+gg*(-1)}>>n来产生1/4子像素n1340的像素值。
除了1/4子像素i1320和1/4子像素k1330使用布置在相同行的1/2子像素nn、mm、ll、h、hh、ii、jj和kk的区别之外，可以按照与对图13的1/4子像素f1310和1/4子像素n1340进行插值的处理相同的方式来对1/4子像素i1320和1/4子像素k1330进行插值。
图14是用于解释对图10的1/4子像素e1009、1/4子像素g1011、1/4子像素m1017和1/4子像素o1019进行插值的处理的参考示图。
参照图14，现描述对1/4子像素e1410进行插值的处理。
如上所述，插值滤波器选择器910从具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中选择并输出预先设置的插值滤波器。假设具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器被选择。
插值器920通过将选择的插值滤波器应用于布置在与1/4子像素e1410相同列和行的1/4子像素来产生1/4子像素e1410的像素值。更具体地，插值器920产生布置在与1/4子像素e1410相同行的1/4子像素e1到e4和g1到g4以及布置在与1/4子像素e1410相同列的1/4子像素e5到e8和m5到m7。如上所述，可按照与图10的1/4子像素a1005和1/4子像素d1008相同的方式来对1/4子像素e1到e4、g1到g4、e5到e8和m5到m7进行插值。插值器920通过计算布置在与1/4子像素e1410相同列和行的1/4子像素与选择的插值滤波器的系数的加权和来产生1/4子像素e1410的像素值。更具体地，插值器920通过计算等式e={{e8*(-1)+e7*4+e6*(-10)+e5*58+m5*17+m6*(-5)+m7*1}+{e4*(-1)+e3*4+e2*(-10)+e1*58+g1*17+g2*(-5)+g3*1}}>>n来产生1/4子像素e1410的像素值。另外，插值器920还可通过选择布置在与1/4子像素e1410相同列和行的1/4子像素之一并计算选择的1/4子像素与系数的加权和来产生1/4子像素e1410的像素值。也就是说，插值器920可通过计算等式e={e8*(-1)+e7*4+e6*(-10)+e5*58+m5*17+m6*(-5)+m7*1}>>n或e={e4*(-1)+e3*4+e2*(-10)+e1*58+g1*17+g2*(-5)+g3*1}>>n来产生1/4子像素e1410的像素值。
接下来，将描述对1/4子像素m1430进行插值的处理。
插值滤波器选择器910从具有诸如{8，-32，224，72，-24，8}/256的系数的6抽头插值滤波器、具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器以及具有诸如{-1，5，-12，20，-40，229，76，-32，16，-8，4，-1}/256的系数的12抽头插值滤波器中选择并输出预先设置的插值滤波器，以对1/4子像素n1340进行插值。假设具有诸如{-1，4，-10，58，17，-5，1}/64的系数的7抽头插值滤波器被选择。
插值器920通过将选择的插值滤波器应用于布置在与1/4子像素m1430相同列和行的1/4子像素来产生1/4子像素m1430的像素值。更具体地，插值器920产生布置在与1/4子像素m1430相同行的1/4子像素m1到m4和o1到o4以及布置在与1/4子像素m1430相同列的1/4子像素e5到e8和m5到m7。
如上所述，可按照与对图10的1/4子像素a1005和1/4子像素I1016进行插值的处理相同的方式来对1/4子像素m1到m4、o1到o4、e5到e8和m5到m7进行插值。插值器920通过计算布置在与1/4子像素m1430相同列和行的1/4子像素与选择的插值滤波器的系数的加权和来产生1/4子像素m1430的像素值。当按照列方向计算加权和时，与系数{-1，4，-10，58，17，-5，1}/64对称的系数{1，-5，17，58，-10，4，-1}/64可按照列方向被应用，从而与1/4子像素m1430更靠近的1/4子像素的像素值可被很好地反映到插值值。更具体地，插值器920通过计算等式m={{e7*1+e6*(-5)+e5*17+m5*58+m6*(-10)+m7*4+m8*(-1)}+{m4*(-1)+m3*4+m2*(-10)+m1*58+o1*17+o2*(-5)+o3*1}}>>n来产生1/4子像素m1430的像素值。另外，插值器920还可通过选择布置在与1/4子像素m1430相同列和行的1/4子像素之一并计算选择的1/4子像素与系数的加权和来产生1/4子像素m1430的像素值。也就是说，插值器920可通过计算等式m={e7*1+e6*(-5)+e5*17+m5*58+m6*(-10)+m7*4+m8*(-1)}>>n或m={{m4*(-1)+m3*4+m2*(-10)+m1*58+o1*17+o2*(-5)+o3*1}>>n来产生1/4子像素m1430的像素值。
与对1/4子像素e1410和1/4子像素m1430进行插值的处理相似，还可通过使用布置在与1/4子像素g1420和1/4子像素o1440相同列和行的1/4子像素与选择的插值滤波器的系数的加权和来对1/4子像素g1420和1/4子像素o1440进行插值。
图15是根据本发明实施例的图像插值方法的流程图。
参照图15，在操作1510中，插值滤波器选择器910预先从具有不同特性的多个插值滤波器中，根据将***值的子像素的位置设置将被应用的插值滤波器，并根据当前将***值的子像素的位置输出关于设置的插值滤波器的信息。如上所述，插值滤波器选择器910预先根据子像素的位置设置具有不同抽头数、不同抽头系数、不同插值方向和不同插值形状的插值滤波器，并根据将***值的子像素的位置选择和输出设置的插值滤波器。
在操作1520，插值器920使用选择的插值滤波器产生在子像素的位置处的子像素值。
根据本发明的实施例，可应用具有不同抽头系数、不同抽头数、不同插值方向和不同插值形状的插值滤波器，从而可根据图像特征更有效地执行插值。当使用更加增强的插值画面时，运动预测的预测效率可增加，从而增加图像压缩效率。
本发明还可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可被计算机***读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可分布于联网的计算机***，从而以分布式方式存储和执行计算机可读代码。
虽然已经参照本发明的示例性实施例具体示出和描述了本发明，但是本领域普通技术人员将了解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可作出形式和细节上的各种改变。

Claims (15)

1.一种图像插值方法，包括：
根据整数像素之间的子像素的位置从不同插值滤波器中选择插值滤波器；以及
使用选择的插值滤波器产生在子像素的位置处的子像素值。
2.如权利要求1所述的图像插值方法，其中，选择插值滤波器的步骤包括：根据子像素的位置从具有不同抽头数的插值滤波器中选择插值滤波器。
3.如权利要求1所述的图像插值方法，其中，选择插值滤波器的步骤包括：根据子像素的位置从具有不同抽头系数的插值滤波器中选择插值滤波器。
4.如权利要求1所述的图像插值方法，其中，选择插值滤波器的步骤包括：从具有不同特性的多个插值滤波器中根据子像素的位置来设置将被应用的插值滤波器，并根据子像素的位置选择设置的插值滤波器。
5.如权利要求1所述的图像插值方法，其中，选择不同插值滤波器的步骤包括：从具有不同插值方向或不同插值形状的多个插值滤波器中根据子像素的位置来设置将被应用的插值滤波器，并根据子像素的位置选择设置的插值滤波器。
6.一种图像插值方法，包括：
根据包括整数像素的块的尺寸和整数像素之间的子像素的位置来设置具有不同特性的插值滤波器以对整数像素之间的子像素进行插值，并根据所述块的尺寸和子像素的位置来选择用于对子像素进行插值的插值滤波器；以及
使用选择的插值滤波器产生在子像素的位置处的子像素值。
7.如权利要求6所述的图像插值方法，其中，具有不同特性的插值滤波器在以下至少一项方面彼此不同：抽头数、抽头系数、插值方向和插值形状。
8.如权利要求6所述的图像插值方法，其中，选择插值滤波器的步骤包括：选择具有与包括整数像素的块的尺寸成比例的抽头数的插值滤波器。
9.一种图像插值设备，包括：
插值滤波器选择器，用于根据整数像素之间的子像素的位置从不同插值滤波器中选择插值滤波器；以及
插值器，用于使用选择的插值滤波器产生在子像素的位置处的子像素值。
10.如权利要求9所述的图像插值设备，其中，插值滤波器选择器根据子像素的位置从具有不同抽头数的插值滤波器中选择插值滤波器。
11.如权利要求9所述的图像插值设备，其中，插值滤波器选择器根据子像素的位置从具有不同抽头系数的插值滤波器中选择插值滤波器。
12.如权利要求9所述的图像插值设备，其中，插值滤波器选择器从具有不同特性的多个插值滤波器中根据子像素的位置来设置将被应用的插值滤波器，并根据子像素的位置选择设置的插值滤波器。
13.如权利要求9所述的图像插值设备，其中，插值滤波器选择器从具有不同插值方向或不同插值形状的多个插值滤波器中根据子像素的位置来设置将被应用的插值滤波器，并根据子像素的位置选择设置的插值滤波器。
14.一种图像插值设备，包括：
插值滤波器选择器，用于根据包括整数像素的块的尺寸和整数像素之间的子像素的位置来设置具有不同特性的插值滤波器以对整数像素之间的子像素进行插值，并根据所述块的尺寸和子像素的位置来选择用于对子像素进行插值的插值滤波器；以及
插值器，用于使用选择的插值滤波器产生在子像素的位置处的子像素值。
15.如权利要求14所述的图像插值设备，其中，具有不同特性的插值滤波器在以下至少一项方面彼此不同：抽头数、抽头系数、插值方向和插值形状。
CN201180043659.XA 2010-07-09 2011-07-11 图像插值方法和设备 Expired - Fee Related CN103119935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36282410P 2010-07-09 2010-07-09
US61/362,824 2010-07-09
PCT/KR2011/005065 WO2012005558A2 (ko) 2010-07-09 2011-07-11 영상 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
CN103119935A true CN103119935A (zh) 2013-05-22
CN103119935B CN103119935B (zh) 2016-05-04

Family

ID=45441689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180043659.XA Expired - Fee Related CN103119935B (zh) 2010-07-09 2011-07-11 图像插值方法和设备

Country Status (8)

Country Link
US (1) US9317896B2 (zh)
EP (1) EP2592833A4 (zh)
JP (1) JP5977235B2 (zh)
KR (1) KR101686945B1 (zh)
CN (1) CN103119935B (zh)
BR (1) BR112013000554A2 (zh)
MY (1) MY182191A (zh)
WO (1) WO2012005558A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791881A (zh) * 2016-12-28 2017-05-31 北京奇艺世纪科技有限公司 一种滤波方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317896B2 (en) 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
HUE037725T2 (hu) * 2010-09-30 2018-09-28 Samsung Electronics Co Ltd Berendezés képek interpolálására simító interpolációs filtert felhasználva
US9036706B2 (en) 2011-06-22 2015-05-19 Google Inc. Fractional pixel interpolation filter for video compression
PT3367687T (pt) 2011-06-24 2021-04-26 Ntt Docomo Inc Método e aparelho para a previsão da compensação de movimento
CA2976108C (en) * 2011-06-28 2020-06-30 Samsung Electronics Co., Ltd. Method for image interpolation using asymmetric interpolation filter and apparatus therefor
US20180035112A1 (en) * 2015-02-13 2018-02-01 Lg Electronics Inc. METHOD AND APPARATUS FOR ENCODING AND DECODING VIDEO SIGNAL USING NON-UNIFORM PHASE INTERPOLATION (As Amended)
US10448015B2 (en) * 2015-06-16 2019-10-15 Lg Electronics Inc. Method and device for performing adaptive filtering according to block boundary
DE102016113010A1 (de) * 2015-12-15 2017-06-22 Basler Ag Bestimmung von Helligkeitswerten virtueller Pixel
WO2018044089A1 (ko) 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
GB2577339A (en) * 2018-09-24 2020-03-25 Sony Corp Image data encoding and decoding
WO2021061322A1 (en) * 2019-09-24 2021-04-01 Alibaba Group Holding Limited Motion compensation methods for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和***
CN101232622A (zh) * 2001-09-17 2008-07-30 诺基亚有限公司 用于子像素值内插的方法
US20080247467A1 (en) * 2007-01-09 2008-10-09 Nokia Corporation Adaptive interpolation filters for video coding
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
KR20050018948A (ko) * 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
JP4373702B2 (ja) 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
KR100707268B1 (ko) * 2005-10-08 2007-04-16 삼성전자주식회사 영상보간장치 및 영상보간방법
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8971412B2 (en) * 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
JP5017181B2 (ja) 2008-06-03 2012-09-05 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
EP2442569A1 (en) 2009-06-09 2012-04-18 Sony Corporation Image processing device and method
JP5323252B2 (ja) 2010-03-30 2013-10-23 株式会社東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9317896B2 (en) 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
HUE037725T2 (hu) * 2010-09-30 2018-09-28 Samsung Electronics Co Ltd Berendezés képek interpolálására simító interpolációs filtert felhasználva
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
MX369507B (es) * 2013-06-14 2019-11-11 Arris Tech Inc Filtros de remuestreo para codificación de video escalable.
JP6120707B2 (ja) * 2013-07-08 2017-04-26 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232622A (zh) * 2001-09-17 2008-07-30 诺基亚有限公司 用于子像素值内插的方法
CN1666429A (zh) * 2002-07-09 2005-09-07 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和***
US20080247467A1 (en) * 2007-01-09 2008-10-09 Nokia Corporation Adaptive interpolation filters for video coding
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US20100226432A1 (en) * 2008-08-18 2010-09-09 Steffen Wittmann Interpolation filtering method, image coding method, image decoding method, interpolation filtering apparatus, program, and integrated circuit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEMAL UGUR ET AL.: "Description of video coding technology proposal by Tandberg, Nokia, Ericsson", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791881A (zh) * 2016-12-28 2017-05-31 北京奇艺世纪科技有限公司 一种滤波方法及装置
CN106791881B (zh) * 2016-12-28 2019-09-17 北京奇艺世纪科技有限公司 一种滤波方法及装置

Also Published As

Publication number Publication date
MY182191A (en) 2021-01-18
WO2012005558A3 (ko) 2012-05-03
EP2592833A2 (en) 2013-05-15
BR112013000554A2 (pt) 2020-09-24
EP2592833A4 (en) 2014-12-03
US9317896B2 (en) 2016-04-19
US20130156346A1 (en) 2013-06-20
CN103119935B (zh) 2016-05-04
JP5977235B2 (ja) 2016-08-24
JP2013534119A (ja) 2013-08-29
KR20120005991A (ko) 2012-01-17
WO2012005558A2 (ko) 2012-01-12
KR101686945B1 (ko) 2016-12-15

Similar Documents

Publication Publication Date Title
CN103119935A (zh) 图像插值方法和设备
CN102640492B (zh) 对图像边界的编码单元进行编码和解码的方法和设备
CN102934443B (zh) 用于对视频进行编码和解码的方法和设备
CN102474599B (zh) 用于对图像进行编码的方法和设备,用于对编码图像进行解码的方法和设备
CN102474609B (zh) 对图像编码的方法和设备及对图像解码的方法和设备
CN102835111B (zh) 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
CN104581161B (zh) 通过使用大型变换单元编码和解码图像的方法和设备
CN102939760A (zh) 用于基于变换和反变换执行内插的方法和设备
CN104469362A (zh) 用于对运动矢量进行编码和解码的方法和设备
CN102474611A (zh) 通过控制运动矢量的精度对图像编码/解码的方法和设备
CN103392341A (zh) 用于对图像预测单元的帧内预测模式进行编码的方法和装置，以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
CN104837021A (zh) 用于对视频进行解码的设备
CN102939753A (zh) 用于通过根据像素组补偿像素值来对视频进行编码的方法和设备以及用于通过根据像素组补偿像素值来对视频进行解码的方法和设备
CN103765884A (zh) 使用非对称插值滤波器的图像插值的方法及其设备
CN103238334A (zh) 图像帧内预测方法和设备
CN105025298A (zh) 对图像进行编码/解码的方法和设备
CN102934431B (zh) 低复杂度熵编码/解码方法和设备
CN105025301A (zh) 对图像进行编码/解码的方法和设备
CN102934431A (zh) 低复杂度熵编码/解码方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160504