CN102804779A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN102804779A
CN102804779A CN201080024518.9A CN201080024518A CN102804779A CN 102804779 A CN102804779 A CN 102804779A CN 201080024518 A CN201080024518 A CN 201080024518A CN 102804779 A CN102804779 A CN 102804779A
Authority
CN
China
Prior art keywords
sampling location
pixel
filter
pixel value
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080024518.9A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102804779A publication Critical patent/CN102804779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种被配置为能够抑制因内插处理引起的计算增加的图像处理装置和方法。对于与位置b和位置d的采样位置对应的分数像素精度的像素，通过使用第一滤波器执行积和操作来获得与位置b和位置d的采样位置对应的像素值。对于与位置c的采样位置对应的分数像素精度，通过使用第二滤波器以及使用抽头比第一滤波器少的第二滤波器生成的中间值B或中间值D执行积和操作，来获得与位置c的采样位置对应的像素值。本发明可以应用于例如以H.264/AVC格式编码的图像编码装置。

Description

图像处理装置和方法
技术领域
本发明涉及一种图像处理装置和方法，更具体地，涉及一种被配置为抑制因内插处理引起的计算增加的图像处理装置和方法。
背景技术
近来，数字处置图像信息的装置已增长，并且在这样操作时，出于高效信息传输和存储的目的压缩图像。这种装置通过实现利用图像信息的冗余特性的编码格式来压缩图像并且借助于诸如离散余弦变换的正交变换或者通过运动补偿来压缩信息。这种编码格式包括例如MPEG(运动图片专家组)。
特别地，MPEG-2(ISO/IEC 13818-2)被定义为通用图像编码格式，并且是涵盖隔行扫描图像和逐行扫描图像，以及标准清晰度图像和高清晰度图像的标准。例如，目前MPEG-2广泛地用在广泛的专业应用和消费者应用中。通过使用MPEG-2压缩格式，如果给定例如具有720×480像素的标准清晰度隔行图像，则分配从4到8Mbps的位速率。再者，通过使用MPEG-2压缩格式，如果给定例如具有1920×1088像素的高清晰度隔行图像，则分配从18到22Mbps的位速率。通过这样做，可以实现高压缩率和有利的图像质量。
尽管MPEG-2主要以适于广播的高图像质量编码为目标，但是其不与位速率低于MPEG-1的位速率的编码格式兼容，或者换言之，不与高压缩率兼容。由于移动设备的增长，认为对这种编码格式的需要将在未来增加，并且作为响应，MPEG-4编码格式已被标准化。MPEG-4在1998年12月被指定为用于图像编码的国际标准ISO/IEC 14496-2。
此外，最初以用于视频会议的图像编码为目的的H.26L(ITU-T Q6/16VCEG)的标准化近来已在进行。较之诸如MPEG-2和MPEG-4的以前的编码格式，已知H.26L提出用于编码和解码的更多的计算需求，但是实现更高的编码效率。再者，作为针对MPEG-4行为的链接，当前正在进行基于该H.26L的标准化作为增强压缩视频编码的联合模型，其引入了H.26L中不支持的功能并且实现更高的编码效率。作为标准化进度表的一部分，国际上在2003年3月对H.264和MPEG-4Part 10进行了标准化(高级视频编码，在下文中被缩写为H.264/AVC)。
此外，作为以上的扩展，在2005年2月完成了FRExt(保真度范围扩展)的标准化。FRExt包括商业使用所需的编码工具，诸如RGB、4:2:2和4:4:4，以及在MPEG-2中定义的8×8DCT和量化矩阵。通过这样做，H.264/AVC可以用于图像编码，其能够有利地表现，即使电影中包括影片噪声，这导致其用在诸如Blu-Ray Disc(商标)的范围广泛的应用中。
然而，对更高压缩速率下的编码(诸如用于压缩具有4倍于高清晰度图像的约4000×2000像素的图像，或者用于在诸如互联网的传送容量有限的环境中递送高清晰度图像)的需要正在增加。出于该原因，VCEG(视频编码专家组)在以前讨论的ITU-T的权限下正在进行有关提高编码效率的研究。
这里，对于H.264/AVC格式的运动预测/补偿，通过四分之一像素精度的预测/补偿处理提高了预测效率。
例如，对于MPEG-2格式，使用线性内插以二分之一精度进行运动预测/补偿处理。与此相对，对于H.264/AVC格式，使用6抽头FIR(有限脉冲响应)滤波器进行四分之一像素精度的预测/补偿处理。
图1是解释H.264/AVC格式中的四分之一像素精度的预测/补偿处理的示图。对于H.264/AVC格式，使用6抽头FIR(有限脉冲响应)滤波器进行四分之一像素精度的预测/补偿处理。
在图1中的示例中，位置A表示整数精度像素位置，位置b、c和d表示二分之一精度位置，而位置e1、e2和e3表示四分之一像素精度位置。首先，在下文中，如下式1中那样定义Clip()。
[式1]
Figure BDA0000115617560000021
这里，max_pix的值在输入图像具有8位精度的情况下变为255。
如下式(2)中那样使用6抽头FIR滤波器生成位置b和d处的像素值。
[式2]
F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3
b，d＝Clip1((F+16)＞＞5)    (2)
如下式(3)中那样通过在水平方向和竖直方向上应用6抽头FIR滤波器生成位置c处的像素值。
[式3]
F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3
或者
F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3
c＝Clip1((F+512)＞＞10)    (3)
这里，进行水平方向和竖直方向两者上的积和处理，这样最终仅执行一次Clip处理
如下式(4)中那样通过线性内插生成位置e1至e3。
[式4]
e1＝(A+b+1)＞＞1
e2＝(b+d+1)＞＞1
e3＝(b+c+1)＞＞1    (4)
选择以四分之一像素精度计算的这些运动向量的处理的种类对于以高编码效率获得压缩图像而言也是重要的。可以引用非专利文献1中公开的被称为JM(联合模型)的参照软件中实现的方法。
接下来，将参照图2描述JM中实现的运动估计方法。
在图2中的示例中，像素A至I表示具有整数像素精度的像素值的像素(在下文中被称为整数像素精度的像素)。像素1至8表示像素E附近的具有二分之一像素精度的像素值的像素(在下文中被称为二分之一像素精度的像素)。像素a至h表示像素6周围的具有四分之一像素精度的像素值的像素(在下文中被称为四分之一像素精度的像素)。
在JM中，第一步骤牵涉计算在给定搜索范围内使诸如SAD(绝对差和)的成本函数值最小的整数像素精度的运动向量。假设作为结果，与计算的运动向量对应的像素是像素E。
接下来，第二步骤牵涉在像素E和像素E附近的二分之一像素精度的像素1至8中计算像素值使上述成本函数值最小的像素。该像素(在图2中的示例的情况下是像素6)被取作与二分之一像素精度的最优运动向量对应的像素。
随后，第三步骤牵涉在像素6和像素6附近的四分之一像素精度的像素a至h中计算像素值使上述成本函数值最小的像素。通过这样做，与计算的像素对应的运动向量变为四分之一像素精度的最优运动向量。
如上文所述，在H.264/AVC中进行四分之一像素精度的预测/补偿处理，但是已提出了用于进一步提高这种四分之一像素精度的预测/补偿处理的编码效率的多种技术。
例如，对于H.264/AVC，如非专利文献2中所述，预先确定用于生成与上文参照图1描述的分数像素精度运动向量对应的采样位置处的像素值的滤波器系数。
因此，在非专利文献3中提出了针对每个目标帧自适应地切换滤波器系数以便使预测残差最小。
换言之，在非专利文献3中，首先，第一步骤牵涉进行普通的H.264/AVC格式的运动估计处理以及计算各个运动补偿块的运动向量值。
第二步骤牵涉针对第一步骤中计算的运动向量值使滤波器最优化以便使运动残差最小。
随后，第三步骤牵涉使用在第二步骤中计算的滤波器系数并且再次进行运动估计以更新运动向量值。通过这样做，可以提高编码效率。
通过另外重复以上步骤，可以使滤波器系数和运动向量值最优化。
再者，在非专利文献4中，针对H.264/AVC格式中的四分之一像素精度的预测/补偿处理提出了1/8像素精度的运动预测。
换言之，在非专利文献4中，以滤波器[-3，12，-39，158，158，-39，12，-3]/256进行二分之一像素精度的内插处理。再者，以滤波器[-3，12，-37，229，71，-21，6，-1]/256进行四分之一像素精度的内插处理，并且以线性内插进行1/8像素精度的内插处理。
通过以这种方式使用较高像素精度的内插来进行运动预测，可以提高预测精度并且可以实现编码效率的提高，特别是对于具有高分辨率纹理的相对缓慢的运动序列。
这里，上文讨论的图1和2在下文中也将用作解释本发明的示图。引用文献列表
非专利文献
非专利文献1：H.264/AVC Software Coordination，InstitutNachrichtentechnik Heinrich-Hertz-Institut，(2009年5月24日访问)，Internet<URL：http://iphome.hhi.de/suehring/tml/index.htm>
非专利文献2：″8.4.2.2.1Luma sample interpolation process″，″ITU-T Recommendation H.264 Advanced video coding for genericaudiovisual″，P162-P164 2007年11月
非专利文献3：″Motion compensated prediction with 1/8-peldisplacement vector resolution″，VCE G-AD09，ITU-TelecommunicationsStandardization Sector STUDY GROUP Question 6Video Coding ExpertsGroup(VCEG)，2006年10月23至27日
非专利文献4：″Prediction of P-and B-Frames Using aTwo-dimensional Non-separable Adaptive Wiener Interpolation forH.264/AVC″，VCEG-AD08，ITU-Telecommunications StandardizationSector STUDY GROUP Question 6 Video Coding Experts Group(VCEG)，2006年10月23至27日
发明内容
技术问题
如上文所讨论的，已提出了进一步提高H.264/AVC格式中的四分之一像素精度的预测/补偿处理的编码效率的多种技术，但是在其中进行这种运动预测和补偿的块中强加了巨大的计算负担。
特别地，在图1中，通过将6抽头FIR滤波器应用于整数像素精度的像素值，获得了位置b和d的像素值。与此相对，获得位置c的像素值牵涉在水平方向和竖直方向上应用相应的6抽头滤波器，或者换言之，应用36抽头滤波器，并且该处理在很大程度上是造成计算增加的原因。
此外，获得位置e3的像素值牵涉通过使用如上述计算昂贵的处理生成的位置c的像素值进行线性内插来生成值，并且该处理也是造成计算增加的原因。
考虑到这些环境设计的本发明抑制了因内插引起的计算增加。
对问题的解决方案
本发明第一方面的图像处理装置配备有：运动估计部件，用于计算关于待编码的目标块的运动向量；滤波器设定部件，用于根据与运动估计部件计算的运动向量对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及内插部件，用于使用滤波器设定部件设定的滤波器系数生成采样位置的像素值。
滤波器设定部件可以分别针对第一采样位置和第二采样位置，设定具有不同数目的抽头的滤波器系数，第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而第二采样位置在两个方向上均具有分数像素精度。
滤波器设定部件可以较之第一采样位置针对第二采样位置设定具有较少抽头的滤波器系数。
滤波器设定部件可以将编码标准预先限定的{1，-5，20，20，-5，1}设定为关于第一采样位置的滤波器系数。
滤波器设定部件可以将{-1，5，5，-1}设定为关于第二采样位置的滤波器系数。
内插部件可以使用滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值和所生成的二分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成四分之一像素精度的采样位置的像素值。
内插部件可以使用滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值以及四分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成1/8像素精度的采样位置的像素值。
编码标准预先限定的值可以用作滤波器系数。
针对每个帧计算的最优值可以用作滤波器系数。
在其中用于计算运动向量的运动预测/补偿块尺寸是属于第一类型的块尺寸的情况下，滤波器设定部件可以总是设定第一滤波器系数，并且在其中用于计算运动向量的运动预测/补偿块尺寸是属于第二类型的块尺寸的情况下，滤波器设定部件可以针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比第一采样位置少的抽头的第二滤波器系数，第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而第二采样位置在两个方向上均具有分数像素精度。
本发明的第一方面的图像处理方法包括如下步骤：在这些步骤中图像处理装置计算关于待编码的目标块的运动向量；根据与所计算的运动向量对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及使用所设定的滤波器系数生成采样位置的像素值。
本发明的第二方面的图像处理装置配备有：解码部件，用于对关于待解码的目标块的运动向量信息进行解码；滤波器设定部件，用于根据与解码部件解码的目标块的运动向量信息对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及内插部件，用于使用滤波器设定部件设定的滤波器系数生成采样位置的像素值。
滤波器设定部件可以分别针对第一采样位置和第二采样位置，设定具有不同数目的抽头的滤波器系数，第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而第二采样位置在两个方向上均具有分数像素精度。
滤波器设定部件可以较之第一采样位置针对第二采样位置设定具有较少抽头的滤波器系数。
滤波器设定部件可以将编码标准预先限定的{1，-5，20，20，-5，1}设定为关于第一采样位置的滤波器系数。
滤波器设定部件可以将{-1，5，5，-1}设定为关于第二采样位置的滤波器系数。
内插部件可以使用滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值和所生成的二分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成四分之一像素精度的采样位置的像素值。
内插部件可以使用滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值以及四分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成1/8像素精度的采样位置的像素值。
编码标准预先限定的值可以用作滤波器系数。
针对每个帧计算的最优值可以用作滤波器系数。
滤波器设定部件可以指定将用于基于运动向量信息计算运动向量的运动预测/补偿块尺寸，并且在其中块尺寸属于第一类型的情况下，滤波器设定部件可以总是设定第一滤波器系数，而在其中块尺寸属于第二类型的情况下，滤波器设定部件可以针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比第一采样位置少的抽头的第二滤波器系数，第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而第二采样位置在两个方向上均具有分数像素精度。
本发明的第二方面的图像处理方法包括如下步骤：在这些步骤中图像处理装置对关于待解码的目标块的运动向量信息进行解码；根据与所解码的目标块的运动向量信息对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及使用所设定的滤波器系数生成采样位置的像素值。
在本发明的第一方面中，计算关于待编码的目标块的运动向量，根据与所计算的运动向量对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数，以及使用所设定的滤波器系数生成采样位置的像素值。
在本发明的第一方面中，对关于待解码的目标块的运动向量信息进行解码，根据与所解码的目标块的运动向量信息对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数，以及使用所设定的滤波器系数生成采样位置的像素值。
然而，以上讨论的各个图像处理装置可以是独立的装置，并且也可以是构成单个图像编码装置或图像解码装置的内部模块。
本发明的有利效果
根据本发明的第一方面，可以生成分数像素精度的像素值。再者，根据本发明的第一方面，可以抑制因内插引起的计算增加。
根据本发明的第二方面，可以生成分数像素精度的像素值。再者，根据本发明的第二方面，可以抑制因内插引起的计算增加。
附图说明
图1是解释H.264/AVC格式中的四分之一像素精度的运动预测/补偿处理的示图。
图2是解释H.264/AVC格式中的运动估计方法的示图。
图3是图示已应用本发明的图像编码装置的实施例的配置的框图。
图4是解释可变块尺寸运动预测/补偿处理的示图。
图5是解释多参考帧运动预测/补偿处理的示图。
图6是解释示例性运动向量信息生成处理的示图。
图7是图示图3中的运动预测/补偿单元和内插滤波器切换器的示例性配置的框图。
图8是解释图3中的图像编码装置的编码处理的流程图。
图9是解释图8的步骤S21中的预测处理的流程图。
图10是解释图9的步骤S31中的帧内预测处理的流程图。
图11是解释图9的步骤S32中的帧间运动预测处理的流程图。
图12是解释图11的步骤S53中的依赖采样位置的内插处理的流程图。
图13是图示已应用本发明的图像解码装置的实施例的配置的框图。
图14是图示图13中的运动预测/补偿单元和内插滤波器切换器的示例性配置的框图。
图15是解释图13中的图像解码装置的解码处理的流程图。
图16是解释图15的步骤S138中的预测处理的流程图。
图17是解释图16的步骤S175中的依赖运动向量信息的内插处理的流程图。
图18是解释另一示例性可变块尺寸运动预测/补偿处理的示图。
图19是解释另一示例性可变块尺寸运动预测/补偿处理的示图。
图20是解释另一示例性帧间运动预测处理的流程图。
图21是解释图20的步骤S222中的第一运动预测处理的流程图。
图22是解释图20的步骤S223中的第二运动预测处理的流程图。
图23是解释另一示例性依赖运动向量信息的内插处理的流程图。
图24是解释图23的步骤S302中的第一内插处理的流程图。
图25是解释图23的步骤S303中的第二内插处理的流程图。
图26是图示计算机的示例性硬件配置的框图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
[图像编码装置的示例性配置]
图3图示了已应用本发明的作为图像处理装置的图像编码装置的实施例的配置。
图像编码装置51以例如H.264和MPEG-4Part 10(高级视频编码)(在下文中被缩写为H.264/AVC)格式压缩图像。
在图1中的示例中，图像编码装置51包括模拟/数字(A/D)转换器61、帧排序缓冲器62、算术单元63、正交变换单元64、量化器65、可逆编码器66、累积缓冲器67、逆量化单元68、逆正交变换单元69、算术单元70、解块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、内插滤波器切换器76、预测图像选择器77和速率控制器78。
A/D转换器61对输入图像进行A/D转换并且将其输出到帧种类排序器62用于存储。帧种类缓冲器62按显示顺序取得帧的存储图像并且根据GOP(图片组)按用于编码的帧顺序对它们排序。
算术单元63从自帧排序缓冲器62读出的图像减去来自预测图像选择器77选择的帧内预测单元74的预测图像或者来自运动预测/补偿单元75的预测图像，并且将差信息输出到正交变换单元64。正交变换单元64将诸如离散余弦变换或Karhunen-Loeve变换的正交变换应用于来自算术单元63的差信息，并且输出变换系数。量化器65对正交变换单元64输出的变换系数进行量化。
从量化器65输出的量化变换系数被输入到可逆编码器66中。此时，执行诸如可变长度编码和算术编码的可逆编码，并且压缩量化的变换系数。
可逆编码器66从帧内预测单元74获取指示帧内预测的信息，并且从运动预测/补偿单元75获取指示帧间预测模式的信息等。这里，指示帧内预测的信息和指示帧间预测的信息在下文中将被分别称为帧内预测模式信息和帧间预测模式信息。
除了对量化的变换系数进行编码外，可逆编码器66对被取为压缩图像中的报头信息的一部分的指示帧内预测的信息和指示帧间预测模式的信息等进行编码。可逆编码器66将编码数据提供给累积缓冲器67用于存储。
例如，在可逆编码器66中，进行诸如可变长度编码或者算术编码的可逆编码处理。H.264/AVC格式中定义的CAVLC(上下文自适应可变长度编码)可以被引用作为可变长度编码。CABAC(上下文自适应二进制算术编码)可以被引用作为算术编码。
累积缓冲器67取得从可逆编码器66提供的数据并且将其输出到例如后继记录装置、传送路径等，其未被图示为通过H.264/AVC格式编码的压缩图像。
再者，量化器65输出的量化的变换系数还被输入到逆量化单元68，并且在进行逆量化之后，还在逆正交变换单元69处经历逆正交变换。经逆正交变换的输出由算术单元70添加到从预测图像选择器77提供的预测图像并且变为局部解码图像。解块滤波器71在从其中移除结块产物(blocking artifacts)之后将解码图像提供给帧存储器72用于存储。解块滤波器71执行解块处理之前的图像还被提供给帧存储器72并且存储在其中。
开关73将帧存储器72中存储的参考图像输出到运动预测/补偿单元75或者帧内预测单元74。
在该图像编码装置51中，来自帧排序缓冲器62的I图片、B图片和P图片被提供给帧内预测单元74，作为用于例如帧内预测(还被称为帧内处理)的图像。再者，从帧排序缓冲器62读出的B图片和P图片还被提供给运动预测/补偿单元75，作为用于帧间预测(还被称为帧间处理)的图像。
帧内预测单元74基于从帧排序缓冲器62读出的将进行帧内预测的图像以及从帧存储器72提供的参考图像，在作为候选者给出的所有帧内预测模式中进行帧内预测处理，并且生成预测图像。
此时，帧内预测单元74计算关于作为候选者给出的所有帧内预测模式的成本函数值，并且将所计算的成本函数值给出最小值的帧内预测模式选择为最优帧内预测模式。关于该成本函数值的细节将在后面参照图10讨论。
帧内预测单元74将通过最优帧内预测模式生成的预测图像及其成本函数值提供给预测图像选择器77。在通过最优帧内预测模式生成的预测图像被预测图像选择器77选择的情况下，帧内预测单元74将指示最优帧内预测模式的信息提供给可逆编码器66。可逆编码器66对该信息进行编码，其将被取作压缩图像中的报头信息的一部分。
运动预测/补偿单元75在作为候选者给出的所有帧间预测模式中进行运动预测/补偿处理。换言之，向运动预测/补偿单元75提供从帧排序缓冲器62读出的将进行帧间处理的图像以及经由开关73来自帧存储器72的参考图像。基于将进行帧间处理的图像和参考图像，运动预测/补偿单元75在作为候选者给出的所有帧间预测模式中以整数像素精度检测运动向量。运动预测/补偿单元75向内插滤波器切换器76提供与检测到的运动向量对应的整数像素精度的像素附近的分数像素精度的像素的坐标信息。
运动预测/补偿单元75使用由来自内插滤波器切换器76的滤波器选择信息指示的滤波器进行内插处理，并且生成与检测到的运动向量对应的像素附近的分数像素精度的采样位置的像素值。运动预测/补偿单元75使用所生成的像素值在所有帧间预测模式中计算分数像素精度的运动向量，并且基于分数像素精度的运动向量对参考图像执行补偿处理以生成预测图像。
再者，运动预测/补偿单元75计算关于作为候选者给出的所有帧间预测模式的成本函数值。运动预测/补偿单元75将最优帧间预测模式确定为在所计算的成本函数值中给出最小值的预测模式。
运动预测/补偿单元75将通过最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择器77。在通过最优帧间预测模式生成的预测图像被预测图像选择器77选择的情况下，运动预测/补偿单元75将指示最优帧间预测模式的信息(帧间预测模式信息)提供给可逆编码器66。
此时，运动向量信息和参考帧信息等也被输出到可逆编码器66。同样地，可逆编码器66对来自运动预测/补偿单元75的信息执行诸如可变长度编码或算术编码的可逆编码处理并且将其***到压缩图像报头中。
向内插滤波器切换器76提供与运动预测/补偿单元75检测到的运动向量对应的整数像素精度的像素附近的分数像素精度的像素的坐标信息。内插滤波器切换器76根据与来自运动预测/补偿单元75的信息指示的坐标对应的采样位置设定用于内插的滤波器，并且向运动预测/补偿单元75提供指示哪个滤波器已被设定的滤波器选择信息。
这里，采样位置指的是例如，前面参照图1讨论的作为二分之一像素精度的位置给出的位置b、c、d以及作为四分之一像素精度的位置给出的位置e1、e2、e3中的任何位置。
预测图像选择器77基于由帧内预测单元74和运动预测/补偿单元75输出的各个成本函数值，在最优帧内预测模式和最优帧间预测模式之间选择最优预测模式。随后，预测图像选择器77选择因此确定的最优预测模式的预测图像，并且将其提供给算术单元63和70。此时，预测图像选择器77向帧内预测单元74或运动预测/补偿单元75提供预测图像选择信息。
速率控制器78基于累积缓冲器67中存储的压缩图像，控制量化器65的量化操作的速率，使得不会发生上溢或下溢。
[H.264/AVC的描述]
图4是图示用于H.264/AVC格式中的运动预测/补偿处理的示例性块尺寸的示图。在H.264/AVC格式中，在使块尺寸可变的同时进行运动预测/补偿。
在图4的顶行上，以左起顺序图示了由16×16像素组成并且被分为16×16像素、16×8像素、8×16像素和8×8像素分区的宏块。此外，在图4的底行上，以左起顺序图示了被分为8×8像素、8×4像素、4×8像素和4×4像素子分区的8×8像素分区。
换言之，在H.264/AVC格式中，可以将单个宏块分为16×16像素、16×8像素、8×16像素和8×8分区中的任何分区，每个分区具有各自独立的运动向量信息。再者，可以将8×8像素分区分为8×8像素、8×4像素、4×8像素和4×4像素子分区中的任何子分区，每个子分区具有各自独立的运动向量信息。
图5是解释H.264/AVC格式中的多参考帧运动预测/补偿处理的示图。在H.264/AVC格式中，建立了多参考帧运动预测/补偿技术。
图5中的示例图示了现将被编码的目标帧Fn以及已被编码的帧Fn-5至Fn-1。在时间轴上，帧Fn-1在目标帧之后一个帧处，帧Fn-2在目标帧之后两个帧处，而帧Fn-3在目标帧之后三个帧处。再者，帧Fn-4在目标帧之后四个帧处，而帧Fn-5在目标帧之后五个帧处。典型地，附加了参考图片编号(ref_id)，其随着在时间轴上与目标帧Fn的接近度增加而减小。换言之，帧Fn-1具有最小的参考图片编号，并且因此随后按从最小到最大的顺序跟随Fn-2至Fn-5。
在目标帧Fn中图示了块A1和块A2。块A1被取为与两个帧之后的帧Fn-2中的块A1′相关，并且已估计运动向量V1。再者，块A2被取为与四个帧之后的帧Fn-4中的块A2′相关，并且已估计运动向量V2。
如上文所述，在H.264/AVC格式中，多个参考帧存储在存储器中，并且对于单个帧(图片)，可以参考不同的参考帧。换言之，单个图片可以基于每个块具有各自独立的参考帧信息(参考图片编号(ref_id))，如例如，块A1参考帧Fn-2而块A2参考帧Fn-4。
这里，块指的是上文参照图4讨论的16×16像素、16×8像素、8×16像素和8×8分区中的任何分区。8×8子块中的参考帧必须相同。
在H.264/AVC格式中，通过进行前面参照图1讨论的四分之一像素精度的运动预测/补偿处理以及如上文参照图4和5讨论的运动预测/补偿处理，生成了极大量的运动向量信息。对这些大量的运动向量信息直接编码将导致降低的编码效率。因此，在H.264/AVC格式中，通过图6中图示的方法实现运动向量编码信息的减少。
图6是解释根据H.264/AVC格式的示例性运动向量信息生成处理的示图。
图6中的示例图示了现将被编码的目标块E(例如，16×16像素)，以及已被编码并且与目标块E相邻的块A至D。
就是说，块D与目标块E的左上侧相邻，块B与目标块E的上侧相邻，块C与目标块E的右上侧相邻，并且块A与目标块E的左侧相邻。这里，块A至D未被定界。这指示了，块A至D分别具有前面参照图4讨论的从16×16像素到4×4像素的配置之一。
例如，设mvX表示关于X的运动向量信息，其中X是A、B、C、D或E。首先，使用关于块A、B和C的运动向量信息根据下式(5)通过中值预测来生成关于目标块E的预测运动向量信息pmvE。
pmvE＝med(mvA，mvB，mvC)            (5)
在一些情况下，关于块C的运动向量信息将是不可用的(将是不可获得的)，因为块C处于图像边缘或者因为块C仍未被编码。在这些情况下，关于块C的运动向量信息由关于块D的运动向量信息替换。
根据下式(6)生成作为关于目标块E的运动向量信息添加到压缩图像报头的数据mvdE。
mvdE＝mvE-pmvE    (6)
然而，实际上运动向量信息的各个竖直和水平分量被单独地处理。
这样，生成了预测运动向量信息，并且通过将利用与相邻块的相关性生成的预测运动向量信息和运动向量信息之间的差加到压缩图像的报头，减少了运动向量信息。
[运动预测/补偿单元和内插滤波器切换器的示例性配置]
图7是图示运动预测/补偿单元75和内插滤波器切换器76的示例性的详细配置的框图。然而，在图7中，图3中的开关73被省略。
在图7中的示例中，运动预测/补偿单元75包括整数像素精度运动估计器81、内插单元82、分数像素精度运动估计器83、运动补偿单元84和模式确定单元85。此外，在运动预测/补偿单元75中，基于在前面参照图2讨论的JM(联合模型)中实现的运动估计方法来计算分数像素精度的运动向量。换言之，由整数像素精度运动估计器81进行整数像素精度的运动估计，由分数像素精度运动估计器83进行分数像素精度的运动估计，并且计算分数像素精度的运动向量。
内插滤波器切换器76包括采样位置确定单元91和内插滤波器设定单元92。
从帧存储器72将整数像素精度的参考像素值提供给整数像素精度运动估计器81、分数像素精度运动估计器83和运动补偿单元84。再者，在图7中的示例中，尽管从示图中省略，但是来自帧排序缓冲器62的将进行帧间处理的图像也被提供给整数像素精度运动估计器81、分数像素精度运动估计器83和模式确定单元85。
整数像素精度运动估计器81在作为候选者给出的所有帧间预测模式中使用将进行帧间处理的图像和整数像素精度的参考像素值以整数像素精度进行目标块的运动估计。针对目标块计算的整数像素精度的运动向量信息被提供给内插单元82和分数像素精度运动估计器83。
内插单元82使用从帧存储器72提供的整数像素精度的参考像素值计算与运动预测/补偿单元75检测到的运动向量对应的整数像素精度的像素附近的分数像素精度的像素的坐标。针对分数像素精度的像素计算的坐标信息被提供给采样位置确定单元91。
内插单元82包括FIR滤波器，其具有两种类型的具有不同数目的抽头的滤波器系数。内插单元82使用来自内插滤波器设定单元92的滤波器选择信息指示的滤波器进行内插处理，并且生成与整数像素精度运动估计器81检测到的运动向量对应的像素附近的分数像素精度的采样位置的像素值。所生成的分数像素精度的参考像素值被提供给分数像素精度运动估计器83。
分数像素精度运动估计器83在作为候选者给出的所有帧间预测模式中，使用将进行帧间处理的图像、整数像素精度的运动向量信息以及分数像素精度的参考像素值以分数像素精度进行目标块的运动估计。计算的分数像素精度的运动向量信息被提供给运动补偿单元84。
运动补偿单元84通过使用来自帧存储器72的整数像素精度的参考像素值、分数像素精度的运动向量信息以及来自内插滤波器设定单元92的滤波器选择信息对分数像素精度的像素值进行内插来生成预测图像。此时生成的所有候选块的预测图像的像素值连同相应的运动向量信息、参考帧信息和帧间预测模式信息等被一起提供给模式确定单元85。
向模式确定单元85提供来自帧排序缓冲器62的将进行帧间处理的图像，以及来自运动补偿单元84的关于所有候选块的预测图像、运动向量信息、参考帧信息以及帧间预测模式信息等。
模式确定单元85使用所提供的信息适当地计算关于作为候选者给出的所有帧间预测模式的成本函数值。模式确定单元85将成本函数值给出最小值的预测模式确定为最优帧间预测模式，并且将所有候选块的预测图像中的被确定为最优帧间预测模式的块的预测图像及其成本函数值提供给预测图像选择器77。
在其中来自最优帧间预测模式的预测图像被预测图像选择器77选择的情况下，模式确定单元85向可逆编码器66输出指示最优帧间预测模式的信息、运动向量信息和参考帧信息等。
采样位置确定单元91基于内插单元82计算的分数像素精度的像素的坐标信息，从例如图1中的位置b至d以及位置e1至e3中确定像素所处的采样位置。关于所确定的采样位置的信息被提供给内插滤波器设定单元92。
例如，可以给出指示采样位置是例如图1中的位置b至d以及位置e1至e3中的一个的信息，作为关于所确定的采样位置的信息。可替选地，当采样位置是位置c时，例如，该信息可以指示水平方向和竖直方向两者具有二分之一像素精度。在后者的情况下，当采样位置是位置b或位置d时，提供指示水平方向和竖直方向中的任一方向上具有二分之一像素精度，而另一方向具有整数像素精度的信息。
内插滤波器设定单元92根据来自采样位置确定单元91的信息指示的采样位置，在内插单元82中包括的具有两种类型的滤波器系数的滤波器中设定将使用的滤波器。内插滤波器设定单元92向内插单元82提供指示已设定哪个滤波器的滤波器选择信息。
例如，内插滤波器设定单元92可以针对在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度的采样位置，以及在两个方向上均具有分数像素精度的采样位置，设定分别具有不同数目的抽头的滤波器系数。优选地，较之前者的采样位置，针对后者的采样位置设定具有较少抽头的滤波器系数。
[内插处理的描述]
现将再次参照图1详细描述内插单元82的内插处理。
内插单元82包括两个滤波器：在H.264/AVC标准中被定义为第一滤波器的6抽头FIR滤波器{1，-5，20，20，-5，1}，以及被定义为第二滤波器的、抽头数目少于第一滤波器的FIR滤波器{-1，5，5，-1}。这里，{1，-5，20，20，-5，1}和{-1，5，5，-1}是滤波器系数，其中第二滤波器的滤波器系数具有比第一滤波器的滤波器系数少的抽头。
内插单元82通过根据采样位置使用内插滤波器设定单元92设定的第一滤波器和第二滤波器中的至少一个来生成分数像素精度的像素值。
这里，在图1中，位置b是相对帧存储器72中存储的整数像素精度的像素值在水平分量上平移二分之一像素并且在竖直分量上平移零像素的位置。位置d是相对帧存储器72中存储的整数像素精度的像素值在水平分量上平移零像素并且在竖直分量上平移二分之一像素的位置。再者，位置c是相对帧存储器72中存储的整数像素精度的像素值在水平分量和竖直分量上均平移二分之一像素的位置。
对于与位置b和位置d的采样位置对应的分数像素精度的像素，内插单元82使用第一滤波器执行前面讨论的式(2)中的积和操作，由此获得与位置b和位置d的采样位置对应的像素值。
再者，同时内插单元82使用第二滤波器生成由下式(7)表述的中间值B或者中间值C。
[式5]
B，D＝(-1)·A-1+5·A0+5·A1+(-1)·A2            (7)
这里，与图1中的位置b的像素值相似，中间值B是与相对帧存储器72中存储的整数像素精度的像素值在水平分量上平移二分之一像素并且在竖直分量上平移零像素的位置对应的值。与图1中的位置d的像素值相似，中间值D是与相对帧存储器72中存储的整数像素精度的像素值在水平分量上平移零像素并且在竖直分量上平移二分之一像素的位置对应的值。
对于与位置c的采样位置对应的分数像素精度，内插单元82使用中间值B或中间值D以及第二滤波器执行下式(8)中表述的积和操作，由此获得与位置c的采样位置对应的像素值。
[式6]
F＝(-1)·B-1+5·B0+5·B1+(-1)·B2
或者
F＝(-1)·D-1+5·D0+5·D1+(-1)·D2
c＝Clip1((F+32)＞＞6)    (8)
这里，执行水平方向和竖直方向两者上的积和处理，并且这样最后仅执行一次Clip处理。
此外，内插单元82还借助与前面讨论的式(4)相似的处理，使用如上文所述计算的与位置c的采样位置对应的像素值来计算与位置e1至e3对应的像素值。
尽管前文描述了其中采样位置是图1中所示的位置b至d以及位置e1至e3的情况，但是在其他位置的情况下进行使用分别相似的位置的像素值的相似处理等。
在内插滤波器设定单元92中，根据将进行内插的采样位置设定滤波器，使得可以进行如上文所述的内插处理。
通过根据将进行内插的采样位置以这种方式切换滤波器，当生成例如图1中的位置c和位置e3的像素值时，可以减少作为处理瓶颈的计算。
[图像编码装置中的编码处理的描述]
接下来，将参照图8中的流程图描述图3中的图像编码装置51中的编码处理。
在步骤S11中，A/D转换器61对输入图像进行A/D转换。在步骤S12中，帧排序缓冲器62存储A/D转换器61提供的图像，并且将它们从显示各个图片的顺序排序为编码的顺序。
在步骤S13中，算术单元63计算步骤S12中排序的图像和预测图像之间的差。经由预测图像选择器77将预测图像提供给算术单元63，在帧间预测的情况下从运动预测/补偿单元75提供该预测图像，或者在帧内预测的情况下从帧内预测单元74提供该预测图像。
差数据较之原始图像数据具有较小的数据尺寸。因此，较之直接对图像编码的情况可以压缩数据尺寸。
在步骤S14中，正交变换单元64将正交变换应用于从算术单元63提供的差信息。具体地，应用诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S15中，量化器65对变换系数进行量化。在该量化期间控制速率，如在后面讨论的步骤S25中的处理中描述的那样。
对以这种方式量化的差信息进行如下的局部解码。就是说，在步骤S16中，逆量化单元68利用与量化器65的特性对应的特性，针对已被量化器65量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元69利用与正交变换单元64的特性对应的特性，将逆正交变换应用于已由逆量化单元68进行逆量化的变换系数。
在步骤S18中，算术单元70将经由预测图像选择器77输入的预测图像加到局部解码的差信息，并且生成局部解码图像(与针对算术单元63的输入对应的图像)。在步骤S19中，解块滤波器71对算术单元70输出的图像进行滤波。通过这样做，移除了结块产物。在步骤S20中，帧存储器72存储经滤波的图像。同时，还从算术单元70向帧存储器72提供仍未由解块滤波器71滤波的图像并且将其存储。
在步骤S21中，帧内预测单元74和运动预测/补偿单元75分别进行图像预测处理。换言之，在步骤S21中，帧内预测单元74在帧内预测模式中进行帧内预测处理，而运动预测/补偿单元75在帧间预测模式中进行运动预测/补偿处理。
此时，在运动预测/补偿单元75中，使用内插滤波器切换器76根据与分数像素精度的像素的坐标对应的采样位置设定的滤波器，生成采样位置的像素值。随后使用这些像素值计算分数像素精度的运动向量。
将在后面参照图9讨论步骤S21中的预测处理的细节，但是作为该处理的结果，在作为候选者给出的所有帧内预测模式中分别进行预测处理，并且对于作为候选者给出的所有帧内预测模式分别计算成本函数值。随后，基于计算的成本函数值选择最优帧内预测模式，并且由最优帧内预测模式中的帧内预测生成的预测图像及其成本函数值被提供给预测图像选择器77。
再者，作为该处理的结果，在作为候选者给出的所有帧间预测模式中分别进行预测处理，并且对于作为候选者给出的所有帧间预测模式分别计算成本函数值。随后，基于计算的成本函数值在帧间预测模式中确定最优帧内预测模式，并且通过最优帧内预测模式生成的预测图像及其成本函数值被提供给预测图像选择器77。
在步骤S22中，预测图像选择器77在最优帧内预测模式和最优帧间预测模式之间选择最优预测模式，该选择基于由帧内预测单元74和运动预测/补偿单元75输出的它们的各自的成本函数值。随后，预测图像选择器77选择因此确定的最优预测模式的预测图像，并且将其提供给算术单元63和70。如前面讨论的，在步骤S13和S18中的计算中使用该预测图像。
这里，该预测图像选择信息被提供给帧内预测单元74或运动预测/补偿单元75。在其中最优帧内预测模式的预测图像被选择的情况下，帧内预测单元74向可逆编码器66提供指示最优帧内预测模式的信息(或者换言之，帧内预测模式信息)。
在其中最优帧间预测模式的预测图像被选择的情况下，运动预测/补偿单元75向可逆编码器66输出指示最优帧间预测模式的信息，或者如果必要，输出依赖最优帧间预测模式的信息。运动向量信息、标志、参考帧信息等可以被引用作为依赖最优帧间预测模式的信息。
在步骤S23中，可逆编码器66对量化器65输出的量化的变换系数进行编码。换言之，通过可变长度编码或算术编码等对差图像进行可逆编码并且将其压缩。此时，在上文讨论的步骤S22中输入到可逆编码器66的、来自帧内预测单元74的帧内预测模式信息或者来自运动预测/补偿单元75的依赖最优帧间预测模式的信息等，也被编码并且加到报头信息。
在步骤S24中，累积缓冲器67将差图像存储为压缩图像。累积缓冲器67中存储的压缩图像被适当地读出并且经由传送路径传送到编码器。
在步骤S25中，速率控制器78基于累积缓冲器67中存储的压缩图像，控制量化器65进行量化操作的速率，使得不会发生上溢或下溢。
[预测处理的描述]
接下来，将参照图9中的流程图描述图8的步骤S21中的预测处理。
在其中从帧排序缓冲器62提供的待处理图像是将进行帧内处理的块的图像的情况下，从帧存储器72读出将被参考的已解码的图像并且经由开关73将其提供给帧内预测单元74。在步骤S31中，基于这些图像，帧内预测单元74在作为候选者给出的所有帧内预测模式中对待处理的块中的像素进行帧内预测。这里，未被解块滤波器71滤波的像素被用作将被参考的已解码的像素。
后面将参照图10描述步骤S31中的帧内预测处理的细节，但是作为该处理的结果，在作为候选者给出的所有帧内预测模式中进行帧内预测，并且计算关于作为候选者给出的所有帧内预测模式的成本函数值。随后，基于所计算的成本函数值选择最优帧内预测模式，并且将通过最优帧内预测模式中的帧内预测生成的预测图像及其成本函数值提供给预测图像选择器77。
在其中从帧排序缓冲器62提供的待处理图像是将进行帧间处理的图像的情况下，从帧存储器72读出将被参考的图像并且经由开关73将其提供给运动预测/补偿单元75。在步骤S32中，基于这些图像，运动预测/补偿单元75进行帧内运动预测处理。换言之，运动预测/补偿单元75参考从帧存储器72提供的图像并且在作为候选者给出的所有帧间预测模式中进行运动预测处理。
同时，在此时内插滤波器切换器76根据与整数像素精度的像素(其与运动预测/补偿单元75检测到的运动向量对应)附近的分数像素精度的像素的坐标对应的采样位置设定将用于内插的滤波器。运动预测/补偿单元75使用由内插滤波器切换器76设定的滤波器生成采样位置的像素值，并且使用它们计算分数像素精度的运动向量。随后，运动预测/补偿单元75对参考图像执行补偿处理并且基于分数像素精度的运动向量生成预测图像。
后面将参照图11讨论步骤S32中的帧间运动预测处理的细节，但是作为该处理的结果，在作为候选者给出的所有帧间预测模式中进行运动预测处理，并且针对作为候选者给出的所有帧间预测模式计算成本函数值。
在步骤S33中，运动预测/补偿单元75的模式确定单元85比较在步骤S32中计算的帧间预测模式的成本函数值。模式确定单元85将最优帧间预测模式确定为给出最小值的预测模式，并且将通过最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择器77。
[帧内预测处理的描述]
接下来，将参照图10中的流程图描述图9的步骤S31中的帧内预测处理。这里，在图10中的示例中，作为示例描述亮度信号的情况。
在步骤S41中，帧内预测单元74在4×4像素、8×8像素和16×16像素的各个帧内预测模式中进行帧内预测。
在关于亮度信号的帧内预测模式中，存在具有九种类型的4×4像素和8×8像素的块单位以及四种类型的16×16像素的宏块单位的预测模式。在关于色度信号的帧内预测模式中，存在具有四种类型的8×8像素的块单位的预测模式。可以相对亮度信号的帧内预测模式独立地设定色度信号的帧内预测模式。对于亮度信号的4×4像素和8×8像素的帧内预测模式，对于亮度信号的4×4像素和8×8像素块定义一个帧内预测模式。对于亮度信号的16×16像素的帧内预测模式和色度信号的帧内预测模式，对于一个宏块定义一个预测模式。
具体地，帧内预测单元74从帧存储器72读出待处理的块的像素并且在参考经由开关73提供的已解码的图像的同时进行帧内预测。通过在每个帧内预测模式中进行该帧内预测处理，在每个帧内预测模式中生成预测图像。这里，仍未被解块滤波器71滤波的像素被用作将被参考的已解码的像素。
在步骤S42中，帧内预测单元74计算各个4×4像素、8×8像素和16×16像素的帧内预测模式的成本函数值。此时，基于高复杂模式或低复杂模式技术进行成本函数值的计算。在JM，即H.264/AVC格式中的参考软件中限定了这些模式。
换言之，在高复杂模式中，步骤S41中的处理牵涉临时地在作为候选者给出的所有预测模式中进行编码处理。此外，针对每个预测模式计算由下式(9)表述的成本函数值，并且给出最小值的预测模式被选择为最优预测模式。
Cost(Mode)＝D+λ·R    (9)
D是原始图像和解码图像之间的差(失真)，R是包括正交变换系数的位速率，而λ是作为量化参数QP的函数给出的拉格朗日乘数。
同时，在低复杂模式中，步骤S41中的处理牵涉生成预测图像和计算诸如运动向量信息、预测模式信息和关于作为候选者给出的所有预测模式的标志信息的报头位。此外，针对每个预测模式计算由下式(10)表述的成本函数值，并且给出最小值的预测模式被选择为最优预测模式。
Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit    (10)
D是原始图像和解码图像之间的差(失真)，Header_Bit是预测模式的报头位的数目，而QPtoQuant是作为量化参数QP的函数给出的函数。
在低复杂模式中，由于在所有预测模式中仅生成预测图像并且没有必要进行编码处理和解码处理，因此减少了计算。
在步骤S43中，帧内预测单元74针对每个4×4像素、8×8像素和16×16像素的帧内预测模式分别确定最优模式。换言之，如前面讨论的，对于帧内4×4预测模式和帧内8×8预测模式的情况，存在九种类型的预测模式，并且对于帧内16×16预测模式的情况，存在四种类型的预测模式。因此，帧内预测单元74将在步骤S42中计算的成本函数值取为基础并且从中确定最优帧内4×4预测模式、最优帧内8×8预测模式和最优帧内16×16预测模式。
在步骤S44中，帧内预测单元74基于步骤S42中计算的成本函数值，从针对各个4×4像素、8×8像素和16×16像素的帧内预测模式确定的各个最优模式中选择最优帧内预测模式。换言之，针对4×4像素、8×8像素和16×16像素确定的各个最优模式中的成本函数值最小的模式被选择为最优帧内预测模式。随后，帧内预测单元74将通过最优帧内预测模式生成的预测图像及其成本函数值提供给预测图像选择器77。
[帧间运动预测处理的描述]
接下来，将参照图11中的流程图描述图9的步骤S32中的帧间预测处理。这里，在运动预测/补偿单元75中，基于在前面参照图2讨论的JM中实现的运动估计方法，计算整数像素精度的运动向量和分数像素精度的运动向量。
在步骤S51中，整数像素精度运动估计器81针对如前面参照图4讨论的从16×16像素到4×4像素组成的八种类型的帧间预测模式中的每个，确定各个整数像素精度的运动向量以及参考图像。
换言之，向整数像素精度运动估计器81提供来自帧排序缓冲器62的将进行帧间处理的图像，以及来自帧存储器72的整数像素精度的参考像素值。整数像素精度运动估计器81使用这些图像针对每个帧间预测模式计算使候选参考图像的给定搜索范围内的成本函数值最小的整数像素精度的运动向量和参考图像。此时，例如SAD(绝对差和)等可以用作成本函数值。通过这样做，对于每个帧间预测模式中的待处理块分别确定整数像素精度的运动向量和参考图像，整数像素精度的运动向量信息被提供给内插单元82。
因此，内插单元82使用从帧存储器72提供的整数像素精度的参考像素值计算与运动预测/补偿单元75检测到的运动向量对应的整数像素精度的像素(例如，图1中的位置A处的像素)附近的分数像素精度的像素的坐标。所计算的关于分数像素精度的像素的坐标信息被提供给采样位置确定单元91。
采样位置确定单元91基于内插单元82计算的分数像素精度的像素的坐标信息，从图1中的位置b至d以及位置e1至e3中确定该像素所处的采样位置。关于采样位置的信息被提供给内插滤波器设定单元92。
在步骤S52中，内插滤波器设定单元92根据来自采样位置确定单元91的信息指示的采样位置，在内插单元82中包括的具有两种类型的滤波器系数的滤波器中设定将使用的滤波器。
换言之，内插滤波器设定单元92针对与位置b和位置d的采样位置对应的像素设定使用第一滤波器。同时，在此时内插滤波器设定单元92还设定第二滤波器用于生成中间值B和中间值D以便于生成与位置c的采样位置对应的像素。
再者，内插滤波器设定单元92针对与位置c的采样位置对应的像素设定使用第二滤波器。
在步骤S53中，内插单元82使用内插滤波器设定单元92设定的滤波器进行依赖采样位置的内插处理。后面将参照图12讨论该内插处理的细节。
根据步骤S53中的处理，生成与整数像素精度运动估计器81检测到的运动向量对应的像素附近的分数像素精度的采样位置的像素值。所生成的分数像素精度的参考像素值被提供给分数像素精度运动估计器83。
在步骤S55中，分数像素精度运动估计器83在作为候选者给出的所有帧间预测模式中以分数像素精度进行目标块的运动估计，并且确定分数像素精度的运动向量。
换言之，向分数像素精度运动估计器83提供来自帧排序缓冲器62的将进行帧间处理的图像，来自整数像素精度运动估计器81的整数像素精度的运动向量信息，以及来自内插单元82的分数像素精度的参考像素值。
分数像素精度运动估计器83使用该信息计算与整数像素精度的运动向量对应的像素(例如，图2中的像素E)附近的二分之一像素精度的像素中的、像素值使诸如SAD的成本函数值最小的像素(例如，图2中的像素6)。该像素(例如，图2中的像素6)被取为与二分之一像素精度的最优运动向量对应的像素。此外，分数像素精度运动估计器83计算与二分之一像素精度的最优运动向量对应的像素附近的四分之一像素精度的像素中的、像素值使成本函数值最小的像素(例如，图2中的像素b)。通过这样做，与计算的像素对应的运动向量变为四分之一像素精度的最优运动向量，并且计算四分之一像素精度的最优运动向量。
分数像素精度运动估计器83确定的分数像素精度的运动向量信息被提供给运动补偿单元84。
在步骤S55中，运动补偿单元84基于来自分数像素精度运动估计器83的分数像素精度的运动向量，对参考图像进行补偿。
换言之，向运动补偿单元84提供来自帧存储器72的整数像素精度的参考像素值、分数像素精度的运动向量信息、以及来自内插滤波器设定单元92的滤波器选择信息。运动补偿单元84通过对分数像素精度的像素值进行内插，使用该信息生成预测图像。此时生成的所有候选块的预测图像的像素值连同相应的运动向量信息、参考帧信息以及帧间预测模式信息等一起被提供给模式确定单元85。
在步骤S56中，模式确定单元85针对从16×16像素到4×4像素组成的八种类型的帧间预测模式中的每个，对于所确定的各个运动向量，生成运动向量信息mvdE。此时，使用前面参照图6讨论的运动向量生成方法。
换言之，模式确定单元85借助前面讨论的式(5)的中值预测使用相邻块的运动向量信息计算目标块的预测运动向量信息pmvE。随后，如前面讨论的式(6)中所示，模式确定单元85通过取得来自分数像素精度运动估计器83的运动向量信息mvE和因此计算的预测运动向量信息pmvE之间的差来计算运动向量信息mvdE。
当在随后的步骤S57中计算成本函数值时也使用计算的运动向量信息，并且在其中由预测图像选择器77最终选择相应的预测图像的情况下，计算的运动向量信息连同预测模式信息和参考帧信息等一起被输出到可逆编码器66。
在步骤S57中，模式确定单元85针对从16×16像素到4×4像素组成的八种类型的帧间预测模式中的每个，计算前面讨论的式(9)或式(10)中表述的成本函数值。
换言之，向模式确定单元85提供来自运动补偿单元84的预测图像像素值、运动向量信息和参考帧信息，来自帧排序缓冲器62的将进行帧间处理的图像，以及参考帧信息等。模式确定单元85适当地使用所提供的信息和在步骤S56中计算的运动向量信息，针对作为候选者给出的所有帧间预测模式计算成本函数值。当在前面讨论的图9的步骤S33中确定最优帧间预测模式时使用此时计算的成本函数值。
[依赖采样位置的内插处理的描述]
接下来，将参照图12中的流程图描述图11的步骤S53中的依赖采样位置的内插处理。图12中的示例描述了其中给出图1中图示的位置b至d以及位置e1至e3作为采样位置的情况。然而，尽管缩减或省略了其说明和描述，但是在其他位置的情况下进行使用相对相似的位置的像素值的相似处理等。
在步骤S71中，内插单元82通过执行前面讨论的式(2)中的积和操作，使用内插滤波器设定单元92设定的第一滤波器生成与图1中的位置b和位置d对应的像素值。
在步骤S72中，内插单元82使用内插滤波器设定单元92设定的第二滤波器生成前面讨论的式(7)中的中间值B和D的值。
此外，在步骤S73中，内插单元82通过执行前面讨论的式(8)中表述的积和操作，使用内插滤波器设定单元92设定的第二滤波器生成与图1中的位置c对应的像素值。
随后，在步骤S74中，内插单元82借助前面讨论的式(4)中的线性内插，使用所需的整数像素精度的像素值和所生成的位置b至d的像素值中的像素值来生成与图1中的位置e1至e3对应的像素值。
以这种形式生成的分数像素精度的像素值被提供给分数像素精度运动估计器83并且用于估计分数像素精度的运动向量。
因此编码的压缩图像经由给定的传送路径传送并且由图像解码装置解码。
[图像解码装置的示例性配置]
图13图示了已应用本发明的作为图像处理装置的图像解码装置的实施例的配置。
图像解码装置101包括累积缓冲器111、可逆解码器112、解量化器113、逆正交变换单元114、算术单元115、解块滤波器116、帧排序缓冲器117、数字/模拟(D/A)转换器118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、内插滤波器切换器123和开关124。
累积缓冲器111累积传送的压缩图像。可逆解码器112以与可逆编码器66的编码格式对应的格式对已被图3中的可逆编码器66编码并且由累积缓冲器111提供的信息进行解码。解量化器113以与图3中的量化器65的量化格式对应的格式对可逆解码器112解码的图像进行解量化。逆正交变换单元114以与图3中的正交变换单元64的正交变换格式对应的格式将逆正交变换应用于解量化器113的输出。
经逆正交变换的输出由算术单元115加到从开关124提供的预测图像并且被解码。在从解码图像移除结块产物之后，解块滤波器116将其提供给帧存储器119，其中其被累积并且还输出到帧排序缓冲器117。
帧排序缓冲器117对帧进行排序，或者换言之，取得由图3中的帧排序缓冲器62排序为编码顺序的帧的顺序，并且将它们排序为它们的原始显示顺序。D/A转换器118对从帧排序缓冲器117提供的图像进行D/A转换并且将它们输出到未示出的显示器用于显示。
开关120从帧存储器119读出将进行帧间处理的图像以及将被参考的图像并且将它们输出到运动预测/补偿单元122，并且此外，从帧存储器119读出将用于帧内预测的图像并且将它们输出到帧内预测单元121。
向帧内预测单元121提供来自可逆解码器112的信息。该信息指示帧内预测模式并且通过对报头信息进行解码而获得。帧内预测单元121基于该信息生成预测图像，并且将生成的预测图像输出到开关124。
在通过对报头信息进行解码而获得的信息中，向运动预测/补偿单元122提供来自可逆解码器112的预测模式信息、运动向量信息和参考帧信息等。在其中提供指示帧间预测模式的信息的情况下，运动预测/补偿单元122生成与目标块对应的预测图像的像素值。此时，来自内插滤波器切换器123的滤波器选择信息指示的滤波器、运动向量信息以及从帧存储器119获得的整数像素精度的参考像素值被用于生成预测图像的像素值。将所生成的预测图像的像素值经由开关124提供给算术单元115。
向内插滤波器切换器123提供来自运动预测/补偿单元122的运动向量信息。内插滤波器切换器123确定与对应于运动向量的像素坐标对应的采样位置，并且使用依赖采样位置的内插来设定滤波器。指示内插滤波器切换器123已设定哪个滤波器的滤波器选择信息被提供给运动预测/补偿单元122。
开关124选择运动预测/补偿单元122或帧内预测单元121生成的预测图像并且将其提供给算术单元115。
这里，在图3中的图像编码装置51中，如前面参照图11等讨论的，针对图2中图示的整数像素精度的运动向量信息附近的所有采样位置进行内插处理。与此相对，在该图像解码装置101中，基于已被编码并发送的运动向量信息，仅针对图像编码装置51中计算的采样位置进行内插处理。
[运动预测/补偿单元和内插滤波器切换器的示例性配置]
图14是图示运动预测/补偿单元122和内插滤波器切换器123的示例性详细配置的框图。这里，在图14中，已省略图13中的开关120和124。
在图14中的示例中，运动预测/补偿单元122包括运动向量缓冲器131和内插单元132。
内插滤波器切换器123包括采样位置确定单元141和内插滤波器设定单元142。
向运动向量缓冲器131提供所累积的来自可逆解码器112(或者换言之，来自图像编码装置51)的关于目标块的运动向量信息。
内插单元132包括FIR滤波器，其具有两种类型的具有不同数目的抽头的滤波器系数。内插单元132从运动向量缓冲器131读出运动向量信息。
内插单元132使用读出的运动向量信息、来自内插滤波器切换器123的滤波器选择信息指示的滤波器以及从帧存储器19获得的整数像素精度的参考像素值，生成与目标块对应的预测图像的像素值。将所生成的预测图像的像素值经由开关124提供给算术单元115。
采样位置确定单元141从运动向量缓冲器131读出运动向量信息，并且从例如图1中的位置b至d以及位置e1至e3确定该运动向量信息与哪个采样位置相关。关于所确定的采样位置的信息被提供给内插滤波器设定单元142。
内插滤波器设定单元142根据来自采样位置确定单元91的信息指示的采样位置，在内插单元132中包括的两种类型的滤波器中设定将使用的滤波器。内插滤波器设定单元142向内插单元132提供指示已设定哪个滤波器的滤波器选择信息。
例如，内插滤波器设定单元142可以可以针对在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度的采样位置，以及在两个方向上均具有分数像素精度的采样位置，设定分别具有不同数目的抽头的滤波器系数。优选地，较之前者的采样位置，针对后者的采样位置设定具有较少抽头的滤波器系数。
[图像解码装置的解码处理的描述]
接下来，将参照图15中的流程图描述图像解码装置101执行的解码处理。
在步骤S131中，累积缓冲器111累积传送的图像。在步骤S132中，可逆解码器112对从累积缓冲器111提供的压缩图像进行解码。换言之，对已被图3中的可逆编码器66编码的I图片、P图片和B图片进行解码。
此时，还对运动向量信息、参考帧信息、预测模式信息(指示帧内预测模式或帧间预测模式的信息)等进行解码。
换言之，在其中预测模式信息是帧内预测模式信息的情况下，将预测模式信息提供给帧内预测单元121。在其中预测模式信息是帧间预测模式信息的情况下，将运动向量信息和与预测模式信息对应的参考帧信息提供给运动预测/补偿单元122。
在步骤S133中，解量化器113利用与图3中的量化单元65的特性对应的特性，对可逆解码器112解码的变换系数进行解量化。在步骤S134中，逆正交变换单元114利用与图3中的正交变换单元64的特性对应的特性，将逆正交变换应用于解量化器113解量化的变换系数。通过这样做，与针对图3中的正交变换单元64的输入(来自算术单元63的输出)对应的差信息被解码。
在步骤S135中，算术单元115将差信息加到已由后面讨论的步骤S141中的处理选择并且经由开关124输入的预测图像。通过这样做，原始图像被解码。在步骤S136中，解块滤波器116对算术单元115输出的图像进行滤波。通过这样做，移除结块产物。在步骤S137中，帧存储器119存储经滤波的图像。
在步骤S138中，帧内预测单元121或运动预测/补偿单元122进行与从可逆解码器112提供的预测模式信息对应的各个图像预测处理。
换言之，在从可逆解码器112提供帧内预测模式信息的情况下，帧内预测单元121进行帧内预测模式中的帧内预测处理。在其中从可逆解码器112提供帧间预测模式信息的情况下，运动预测/补偿单元122进行帧间预测模式中的运动预测/补偿处理。此时，运动预测/补偿单元122使用内插滤波器切换器123设定的滤波器、运动向量信息以及从帧存储器119获得的整数像素精度的参考像素值，生成与目标块对应的预测图像的像素值。
后面将参照图16讨论步骤S138中的预测处理的细节，但是作为该处理的结果，帧内预测处理121生成的预测图像或者运动预测/补偿单元122生成的预测图像被提供给开关124。
在步骤S139中，开关124选择预测图像。换言之，提供帧内预测处理121生成的预测图像或者运动预测/补偿单元122生成的预测图像。因此，所提供的预测图像被选择并且提供给算术单元115，并且如前面讨论的，在步骤S134中被加到来自逆正交变换单元114的输出。
在步骤S140中，帧排序缓冲器117进行排序。换言之，在图像编码装置51中由帧排序缓冲器62排序用于编码的帧顺序被排序为原始显示顺序。
在步骤S141中，D/A转换器118对来自帧排序缓冲器117的图像进行D/A转换。该图像被输出到未示出的显示器，并且该图像被显示。
[图像解码装置中的预测处理的描述]
接下来，将参照图16中的流程图描述图15的步骤S138中的预测处理。
在步骤S171中，帧内预测单元121确定目标块是否被帧内编码。如果从可逆解码器112将帧内预测模式信息提供给帧内预测单元121，则帧内预测单元121在步骤S171中确定目标块被帧内编码，并且处理前往步骤S172。
在步骤S172中，帧内预测单元121获取帧内预测模式信息，并且在步骤S173中，进行帧内预测。
换言之，在其中待处理图像是经帧内处理的图像的情况下，从帧存储器119读出所需的图像并且经由开关120将其提供给帧内预测单元121。在步骤S173中，帧内预测单元121根据在步骤S172中获取的帧内预测模式信息进行帧内预测并且生成预测图像。因此生成的预测图像被输出到开关124。
另一方面，在其中在步骤S171中确定目标块未进行帧内编码的情况下，处理前往步骤S174。
在步骤S174中，运动预测/补偿单元122从可逆解码器112获取预测模式信息等。
在其中待处理图像是经帧间处理的图像的情况下，从可逆解码器112将帧间预测模式信息、参考帧信息和运动向量信息提供给运动预测/补偿单元122。在该情况下，运动预测/补偿单元122在步骤S174中获取帧间预测模式信息、参考帧信息和运动向量信息。同时，获取的运动向量信息在运动向量缓冲器131中累积。
在步骤S175中，运动预测/补偿单元122和内插滤波器切换器123进行依赖运动向量信息(指示的采样位置)的内插处理，并且生成预测图像的像素值。后面将参照图17更全面地讨论该内插处理的细节。
作为步骤S175中的处理的结果，进行依赖运动向量信息的像素精度的内插处理，并且生成目标块的预测图像的像素值。因此生成的预测图像被输出到开关124。
接着，将参照图17中的流程图描述图16的步骤S175中的依赖运动向量信息的内插处理。图17中的示例描述了其中给出图1中图示的位置b至d以及位置e1至e3作为运动向量信息指示的采样位置的情况。然而，尽管其说明和描述被缩减或省略，但是在其他位置的情况下进行使用相对相似的位置的像素值的相似处理等。
采样位置确定单元141从运动向量缓冲器131读出运动向量信息。在步骤S181中，采样位置确定单元141确定运动向量信息是否在水平方向和竖直方向两者上具有整数像素精度。换言之，在步骤S181中，确定运动向量信息是否指示整数像素精度的采样位置(例如，图1中的位置A)。
在其中在步骤S181中确定运动向量信息在水平方向和竖直方向两者上具有整数像素精度的情况下，采样位置确定单元141将关于所确定的采样位置的信息提供给内插滤波器设定单元142。作为响应，内插滤波器设定单元142向内插单元132提供指示将不使用滤波器的滤波器选择信息。
在步骤S182中，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值生成目标块的预测图像的像素值。所生成的预测图像的像素值经由开关124提供给算术单元115。
在其中在步骤S181中确定运动向量信息并非在水平方向和竖直方向两者上具有整数像素精度的情况下，处理前往步骤S183。在步骤S183中，采样位置确定单元141确定运动向量信息是否在水平方向和竖直方向中的任一方向上具有二分之一像素精度，并且在另一方向上具有整数像素精度。换言之，在步骤S183中，确定运动向量信息是否指示例如图1中的位置b或位置d。
在其中在步骤S183中确定运动向量信息在水平方向和竖直方向中的任一方向上具有二分之一像素精度并且在另一方向上具有整数像素精度的情况下，采样位置确定单元141将关于该采样位置的信息提供给内插滤波器设定单元142。作为响应，内插滤波器设定单元142向内插单元132提供指示将使用第一滤波器的滤波器选择信息。
在步骤S184中，内插单元132使用第一滤波器进行内插处理。换言之，内插单元132使用来自帧存储器119的整数像素精度的参考像素值、运动向量信息以及第一滤波器进行前面讨论的式(2)中的内插处理。通过这样做，生成关于目标块的预测图像的像素值(与例如图1中的位置b或位置d对应的像素值)，并且将所生成的预测图像的像素值经由开关124提供给算术单元115。
在其中在步骤S183中确定运动向量信息并非在水平方向和竖直方向中的任一方向上具有二分之一像素精度并且在另一方向上具有整数像素精度的情况下，处理前进至步骤S185。在步骤S185中，采样位置确定单元141确定运动向量信息是否在水平方向和竖直方向两者上具有二分之一像素精度。换言之，在步骤S185中确定运动向量信息是否指示例如图1中的位置c。
在其中在步骤S185中确定运动向量信息在水平方向和竖直方向两者上具有二分之一像素精度的情况下，采样位置确定单元141将关于该采样位置的信息提供给内插滤波器设定单元142。作为响应，内插滤波器设定单元142向内插单元132提供指示将使用第二滤波器的滤波器选择信息。
在步骤S186中，内插单元132使用第二滤波器进行内插处理。换言之，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值、运动向量信息以及第二滤波器进行式(7)中表述的处理并且生成中间值B或中间值D。随后，内插单元132使用中间值B或中间值D额外执行前面讨论的式(8)中表述的积和操作。通过这样做，生成关于目标块的预测图像的像素值(与例如图1中的位置c对应的像素值)，并且将所生成的预测图像的像素值经由开关124提供给算术单元115。
在其中在步骤S185中确定运动向量信息并非在水平方向和竖直方向两者上具有二分之一像素精度的情况下，处理前进至步骤S187。在步骤S187中，采样位置确定单元141确定运动向量信息是否指示图1中的位置e1。
在其中在步骤S187中确定运动向量信息指示图1中的位置e1的情况下，采样位置确定单元141将关于该采样位置的信息提供给内插滤波器设定单元142。作为响应，内插滤波器设定单元142向内插单元132提供指示将使用第一滤波器的滤波器选择信息。
在步骤S188中，内插单元132使用第一滤波器借助内插处理生成与图1中的位置b对应的像素值。换言之，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值、运动向量信息以及第一滤波器进行前面讨论的式(2)中的内插处理，并且生成与图1中的位置b对应的像素值。
随后，内插单元132在步骤S193中进行线性内插。换言之，内插单元132使用与位置b对应的像素值和整数像素精度的像素值进行前面讨论的式(4)的顶行中表述的线性内插。通过这样做，生成关于目标块的预测图像的像素值(与图1中的位置e1对应的像素值)，并且经由开关124将所生成的预测图像的像素值提供给算术单元115。
在其中在步骤S187中确定运动向量信息不指示图1中的位置e1的情况下，处理前进至步骤S189。在步骤S189中，采样位置确定单元141确定运动向量信息是否指示图1中的位置e2。
在其中在步骤S189中确定运动向量信息指示图1中的位置e2的情况下，采样位置确定单元141将关于该采样位置的信息提供给内插滤波器设定单元142。作为响应，内插滤波器设定单元142向内插单元132提供指示将使用第一滤波器的滤波器选择信息。
在步骤S190中，内插单元132使用第一滤波器借助内插处理生成与图1中的位置b和位置d对应的像素值。换言之，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值、运动向量信息以及第一滤波器进行前面讨论的式(2)中的内插处理并且生成与图1中的位置b和位置d对应的像素值。
随后，内插单元132在步骤S193中进行线性内插。换言之，内插单元132使用与位置b和位置d对应的像素值进行前面讨论的式(4)的中行中表述的线性内插。通过这样做，生成关于目标块的预测图像的像素值(与图1中的位置e2对应的像素值)，并且经由开关124将所生成的预测图像的像素值提供给算术单元115。
在其中在步骤S189中确定运动向量信息不指示图1中的位置e2的情况下，处理前进至步骤S191。换言之，在该情况下确定运动向量信息指示图1中的位置e3，并且采样位置确定单元141将关于该采样位置的信息提供给内插滤波器设定单元142。作为响应，内插滤波器设定单元142向内插单元132提供指示将针对位置b或位置d使用第一滤波器的滤波器选择信息，以及将针对位置c使用第二滤波器的滤波器选择信息。
在步骤S191中，内插单元132使用第一滤波器借助内插处理生成与图1中的位置b或位置d对应的像素值。换言之，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值、运动向量信息以及第一滤波器进行前面讨论的式(2)中的内插处理并且生成与图1中的位置b或位置d对应的像素值。
接下来，在步骤S192中，内插单元132使用第二滤波器借助内插处理生成与图1中的位置c对应的像素值。换言之，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值、运动向量信息以及第二滤波器进行式(7)中表述的处理并且生成中间值B或中间值D。随后，内插单元132使用中间值B或中间值D额外执行前面讨论的式(8)中表述的积和操作。通过这样做，生成关于目标块的预测图像的像素值(与例如图1中的位置c对应的像素值)。
随后，内插单元132在步骤S193中进行线性内插。换言之，内插单元132使用与位置b或位置d对应的像素值以及与位置c对应的像素值进行前面讨论的式(4)的底行中表述的线性内插。通过这样做，生成关于目标块的预测图像的像素值(与例如图1中的位置e3对应的像素值)，并且经由开关124将所生成的预测图像的像素值提供给算术单元115。
如上所述，根据采样位置设定用于内插处理的滤波器并且使用所设定的滤波器进行内插处理。出于该原因，可以减少内插处理的计算(特别是对于图1中的位置c和位置e3)。
同时，尽管前文描述了使用FIR滤波器{1，-5，20，20，-5，1}和FIR滤波器{-1，5，5，-1}作为FIR滤波器，但是本发明不仅限于这些滤波器。换言之，通过较之用于位置b和位置d的滤波器，使用具有较少抽头的FIR滤波器生成位置c的像素值，可以获得相似的优点。
再者，滤波器系数不限于H.264/AVC格式中预先定义的这些滤波器系数。例如，还可以被配置为使得根据各个帧自适应地计算滤波器系数，使用这些计算的滤波器系数，如非专利文献3中提出的那样。
换言之，如上文讨论的，进行H.264/AVC格式的普通的运动预测处理，针对各个运动补偿块计算运动向量值，并且进行滤波器最优化以便使所计算的运动向量值的运动残差最小。还可以被配置为使得针对第一滤波器和第二滤波器中的至少一个进行该最优化，随后使用该滤波器。
此外，尽管前文描述了在两种类型的滤波器之间切换的示例，但是还可以被配置为根据采样位置在多个(两个或更多个)滤波器之间切换。
此外，本发明还可以应用于非专利文献4中提出的1/8像素精度的运动预测/补偿处理。换言之，在非专利文献4中，利用滤波器[-3，12，-39，158，158，-39，12，-3]/256进行二分之一像素精度的内插处理。再者，利用滤波器[-3，12，-37，229，71，-21，6，-1]/256进行四分之一像素精度的内插处理，并且利用线性内插进行1/8像素精度的内插处理。
在该情况下，不同于线性内插，针对正在使用FIR滤波器生成其像素值的采样位置设定如下的FIR滤波器。换言之，根据在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，还是在水平方向和竖直方向两者上具有分数像素精度，针对该采样位置设定不同的FIR滤波器。更具体地，较之前者(在一个方向上具有分数像素精度)，对于后者设定具有较少抽头的滤波器。
与此相对，对于通过线性内插生成的采样位置，根据作为输入给出的像素值的采样位置(或者换言之，在式(4)的右侧使用其像素值的采样位置)属于前者还是属于后者，执行不同的处理。
换言之，使用所设定的滤波器生成二分之一像素精度的采样位置的像素值和四分之一像素精度的采样位置的像素值。随后，使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个，通过进行线性内插来生成1/8像素精度的采样位置的像素值。
同时，在图4中描述了将宏块尺寸取为16像素×16像素的示例。然而，对于如例如以下一代编码格式为目标的UHF(超高清晰度)中的诸如4000像素×2000像素的大尺寸图像，几乎不能认为将宏块尺寸取为16像素×16像素是最优的。
因此，在文献″Video Coding Using Extended Block″(Study Group 16，Contribution 123，ITU，2009年1月，在下文中被指定为标准文献1)等中，提出了将宏块尺寸增加到诸如64×64像素和32像素×32像素的尺寸。
图18和19是解释增加宏块尺寸的示例性情况的示图。与图4相似，这些示图图示了H.264/AVC格式中的示例性运动预测/补偿块尺寸，但是它们与图4的情况的不同之处在于采用64×64像素作为宏块尺寸。
在图18中的顶行上，以左起顺序图示了由64×64像素组成并且被分为64×64像素、64×32像素、32×64像素和32×32像素分区的宏块。此外，在图18的中行上，以左起顺序图示了被分为32×32像素、32×16像素、16×32像素和16×16像素子分区的32×32像素分区。此外，在图18中的底行上，以左起顺序图示了由16×16像素组成并且被分为16×16像素、16×8像素、8×16像素和8×8像素子分区的子分区。
此外，在图19中，以左起顺序图示了被分为8×8像素、8×4像素、4×8像素和4×4像素子分区的8×8子分区。
换言之，在图18和19中的示例中，图18的顶行被取为宏块层，图18的中行被取为第一子宏块层，并且图18的底行被取为第二子宏块层。此外，图19被取为第三子宏块层。
在以这种方式配置的情况下，可以将单个宏块分为64×64像素、64×32像素、32×64像素和32×32像素分区中的任何分区，每个分区具有各自独立的运动向量信息。再者，可以将32×32像素分区分为32×32像素、32×16像素、16×32像素和16×16像素子分区中的任何子分区，每个子分区具有各自独立的运动向量信息。
此外，可以划分16×16像素子分区，每个子分区具有各自独立的运动向量信息，并且还可以划分8×8像素子分区，每个子分区具有各自独立的运动向量信息。
换言之，在标准文献1中，通过采用与图4的情况相似的分层结构，将较大的块定义为超集，同时对于16×16像素运动预测/补偿块尺寸维持与H.264/AVC格式的兼容性。在图18中，虚线所围绕的部分对应于该超集。
这里，标准文献1提出了将如图18和19中图示的扩展宏块应用于片间(inter slice)。然而，在文献″Intra coding using extended block size″(VCEG-AL28，2009年7月)中，提出了还将扩展宏块应用于片内(intraslice)。
以这种方式应用扩展宏块的基本原理是，如果在例如4000像素×2000像素的图像上进行使用传统宏块尺寸的编码/解码处理，则待处理的数据量变得极大并且处理所需的时间增加。例如，通过将运动预测/补偿块尺寸取为64×64像素，可以更高效地对图像中的低频部分等进行编码/解码。
以上讨论的示例描述了，当通过根据将进行内插的采样位置切换滤波器来生成例如图1中的位置c和位置e3的像素值时，减少了作为处理瓶颈的计算。然而，在其中应用扩展宏块的情况下，一律根据采样位置切换滤波器被认为是不适当的。
换言之，认为应仅在其中运动预测/补偿块尺寸具有图18中的虚线所围绕的部分的尺寸的情况下，根据将进行内插的采样位置切换滤波器。
换言之，在其中运动预测/补偿块尺寸被取为从64×64像素到16×32像素的情况下，采用当前的H.264/AVC格式的超集。在该情况下，由于首先不保证与当前的H.264/AVC格式的兼容性，因此不认为根据采样位置切换滤波器会带来问题。另一方面，在其中运动预测/补偿块尺寸被取为从16×16像素到4×4像素的情况下，存在与当前的H.264/AVC格式的兼容性，并且因此期望进行与当前的H.264/AVC格式相似的内插。
再者，如前面讨论的，当编码时，基于成本函数值选择运动预测/补偿块尺寸。因此，在其中运动预测/补偿块尺寸被取为从64×64像素到16×32像素的情况下，可以假设待处理的宏块是例如图像的低频部分等。因此，对于这些部分，认为即使根据采样位置切换滤波器，没有降低运动预测/补偿精度的风险或者风险很小。
即使在其中应用如例如图18和19中图示的扩展宏块的情况下，图3中的图像编码装置51仍能够适当地压缩图像。再者，即使在其中应用如例如图18和19中图示的扩展宏块的情况下，图13中的图像解码装置101仍能够适当地对图像解码。
接下来，将针对其中应用扩展宏块的情况描述图3中的图像编码装置51中的编码处理。在该情况下，与前面参照图8中的流程图讨论的处理相似，同样在各个步骤中执行处理。然而，图9中的流程图中图示的预测处理中的步骤S32中的帧间运动预测处理的细节不同于图11中图示的细节。
图20是解释在应用扩展宏块的情况下作为图9中的步骤S32中的处理而执行的帧间运动预测处理的详细示例的流程图。
在步骤S221中，运动预测/补偿单元75确定将要执行的帧间运动预测处理是否是从16×16像素到4×4像素的帧间预测模式中的帧间运动预测处理。换言之，确定运动预测/补偿块尺寸是否被取为从16×16像素到4×4像素。
在其中在步骤S221中确定帧间运动预测处理不在从16×16像素到4×4像素的帧间预测模式中的情况下，处理前进至步骤S222。在该情况下，运动预测/补偿块尺寸从64×64像素到16×32像素。
在步骤S222中，运动预测/补偿单元75执行第一运动预测处理。
图21是解释图20的步骤S222中的第一运动预测处理的详细示例的流程图。图21中的从步骤S251到步骤S257的处理分别与图11中的从步骤S51到步骤S57的处理相似。然而，在图21的步骤S251中，针对从64×64像素到16×32像素的每个帧间预测模式确定运动向量和参考图像。
换言之，图21中的第一运动预测处理与前面参照图11讨论的帧间运动预测处理非常相似，因此这里省略了其详细描述。
返回图20，另一方面，在其中在步骤S221中确定帧间运动预测处理在从16×16像素到4×4像素的帧间预测模式中的情况下，处理前进至步骤S223。
在步骤S223中，运动预测/补偿单元75执行第二运动预测处理。
此时，将参照图22中的流程图描述图20的步骤S223中的第二预测处理的详细示例。
在步骤S271中，整数像素精度运动估计器81针对从16×16像素到4×4像素的每个帧间预测模式，分别确定整数像素精度的运动向量和参考图像。
换言之，向整数像素精度运动估计器81提供来自帧排序缓冲器62的将进行帧间处理的图像以及来自帧存储器72的整数像素精度的参考像素值。整数像素精度运动估计器81使用这些图像针对每个帧间预测模式计算使候选参考图像的给定搜索范围内的成本函数值最小的整数像素精度的运动向量和参考图像。通过这样做，对于每个帧间预测模式中的待处理块分别确定整数像素精度的运动向量和参考图像，整数像素精度的运动向量信息被提供给内插单元82。
在步骤S272中，内插单元82使用第一滤波器生成分数像素精度的像素值。这里，在其中执行第二预测处理的情况下，第一滤波器被取为由内插滤波器设定单元92已设定的滤波器。换言之，第一滤波器总是用在其中运动预测/补偿块尺寸从16×16像素到4×4像素的情况下。
作为步骤S272中的处理的结果，生成与整数像素精度运动估计器81检测到的运动向量对应的像素附近的分数像素精度的采样位置的像素值，并且将所生成的分数像素精度的参考像素值提供给分数像素精度运动估计器83。
在步骤S273中，分数像素精度运动估计器83在作为候选者给出的所有帧间预测模式中以分数像素精度进行目标块的运动估计，并且确定分数像素精度的运动向量。
换言之，向分数像素精度运动估计器83提供来自帧排序缓冲器62的将进行帧间处理的图像，来自整数像素精度运动估计器81的整数像素精度的运动向量信息，以及来自内插单元82的分数像素精度的参考像素值。
分数像素精度运动估计器83使用该信息计算与整数像素精度的运动向量对应的像素(例如，图2中的像素E)附近的二分之一像素精度的像素中的、像素值使诸如SAD的成本函数值最小的像素(例如，图2中的像素6)。该像素(例如，图2中的像素6)被取为与二分之一像素精度的最优运动向量对应的像素。此外，分数像素精度运动估计器83计算与二分之一像素精度的最优运动向量对应的像素附近的四分之一像素精度的像素中的、像素值使成本函数值最小的像素(例如，图2中的像素b)。通过这样做，与计算的像素对应的运动向量变为四分之一像素精度的最优运动向量，并且计算四分之一像素精度的最优运动向量。
分数像素精度运动估计器83确定的分数像素精度的运动向量信息被提供给运动补偿单元84。
在步骤S274中，运动补偿单元84基于来自分数像素精度运动估计器83的分数像素精度的运动向量，对参考图像进行补偿。
换言之，向运动补偿单元84提供来自帧存储器72的整数像素精度的参考像素值、分数像素精度的运动向量信息、以及来自内插滤波器设定单元92的滤波器选择信息。运动补偿单元84通过对分数像素精度的像素值进行内插，使用该信息生成预测图像。此时生成的所有候选块的预测图像的像素值连同相应的运动向量信息、参考帧信息以及帧间预测模式信息等一起被提供给模式确定单元85。
在步骤S275中，模式确定单元85针对从16×16像素到4×4像素的帧间预测模式中的每个，对于所确定的各个运动向量，生成运动向量信息mvdE。
当在随后的步骤S276中计算成本函数值时也使用计算的运动向量信息，并且在其中由预测图像选择器77最终选择相应的预测图像的情况下，计算的运动向量信息连同预测模式信息和参考帧信息等一起被输出到可逆编码器66。
在步骤S276中，模式确定单元85针对从16×16像素到4×4像素的各个帧间预测模式中的每个，计算前面讨论的式(9)或式(10)中表述的成本函数值。
换言之，向模式确定单元85提供来自运动补偿单元84的预测图像像素值、运动向量信息和参考帧信息，来自帧排序缓冲器62的将进行帧间处理的图像，以及参考帧信息等。模式确定单元85适当地使用所提供的信息和在步骤S275中计算的运动向量信息，针对作为候选者给出的所有帧间预测模式计算成本函数值。当在前面讨论的图9的步骤S33中确定最优帧间预测模式时使用此时计算的成本函数值。
这里，上文讨论的从步骤S271到步骤S276的处理与传统的H.264/AVC格式中的四分之一像素精度的预测/补偿处理相似。换言之，在第二预测处理中，使用第一滤波器而与采样位置无关。例如，即使在用于获得图1中的位置c的像素值或者图1中的位置e3的像素值的计算中，仍使用第一滤波器。
这样，在其中应用扩展宏块的情况下执行帧间运动预测处理。
接下来，将针对其中应用扩展宏块的情况描述图13中的图像解码装置101中的解码处理。在该情况下，与前面参照图15中的流程图讨论的处理相似，同样在各个步骤中执行处理。然而，图16中的流程图中图示的预测处理中的步骤S175中的依赖运动向量信息的内插处理的细节不同于图17中图示的细节。
图23是解释在应用扩展宏块的情况下作为图16中的步骤S175中的处理而执行的依赖运动向量信息的内插处理的详细示例的流程图。
在步骤S301中，运动预测/补偿单元122基于步骤S174中获取的预测模式信息确定将要执行的预测处理是否在从16×16像素到4×4像素的帧间预测模式中。换言之，确定运动预测/补偿块尺寸是否被取为从16×16像素到4×4像素。
在其中在步骤S301中确定帧间运动预测处理不在从16×16像素到4×4像素的帧间预测模式中的情况下，处理前进至步骤S302。在该情况下，运动预测/补偿块尺寸从64×64像素到16×32像素。
在步骤S302中，运动预测/补偿单元122和内插滤波器切换器123执行第一内插处理。
图24是解释图23的步骤S302中的第一内插处理的详细示例的流程图。图24中的从步骤S321到步骤S333的处理与图17中的从步骤S181到步骤S193的处理相似。
换言之，图24中的第一内插处理与前面参照图17讨论的依赖运动向量信息的内插处理相似，因此这里省略了其详细描述。
返回图23，另一方面，在其中在步骤S301中确定预测处理在从16×16像素到4×4像素的帧间预测模式中的情况下，处理前进至步骤S303。
在步骤S303中，运动预测/补偿单元122执行第二内插处理。
此时，将参照图25中的流程图描述图23的步骤S303中的第二内插处理的详细示例。
在步骤S351中，采样位置确定单元141从运动向量缓冲器131读出运动向量信息并且确定运动向量信息是否在水平方向和竖直方向两者上具有整数像素精度。换言之，在步骤S351中，确定运动向量信息是否指示整数像素精度的采样位置(例如，图1中的位置A)。
在其中在步骤S351中确定运动向量信息在水平方向和竖直方向两者上具有整数像素精度的情况下，处理前进至步骤S352。
在步骤S352中，内插单元132使用从帧存储器119获得的整数像素精度的参考像素值生成目标块的预测图像的像素值。所生成的预测图像的像素值经由开关124提供给算术单元115。
在其中在步骤S351中确定运动向量信息并非在水平方向和竖直方向两者上具有整数像素精度的情况下，处理前往步骤S353。
在步骤S353中，内插单元132使用第一滤波器进行内插处理。换言之，内插单元132使用来自帧存储器119的整数像素精度的参考像素值、运动向量信息以及第一滤波器进行前面讨论的式(2)中的内插处理。将通过内插生成的预测图像的像素值经由开关124提供给算术单元115。
这里，在其中执行第二内插处理的情况下，第一滤波器被取为由内插滤波器设定单元142已设定的滤波器。换言之，第一滤波器总是用在其中运动预测/补偿块尺寸从16×16像素到4×4像素的情况下。
这里，上文讨论的从步骤S351到步骤S353的处理与传统的H.264/AVC格式中的四分之一像素精度的预测/补偿处理相似。换言之，在第二内插处理中，使用第一滤波器而与采样位置无关。例如，即使在用于获得图1中的位置c的像素值或者图1中的位置e3的像素值的计算中，仍使用第一滤波器。
这样，在其中应用扩展宏块的情况下执行依赖运动向量信息的内插处理。
这里，在上文参照图18至25讨论的示例中，描述了在其中运动预测/补偿块尺寸从16×16像素到4×4像素的情况下总是使用第一滤波器。然而，还可以被配置为使得例如在其中运动预测/补偿块尺寸从8×8像素到4×4像素的情况下总是使用第一滤波器。这样，可以根据采样位置任意地设定运动预测/补偿块尺寸用于确定设定第一滤波器还是第二滤波器，或者总是设定第一滤波器而与采样位置无关。
此外，尽管这里在应用扩展宏块的情况下被配置为如上文讨论的根据采样位置确定是否设定不同的滤波器，但是在未应用扩展宏块的情况下也可以被配置为如上文讨论的根据采样位置确定是否设定不同的滤波器。
再者，在前文中，描述了其中应用前面参照图18和19讨论的宏块的示例，但是还可以被配置为使得应用被扩展超过前面参照图18和19讨论的情况的宏块。例如，宏块尺寸可以被配置为诸如128×128像素的尺寸。
尽管被配置为使得H.264/AVC格式用作前文中的编码格式，但是也可以使用其他编码格式和解码格式。
此外，本发明可以应用于如下图像编码装置和图像解码装置：其在经由例如诸如卫星广播、有线电视、互联网或移动电话的网络介质接收图像信息(位流)时使用，该图像信息已通过诸如离散余弦变换的正交变换和如MPEG或H.26x中的运动补偿进行压缩。再者，本发明可以应用于如下图像编码装置和图像解码装置：其在处理诸如光或磁盘以及闪速存储器的存储介质上的信息时使用。此外，本发明还可以应用于这样的图像编码装置和图像解码装置中包括的运动预测和补偿装置等。
前面的系列处理可以在硬件中执行，并且也可以在软件中执行。在以软件执行这些系列处理的情况下，构成该软件的程序被安装到计算机上。这里，术语“计算机”包括构建为专用硬件的计算机，以及能够通过在其上安装各种程序来执行各种功能的通用个人计算机。
图26是图示借助程序执行前面讨论的系列处理的计算机的示例性硬件配置的框图。
在该计算机中，CPU(中央处理单元)301、ROM(只读存储器302)和RAM(随机存取存储器)303通过总线304彼此连接。
输入/输出接口305额外地连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接到输入/输出接口305。
输入单元306包括键盘、鼠标、麦克风等。输出单元307包括显示器、扬声器等。存储单元308包括硬盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质311。
在如上文配置的计算机中，例如，作为CPU 301经由输入/输出接口305和总线304将存储单元308中存储的程序加载到RAM 303中并且执行该程序的结果，进行前面讨论的系列处理。
通过将程序记录到作为封装介质等给出的可移除介质311上，可以提供计算机(CPU 301)执行的程序。再者，可以经由诸如局域网、互联网或数字卫星广播的有线或无线传送介质提供程序。
在计算机上，通过将可移除介质311加载到驱动器310中可以经由输入/输出接口305将程序安装到存储单元308。再者，可以经由有线或无线传送介质由通信单元309接收程序并且将其安装到存储单元308。另外，程序可以预先安装到ROM 302或存储单元308。
此外，由计算机执行的程序可以是使得按照本说明书中描述的顺序的时间序列进行处理的程序，或者也可以是使得以并行的方式或者在需要的定时(诸如在调用时)进行处理的程序。
本发明的实施例不限于上文讨论的实施例，并且在不偏离本发明的要旨的范围内可以进行各种修改。
附图标记列表
51图像编码装置
66可逆编码器
74帧内预测单元
75运动预测/补偿单元
76内插滤波器切换器
77预测图像选择器
81整数像素精度运动估计器
82内插单元
83分数像素精度运动估计器
84运动补偿单元
85模式确定单元
91采样位置确定单元
92内插滤波器设定单元
101图像解码装置
112可逆解码器
121帧内预测单元
122运动预测/补偿单元
123内插滤波器切换器
124开关
131运动向量缓冲器
132内插单元
141采样位置确定单元
142内插滤波器设定单元
权利要求书(按照条约第19条的修改)
1.(修改).一种图像处理装置，包括：
运动估计部件，用于计算关于待编码的目标块的运动向量；
滤波器设定部件，在用于计算运动向量的运动预测/补偿块是扩展宏块的情况下，针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在运动向量的水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度；以及
内插部件，用于使用所述滤波器设定部件设定的滤波器系数生成采样位置的像素值。
2.(删除)
3.(删除)
4.(修改).根据权利要求1所述的图像处理装置，其中
所述滤波器设定部件将编码标准预先限定的
{1，-5，20，20，-5，1}
设定为关于所述第一采样位置的滤波器系数。
5.(修改).根据权利要求1所述的图像处理装置，其中
所述滤波器设定部件将
{-1，5，5，-1}
设定为关于所述第二采样位置的滤波器系数。
6.根据权利要求1所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值和所生成的二分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成四分之一像素精度的采样位置的像素值。
7.根据权利要求1所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值以及四分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成1/8像素精度的采样位置的像素值。
8.根据权利要求1所述的图像处理装置，其中
编码标准预先限定的值被用作滤波器系数。
9.根据权利要求1所述的图像处理装置，其中
针对每个帧计算的最优值被用作滤波器系数。
10.(删除)
11.(修改).一种图像处理方法，包括如下步骤：在这些步骤中图像处理装置
计算关于待编码的目标块的运动向量；
在用于计算运动向量的运动预测/补偿块是扩展宏块的情况下，针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在运动向量的水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度；以及
使用所设定的滤波器系数生成采样位置的像素值。
12.(修改).一种图像处理装置，包括：
解码部件，用于对关于待解码的目标块的运动向量信息进行解码；
滤波器设定部件，用于指定将用于根据运动向量信息计算运动向量的运动预测/补偿块，以及
在所述块是扩展块的情况下，所述滤波器设定部件针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在运动向量的水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度；以及
内插部件，用于使用所述滤波器设定部件设定的滤波器系数生成采样位置的像素值。
13.(删除)
14.(删除)
15.(修改).根据权利要求12所述的图像处理装置，其中
所述滤波器设定部件将编码标准预先限定的
{1，-5，20，20，-5，1}
设定为关于所述第一采样位置的滤波器系数。
16.(修改).根据权利要求12所述的图像处理装置，其中
所述滤波器设定部件将
{-1，5，5，-1}
设定为关于所述第二采样位置的滤波器系数。
17.根据权利要求12所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值和所生成的二分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成四分之一像素精度的采样位置的像素值。
18.根据权利要求12所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值以及四分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成1/8像素精度的采样位置的像素值。
19.根据权利要求12所述的图像处理装置，其中
编码标准预先限定的值被用作滤波器系数。
20.根据权利要求12所述的图像处理装置，其中
针对每个帧计算的最优值被用作滤波器系数。
21.(删除)
22.(修改).一种图像处理方法，包括如下步骤：在这些步骤中图像处理装置
对关于待解码的目标块的运动向量信息进行解码，
指定将用于根据运动向量信息计算运动向量的运动预测/补偿块，其中
在所述块是扩展块的情况下，针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在运动向量的水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度，以及
使用所设定的滤波器系数生成采样位置的像素值。
23.(追加).一种程序，使计算机用作图像处理装置，所述图像处理装置包括：
解码部件，用于对关于待解码的目标块的运动向量信息进行解码；
滤波器设定部件，用于指定将用于根据运动向量信息计算运动向量的运动预测/补偿块，其中
在所述块是扩展块的情况下，所述滤波器设定部件针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在运动向量的水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度；以及
内插部件，用于使用所述滤波器设定部件设定的滤波器系数生成采样位置的像素值。

Claims (22)

1.一种图像处理装置，包括：
运动估计部件，用于计算关于待编码的目标块的运动向量；
滤波器设定部件，用于根据与所述运动估计部件计算的运动向量对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及
内插部件，用于使用所述滤波器设定部件设定的滤波器系数生成采样位置的像素值。
2.根据权利要求1所述的图像处理装置，其中
所述滤波器设定部件分别针对第一采样位置和第二采样位置，设定具有不同数目的抽头的滤波器系数，所述第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度。
3.根据权利要求2所述的图像处理装置，其中
所述滤波器设定部件较之所述第一采样位置针对所述第二采样位置设定具有较少抽头的滤波器系数。
4.根据权利要求3所述的图像处理装置，其中
所述滤波器设定部件将编码标准预先限定的
{1，-5，20，20，-5，1}
设定为关于所述第一采样位置的滤波器系数。
5.根据权利要求3所述的图像处理装置，其中
所述滤波器设定部件将
{-1，5，5，-1}
设定为关于所述第二采样位置的滤波器系数。
6.根据权利要求1所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值和所生成的二分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成四分之一像素精度的采样位置的像素值。
7.根据权利要求1所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值以及四分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成1/8像素精度的采样位置的像素值。
8.根据权利要求1所述的图像处理装置，其中
编码标准预先限定的值被用作滤波器系数。
9.根据权利要求1所述的图像处理装置，其中
针对每个帧计算的最优值被用作滤波器系数。
10.根据权利要求1所述的图像处理装置，其中
在其中用于计算运动向量的运动预测/补偿块尺寸是属于第一类型的块尺寸的情况下，所述滤波器设定部件总是设定第一滤波器系数，以及
在其中用于计算运动向量的运动预测/补偿块尺寸是属于第二类型的块尺寸的情况下，所述滤波器设定部件针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度。
11.一种图像处理方法，包括如下步骤：在这些步骤中图像处理装置
计算关于待编码的目标块的运动向量；
根据与所计算的运动向量对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及
使用所设定的滤波器系数生成采样位置的像素值。
12.一种图像处理装置，包括：
解码部件，用于对关于待解码的目标块的运动向量信息进行解码；
滤波器设定部件，用于根据与所述解码部件解码的目标块的运动向量信息对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及
内插部件，用于使用所述滤波器设定部件设定的滤波器系数生成采样位置的像素值。
13.根据权利要求12所述的图像处理装置，其中
所述滤波器设定部件分别针对第一采样位置和第二采样位置，设定具有不同数目的抽头的滤波器系数，所述第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度。
14.根据权利要求13所述的图像处理装置，其中
所述滤波器设定部件较之所述第一采样位置针对所述第二采样位置设定具有较少抽头的滤波器系数。
15.根据权利要求14所述的图像处理装置，其中
所述滤波器设定部件将编码标准预先限定的
{1，-5，20，20，-5，1}
设定为关于所述第一采样位置的滤波器系数。
16.根据权利要求14所述的图像处理装置，其中
所述滤波器设定部件将
{-1，5，5，-1}
设定为关于所述第二采样位置的滤波器系数。
17.根据权利要求12所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值和所生成的二分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成四分之一像素精度的采样位置的像素值。
18.根据权利要求12所述的图像处理装置，其中
所述内插部件使用所述滤波器设定部件设定的滤波器系数生成二分之一像素精度的采样位置的像素值以及四分之一像素精度的采样位置的像素值，并且通过使用整数像素精度的像素值、所生成的二分之一像素精度的采样位置的像素值以及所生成的四分之一像素精度的采样位置的像素值中的至少一个进行线性内插，来生成1/8像素精度的采样位置的像素值。
19.根据权利要求12所述的图像处理装置，其中
编码标准预先限定的值被用作滤波器系数。
20.根据权利要求12所述的图像处理装置，其中
针对每个帧计算的最优值被用作滤波器系数。
21.根据权利要求12所述的图像处理装置，其中
所述滤波器设定部件指定将用于基于运动向量信息计算运动向量的运动预测/补偿块尺寸，
在其中块尺寸属于第一类型的情况下，所述滤波器设定部件总是设定第一滤波器系数，以及
在其中块尺寸属于第二类型的情况下，所述滤波器设定部件针对第一采样位置设定第一滤波器系数，而针对第二采样位置还设定具有比所述第一采样位置少的抽头的第二滤波器系数，所述第一采样位置在水平方向和竖直方向中的任一方向上具有分数像素精度并且在另一方向上具有整数像素精度，而所述第二采样位置在两个方向上均具有分数像素精度。
22.一种图像处理方法，包括如下步骤：在这些步骤中图像处理装置
对关于待解码的目标块的运动向量信息进行解码；
根据与所解码的目标块的运动向量信息对应的分数像素精度的采样位置，设定具有不同数目的抽头的滤波器系数；以及
使用所设定的滤波器系数生成采样位置的像素值。
CN201080024518.9A 2009-06-09 2010-06-03 图像处理装置和方法 Pending CN102804779A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-138517 2009-06-09
JP2009138517 2009-06-09
PCT/JP2010/059478 WO2010143583A1 (ja) 2009-06-09 2010-06-03 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102804779A true CN102804779A (zh) 2012-11-28

Family

ID=43308838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080024518.9A Pending CN102804779A (zh) 2009-06-09 2010-06-03 图像处理装置和方法

Country Status (9)

Country Link
US (1) US20120069906A1 (zh)
EP (1) EP2442569A1 (zh)
JP (1) JPWO2010143583A1 (zh)
KR (1) KR20120038401A (zh)
CN (1) CN102804779A (zh)
BR (1) BRPI1012928A2 (zh)
RU (1) RU2011149204A (zh)
TW (1) TW201130315A (zh)
WO (1) WO2010143583A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165419A (zh) * 2014-01-09 2016-11-23 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
CN106464863A (zh) * 2014-04-01 2017-02-22 联发科技股份有限公司 视频编码中自适应内插滤波的方法
CN107251556A (zh) * 2015-03-06 2017-10-13 高通股份有限公司 用于运动搜索中低复杂度四分之一像素产生的方法及设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2592833A4 (en) * 2010-07-09 2014-12-03 Samsung Electronics Co Ltd IMAGE INTERPOLATION METHOD AND APPARATUS
JP2012209914A (ja) * 2010-12-08 2012-10-25 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
HUE064092T2 (hu) * 2011-06-24 2024-02-28 Ntt Docomo Inc Eljárás mozgáskompenzált predikcióhoz
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
MX2013015089A (es) 2012-05-25 2014-02-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imágenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
WO2013175736A1 (ja) 2012-05-25 2013-11-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置
SG10201803891XA (en) 2012-05-25 2018-07-30 Velos Media Int Ltd Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
EP2858357B1 (en) 2012-06-04 2022-07-06 Sun Patent Trust Video image encoding method, video image decoding method
US10602155B2 (en) 2013-04-29 2020-03-24 Intellectual Discovery Co., Ltd. Intra prediction method and apparatus
US9942560B2 (en) * 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
EP3085085A4 (en) * 2014-01-29 2017-11-08 MediaTek Inc. Method and apparatus for adaptive motion vector precision
KR102402671B1 (ko) 2015-09-09 2022-05-26 삼성전자주식회사 보간 필터의 연산 복잡도를 조절할 수 있는 영상 처리 장치, 영상 보간 방법 및 영상 부호화 방법
CN105338366B (zh) * 2015-10-29 2018-01-19 北京工业大学 一种视频序列中分数像素的解码方法
CN111436226A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
EP3891989A4 (en) * 2018-12-04 2022-08-24 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN113678453B (zh) 2019-04-12 2024-05-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
JP7403555B2 (ja) 2019-04-16 2023-12-22 北京字節跳動網絡技術有限公司 イントラコーディングモードにおけるマトリクスの導出
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
EP3949391A4 (en) 2019-05-01 2022-05-25 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING FILTRATION
KR20220011127A (ko) 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
WO2020239018A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
CN113950836B (zh) 2019-06-05 2024-01-12 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058949A1 (en) * 2001-09-25 2003-03-27 Macinnis Alexander G. Method and apparatus for improved estimation and compensation in digital video compression and decompression
US20030156646A1 (en) * 2001-12-17 2003-08-21 Microsoft Corporation Multi-resolution motion estimation and compensation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
NO320114B1 (no) * 2003-12-05 2005-10-24 Tandberg Telecom As Forbedret utregning av interpolerte pixelverdier
JP4282582B2 (ja) * 2004-09-30 2009-06-24 株式会社東芝 情報処理装置および同装置で用いられるプログラム
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP5698428B2 (ja) * 2006-11-08 2015-04-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 動き補償方法、記録媒体及び動き補償装置
KR101354659B1 (ko) * 2006-11-08 2014-01-28 삼성전자주식회사 멀티 코덱을 지원하는 움직임 보상 방법 및 장치
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058949A1 (en) * 2001-09-25 2003-03-27 Macinnis Alexander G. Method and apparatus for improved estimation and compensation in digital video compression and decompression
US20030156646A1 (en) * 2001-12-17 2003-08-21 Microsoft Corporation Multi-resolution motion estimation and compensation

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165419A (zh) * 2014-01-09 2016-11-23 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN106165419B (zh) * 2014-01-09 2020-03-24 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
CN106464863A (zh) * 2014-04-01 2017-02-22 联发科技股份有限公司 视频编码中自适应内插滤波的方法
US10321151B2 (en) 2014-04-01 2019-06-11 Mediatek Inc. Method of adaptive interpolation filtering in video coding
CN106464863B (zh) * 2014-04-01 2019-07-12 联发科技股份有限公司 视频编码中自适应内插滤波的方法
US10986365B2 (en) 2014-04-01 2021-04-20 Mediatek Inc. Method of adaptive interpolation filtering in video coding
CN107251556A (zh) * 2015-03-06 2017-10-13 高通股份有限公司 用于运动搜索中低复杂度四分之一像素产生的方法及设备
CN107251556B (zh) * 2015-03-06 2020-10-30 高通股份有限公司 用于运动搜索中低复杂度四分之一像素产生的方法及设备

Also Published As

Publication number Publication date
KR20120038401A (ko) 2012-04-23
JPWO2010143583A1 (ja) 2012-11-22
RU2011149204A (ru) 2013-06-10
WO2010143583A1 (ja) 2010-12-16
TW201130315A (en) 2011-09-01
BRPI1012928A2 (pt) 2018-01-30
EP2442569A1 (en) 2012-04-18
US20120069906A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
CN102804779A (zh) 图像处理装置和方法
CN109997363B (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
CN102396230B (zh) 图像处理设备和方法
JP2022507683A (ja) デコーダ側動きベクトル改良
TW201729595A (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
JP7463399B2 (ja) ビデオコーディングのための勾配ベースの予測改良
CN102415098B (zh) 图像处理设备和方法
WO2010131601A1 (ja) 画像処理装置および方法、並びにプログラム
CN113728629A (zh) 视频译码中的运动向量推导
WO2013002144A1 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
CN110999290A (zh) 使用跨分量线性模型进行帧内预测的方法和装置
JP2022533061A (ja) ビデオコーディングのための勾配ベースの予測改良
CN116830576A (zh) 视频编解码中用于帧内预测的参考像素上采样
KR20230117570A (ko) 비디오 코딩을 위한 루마 예측으로부터의 크로마
WO2010123055A1 (ja) 画像処理装置および方法
US20120121019A1 (en) Image processing device and method
KR20150100355A (ko) 화면간 예측 방법 및 장치
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
AU2015255215B2 (en) Image processing apparatus and method
WO2023014478A1 (en) Mode dependent intra smoothing
EP4371302A1 (en) Position dependent reference sample smoothing
TW202420817A (zh) 用於仿射運動模型的解碼器側運動向量細化

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121128