CN102177716B - 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法 - Google Patents

动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法 Download PDF

Info

Publication number
CN102177716B
CN102177716B CN2009801400117A CN200980140011A CN102177716B CN 102177716 B CN102177716 B CN 102177716B CN 2009801400117 A CN2009801400117 A CN 2009801400117A CN 200980140011 A CN200980140011 A CN 200980140011A CN 102177716 B CN102177716 B CN 102177716B
Authority
CN
China
Prior art keywords
motion vector
prediction
zone
subject area
prediction signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801400117A
Other languages
English (en)
Other versions
CN102177716A (zh
Inventor
铃木芳典
文仲丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN102177716A publication Critical patent/CN102177716A/zh
Application granted granted Critical
Publication of CN102177716B publication Critical patent/CN102177716B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供如下的动态图像编码装置、动态图像解码装置：即使在作为运动矢量预测候选的块不具有有意义的动态信息的情况下，也能够提高运动矢量的预测效率，并提高差分运动矢量的编码效率。在动态图像编码装置(100)中，运动矢量预测器(114)从存储在帧存储器(104)中的已编码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下等，从由对象区域所附带的参照帧编号指示的参照图像中，搜索与由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与对象区域之间的空间位置关系，生成预测运动矢量。然后，能够使用该预测运动矢量来计算差分运动矢量。

Description

动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法
技术领域
本发明涉及动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法、动态图像解码程序、动态图像处理***以及动态图像处理方法，特别涉及伴有帧间预测的运动矢量的预测编码。
背景技术
为了高效地进行静态图像和动态图像数据的传送和蓄积，使用压缩编码技术。在动态图像的情况下，广泛使用MPEG-1～4或ITU（International TelecommunicationUnion：国际电信联盟）H.261～H.264的方式。
在这些编码方式中，在将作为编码对象的图像分割成多个块之后进行编码/解码处理。在画面内的预测编码中，使用位于与对象块相同的画面内的邻接的已再现的图像信号（对被压缩的图像数据进行复原后的图像信号）生成预测信号后，对从对象块信号中减去该预测信号而得到的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的邻接的已再现的图像信号，进行运动的校正，生成预测信号，对从对象块信号中减去该预测信号而得到的差分信号进行编码。
例如，在H.264的画面内预测编码中，采用了在规定方向外插与作为编码对象的块邻接的已再现的像素值来生成预测信号的方法。图32是用于说明在ITU H.264中使用的画面内预测方法的示意图。在图32（A）中，对象块1802是作为编码对象的块，由与该对象块1802的边界邻接的像素A～M构成的像素组1801是邻接区域，是在过去的处理中已再现的图像信号。
在该情况下，向下方拉伸位于对象块1802正上方的邻接像素即像素组1801来生成预测信号。并且，在图32（B）中，向右拉伸位于对象块1804左侧的已再现像素（I～L）来生成预测信号。生成预测信号的具体方法例如记载于专利文献1中。这样，对利用图32（A）～（I）所示的方法生成的9个预测信号，分别取得与对象块的像素信号之间的差分，将差分值最小的预测信号作为最佳预测信号。
在通常的画面间预测编码中，针对作为编码对象的块，利用从已再现的画面中搜索与该像素信号类似的信号的方法来生成预测信号。然后，对对象块与搜索到的信号构成的区域之间的空间位移量即运动矢量、以及对象块的像素信号与预测信号之间的残差信号进行编码。这样，按照每个块来搜索运动矢量的方法被称为块匹配。
图2是用于说明块匹配处理的示意图。这里，以编码对象的画面400上的对象块501为例，说明对象块的预测信号生成步骤。画面401是已再现的画面，区域511是在空间上与对象块501位于同一位置的区域。在块匹配中，设定包围区域511的搜索范围811，检测该搜索范围的像素信号与对象块501的像素信号的绝对值误差和最小的区域701。该区域701的信号成为预测信号，检测从区域511向区域701的位移量作为运动矢量601。
在H.264中，为了提高预测性能，将多个已再现图像作为参照图像来实施画面间预测。该情况下，针对包含画面401的多个参照图像实施上述图2中说明的块匹配，检测编码效率高的预测信号。并且，为了对应于图像局部特征的变化，准备了用于对运动矢量进行编码的块尺寸不同的多个预测类型。H.264的预测类型例如记载于专利文献2中。
在动态图像数据的压缩编码中，各画面（帧、场）的编码顺序可以是任意的。因此，在参照已再现画面来生成预测信号的画面间预测中，针对编码顺序具有3种手法。第1手法是按照再现顺序参照过去的已再现画面来生成预测信号的前方向预测，第2手法是按照再现顺序参照未来的已再现画面的后方向预测，第3手法是同时进行前方向预测和后方向预测并对2个预测信号进行平均化的双方向预测。画面间预测的种类例如记载于专利文献3中。
对利用画面间预测而检测到的运动矢量进行预测编码。具体而言，对根据邻接块的运动矢量而生成的预测运动矢量与对象块的运动矢量之间的差分矢量进行编码。在H.264中，将对象块的正上方、正左方以及右上方的已编码块的运动矢量作为候选，分别求出水平分量和垂直分量的中间值，作为预测运动矢量。然后，对差分运动矢量和指示参照图像的信息（称为参照帧编号，reference index）进行编码。
作为运动矢量预测候选的已编码块（预测对象块）所附带的参照帧编号和编码对象的运动矢量所附带的参照帧编号不一定一致。由于帧间隔不同，所以，针对不同参照图像的运动矢量的差分值通常很大。因此，在专利文献4中，在对象块的参照帧编号和预测对象块的参照帧编号不一致的情况下，在由对象块的参照帧编号指示的参照图像上对预测对象块的运动矢量进行定标后，在运动矢量预测中使用定标后的运动矢量。
专利文献1：美国专利公报第6765964号
专利文献2：美国专利公报第7003035号
专利文献3：美国专利公报第6259739号
专利文献4：日本公开专利2004-336369
在包含专利文献4的背景技术所示的运动矢量预测中，在预测对象块的运动矢量值为0时，预测运动矢量的值为0。并且，在预测对象块的预测信号生成方法是不伴有运动矢量的方法（例如画面内预测）的情况下，预测运动矢量的值也为0。这样，在作为运动矢量预测候选的块的运动矢量不具有有意义的信息的情况下，存在无法提高运动矢量预测的效率的课题。
并且，在专利文献4中，定标处理以帧间的运动速度恒定为前提，所以，在帧间的实际运动不是等速的情况下，通过定标处理，差分运动矢量值变大，差分运动矢量的编码效率可能降低。
发明内容
因此，为了解决上述课题，本发明的目的在于，提供即使预测对象块的预测运动矢量为0等也能够高效进行运动矢量预测的动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序、动态图像解码程序、动态图像处理***以及动态图像处理方法。
本发明的动态图像编码装置具有：区域分割单元，其将输入图像分割为多个区域；存储单元，其用于存储多个已再现图像作为参照图像；运动估计单元，其从所述存储单元所存储的多个参照图像中搜索与所述多个区域中作为处理对象的对象区域之间的相关度高的区域，生成所述对象区域的运动矢量；预测信号生成单元，其根据指示由所述运动估计单元搜索到的参照图像的参照帧编号以及表示所述对象区域与搜索到的区域之间的空间位置关系的运动矢量，生成所述对象区域的预测信号；运动矢量预测单元，其根据一个以上的已编码的运动矢量生成预测运动矢量，生成由所述运动估计单元生成的运动矢量与该预测运动矢量之间的差分运动矢量；残差信号生成单元，其生成所述对象区域的预测信号与所述对象区域的对象像素信号之间的残差信号；编码单元，其对所述残差信号、所述参照帧编号以及由所述运动矢量预测单元生成的差分运动矢量进行编码；以及复原单元，其在对所述编码后的残差信号进行复原后相加到所述预测信号中，生成再现图像，作为参照图像存储在所述存储单元中，所述运动矢量预测单元从已编码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
并且，本发明的动态图像编码装置优选为，将所述模板区域作为与对象区域邻接的由已再现的像素信号构成的对象邻接区域。
并且，本发明的动态图像编码装置优选为，将所述模板区域作为与由所述运动矢量预测单元选择出的区域邻接的由已再现的邻接像素信号构成的对象邻接区域。
根据本发明，在与对象区域邻接的已再现的预测对象块的运动矢量为0的情况下，或者在使用不伴有运动矢量的预测方法的情况下，也能够高效地进行对象区域中的运动矢量的预测，并且，能够提高编码效率。
并且，在本发明的动态图像编码装置中，优选所述预测信号生成单元还包含预测信号合成单元，该预测信号合成单元从多个参照图像中，搜索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，所述预测运动矢量预测单元还对所述多个参照图像，分别保存一个表示由所述预测信号合成单元搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，在通过所述预测信号合成单元生成所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
根据本发明，在通过模板匹配生成预测对象区域的预测信号的情况下，使用此时检测到的运动矢量，由此，能够提高模板匹配处理效率。
并且，本发明的动态图像解码装置具有：数据解码单元，其从压缩数据中解码作为处理对象的对象区域的差分运动矢量、参照帧编号以及残差信号的编码数据；存储单元，其用于存储多个已再现图像作为参照图像；残差信号复原单元，其根据所述残差信号的编码数据，复原再现残差信号；运动矢量预测单元，其根据一个以上的已复原的运动矢量生成预测运动矢量，将由所述数据解码单元解码的差分运动矢量与该预测运动矢量相加，复原运动矢量；预测信号生成单元，其根据由所述运动矢量预测单元复原的运动矢量和所述对象区域的参照帧编号，生成所述对象区域的预测信号；以及图像复原单元，其将所述预测信号与所述再现残差信号相加，由此复原所述对象区域的像素信号，所述运动矢量预测单元从已解码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
并且，本发明的动态图像解码装置优选为，将所述模板区域作为与对象区域邻接的由已再现的像素信号构成的对象邻接区域。
并且，本发明的动态图像解码装置优选为，将所述模板区域作为与由所述运动矢量预测单元选择出的区域邻接的由已再现的邻接像素信号构成的对象邻接区域。
根据本发明，在与对象区域邻接的已再现的预测对象块的运动矢量为0的情况下，或者在使用不伴有运动矢量的预测方法的情况下，也能够高效地进行对象区域中的运动矢量的预测，并且，能够提高编码效率，由此，能够对这样编码后的数据进行解码。
并且，在本发明的动态图像解码装置中，优选所述预测信号生成单元还包含预测信号合成单元，该预测信号合成单元从多个参照图像中，搜索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，所述预测运动矢量预测单元还对所述多个参照图像，分别保存一个表示由所述预测信号合成单元搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，在通过所述预测信号合成单元生成所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
根据本发明，在通过模板匹配生成预测对象区域的预测信号的情况下，使用此时检测到的运动矢量，由此，能够提高模板匹配处理效率。
但是，本发明除了能够如上所述记述为动态图像编码装置或动态图像解码装置的发明以外，如下所述，还能够记述为动态图像编码方法、动态图像解码方法、动态图像编码程序、动态图像解码程序的发明。这些发明只是范畴不同，实质上是同一发明，发挥同样的作用效果。
即，本发明的动态图像编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；运动估计步骤，在该步骤中，从存储单元所存储的多个参照图像中搜索与所述多个区域中作为处理对象的对象区域之间的相关度高的区域，生成所述对象区域的运动矢量；预测信号生成步骤，在该步骤中，根据指示由所述运动估计步骤搜索到的参照图像的参照帧编号以及表示所述对象区域与搜索到的区域之间的空间位置关系的运动矢量，生成所述对象区域的预测信号；运动矢量预测步骤，在该步骤中，根据一个以上的已编码的运动矢量生成预测运动矢量，生成在所述运动估计步骤中生成的运动矢量与该预测运动矢量之间的差分运动矢量；残差信号生成步骤，在该步骤中，生成所述对象区域的预测信号与所述对象区域的对象像素信号之间的残差信号；编码步骤，在该步骤中，对所述残差信号、所述参照帧编号以及由所述运动矢量预测步骤生成的差分运动矢量进行编码；以及复原步骤，在该步骤中，在对所述编码后的残差信号进行复原后相加到所述预测信号中，生成再现图像，作为参照图像存储在所述存储单元中，在所述运动矢量预测步骤中，从已编码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
并且，在本发明的动态图像编码方法中，优选所述预测信号生成步骤还包含预测信号合成步骤，在该预测信号合成步骤中，从多个参照图像中，搜索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，在所述预测运动矢量预测步骤中，还对所述多个参照图像，分别保存一个表示在所述预测信号合成步骤中搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，当在所述预测信号合成步骤中生成所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
并且，本发明的动态图像解码方法具有以下步骤：数据解码步骤，在该步骤中，从压缩数据中解码作为处理对象的对象区域的差分运动矢量、参照帧编号以及残差信号的编码数据；存储步骤，在该步骤中，用于存储多个已再现图像作为参照图像；残差信号复原步骤，在该步骤中，根据所述残差信号的编码数据，复原再现残差信号；运动矢量预测步骤，在该步骤中，根据一个以上的已复原的运动矢量生成预测运动矢量，将由所述数据解码步骤解码的差分运动矢量与该预测运动矢量相加，复原运动矢量；预测信号生成步骤，在该步骤中，根据由所述运动矢量预测步骤复原的运动矢量和所述对象区域的参照帧编号，生成所述对象区域的预测信号；以及图像复原步骤，在该步骤中，将所述预测信号与所述再现残差信号相加，由此复原所述对象区域的像素信号，作为参照图像存储在存储单元中，在所述运动矢量预测步骤中，从已解码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
并且，在本发明的动态图像解码方法中，优选所述预测信号生成步骤还包含预测信号合成步骤，在该预测信号合成步骤中，从多个参照图像中，搜索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，在所述预测运动矢量预测步骤中，还对所述多个参照图像，分别保存一个表示在所述预测信号合成步骤中搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，在所述预测信号合成步骤中生成所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
并且，本发明的动态图像编码程序具有：区域分割模块，其将输入图像分割为多个区域；运动估计模块，其从存储单元所存储的多个参照图像中搜索与所述多个区域中作为处理对象的对象区域之间的相关度高的区域，生成所述对象区域的运动矢量；预测信号生成模块，其根据指示由所述运动估计模块搜索到的参照图像的参照帧编号以及表示所述对象区域与搜索到的区域之间的空间位置关系的运动矢量，生成所述对象区域的预测信号；运动矢量预测模块，其根据一个以上的已编码的运动矢量生成预测运动矢量，生成在所述运动估计模块中生成的运动矢量与该预测运动矢量之间的差分运动矢量；残差信号生成模块，其生成所述对象区域的预测信号与所述对象区域的对象像素信号之间的残差信号；编码模块，其对所述残差信号、所述参照帧编号以及由所述运动矢量预测模块生成的差分运动矢量进行编码；以及复原模块，其在对所述编码后的残差信号进行复原后相加到所述预测信号中，生成再现图像，作为参照图像存储在所述存储单元中，所述运动矢量预测模块从已编码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
并且，在本发明的动态图像编码程序中，优选所述预测生成模块还包含预测信号合成模块，该预测信号合成模块从多个参照图像中，搜索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，所述预测运动矢量预测模块还对所述多个参照图像，分别保存一个表示由所述预测信号合成模块搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，在通过所述预测信号合成模块生成所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
本发明的动态图像解码程序具有：数据解码模块，其从压缩数据中解码作为处理对象的对象区域的差分运动矢量、参照帧编号以及残差信号的编码数据；存储模块，其用于存储多个已再现图像作为参照图像；残差信号复原模块，其根据所述残差信号的编码数据，复原再现残差信号；运动矢量预测模块，其根据一个以上的已复原的运动矢量生成预测运动矢量，将由所述数据解码模块解码的差分运动矢量与该预测运动矢量相加，复原运动矢量；预测信号生成模块，其根据由所述运动矢量预测模块复原的运动矢量和所述对象区域的参照帧编号，生成所述对象区域的预测信号；以及图像复原模块，其将所述预测信号与所述再现残差信号相加，由此复原所述对象区域的像素信号，作为参照图像存储在存储单元中，所述运动矢量预测模块从已解码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
并且，在本发明的动态图像解码程序中，优选所述预测生成模块还包含预测信号合成模块，该预测信号合成模块从多个参照图像中，搜索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，所述预测运动矢量预测模块还对所述多个参照图像，分别保存一个表示由所述预测信号合成模块搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，在通过所述预测信号合成模块生成所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
并且，本发明的图像处理***具有上述动态图像编码装置以及上述动态图像解码装置，其中，所述动态图像解码装置对在所述动态图像编码装置中进行了编码后的数据进行解码。
并且，本发明的图像处理方法具有上述动态图像编码方法以及上述动态图像解码方法，其中，在所述动态图像解码方法中，对在所述动态图像编码方法中进行了编码后的数据进行解码。
根据本发明，能够使用对象区域周边的由已编码信号构成的区域生成对象区域的运动矢量，所以，在与对象区域邻接的预测对象区域不具有有意义的值的运动矢量的情况下，也能够生成值较小的差分运动矢量。并且，在帧间的运动不是等速运动的情况下，在由对象区域的参照帧编号指示的参照图像上进行搜索，由此，能够生成值较小的差分运动矢量。由此，能够生成提高编码效率的预测运动矢量，具有提高编码效率的效果。
附图说明
图1是示出本实施方式的动态图像编码装置100的框图。
图2是用于说明块匹配处理的示意图，（A）示出参照画面，（B）示出编码对象的画面。
图3是示出图1中的运动矢量预测器的框图。
图4是用于说明对象块与预测对象块之间的关系的示意图。
图5是示出图3中的预测运动矢量搜索器的框图。
图6是用于说明图5中的模板匹配器的框图。
图7是用于说明运动矢量的定标处理的框图。
图8是与预测运动矢量生成处理中的模板匹配处理有关的示意图的第1例，（A）示出参照画面，（B）示出编码对象的画面。
图9是与预测运动矢量生成处理中的模板匹配处理有关的示意图的第2例，（A）示出参照画面，（B）示出编码对象的画面。
图10是与预测运动矢量生成处理中的模板匹配处理有关的示意图的第3例，（A）示出参照画面，（B）示出编码对象的画面。
图11是与预测运动矢量生成处理中的模板匹配处理有关的示意图的第4例，（A）示出参照画面，（B）示出编码对象的画面。
图12是用于说明对象块与预测对象块之间的关系的示意图的其他例子。
图13是用于说明预测运动矢量生成处理中的针对时间方向的运动矢量扩展处理的示意图。
图14是示出本实施方式的动态图像解码装置300的框图。
图15是示出图14中的运动矢量预测器的框图。
图16是示出本实施方式的动态图像编码方法的步骤的流程图。
图17是用于说明图16的动态图像编码方法中包含的运动矢量预测方法的步骤的流程图。
图18是用于说明伴有模板匹配的运动矢量搜索处理的步骤的流程图。
图19是用于说明模板匹配处理的步骤的流程图。
图20是示出本实施方式的动态图像解码方法的步骤的流程图。
图21是用于说明图20的动态图像解码方法中包含的运动矢量预测方法的步骤的流程图。
图22是示出能够执行本实施方式的动态图像编码方法的程序的模块的框图。
图23是示出图22的模块中包含的运动矢量预测模块的框图。
图24是示出图23的模块中包含的预测运动矢量搜索模块的框图。
图25是用于说明图24的模块中包含的模板匹配模块的框图。
图26是示出能够执行本实施方式的动态图像解码方法的程序的模块的框图。
图27是示出图26的模块中包含的运动矢量预测模块的框图。
图28是示出用于执行在记录介质中记录的程序的计算机的硬件结构的图。
图29是用于执行在记录介质中存储的程序的计算机的立体图。
图30是用于说明由预测信号生成器实施的模板匹配处理步骤的流程图。
图31是用于说明预测运动矢量搜索器中的不伴有模板匹配的预测运动矢量确定处理的流程图。
图32是用于说明现有的画面内预测方法的示意图。
标号说明
10：记录介质；12：读取装置；14：作业用存储器；16：存储器；18：显示器；20：鼠标；22：键盘；24：通信装置；30：计算机；40：计算机数据信号；100：动态图像编码装置；101：输入端子；102：块分割器；103：预测信号生成器；104：帧存储器；105：减法器；106：转换器；107：量化器；108：逆量化器；109：逆转换器；110：加法器；111：熵编码器；112：输出端子；113：预测信号估计器；114：运动矢量预测器；201：存储器；202：预测对象块选择器；203：预测运动矢量搜索器；204：差分器；231：判定器；232：切换器；234：模板匹配器；240：搜索区域设定器；241：对象邻接区域取得器；242：预测邻接区域取得器；243：候选预测区域选择器；301：输入端子；302：熵解码器；303：逆量化器；304：逆转换器；305：加法器；306：输出端子；307：运动矢量预测器；312：加法器。
具体实施方式
下面，参照附图详细说明本实施方式。另外，在附图的说明中，对相同或相等的要素标注相同的标号并省略重复的说明。
图1是示出本实施方式的运动矢量预测处理的动态图像编码装置100的框图。该动态图像编码装置100具有：输入端子101、块分割器102（区域分割单元）、预测信号生成器103、帧存储器104（存储单元）、减法器105、转换器106、量化器107、逆量化器108、逆转换器109、加法器110、熵编码器111、输出端子112、预测信号估计器113（运动估计单元）以及运动矢量预测器114（运动矢量预测单元）。转换器106、量化器107和熵编码器作为编码单元发挥功能。并且，逆量化器108、逆转换器109和加法器110作为复原单元发挥功能。
输入端子101是输入由多张图像构成的动态图像的信号的端子。
块分割器102将从输入端子101输入的信号所表示的作为编码对象的图像分割为多个区域。在本实施方式中，分割为由8×8的像素构成的块，但是，也可以分割为除此之外的块的大小或形状。
预测信号估计器113对生成作为编码处理对象的对象区域（对象块）的预测信号所需要的运动矢量等的附加信息进行检测。该预测信号估计器113的具体处理在后面叙述。
在运动矢量预测器114中，从附加信息所包含的运动矢量中减去预测运动矢量，生成差分运动矢量。将差分运动矢量作为附加信息输出到熵编码器111。运动矢量预测器114的具体处理在后面叙述。
预测信号生成器103根据经由线113输入的附加信息以及经由线L114得到的存储在帧存储器104中的参照图像，生成对象块的预测信号，将其输出到减法器105。
减法器105是如下的部分：从经由线L102输入的由块分割器102分割而得到的对象块中，减去经由线L103输入的由预测信号生成器103生成的预测信号，从而生成残差信号。减法器105经由线L105向转换器106输出减法得到的残差信号。
转换器106是对减法得到的残差信号进行离散余弦转换的部分。并且，量化器107是对由转换器106进行离散余弦转换后的转换系数进行量化的部分。熵编码器111对由量化器107量化后的转换系数进行编码，并且，对与预测方法有关的附加信息进行编码，经由线L111输出编码后的信息。输出端子112向外部输出从熵编码器111输入的信息。
逆量化器108对量化后的转换系数进行逆量化。逆转换器109通过逆离散余弦转换来复原残差信号。加法器110将复原后的残差信号与从线L103发送的预测信号相加，再现对象块的信号，将其存储在帧存储器104中。在本实施方式中，使用了转换器106和逆转换器109，但是，也可以使用代替这些转换器的其他转换处理。并且，转换器106和逆转换器109不是必须的。这样，为了进行后续的针对对象块的画面内预测或画面间预测，对压缩后的对象块的像素信号进行复原，将其作为参照图像存储在帧存储器104中。
接着，对预测信号估计器113和运动矢量预测器114进行说明。
在预测信号估计器113中，进行用于生成与作为编码处理对象的对象块的图像信号类似的预测信号的预测方法以及预测参数的确定处理。预测方法大致分为画面内预测或画面间预测，利用多个预测方法生成对象块的候选预测信号，选择判断为编码效率最高的预测信号。
在画面内预测方法中，例如如图32（A）所示，向下方拉伸由与对象块1802邻接的像素A～M构成的像素组1801中、位于对象块1802正上方的邻接像素即像素组1801，从而生成预测信号。像素组1801是在过去的处理中已再现的图像信号。并且，在图32（B）中，向右拉伸位于对象块1804左侧的已再现像素（I～L）来生成预测信号。生成预测信号的具体方法例如记载于专利文献1中。这样，能够生成利用图32（A）～（I）所示的方法生成的9个候选预测信号。
在画面间预测方法中，从在帧存储器104中存储的已再现信号中，搜索与作为编码处理对象的对象块类似的候选预测信号，提取用于从已再现信号中取得搜索到的候选预测信号所需要的动态信息。该手法被称为块匹配。
图2是用于说明块匹配处理的示意图。这里，以编码对象的画面400上的对象块501为例，说明对象块的预测信号生成步骤。画面401是已再现的画面，区域511是在空间上与对象块501位于同一位置的区域。在块匹配中，设定包围区域511的搜索范围811，检测该搜索范围的像素信号与对象块501的像素信号的绝对值误差和最小的区域701。该区域701的信号成为候选预测信号，检测从区域511向区域701的位移量作为运动矢量601。进而，为了提高预测性能，将多个已再现图像作为参照图像来实施画面间预测。具体而言，针对包含画面401的多个参照图像实施上述图2中说明的块匹配，检测判断为编码效率最高的预测信号，作为候选预测信号。
预测信号估计器113取这些候选预测信号分别与对象块的像素信号的差分，将差分值最小的候选预测信号判断为最佳的预测信号。此时，也可以计算在预测信号的生成中使用的附加信息的编码所需要的编码量，将其换算为上述差分值。在附加信息中，除了选择候选预测信号的预测模式以外，在画面间预测的情况下，还包含指示检测为运动矢量的参照图像的参照帧编号。这些附加信息被发送到预测信号生成器103和运动矢量预测器114。
[运动矢量预测器的说明]
图3示出本实施方式的实施运动矢量预测处理的运动矢量预测器114的框图。运动矢量预测器114包括：保存所输入的附加信息的存储器201、预测对象块选择器202、预测运动矢量搜索器203、差分器204以及分离器206。
所输入的附加信息、即预测模式、运动矢量和参照帧编号经由L113存储在存储器201中，并且，被发送到分离器206、预测对象块选择器202和差分器204。
在预测对象块选择器202中，从与对象块邻接的已再现的块中选择在运动矢量预测中使用的块（预测对象块）。使用图4对预测对象块选择器202的处理进行说明。这里，考虑如下手法：从与对象块501邻接的编码对象图像内的2个邻接块502和504中，选择在运动矢量预测中使用的预测对象块。作为块选择的方法，例如，针对对象块的运动矢量（MV）和2个邻接块的运动矢量的各分量取差分值，选择该绝对值差分和小的块。用于确定所选择的块的信息（例如表示与对象块之间的位置关系的信息）作为预测矢量选择信息包含在附加信息中被编码。另外，在2个邻接块的运动矢量的参照帧编号相同的情况下，不需要对预测矢量选择信息进行编码。这里，假设选择邻接块502作为预测对象块。
所选择的邻接块的附加信息经由L202输入到预测运动矢量搜索器203。同时，在分离器206中，从对象块的附加信息中提取参照帧编号，经由L206将其输入到预测运动矢量搜索器203。在预测运动矢量搜索器203中，对对象块501的参照帧编号与预测对象块502的参照帧编号进行比较。在参照帧编号相同的情况下，输出预测对象块502的运动矢量（MVa）作为预测运动矢量。在参照帧编号不同的情况下，经由L104取得由对象块501的参照帧编号指示的参照图像。然后，使用该参照图像，通过定标处理等对预测对象块502的运动矢量（MVa）进行加工后，作为预测运动矢量输出到差分器203。运动矢量的加工方法在后面叙述。
在差分器204中，取得对象块501的运动矢量的各分量与经由L203输入的预测运动矢量的各分量之间的差分，计算差分运动矢量。然后，作为附加信息，将预测模式、参照帧编号（对象块501的参照帧编号）、差分运动矢量以及预测运动矢量选择信息输出到熵编码器111。
图5示出预测运动矢量搜索器203的内部结构的框图。预测运动矢量搜索器具有判定器231、切换器232、模板匹配器233。
首先，判定器231经由L206和L202输入所输入的对象块501的参照帧编号和预测对象块502的参照帧编号，并对它们进行比较。在2个参照帧编号相同的情况下，经由L231向切换器232发送控制信号，经由L203向差分器204输出经由L202输入的预测模式、参照帧编号、运动矢量以及预测运动矢量选择信息。另一方面，在2个参照帧编号的值不同的情况下，经由L231向切换器232发送控制信号，经由L232向模板匹配器233输出经由L202输入的预测模式、参照帧编号、运动矢量以及预测运动矢量选择信息。
在模板匹配器233中，使用模板匹配，从由对象块501的参照帧编号指示的参照图像中，搜索和与对象块邻接的由已再现像素信号构成的模板区域（详细后述）类似的信号区域（经由L201）。然后，计算检测到的信号区域与模板区域之间的空间位移量，作为预测运动矢量。
接着，使用图6～8对模板匹配器233中的模板匹配处理进行说明。
图6示出模板匹配器233的内部结构的框图。模板匹配器233具有：搜索区域设定器240、对象区域取得器241、预测邻接区域取得器242、候选预测区域选择器243。
在本实施方式的模板匹配中，根据预测对象块的运动矢量设定了模板匹配的搜索区域后（图7），对该搜索区域内进行搜索，检测与模板区域类似的信号区域（图8）。
在搜索区域设定器240中的搜索区域的设定处理中，首先，对预测对象块的运动矢量实施时间方向的定标处理，由此，在由对象块501的参照帧编号指示的参照图像上对预测对象块的运动矢量进行定标。然后，以定标后的运动矢量为搜索中心，在其周围设定搜索区域。更加具体地进行说明。
分别经由L232和L206对搜索区域设定器240输入预测对象块502的预测模式、参照帧编号和运动矢量、以及对象块501的参照帧编号。在搜索区域设定器240中，首先，在对象块的参照帧编号所指示的参照图像上对预测对象块502的运动矢量602（MVa）进行定标，计算定标运动矢量602S（Scaled MVa）。然后，如图8所示，设定搜索中心602B和搜索区域602R。具体而言，将从在空间上与对象块501的左上方顶点位于同一位置的画面401（由对象块501的参照帧编号指示的参照图像）上的像素（块511的左上方顶点）移动定标运动矢量602S的量后的位置602B作为搜索中心，在其周围设定搜索区域602R。搜索区域的大小（搜索范围）可以预先确定，也可以利用顺序单位或画面单位进行编码。搜索范围的传送具有降低搜索所需要的成本的效果。定标运动矢量602S的水平/垂直分量的值可以是1/2像素、1/4像素等的小数值，也可以归整为整数值。与所设定的搜索区域602R有关的信息经由L240输出到预测邻接区域取得器424。
这里，使用图7进行运动矢量的定标方法的说明。图7（A）是对象块501的参照帧编号和预测对象块502的参照帧编号相对于编码对象的画面400在时间上均为过去的画面的例子。在该例子中，将编码对象的画面400的时刻表示为t，将对象块501的参照帧编号所指示的画面401的时刻表示为t-1，将预测对象块502的参照帧编号所指示的画面402的时刻表示为t-2。在图7中，示出块501的预测区域701和运动矢量（MV）601，示出块502的预测区域702和运动矢量（MVa）602。设画面400与画面401之间的经过时间为t1、画面400与画面402之间的经过时间为t2时，能够通过Scaled MVa=（t2xMVax/t1，t2xMVay/t1）来计算在画面401上对运动矢量602（MVa）进行定标后的运动矢量602S（Scaled MVa）。另外，这里，设MVa=（MVax，MVay）。
图7（B）是预测对象块502的参照帧编号相对于编码对象的画面400在时间上为未来的画面的例子。在该例子中，将预测对象块502的参照帧编号所指示的画面404的时刻表示为t+1，将画面400与画面404之间的经过时间表示为t4（与t1、t2的符号的正负不同）。能够通过Scaled MVa=（t4xMVax/t1，t4xMVay/t1）来计算在画面401上对运动矢量602（MVa）进行定标后的运动矢量602S（Scaled MVa）。
如之前说明的那样，根据定标后的运动矢量602S，在由对象块501的参照帧编号指示的参照图像（401）上设定模板匹配的搜索区域602R（图8）。
这样利用搜索区域设定器240设定搜索区域后，接着，如图8所示，对象邻接区域取得器241经由L104从帧存储器104取得与对象块501邻接的已再现的对象邻接区域501T（模板区域）。所取得的模板区域经由L241输出到预测邻接区域取得器242和候选预测区域选择器243。另外，在本实施方式中，设与对象块501邻接的已再现的像素组（倒L文字的区域）501T为对象邻接区域，但是，该对象邻接区域只要由对象块周围的已再现像素构成即可，形状和像素数预先确定，可以是任意的。另外，该情况下，也可以利用顺序单位或画面单位或块单位来确定模板的形状和尺寸（像素数），并对其进行编码。
进而，在预测邻接区域取得器242中，经由L104从参照画面401上的搜索区域602R中，依次取得具有与对象邻接区域501T相同形状的搜索区域内的像素组。所取得的像素组经由L242输出到候选预测区域选择器243。
然后，在候选预测区域选择器243中，在经由L241输入的对象邻接区域501T和经由L242输入的与对象邻接区域501T形状相同的像素组之间，依次求出误差的绝对值和（SAD），检测SAD最小的区域501M（预测邻接区域）。最后，候选预测区域选择器243计算画面401上的块511（在空间上与对象块501位于同一位置）与搜索到的预测邻接区域501M之间的空间位移量602P，作为预测运动矢量，经由L203输出到差分器204。另外，搜索区域602R内的像素精度可以利用整数像素单位进行搜索，也可以准备1/2像素、1/4像素等小数精度的像素，利用小数像素精度进行搜索。
这样，根据预测对象块502的运动矢量602和与对象块邻接的对象邻接区域501T，在由对象块的参照帧编号指示的参照图像上进行搜索，由此，生成对象块501的预测运动矢量602P。
[对象块与预测对象块的参照帧编号相同的情况]
在上述例子中，在由参照帧编号指示的参照图像上对预测对象块502的运动矢量602进行定标，由此，设定模板匹配的搜索区域，但是，搜索区域的设定方法不限于该手法。例如，也可以不进行运动矢量的定标，而根据运动矢量602来确定搜索中心。并且，也可以不使用预测对象块的运动矢量，而将在空间上与对象块501的左上方顶点位于同一位置（块511的左上方顶点）的参照图像401上的像素作为搜索中心。即，定标处理具有减小搜索区域的效果，但是，为了得到本实施方式的效果，定标处理不是必须的。进而，也可以利用编码器来确定搜索中心的设定方法，通过编码而明确地传递到解码器。因此，通过对搜索中心的设定方法和搜索范围进行编码，由此，能够高效减少预测运动矢量的搜索所需要的成本。
在上述中，在对象块501与预测对象块502的参照帧编号不同的情况下，进行模板匹配处理，但是，在2个块的参照帧编号相同的情况下，也具有进行模板匹配处理的效果。即，具有减小差分运动矢量的大小、削减差分运动矢量的编码量的效果。该情况下，预测对象块502的运动矢量是针对由对象块501的参照帧编号指示的参照图像的运动矢量，所以，不需要进行运动矢量的定标处理。
[运动矢量预测；预测对象块的预测模式为画面内预测的情况]
作为其他例子，考虑运动矢量预测的对象预测块为内部块（通过画面内预测来生成预测信号）的情况、即利用图3的预测对象块选择器202选择图4的块504作为运动矢量预测的预测对象块的情况。通过画面内预测来生成块504的预测信号，在预测对象块504的附加信息中不包含运动矢量和参照帧编号。图3的预测对象块选择器202、图5的判定器231以及图6的搜索区域设定器240能够从预测对象块504的附加信息所包含的预测模式中识别该信息（预测对象块504的预测模式为画面内预测，不具有运动矢量和参照帧编号）。利用图9和图10对该其他例子中的搜索中心的设定方法进行说明。
在图9中，认为预测对象块504（参照图4）的运动矢量的各分量为0。该情况下，即使对运动矢量进行定标，值也不会变化，所以，设在空间上与对象块501的左上方顶点位于同一位置（块511的左上方顶点）的参照图像401上的像素为搜索中心604P。
在图10中，考虑利用与预测对象块504邻接的已编码块的运动矢量来确定模板匹配的搜索中心的方法。这里，假设与预测对象块504邻接的块505的参照帧编号与对象块501的参照帧编号相同。该情况下，搜索区域设定器240经由L232取得预测对象块504的预测模式，并且，经由L201取得块505的预测模式、运动矢量以及参照帧编号（在图3中，经由L201从存储器201向预测运动矢量搜索器203输入块505的附加信息。接着，在图5中，经由L201向模板匹配器233输入这些信息）。如图10所示，搜索区域设定器240根据块505的运动矢量605，设定搜索中心605B和搜索区域604R。具体而言，将从在空间上与对象块501的左上方顶点位于同一位置的画面401（由对象块501的参照帧编号指示的参照图像）上的像素（块511的左上方顶点）移动运动矢量605的量后的位置605B作为搜索中心，在其周围设定搜索区域604R。然后，通过在图6中说明的模板匹配处理，检测模板区域即与对象邻接区域501T类似的预测邻接区域501M，生成预测运动矢量604P。另外，在该图10的例子中，为了简化说明，设块505与对象块501的参照帧编号相同，但是也可以不同。该情况下，也可以针对运动矢量505实施定标处理，根据定标后的运动矢量来确定模板匹配的搜索中心。
另外，该例子能够应用于通过不具有运动矢量的预测方法来生成预测对象块的预测信号的情况。例如，能够应用于根据预先确定的预测顺序或自动生成的预测运动矢量来生成对象块内的预测信号的被称为跳跃块的预测方法。
[运动矢量预测；将预测对象块的邻接信号作为模板（对象邻接区域）的情况]
此前，通过对象块501的已再现邻接信号构成模板匹配中的模板（对象邻接区域），但是，也可以将预测对象块的邻接信号作为模板。以图11为例进行说明。在图11中，假设通过预测对象块选择器202选择块502作为运动矢量预测的预测对象块。并且，考虑通过不具有运动矢量的预测方法来生成预测对象块的预测信号。
在与该预测对象块502邻接的块505的参照帧编号为与对象块501相同的参照帧编号的情况下，搜索区域设定器240经由L232取得预测对象块502的预测模式，并且，经由L201取得块505的预测模式、运动矢量以及参照帧编号（在图3中，经由L201从存储器201向预测运动矢量搜索器203输入块505的附加信息。接着，在图5中，经由L201向模板匹配器233输入这些信息）。如图11所示，搜索区域设定器240根据块505的运动矢量605，设定搜索中心605B和搜索区域602R。具体而言，将从在空间上与预测对象块502的左上方顶点位于同一位置的画面401（由对象块501的参照帧编号指示的参照图像）上的像素（块512的左上方顶点）移动运动矢量605的量后的位置605B作为搜索中心，在其周围设定搜索区域602R。与所设定的搜索区域602R有关的信息经由L240输出到预测邻接区域取得器424。
然后，对象区域取得器241通过预先确定的方法，经由L104从帧存储器104取得与预测对象块502邻接的已再现的对象邻接区域502T（模板区域）。所取得的模板区域的像素信号经由L241输出到预测邻接区域取得器242和候选预测区域选择器243。
进而，在预测邻接区域取得器242中，经由L104从参照画面401上的搜索区域602R中，依次取得具有与对象邻接区域502T相同形状的搜索区域内的像素组。所取得的像素组经由L242输出到候选预测区域选择器243。然后，在候选预测区域选择器243中，在经由L241输入的对象邻接区域502T和经由L242输入的与对象邻接区域502T形状相同的像素组之间，依次求出对应的像素间的绝对误差值之和（SAD），检测SAD最小的区域502M。最后，候选预测区域选择器243计算画面401上的块512（在空间上与预测对象块502位于同一位置）与搜索到的预测邻接区域502M之间的空间位移量602P，作为预测运动矢量，经由L203输出到差分器204。
另外，在该图11的例子中，为了简化说明，设块505与对象块501的参照帧编号相同，但是也可以不同。该情况下，也可以针对运动矢量505实施定标处理，根据定标后的运动矢量来确定模板匹配的搜索中心。并且，在块502具有运动矢量和参照帧编号的情况下，不使用块505的运动矢量和参照帧编号，而使用块502的运动矢量和参照帧编号来设定模板匹配的搜索区域。
[运动矢量预测；通过模板匹配来生成预测对象块的预测信号的情况]
接着，作为在图11中说明的将运动矢量的预测对象块的邻接信号作为模板（对象邻接区域）的情况的其他例子，考虑通过模板匹配来生成预测对象块的预测信号的情况。作为使用模板匹配的预测信号的生成方法，例如记载于专利文献5。
[专利文献5]日本特开2007-300380号公报
该情况下，在预测信号估计器113和预测信号生成器103中的预测信号生成处理时，已经针对全部参照图像实施了针对预测对象块的模板匹配，能够使用该搜索结果来生成预测运动矢量。使用图30和图31具体进行说明。
在由图2的预测信号估计器113选择出的预测模式为伴有模板匹配的预测方法的情况下，在预测信号生成器103中实施图30所示的处理。该情况下，该预测信号生成器103作为预测信号合成单元发挥功能。
最初，在步骤152中，通过使用与对象块501邻接的对象邻接区域501T的模板匹配，来搜索多个参照图像。接着，在步骤153中，检测与对象邻接区域501T之间的SAD最小的N个区域。对这N个候选预测信号进行平均化，生成对象块501的预测信号。在步骤154中，在各参照图像的搜索时，分别提取与对象邻接区域501T之间的SAD最小的区域。然后，将对象区域501T与检测到的区域之间的空间位移量作为与各参照图像（各参照帧编号）对应的运动矢量，保存在图3的存储器201中。另外，该情况下，在图1中，需要追加从预测信号生成器103到运动矢量预测器114的存储器201的数据路径。
接着，通过预测运动矢量搜索器203实施图31所示的处理。
最初，预测运动矢量搜索器203经由L202向判定器231输入预测对象块的预测模式（步骤232），判定是否是伴有模板匹配的预测模式（步骤233）。在不是伴有模板匹配的预测模式的情况下，选择预测对象块的运动矢量作为预测运动矢量（步骤261）。另外，代替步骤261，也可以通过后述的步骤205（在图20中说明）、即在图4～图11中说明的“基于与对象块邻接的块的运动矢量的模板匹配”，来生成预测运动矢量。
在伴有模板匹配的预测模式的情况下，判定器231取得对象块的参照帧编号（步骤235）。接着，模板匹配器233经由L201，从存储器201取得在预测对象块的预测信号生成处理中实施的模板匹配（在图30中实施）时检测到的运动矢量（步骤262）。最后，根据所取得的预测对象块的运动矢量，检测与在步骤235中取得的对象块的参照帧编号对应的运动矢量，作为对象块的预测运动矢量（步骤263）。
这样，在通过模板匹配来生成预测对象块的预测信号的情况下，使用此时检测到的动态信息，由此，能够削减模板匹配处理成本。
[预测对象块选择处理的其他例子]
·预测对象块的种类
在上述中，作为预测对象块的候选的块不限于块502和块504。例如，如图12所示，也可以将画面400内的与对象块501邻接的块502、504、505、507作为候选，而且，在候选中也可以包含画面401的块、即在空间上与对象块501位于同一位置的块511。进而，在候选中还可以包含与块511邻接的块512、513、514、515、516、517、518、519。
·模板匹配处理的应用对象块
此前，说明了如下手法：通过预测对象块选择器202选择预测对象块，根据选择出的预测对象块的运动矢量，通过模板匹配来生成对象块的预测运动矢量。作为其他方法，也可以针对与对象块邻接的多个已编码块的运动矢量，实施在图4～图11中说明的模板匹配处理，然后，选择对象块的预测运动矢量。该情况下，在图3中，预测运动矢量搜索器203位于存储器201与预测对象块选择器202之间。此时，如果在模板匹配处理中使用的对象邻接区域（模板）固定，则关于预测对象块的选择，结果是进行选择模板匹配的搜索中心的处理。
另一方面，根据预测模式或邻接块的位置，可以切换是否实施模板匹配，还可以切换在模板匹配处理中使用的对象邻接区域（模板）的形状或位置（对象块的邻接信号或邻接块的邻接信号）。除此之外，可以根据邻接块与该邻接信号之间的相关，切换模板的位置。
·预测对象块的选择方法
关于预测对象块的选择方法，也不限于在编码装置中进行选择并作为预测运动矢量选择信息明确地通知给解码装置的方法。也可以使用与对象块邻接的多个邻接块的运动矢量、或邻接块的定标运动矢量、或根据邻接块的运动矢量通过模板匹配而生成的运动矢量，通过计算来生成预测运动矢量。该情况下，不需要进行预测运动矢量选择信息的编码。
并且，也可以通过预先确定的手法，自动地从多个邻接块的运动矢量中选择预测对象块。例如，可以针对每个运动矢量的分量来选择块502、504、507的运动矢量的中央值。
也可以对运动矢量的自动选择和预测运动矢量选择信息的编码进行组合。例如，关于图12所示的13个邻接块，设定了多个3个块的组合，通过中央值预测分别选择一个块。然后，从多个组合中选择一个，将其选择信息作为预测运动矢量选择信息进行编码。该情况下，在预测运动矢量搜索器203中，根据这里选择出的运动矢量来确定模板匹配的搜索区域。
除此之外，如图13所示，也可以通过块502、504、507的运动矢量，根据利用中央值预测而生成的中央值运动矢量601H（参照帧编号表示参照画面401），对运动矢量进行扩展。即，考虑对运动矢量601H所指示的画面401上的块位置701的运动矢量601F进行相加的方法。该情况下，根据由601H+601F生成的运动矢量，来确定模板匹配的搜索区域。并且，也可以在中央值运动矢量601H中加上块511的运动矢量611，根据由601H+611生成的运动矢量，来确定模板匹配的搜索区域。
这样，根据本实施方式的运动矢量预测器114，通过使用模板匹配，由此，能够将预测运动矢量修正为针对由对象块的参照帧编号指示的参照图像的运动矢量，所以，具有差分运动矢量值减小、差分运动矢量的编码效率提高的效果。
接着，对本实施方式的运动矢量预测处理的动态图像解码装置300进行说明。图14是示出本实施方式的运动矢量预测处理的动态图像解码装置300的框图。该动态图像解码装置300具有：输入端子301、熵解码器302、逆量化器303、逆转换器304、加法器305、输出端子306、帧存储器104、预测信号生成器103以及运动矢量预测器307。基于逆量化器303和逆转换器304的解码单元也可以使用除此之外的部件。
输入端子301输入利用上述动态图像编码装置压缩编码后的压缩数据。在该压缩数据中包含对将图像分割为多个块后的对象块进行预测并编码的残差信号信息和附加信息。这里，在附加信息中包含识别画面内/画面间预测等的预测模式、差分运动矢量、参照帧编号以及预测运动矢量选择信息。除此之外，有时还包含模板匹配中的搜索区域的大小、搜索中心的设定方法、模板的形状或位置的信息。
熵解码器302对输入到输入端子301的压缩数据进行熵解码，由此，提取对象块的残差信号信息和附加信息。
逆量化器303经由线L302a输入对象块的残差信号信息，并对其进行逆量化。逆转换器304对逆量化后的数据进行逆离散余弦转换，复原对象块的残差信号。
运动矢量预测器307经由线L302b从熵解码器302输入附加信息。在运动矢量预测器307中，根据附加信息所包含的预测运动矢量选择信息，生成预测运动矢量。然后，在差分运动矢量中加上预测运动矢量，再现对象块的运动矢量。再现后的运动矢量经由L307与预测模式、参照帧编号一起输入到预测信号生成器103。运动矢量预测器307的具体处理在后面叙述。
经由L307向预测信号生成器103输入预测模式、参照帧编号以及运动矢量。预测信号生成器103根据这些信息，从帧存储器104取得参照图像，生成预测信号。预测信号生成器103经由线L103向加法器305输出所生成的预测信号。
加法器305在由逆量化器303和逆转换器304复原的残差信号中加上由预测信号生成器103生成的预测信号，生成对象块的再现像素信号，经由线L305向输出端子306和帧存储器104输出。输出端子306向外部（例如显示器）输出。
作为用于下一解码处理的参照用的再现图像，帧存储器104存储从加法器305输出的再现图像作为参照图像。
图15示出本实施方式的实施运动矢量预测处理的运动矢量预测器307的框图。运动矢量预测器307包括：保存所输入的附加信息的存储器201、预测对象块选择器202、预测运动矢量搜索器203、加法器312以及分离器206。
运动矢量预测器307的动作基本上与图3的运动矢量预测器114相同。与图3的运动矢量预测器114的不同之处在于，将所输入的附加信息中的运动矢量置换为差分运动矢量、以及将差分器204置换为加法器312。
即，所输入的附加信息、即预测模式、差分运动矢量以及参照帧编号经由L302b存储在存储器201中，并且，被发送到分离器206、预测对象块选择器202以及加法器312。
在分离器206中，从对象块的附加信息中提取参照帧编号，经由L206将其输入到预测运动矢量搜索器203。
在预测对象块选择器202中，从与对象块邻接的已再现的块中选择在运动矢量预测中使用的块（预测对象块）。
在预测运动矢量搜索器203中，对对象块501的参照帧编号与预测对象块502的参照帧编号进行比较。在参照帧编号相同的情况下，输出预测对象块502的运动矢量（MVa）作为预测运动矢量。在参照帧编号不同的情况下，经由L104取得由对象块501的参照帧编号指示的参照图像。然后，使用该参照图像，通过定标处理等对预测对象块502的运动矢量（MVa）进行加工后，作为预测运动矢量输出到加法器312。
在加法器312中，将经由L302a输入的差分运动矢量与经由L203输入的预测运动矢量相加，再现对象块的运动矢量。再现后的运动矢量经由L307与预测模式、参照帧编号一起输出到预测信号生成器103。进而，再现后的运动矢量经由L312输出到存储器201，与经由L302b输入的差分运动矢量进行置换。
存储器201、预测对象块选择器202、预测运动矢量搜索器203以及分离器206的动作与上述“运动矢量预测器114的说明”所示的内容相同，其概要如上所述，所以，省略详细说明。还能够应用“对象块与预测对象块的参照帧编号相同的情况”、“运动矢量预测；预测对象块的预测模式为画面内预测的情况”、“运动矢量预测；将预测对象块的邻接信号作为模板（对象邻接区域）的情况”、“运动矢量预测；通过模板匹配来生成对象预测块的预测信号的情况”、以及“预测对象块选择处理的其他例子”所示的变形。但是，在通过模板匹配来生成对象预测块的预测信号的情况下，需要从预测信号生成器103到运动矢量预测器307的存储器201的数据路径。
图16是示出本实施方式的运动矢量预测处理的动态图像编码装置100中的动态图像编码方法的步骤的流程图。首先，预测信号估计器113确定用于生成作为编码处理对象的对象块的预测信号所需要的运动矢量等的附加信息，根据该附加信息，通过预测信号生成器103生成预测信号（步骤102）。在附加信息中包含有指示画面内预测（图32）或画面间预测（图2）等的预测模式、运动矢量、参照帧编号。
运动矢量预测器114从附加信息所包含的运动矢量中减去预测运动矢量，生成差分运动矢量。将差分运动矢量作为附加信息的一部分，并通过熵编码器111进行编码（步骤103）。步骤103的详细情况在后面叙述。
减法器105从对象块的像素信号中减去预测信号，从而生成残差信号。所生成的残差信号通过转换器106和量化器107压缩为量化转换系数，并通过熵编码器111进行编码（步骤104）。然后，编码后的残差信号和附加信息经由输出端子112输出（步骤105）。
在这些处理后或者与这些处理并行地，通过逆量化器108和逆转换器109对编码后的残差信号（量化转换系数）进行解码。然后，通过加法器110在解码后的残差信号中加上预测信号，再现对象块的信号，作为参照画面存储在帧存储器104中（步骤106）。然后，在全部对象块的处理未完成的情况下，返回步骤102，进行针对下一对象块的处理。在全部对象块的处理完成的情况下，结束处理（步骤107和步骤108）。
图17是示出由运动矢量预测器114实施的步骤103中的预测运动矢量的生成以及附加信息编码方法的详细步骤的流程图。
存储器201存储所输入的附加信息、即预测模式、运动矢量和参照帧编号（步骤202）。
接着，预测候选块选择器202根据对象块的预测模式来判定是否需要运动矢量的编码。在不需要运动矢量的编码的情况下（画面内预测、跳跃预测或基于模板匹配的预测），进入步骤207，在需要运动矢量的编码的情况下，进入步骤204（步骤203）。接着，预测候选块选择器202选择在运动矢量预测中使用的预测对象块（步骤204）。预测对象块的选择方法在图3和图4中已经进行了说明，所以这里省略，但是，将选择出的块的信息作为预测矢量选择信息，追加在附加信息中。
在预测运动矢量搜索器203中，对预测对象块的运动矢量进行加工，生成预测运动矢量（步骤205）。运动矢量的加工方法在后面叙述。
差分器204取得对象块的运动矢量与预测运动矢量的各分量的差分，计算差分运动矢量（步骤206）。
所生成的附加信息（预测模式、参照帧编号、差分运动矢量以及预测运动矢量选择信息）通过熵编码器111进行编码（步骤207）。
图18是示出由分离器206和预测运动矢量搜索器203实施的步骤205中的运动矢量加工方法（预测运动矢量搜索方法）的详细步骤的流程图。
首先，预测运动矢量搜索器203取得预测对象块的预测模式（步骤232）。然后，根据预测模式来判定预测对象块是否具有运动矢量（步骤233）。
在预测对象块不具有运动矢量的情况下，通过分离器206取得对象块的参照帧编号，并且，预测运动矢量搜索器203从存储器201中，根据与预测对象块邻接的块取得包含运动矢量的附加信息，进入步骤237（步骤235）。
在预测对象块具有运动矢量的情况下，判定器231取得对象块和预测对象块的参照帧编号（步骤234），进而判定它们是否一致（步骤236）。在2个参照帧编号一致的情况下，切换器232将预测对象块的运动矢量作为预测运动矢量，结束处理（步骤238），在不一致的情况下，切换器232进行控制以进入步骤237。
预测运动矢量搜索器203根据在步骤234或步骤235中得到的信息，实施模板匹配（步骤237）。
图19是示出由模板匹配器233实施的步骤237中的模板匹配方法的详细步骤的流程图。
在搜索区域设定器240中，首先，在由对象块的参照帧编号指示的参照画面上，对预测对象块或与预测对象块邻接的块的运动矢量进行定标，确定搜索中心和搜索区域。运动矢量的定标方法在图7中进行了说明，所以，这里省略说明。
在对象邻接区域取得器241中，从帧存储器104取得与对象块或预测对象块邻接的对象邻接区域（模板区域）。
预测邻接区域242和候选预测区域选择器243从搜索区域中搜索与对象邻接区域之间的相关度高的区域。然后，将检测到的信号区域与模板区域之间的空间位移量作为预测运动矢量。设定模板匹配的搜索区域的方法以及检测与模板区域类似的信号区域的方法的详细情况使用图8～图11进行了说明，所以，这里省略说明。并且，还能够应用在图30和图31中说明的“通过模板匹配来生成对象预测块的预测信号的情况”的其他例子。进而，如果将图31的步骤261置换为S205，则在步骤205中也能够对应于“通过模板匹配来生成对象预测块的预测信号的情况”。另外，在动态图像编码方法中还能够应用使用图12和图13说明的“预测对象块选择处理的其他例子”。
这样，根据本实施方式的运动矢量预测方法，通过使用模板匹配，由此，能够将预测运动矢量修正为针对由对象块的参照帧编号指示的参照图像的运动矢量，所以，具有差分运动矢量值减小、差分运动矢量的编码效率提高的效果。
接着，使用图20说明本实施方式的运动矢量预测处理的动态图像解码装置300中的动态图像解码方法。首先，经由输入端子301输入压缩后的压缩数据（步骤302）。然后，在熵解码器302中，针对压缩数据进行熵解码，提取量化后的转换系数和附加信息（步骤303）。
运动矢量预测器307生成预测运动矢量，将其与附加信息所包含的差分运动矢量相加，对运动矢量进行解码（步骤304）。步骤304的详细情况在后面叙述。
预测信号生成器103根据再现后的运动矢量和附加信息（预测模式、参照帧编号），生成预测信号（步骤305）。
另一方面，量化后的转换系数在逆量化器303中使用量化参数进行逆量化，在逆转换器304中进行逆转换，生成再现残差信号（步骤306）。然后，将所生成的预测信号与再现残差信号相加，由此生成再现信号，为了再现下一对象块，将该再现信号存储在帧存储器104中（步骤307）。在存在下一压缩数据的情况下，再次重复该过程（步骤308），在对全部数据进行了处理的时点结束（步骤S309）。另外，也可以根据需要返回步骤S302，取入压缩数据。
图21是示出由运动矢量预测器307实施的步骤304中的预测运动矢量的生成以及运动矢量的解码方法的详细步骤的流程图。
存储器201存储所输入的附加信息、即预测模式、差分运动矢量、参照帧编号以及预测运动矢量选择信息（步骤202）。
接着，预测候选块选择器202根据对象块的预测模式来判定是否需要运动矢量的再现。在不需要运动矢量的再现的情况下（画面内预测、跳跃预测或基于模板匹配的预测），进入步骤316，在需要运动矢量的再现的情况下，进入步骤314（步骤313）。接着，预测候选块选择器202根据再现后的预测运动矢量选择信息，选择在运动矢量预测中使用的预测对象块（步骤314）。预测对象块的选择方法在图3和图4中已经进行了说明，所以这里省略，但是，将选择出的块的信息作为预测矢量选择信息，追加在附加信息中。
在预测运动矢量搜索器203中，对预测对象块的运动矢量进行加工，生成预测运动矢量（步骤205）。运动矢量的加工方法使用图18和图19以及图8～图11进行了说明，所以，这里省略说明。另外，在动态图像解码方法中还能够应用在图30和图31中说明的“通过模板匹配来生成对象预测块的预测信号的情况”、或使用图12和图13说明的“预测对象块选择处理的其他例子”。
加法器204取得对象块的差分矢量与预测运动矢量的各分量的差分，再现运动矢量（步骤315）。
再现后的运动矢量与其他附加信息（预测模式、参照帧编号）一起保存在存储器201中（步骤317）。
能够将本实施方式的动态图像编码方法和动态图像解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘（注册商标）、CD-ROM、DVD、或ROM等记录介质、或者半导体存储器等。
图22是示出能够执行动态图像编码方法的程序的模块的框图。动态图像编码程序P100具有：块分割模块P101、预测信号估计模块P102、预测信号生成模块P103、运动矢量预测模块P104、存储模块P105、减法模块P106、转换模块P107、量化模块P108、逆量化模块P109、逆转换模块P110、加法模块P111以及熵编码模块P112。如图23所示，运动矢量预测模块P104具有：预测候选块选择模块P201、预测运动矢量搜索模块P202、差分模块P203以及运动矢量存储模块P204。进而，如图24所示，预测运动矢量搜索模块P202具有：判定模块P231、切换模块P232以及模板匹配模块P233，如图25所示，模板匹配模块P233具有：搜索区域设定模块P241、预测区域取得模块P243以及候选预测区域选择模块。
通过执行上述各模块而实现的功能与上述动态图像编码装置100的功能相同。即，动态图像编码程序P100的各模块的功能与块分割器102、预测信号估计装置113、预测信号生成器103、运动矢量预测器114、帧存储器104、减法器105、转换器106、量化器107、逆量化器108、逆转换器109、加法器110、熵编码器111、预测候选块选择器202、预测运动矢量搜索器203、差分器204、存储器210、判定器231、切换器232、模板匹配器233、搜索区域设定器240、对象邻接区域取得器241、预测邻接区域取得器242以及候选预测区域选择器243的功能相同。
并且，图26是示出能够执行动态图像解码方法的程序的模块的框图。图像解码程序P300具有：熵解码模块P302、逆量化模块P303、逆转换模块P304、加法模块P305、预测信号生成模块103、运动矢量预测模块P306以及存储模块P105。进而，如图27所示，运动矢量预测模块P306具有：预测候选块选择模块P201、预测运动矢量搜索模块P202、加法模块P311以及运动矢量存储模块P204。
通过执行上述各模块而实现的功能与上述动态图像解码装置300的各结构要素相同。即，动态图像解码程序P300的各模块的功能与熵解码器302、逆量化器303、逆转换器304、加法器305、预测信号生成器103、运动矢量预测器307、帧存储器104、预测候选块选择器202、预测运动矢量搜索器203、加法312以及存储器201的功能相同。
这样构成的动态图像编码程序P100或动态图像解码程序P300存储在记录介质10中，由后述的计算机来执行。
图28是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图29是用于执行存储在记录介质中的程序的计算机的立体图。另外，执行存储在记录介质中的程序的部件不限于计算机，也可以是具有CPU并进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。
如图28所示，计算机30具有：软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等的读取装置12；使操作***常驻的作业用存储器（RAM）14；存储在记录介质10中存储的程序的存储器16；被称为显示器的显示装置18；作为输入装置的鼠标20和键盘22；用于进行数据等的收发的通信装置24；以及对程序的执行进行控制的CPU26。在将记录介质10***读取装置12中时，计算机30能够从读取装置12访问在记录介质10中存储的动态图像编码/解码程序，通过该动态图像编码/解码程序，能够作为本实施方式的动态图像编码装置或动态图像解码装置来动作。
如图29所示，动态图像编码程序和动态图像解码程序也可以作为叠加在载波中的计算机数据信号40而经由网络提供。该情况下，计算机30将通过通信装置24接收到的动态图像编码程序或动态图像解码程序存储在存储器16中，从而能够执行该动态图像编码程序或动态图像解码程序。
接着，说明本实施方式的动态图像编码装置100和动态图像解码装置300的作用效果。
在本实施方式的动态图像编码装置100中，帧存储器104存储已编码图像即多个已再现图像，作为参照图像，块分割器102将输入图像分割为多个区域，预测信号估计器113从在帧存储器104中存储的多个参照图像中，搜索与分割后的多个区域中作为处理对象的对象区域之间的相关度高的区域，生成运动矢量。
预测信号生成器103根据指示由预测信号估计器113搜索到的参照图像的参照帧编号、以及表示作为处理对象的对象区域与由预测信号估计器113搜索到的区域之间的空间位置关系的运动矢量，生成对象区域的预测信号。
然后，运动矢量预测器114根据一个以上的已编码的运动矢量生成预测运动矢量，生成由预测信号估计器113生成的运动矢量与该预测运动矢量之间的差分运动矢量。
减法器105生成对象区域的预测信号与对象区域的对象像素信号之间的残差信号，由转换器106、量化器107和熵编码器111构成的编码处理部对残差信号、参照帧编号、以及由运动矢量预测器114生成的差分运动矢量进行编码。
另一方面，由逆量化器108和逆转换器109构成的复原处理部对由编码处理部编码后的残差信号进行复原后，将其与在预测信号生成器103中生成的预测信号相加，生成再现图像，并将其作为参照图像存储在帧存储器104中。
进而，关于运动矢量预测器114，参照图8对其动作进行说明时，如下所述。即，上述运动矢量预测器114从已编码区域中选择一个区域（例如图4的预测对象块502），在选择出的区域不具有参照帧编号的情况下、或者对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由对象区域所附带的参照帧编号指示的参照图像中，搜索与位于对象区域（对象块501）周边的由已再现的像素信号构成的模板区域（例如与对象块501邻接的对象邻接区域501T）之间的相关度高的区域，根据该搜索到的区域（预测邻接区域501M）与模板区域（对象邻接区域501T）之间的空间位置关系，生成预测运动矢量（运动矢量602P）。
另外，将模板区域作设为与对象区域邻接的由已再现的像素信号构成的对象邻接区域501T，除此之外，如图11所示，也可以将模板区域设为与由运动矢量预测器114选择出的区域（预测对象块502）邻接的由已再现的邻接像素信号构成的对象邻接区域502T。
根据本发明，能够从由对象区域所附带的参照帧编号指示的参照图像中，搜索与位于对象区域周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与模板区域之间的空间位置关系，生成预测运动矢量。由此，在与对象区域邻接的已再现的预测对象块的运动矢量为0的情况下，或者使用不伴有运动矢量的预测方法的情况下，也能够高效地进行对象区域中的运动矢量的预测，并且，能够提高编码效率。
并且，在本实施方式的动态图像编码装置100中，预测信号生成器103作为预测信号合成单元发挥功能，该预测信号生成器103从多个参照图像中，搜索一个以上的和与对象区域（对象块501）邻接的由已再现的邻接像素信号构成的对象邻接区域（对象邻接区域501T）之间的相关度高的预测邻接区域（预测邻接区域501M），根据一个以上的预测邻接区域，对所述对象区域的预测信号进行加工。例如，检测N个预测邻接区域，对N个候选预测信号进行平均化，由此对预测信号进行加工。
而且，预测运动矢量预测器114还对多个参照图像，分别保存一个表示由预测信号生成器103搜索到的预测邻接区域（预测邻接区域501M）与对象邻接区域（对象邻接区域501T）之间的空间位置关系的运动矢量。在通过预测信号生成器103生成选择出的区域的预测信号的情况下，将保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为预测运动矢量。
根据本发明，在通过模板匹配来生成预测对象区域的预测信号的情况下，使用此时检测到的运动矢量，由此，能够提高模板匹配处理效率。
并且，在本实施方式的动态图像解码装置300中，熵解码器302对经由输入端子301输入的压缩数据中作为处理对象的对象区域的差分运动矢量、参照帧编号、残差信号的编码数据进行解码。
而且，逆量化器303和逆转换器304根据所述残差信号的编码数据，复原再现残差信号，加法器305将在预测信号生成器103中生成的预测信号与复原后的再现残差信号相加，由此复原对象区域的像素信号，将其存储在帧存储器104中。帧存储器104存储多个已再现图像作为参照图像。
另一方面，运动矢量预测器307根据一个以上的已复原的运动矢量生成预测运动矢量，将由熵解码器302解码后的差分运动矢量与该预测运动矢量相加，复原运动矢量。而且，预测信号生成器103根据由运动矢量预测器307复原的运动矢量和对象区域的参照帧编号，生成对象区域的预测信号。
进而，详细地讲，运动矢量预测器307从已编码区域中选择一个区域（例如图4的预测对象块502），在选择出的区域不具有参照帧编号的情况下、或者对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由对象区域所附带的参照帧编号指示的参照图像中，搜索与位于对象区域（对象块501）周边的由已再现的像素信号构成的模板区域（例如与对象块501邻接的对象邻接区域501T）之间的相关度高的区域，根据该搜索到的区域（预测邻接区域501M）与模板区域（对象邻接区域501T）之间的空间位置关系，生成预测运动矢量（运动矢量602P）。
根据本发明，能够从由对象区域附带的参照帧编号指示的参照图像中，搜索与位于对象区域周边的由已再现的像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与模板区域之间的空间位置关系，生成预测运动矢量。由此，在与对象区域邻接的已再现的预测对象块的运动矢量为0的情况下，或者使用不伴有运动矢量的预测方法的情况下，也能够高效地进行对象区域中的运动矢量的预测，并且，能够提高编码效率，由此，能够对这样编码后的数据进行解码。
另外，将模板区域设为与对象区域邻接的由已再现的像素信号构成的对象邻接区域501T，除此之外，如图11所示，也可以将模板区域设为与由运动矢量预测器114选择出的区域（预测对象块502）邻接的由已再现的邻接像素信号构成的对象邻接区域502T。
并且，在本实施方式的动态图像解码装置300中，预测信号生成器103作为预测信号合成单元发挥功能，该预测信号生成器103从多个参照图像中，搜索一个以上的和与对象区域（对象块501）邻接的由已再现的邻接像素信号构成的对象邻接区域（对象邻接区域501T）之间的相关度高的预测邻接区域（预测邻接区域501M），根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工。例如，检测N个预测邻接区域，对N个候选预测信号进行平均化，由此对预测信号进行加工。
而且，预测运动矢量预测器307还对多个参照图像，分别保存一个表示由预测信号生成器103搜索到的预测邻接区域（预测邻接区域501M）与对象邻接区域（对象邻接区域501T）之间的空间位置关系的运动矢量。
在通过预测信号生成器103生成选择出的区域的预测信号的情况下，将保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为预测运动矢量。
根据本发明，在通过模板匹配来生成预测对象区域的预测信号的情况下，使用此时检测到的运动矢量，由此，能够提高模板匹配处理效率。
并且，能够构成具有本实施方式的动态图像编码装置100和动态图像解码装置300的图像处理***。该情况下，动态图像解码装置300能够对动态图像编码装置100进行了编码后的数据进行解码。该动态图像编码装置100和动态图像解码装置300可以构成为经由网络连接的图像处理***，也可以在一个装置（例如计算机、便携终端等）中具有动态图像编码装置100和动态图像解码装置300。

Claims (14)

1.一种动态图像编码装置，其特征在于，
该动态图像编码装置具有：
区域分割单元，其将输入图像分割为多个区域；
存储单元，其用于存储多个已再现图像作为参照图像；
运动估计单元，其从所述存储单元所存储的多个参照图像中搜索与所述多个区域中作为处理对象的对象区域之间的相关度高的区域，生成所述对象区域的运动矢量；
预测信号生成单元，其根据指示由所述运动估计单元搜索到的参照图像的参照帧编号以及表示所述对象区域与搜索到的区域之间的空间位置关系的运动矢量，生成所述对象区域的预测信号；
运动矢量预测单元，其根据一个以上的已编码的运动矢量生成预测运动矢量，生成由所述运动估计单元生成的运动矢量与该预测运动矢量之间的差分运动矢量；
残差信号生成单元，其生成所述对象区域的预测信号与所述对象区域的对象像素信号之间的残差信号；
编码单元，其对所述残差信号、所述参照帧编号以及由所述运动矢量预测单元生成的差分运动矢量进行编码；以及
复原单元，其在对所述编码后的残差信号进行复原后加到所述预测信号中，生成再现图像，作为参照图像存储在所述存储单元中，
所述运动矢量预测单元从已编码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
2.根据权利要求1所述的动态图像编码装置，其特征在于，
设所述模板区域为与对象区域邻接的由已再现像素信号构成的对象邻接区域。
3.根据权利要求1所述的动态图像编码装置，其特征在于，
设所述模板区域为与由所述运动矢量预测单元选择出的区域邻接的由已再现邻接像素信号构成的对象邻接区域。
4.根据权利要求1～3中的任一项所述的动态图像编码装置，其特征在于，
所述预测信号生成单元还具有预测信号合成单元，该预测信号合成单元从多个参照图像中，搜索一个以上的与对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，其中，该对象邻接区域与所述对象区域邻接，且由已再现邻接像素信号构成，
所述预测运动矢量预测单元还对所述多个参照图像，分别保存一个表示由所述预测信号合成单元搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，
在通过所述预测信号合成单元生成了所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
5.一种动态图像解码装置，其特征在于，
该动态图像解码装置具有：
数据解码单元，其从压缩数据中解码作为处理对象的对象区域的差分运动矢量、参照帧编号以及残差信号的编码数据；
存储单元，其用于存储多个已再现图像作为参照图像；
残差信号复原单元，其根据所述残差信号的编码数据，复原再现残差信号；
运动矢量预测单元，其根据一个以上的已复原的运动矢量生成预测运动矢量，将由所述数据解码单元解码的差分运动矢量与该预测运动矢量相加，复原运动矢量；
预测信号生成单元，其根据由所述运动矢量预测单元复原的运动矢量和所述对象区域的参照帧编号，生成所述对象区域的预测信号；以及
图像复原单元，其将所述预测信号与所述再现残差信号相加，由此复原所述对象区域的像素信号，
所述运动矢量预测单元从已解码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
6.根据权利要求5所述的动态图像解码装置，其特征在于，
设所述模板区域为与对象区域邻接的由已再现像素信号构成的对象邻接区域。
7.根据权利要求5所述的动态图像解码装置，其特征在于，
设所述模板区域为与由所述运动矢量预测单元选择出的区域邻接的由已再现邻接像素信号构成的对象邻接区域。
8.根据权利要求5～7中的任一项所述的动态图像解码装置，其特征在于，
所述预测信号生成单元还具有预测信号合成单元，该预测信号合成单元从多个参照图像中，搜索一个以上的与对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，其中，该对象邻接区域与所述对象区域邻接，且由已再现邻接像素信号构成，
所述预测运动矢量预测单元还对所述多个参照图像，分别保存一个表示由所述预测信号合成单元搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，
在通过所述预测信号合成单元生成了所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
9.一种动态图像编码方法，其特征在于，
该动态图像编码方法具有以下步骤：
区域分割步骤，将输入图像分割为多个区域；
运动估计步骤，从存储单元所存储的多个参照图像中搜索与所述多个区域中作为处理对象的对象区域之间的相关度高的区域，生成所述对象区域的运动矢量；
预测信号生成步骤，根据指示由所述运动估计步骤搜索到的参照图像的参照帧编号以及表示所述对象区域与搜索到的区域之间的空间位置关系的运动矢量，生成所述对象区域的预测信号；
运动矢量预测步骤，根据一个以上的已编码的运动矢量生成预测运动矢量，生成在所述运动估计步骤中生成的运动矢量与该预测运动矢量之间的差分运动矢量；
残差信号生成步骤，生成所述对象区域的预测信号与所述对象区域的对象像素信号之间的残差信号；
编码步骤，对所述残差信号、所述参照帧编号以及由所述运动矢量预测步骤生成的差分运动矢量进行编码；以及
复原步骤，在对所述编码后的残差信号进行复原后加到所述预测信号中，生成再现图像，作为参照图像存储在所述存储单元中，
在所述运动矢量预测步骤中，从已编码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
10.根据权利要求9所述的动态图像编码方法，其特征在于，
所述预测信号生成步骤还具有预测信号合成步骤，在该预测信号合成步骤中，从多个参照图像中，搜索一个以上的与对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，其中，该对象邻接区域与所述对象区域邻接，且由已再现邻接像素信号构成，
在所述预测运动矢量预测步骤中，还对所述多个参照图像，分别保存一个表示在所述预测信号合成步骤中搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，
当在所述预测信号合成步骤中生成了所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
11.一种动态图像解码方法，其特征在于，
该动态图像解码方法具有以下步骤：
数据解码步骤，从压缩数据中解码作为处理对象的对象区域的差分运动矢量、参照帧编号以及残差信号的编码数据；
存储步骤，用于存储多个已再现图像作为参照图像；
残差信号复原步骤，根据所述残差信号的编码数据，复原再现残差信号；
运动矢量预测步骤，根据一个以上的已复原的运动矢量生成预测运动矢量，将由所述数据解码步骤解码的差分运动矢量与该预测运动矢量相加，复原运动矢量；
预测信号生成步骤，根据由所述运动矢量预测步骤复原的运动矢量和所述对象区域的参照帧编号，生成所述对象区域的预测信号；以及
图像复原步骤，将所述预测信号与所述再现残差信号相加，由此复原所述对象区域的像素信号，作为参照图像存储在存储单元中，
在所述运动矢量预测步骤中，从已解码区域中选择一个区域，在选择出的区域不具有参照帧编号的情况下、或者在所述对象区域的参照帧编号与选择出的区域的参照帧编号不同的情况下，从由所述对象区域所附带的参照帧编号指示的参照图像中，搜索与位于所述对象区域的周边的由已再现像素信号构成的模板区域之间的相关度高的区域，根据该搜索到的区域与所述模板区域之间的空间位置关系，生成所述预测运动矢量。
12.根据权利要求11所述的动态图像解码方法，其特征在于，
所述预测信号生成步骤还具有预测信号合成步骤，在该预测信号合成步骤中，从多个参照图像中，搜索一个以上的与对象邻接区域之间的相关度高的预测邻接区域，根据所述一个以上的预测邻接区域，对所述对象区域的预测信号进行加工，其中，该对象邻接区域与所述对象区域邻接，且由已再现邻接像素信号构成，
在所述预测运动矢量预测步骤中，还对所述多个参照图像，分别保存一个表示在所述预测信号合成步骤中搜索到的预测邻接区域与对象邻接区域之间的空间位置关系的运动矢量，
当在所述预测信号合成步骤中生成了所述选择出的区域的预测信号的情况下，将所述保存的运动矢量中与对象区域的参照帧编号对应的运动矢量作为所述预测运动矢量。
13.一种图像处理***，其具有权利要求1～3中的任一项所述的动态图像编码装置以及权利要求5～7中的任一项所述的动态图像解码装置，该图像处理***的特征在于，
所述动态图像解码装置对在所述动态图像编码装置中进行了编码的数据进行解码。
14.一种图像处理方法，具有权利要求9所述的动态图像编码方法以及权利要求11所述的动态图像解码方法，该图像处理方法的特征在于，
在所述动态图像解码方法中，对在所述动态图像编码方法中进行了编码的数据进行解码。
CN2009801400117A 2008-10-09 2009-10-05 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法 Expired - Fee Related CN102177716B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008263080A JP5401071B2 (ja) 2008-10-09 2008-10-09 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
JP2008-263080 2008-10-09
PCT/JP2009/067334 WO2010041624A1 (ja) 2008-10-09 2009-10-05 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法

Publications (2)

Publication Number Publication Date
CN102177716A CN102177716A (zh) 2011-09-07
CN102177716B true CN102177716B (zh) 2013-08-14

Family

ID=42100574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801400117A Expired - Fee Related CN102177716B (zh) 2008-10-09 2009-10-05 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法

Country Status (7)

Country Link
US (1) US9351014B2 (zh)
EP (1) EP2337358B1 (zh)
JP (1) JP5401071B2 (zh)
CN (1) CN102177716B (zh)
ES (1) ES2532017T3 (zh)
TW (1) TWI508532B (zh)
WO (1) WO2010041624A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
CN103141091A (zh) * 2010-06-21 2013-06-05 汤姆逊许可公司 图像数据编码/解码的方法及其设备
KR101836981B1 (ko) * 2010-07-09 2018-03-09 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
EP3637779A1 (en) * 2010-10-06 2020-04-15 NTT DoCoMo, Inc. Bi-predictive image decoding method
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
CN103283235B (zh) * 2011-01-07 2016-10-26 株式会社Ntt都科摩 运动矢量的预测编码方法、预测编码装置和运动矢量的预测解码方法、预测解码装置
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2012209706A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2012209705A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
EP3739884B1 (en) * 2011-06-27 2021-08-04 Samsung Electronics Co., Ltd. Encoding and decoding motion information
JP5729817B2 (ja) * 2011-06-29 2015-06-03 日本電信電話株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
KR101598306B1 (ko) * 2011-06-30 2016-02-26 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법, 화상 인코딩 프로그램, 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
TWI597973B (zh) * 2011-10-31 2017-09-01 Jvc Kenwood Corp Video encoding device, video encoding method and recording medium
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
JP5849681B2 (ja) * 2011-12-16 2016-02-03 富士通株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム
ES2888805T3 (es) * 2011-12-16 2022-01-07 Jvckenwood Corp Dispositivo de codificación de imagen dinámica, procedimiento de codificación de imagen dinámica, programa de codificación de imagen dinámica, dispositivo de decodificación de imagen dinámica, procedimiento de decodificación de imagen dinámica y programa de decodificación de imagen dinámica
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
CN104025587B (zh) * 2011-12-28 2017-08-29 Jvc建伍株式会社 动图像解码装置及动图像解码方法
JPWO2013108689A1 (ja) * 2012-01-19 2015-05-11 ソニー株式会社 画像処理装置および方法
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
CN111526360A (zh) * 2016-02-06 2020-08-11 华为技术有限公司 图像编解码方法及装置
EP3239929B1 (en) * 2016-04-27 2019-06-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US11240526B2 (en) 2017-01-02 2022-02-01 Industry-University Cooperation Foundation Hanyang University Method and apparatus for decoding image using interpicture prediction
CN111201795B (zh) * 2017-10-09 2022-07-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
WO2019187096A1 (ja) * 2018-03-30 2019-10-03 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
CN110662033B (zh) * 2018-06-28 2021-11-23 杭州海康威视数字技术股份有限公司 一种解码、编码方法及其设备
JP2023086507A (ja) * 2021-12-10 2023-06-22 キオクシア株式会社 情報処理装置および方法
CN115529459B (zh) * 2022-10-10 2024-02-02 格兰菲智能科技有限公司 中心点搜索方法、装置、计算机设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
JP2004072712A (ja) * 2002-04-23 2004-03-04 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および動きベクトル復号化方法
JP2004336369A (ja) * 2003-05-07 2004-11-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259739B1 (en) 1996-11-26 2001-07-10 Matsushita Electric Industrial Co., Ltd. Moving picture variable bit rate coding apparatus, moving picture variable bit rate coding method, and recording medium for moving picture variable bit rate coding program
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理***
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4879558B2 (ja) * 2005-11-02 2012-02-22 パナソニック株式会社 動きベクトル検出装置
JP2007300380A (ja) 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4994767B2 (ja) * 2006-10-03 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
KR20130006537A (ko) * 2006-04-28 2013-01-16 가부시키가이샤 엔티티 도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
CN101536530B (zh) * 2006-11-07 2011-06-08 三星电子株式会社 基于运动估计进行视频编码和解码的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
JP2004072712A (ja) * 2002-04-23 2004-03-04 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および動きベクトル復号化方法
JP2004336369A (ja) * 2003-05-07 2004-11-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム

Also Published As

Publication number Publication date
TWI508532B (zh) 2015-11-11
EP2337358B1 (en) 2014-12-10
WO2010041624A1 (ja) 2010-04-15
EP2337358A1 (en) 2011-06-22
US20110228853A1 (en) 2011-09-22
ES2532017T3 (es) 2015-03-23
US9351014B2 (en) 2016-05-24
JP2010093646A (ja) 2010-04-22
TW201036451A (en) 2010-10-01
EP2337358A4 (en) 2013-05-29
JP5401071B2 (ja) 2014-01-29
CN102177716A (zh) 2011-09-07

Similar Documents

Publication Publication Date Title
CN102177716B (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法
CN102017637B (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN103891288B (zh) 动态图像预测解码装置及方法
CN101433094B (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN104065961B (zh) 图像预测编码装置及其方法、图像预测解码装置及其方法
CN105338364A (zh) 图像预测解码装置、图像预测解码方法
CN106131558B (zh) 动态图像的预测编码装置和方法、预测解码装置和方法
CN103339940B (zh) 运动图像编码方法以及运动图像解码方法
CN102577388A (zh) 图像处理装置和方法
CN103270755A (zh) 图像预测编码方法、图像预测编码装置、图像预测编码程序、图像预测解码方法、图像预测解码装置及图像预测解码程序
CN103747263A (zh) 图像预测编码装置和方法以及图像预测解码装置和方法
CN102077596A (zh) 图像处理设备和图像处理方法
CN102160384A (zh) 图像处理设备和方法
CN102301691A (zh) 图像编码装置、方法和程序以及图像解码装置、方法和程序
CN102160381A (zh) 图像处理设备和方法
CN102177715A (zh) 图像解码装置、图像解码方法、集成电路以及程序
CN101554058B (zh) 基于帧内预测进行编码和解码的方法和装置
CN102396232A (zh) 图像处理装置和方法
CN101946517B (zh) 利用图像修复的帧间预测编码/解码方法及装置
RU2684573C1 (ru) Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
KR20210119388A (ko) 비디오 인코딩 및 비디오 디코딩
CN113228674B (zh) 视频编码和视频解码
JP2006108932A (ja) 複数参照画像を用いた動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
CN102823255A (zh) 图像处理设备和图像处理方法
JPH10327411A (ja) 画像符号化方法及び装置、画像復号方法及び装置、並びに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130814