CN104601997A - 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法 - Google Patents

运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法 Download PDF

Info

Publication number
CN104601997A
CN104601997A CN201510087499.9A CN201510087499A CN104601997A CN 104601997 A CN104601997 A CN 104601997A CN 201510087499 A CN201510087499 A CN 201510087499A CN 104601997 A CN104601997 A CN 104601997A
Authority
CN
China
Prior art keywords
subregion
transforming object
image
object region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510087499.9A
Other languages
English (en)
Other versions
CN104601997B (zh
Inventor
八杉将伸
坚田裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43900343&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104601997(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN104601997A publication Critical patent/CN104601997A/zh
Application granted granted Critical
Publication of CN104601997B publication Critical patent/CN104601997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法。频率变换决定部判断是否对夹着分区边界而相邻的变换对象区域进行合并。变换系数生成部对由频率变换决定部判断为要进行合并的变换对象区域应用一种频率变换来生成变换系数。

Description

运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
本申请是申请日为2010年10月20日、申请号为201080046815.3、发明名称为“运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法”的发明专利申请的分案申请。
技术领域
本发明涉及运动图像(Video)编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法以及运动图像解码方法。
本申请基于2009年10月20日在日本申请的特愿2009-241904号、以及2009年11月13日在日本申请的特愿2009-259856号来主张优先权，并在此引用其内容。
背景技术
在H.264/AVC(Advanced Video Coding)所规定的运动图像编码方式(参照非专利文献1)等基于块的运动图像编码方式中，运动图像编码装置将作为编码对象的输入运动图像分割为称为宏块(Macro Block；MB)的给定的处理单位，并按每个宏块来进行编码处理从而生成编码数据。在运动图像的重放时，运动图像解码装置通过以宏块单位来处理作为解码对象的编码数据并进行解码，从而生成解码图像。
在H.264/AVC所规定的运动图像编码方式中，运动图像编码装置生成对分割为宏块单位的输入运动图像进行近似的预测图像，并计算输入运动图像与预测图像之间的差分即预测残差。进而，运动图像编码装置对所算出的预测残差，应用以离散余弦变换(Discrete Cosign Transform；DCT)为代表的频率变换来生成变换系数。运动图像编码装置使用称为CABAC(Context-based Adaptive Binary Arithmetic Coding：基于内容的自适应的二进制算术编码)或CAVLC(Context-based Adaptive Variable LengthCoding：基于内容的自适应变长编码)的方法对所生成的变换系数进行可变长编码。
在此，通过利用运动图像的在空间上的相关性的帧内预测、或利用运动图像的在时间上的相关性的帧间预测(运动补偿预测)来生成预测图像。
在H.264/AVC的帧间预测中，运动图像编码装置按照每个分区(partition)即对宏块进行分割而得到的区域，来生成对输入运动图像进行近似的图像，并合并所生成的图像来生成对编码对象的宏块的输入运动图像进行近似的预测图像。具体而言，运动图像编码装置首先将输入运动图像的宏块分割为分区。然后，运动图像编码装置按每个分区从帧存储器中所记录的称为局部解码图像的图像中选择一个图像，并决定对所选择的图像中的分区进行近似的区域。将该从局部解码图像中选择的图像称为参照图像。另外，对分区进行近似的区域是与原始的分区为大小相同的区域。进而，运动图像编码装置按每个分区生成1个或2个用于表示输入运动图像的宏块中的分区的位置与对参照图像中的分区进行近似的区域的位置之间的偏差的运动矢量。另外，运动图像编码装置合并对各分区进行近似的图像来生成预测图像。
在H.264/AVC中，规定有横16像素×纵16像素、横16像素×纵8像素、横8像素×纵16像素、横8像素×纵8像素、横8像素×纵4像素、横4像素×纵8像素、横4像素×纵4像素的分区尺寸。若利用小的分区尺寸，则能以细微的单位指定运动矢量来生成预测图像。故而，即使在运动的空间上的相关性小的情况下，也能生成接近输入运动图像的预测图像。另一方面，若利用大的分区尺寸，则在运动的空间上的相关性大的情况下，能减少运动矢量的编码所需的码量。
在H.264/AVC中，通过由运动图像编码装置生成输入运动图像和预测图像之间的差分即预测残差，能削减输入运动图像的像素值的在空间上的或者在时间上的冗余性，能削减码量。进而，通过对预测残差应用离散余弦变换，来使能量集中于低频分量。利用该能量的偏离，人的眼睛易于感知的低频分量以细的粒度进行编码，而人的眼睛难以感知的高频分量以粗的粒度进行编码，能削减编码数据的码量。
当进行该离散余弦变换时，在H.264/AVC中，采用了从多种变换尺寸的离散余弦变换中选择适合运动图像的局部的性质的离散余弦变换的方式(块自适应变换选择)。例如，在通过帧间预测来生成预测图像的情况下，从8×8DCT和4×4DCT的两种离散余弦变换中选择适用于预测残差的变换的离散余弦变换。对于8×8DCT，是在横8像素×纵8像素的区域进行离散余弦变换的变换，对于4×4DCT，是在横4像素×纵4像素的区域进行离散余弦变换的变换。由于8×8DCT能以宽范围来利用像素值的空间相关性，因此对于高频分量相对较少的平坦区域是有效的。另一方面，4×4DCT对于包含物体的轮廓那样的高频分量多的区域有效。此外，在H.264/AVC中，在分区的面积为8×8像素以上的情况下，能选择8×8DCT和4×4DCT中的任意一个。在分区的大小为小于横8像素×纵8像素的情况下，选择4×4DCT。
如此，在H.264/AVC中，通过根据作为运动图像的局部的性质的像素值的空间相关性或运动矢量的空间相关性的高低来选择适当的分区尺寸或变换尺寸，能削减编码数据的码量。
先行技术文献
非特許文献
非特許文献1：ITU-T Recommendation H.264，ISO/IEC14496-10
发明的概要
发明要解决的课题
如上所述，在H.264/AVC中，能按每个分区根据8×8DCT和4×4DCT的两种尺寸而自适应地进行选择频率变换并利用。由此，能利用分区内的空间相关性来使编码效率得以提高。然而，在H.264/AVC等现有的运动图像编码技术中，作为频率变换的对象而决定的区域间的空间相关性，特别是分区间的空间相关性并没有在编码效率上得到反映。故而，存在即使在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下也不能提高编码效率的问题。另外，即使处于相同的分区内，在空间相关性高的区域相邻的情况下，也能通过对其合并来进行频率变换而进一步提高编码效率。但是，在H.264/AVC中，进行频率变换的尺寸不限于8×8DCT和4×4DCT的两种尺寸。
进而，关于应用8×8DCT和4×4DCT中哪一个尺寸的频率变换，实际上是对执行了频率变换后的结果的速率失真成本进行评价来决定的，从而存在有编码的计算处理量会增大这样的课题。
发明内容
本发明鉴于这样的事实而提出，其目的在于，提供一种在相邻的多个区域具有高的空间相关性的情况下能提高编码效率的运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法以及运动图像解码方法。
用于解决课题的手段
[1]本发明用于解决上述课题而提出，本发明的一种形态的运动图像编码装置具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；频率变换区域分割部，其将所述宏块分割为变换对象区域，所述变换对象区域中至少含有一个变换对象区域是跨所述分区的区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可逆编码而得到的编码数据。
该运动图像编码装置由于对跨分区的变换对象区域应用频率变换，因此在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下，能提高编码效率。
[2]另外，本发明的一形态的运动图像编码装置具备：局部解码图像存储部，其存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；预测图像生成部，其从由所述局部解码图像存储部存储的局部解码图像中按每个所述分区来选择参照图像，并基于所选择的参照图像来生成预测图像；和预测残差生成部，其生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分。
[3]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部分割成与按每个所述分区而应用的频率变换相应的变换对象区域，且在判断出对彼此相邻且被包含在彼此不同的分区中的变换对象区域进行合并而得到的区域中的所述预测残差的空间相关性高时，将合并后的所述区域设为跨所述分区的变换对象区域中的一个。
由于该运动图像编码装置将对彼此不同的分区中所含的变换对象区域进行合并而得到的区域设为跨上述的分区的变换对象区域中的一个，因此在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下能提高编码效率。
[4]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部生成表示跨所述分区的变换对象区域的变换合并信息，所述编码数据输出部将所述变换合并信息包含在所述编码数据中进行输出。
由于该运动图像编码装置输出变换合并信息，因此运动图像解码装置能基于所输出的变换合并信息来生成解码运动图像。
[5]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部基于在所述预测图像上与该变换对象区域对应的区域图像的特征量来判断跨所述分区的变换对象区域中的所述预测残差的空间相关性是否高。
由于该运动图像编码装置基于预测图像上与变换对象区域对应的区域图像的特征量来判断跨分区的变换对象区域中的预测残差的空间相关性是否高，因此通过对判断为空间相关性高的变换对象区域应用一种频率变换，能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
[6]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部基于在所述预测图像上与该变换对象区域对应的区域内的像素中彼此相邻且属于不同分区的像素的像素值的差分，来判断跨所述分区的变换对象区域中的所述预测残差的空间相关性是否高。
由于该运动图像编码装置基于预测图像的像素值来判断跨分区的变换对象区域中的预测残差的空间相关性是否高，因此通过对判断为空间相关性高的变换对象区域应用一种频率变换，能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
另外，由于使用预测图像来判断空间相关性是否高，因此在运动图像解码装置中也能进行相同的判断，能省略运动图像编码装置对运动图像解码装置合并后的变换对象区域的数据发送。因此，能减少发送数据的码量。
[7]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部基于在所述预测图像上与该变换对象区域对应的区域内的预测模式是否相同、该预测模式与特定的预测模式是否相同、该预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域当中的一个或多个，来判断跨所述分区的变换对象区域中的所述预测残差的空间相关性是否高。
由于该运动图像编码装置基于预测模式是否相同、该预测模式与特定的预测模式是否相同、该预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域当中的一个或多个，来判断跨分区的变换对象区域中的预测残差的空间相关性是否高，因此通过对判断为空间相关性高的变换对象区域应用一种频率变换，能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
另外，由于使用预测模式来判断空间相关性是否高，因此在运动图像解码装置中也能进行相同的判断，能省略运动图像编码装置对运动图像解码装置合并后的变换对象区域的数据发送。因此，能减少发送数据的码量。
[8]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部基于对包含合并后的所述区域的两个分区的每一个所选择的所述参照图像是否相同、包含合并后的所述区域的两个分区的运动矢量的大小的差、以及所述运动矢量的大小的比率中的一个或多个，来判断对所述彼此相邻且被包含在彼此不同的分区中的变换对象区域进行合并而得到的区域中的所述预测残差的空间相关性是否高。
由于该运动图像编码装置使用参照图像的同一性或运动矢量来判断对彼此不同的分区中所含的变换对象区域进行合并而得到的区域中的预测残差的空间相关性是否高，因此通过对判断为空间相关性高的变换对象区域应用一种频率变换，能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
另外，由于使用参照图像的同一性或运动矢量来判断空间相关性是否高，因此在接受了参照图像的信息或运动矢量的输出的运动图像解码装置中也能进行相同的判断，能能省略运动图像编码装置对运动图像解码装置合并后的变换对象区域的数据发送。因此，能减少发送数据的码量。
[9]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部基于对所述彼此相邻且被包含在彼此不同的分区中的变换对象区域的每一个应用频率变换而得到的变换系数、或者比较在合并所述变换对象区域的情况下与在不合并的情况下的码量和速率失真成本中的任一个或者两者所得到的结果，来判断对所述彼此相邻且被包含在彼此不同的分区中的变换对象区域进行合并而得到的区域中的所述预测残差的空间相关性是否高。
由于该运动图像编码装置基于判断是否合并的区域的变换系数、以及对在已合并的情况下与不合并的情况下的码量或速率失真成本中的任一者或两者进行比较而得到的结果，来判断对彼此不同的分区中所含的变换对象区域进行合并后的区域中的预测残差的空间相关性是否高，因此通过对判断为空间相关性高的变换对象区域应用一种频率变换，能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
[10]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部生成用于表示宏块内的变换对象区域的构成以及对各变换对象区域应用的频率变换的合并完成变换选择信息，所述编码数据输出部将所述合并完成变换选择信息包含在所述编码数据中进行输出。
该运动图像编码装置生成合并完成变换选择信息。通过由该运动图像编码装置输出合并完成变换选择信息，运动图像解码装置能基于所输出的合并完成变换选择信息来生成解码运动图像。
[11]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部从分割图案的集合中选择对宏块应用的分割图案，来将所述宏块分割为包含跨所述分区的区域在内的区域，该分割图案的集合是按每个应用频率变换的区域对所述宏块进行分割的分割图案的集合，是包含应用所述频率变换的区域的任一个跨所述分区的分割图案在内的集合。
由于该运动图像编码装置通过使用分割图案来将宏块分割为包含跨分区的区域在内的区域，因此在对分割后的区域应用频率变换时，能对跨分区的区域应用一种频率变换，能在夹着分区边界而相邻的区域具有高的空间相关性的情况下提高编码效率。
[12]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述编码数据输出部将用于表示由所述频率变换区域分割部选择的分割图案的信息包含在所述编码数据中进行输出。
由于该运动图像编码装置输出表示分割图案的信息，因此运动图像解码装置能基于所输出的分割图案来生成解码运动图像。
[13]另外，本发明的一形态的运动图像编码装置具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；频率变换区域分割部，其将所述宏块分割成作为用于应用频率变换的区域的变换对象区域，并基于表示空间相关性的指标，合并至少一个彼此相邻的变换对象区域来生成新的变换对象区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可逆编码而得到的编码数据。
由于该运动图像编码装置基于表示空间相关性的指标来将对彼此相邻的变换对象区域进行合并而得到的区域设为变换对象区域中的一个，因此能提高编码效率。
[14]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述运动图像编码装置具备：局部解码图像存储部，其存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；预测图像生成部，其从由所述局部解码图像存储部存储的局部解码图像中按每个所述分区选择参照图像，并基于所选择的参照图像来生成预测图像；和预测残差生成部，其生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分。
[15]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，表示所述空间相关性的指标是基于在所述预测图像上与该变换对象区域对应的区域内的像素中彼此相邻的像素的像素值的差分来判断的。
由于该运动图像编码装置基于预测图像上与所述彼此相邻的变换对象区域对应的区域内的像素中彼此相邻的像素的像素值的差分，来合并所述彼此相邻的变换对象区域，因此通过合并判断为空间相关性高的区域，并对合并后的区域应用一种频率变换，能提高编码效率。
[16]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，表示所述空间相关性的指标是基于在所述预测图像上与该变换对象区域对应的区域中的预测模式是否相同、该预测模式与特定的预测模式是否相同、该预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域之中的一个或多个来判断的。
由于该运动图像编码装置基于在预测图像上与该彼此相邻的变换对象区域对应的区域中的预测模式是否相同、该预测模式与特定的预测模式是否相同、预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域之中的一个或多个，来合并该变换对象区域，因此通过对判断为空间相关性高的区域进行合并，并对合并后的区域应用一种频率变换，能提高编码效率。
[17]另外，本发明的一形态的运动图像编码装置是在上述的运动图像编码装置的基础上，所述频率变换区域分割部基于表示所述空间相关性的指标，来生成表示对彼此相邻的变换对象区域进行合并而生成的新的变换对象区域的变换合并信息，所述编码数据输出部将所述变换合并信息包含在所述编码数据中进行输出。
由于该运动图像编码装置输出变换合并信息，因此运动图像解码装置能基于该变换合并信息来进行逆频率变换。
[18]另外，本发明的一形态的运动图像解码装置具备：可逆码解码部，其针对对运动图像进行编码而得到的编码数据，进行可逆码的解码以及进行所述宏块的分割；局部解码图像生成部，其按分割所述宏块而得到的变换对象区域的每一个来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中至少含有一个变换对象区域是跨所述分区的变换对象区域；和运动图像输出部，其结合所述局部解码图像来生成运动图像并输出。
由于该运动图像解码装置对跨分区的变换对象区域应用逆频率变换来生成局部解码图像，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[19]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，局部解码图像存储部，其存储局部解码图像，该局部解码图像是以宏块单位对所述编码数据进行解码而得到的图像；预测图像生成部，其按照对所述宏块进一步分割而得到的每一个分区，从由所述局部解码图像存储部存储的所述局部解码图像中选择参照图像，并基于所选择的参照图像来生成预测图像；和预测残差重构部，其对每个所述变换对象区域，应用与该变换对象区域相应的逆频率变换来生成预测残差，所述局部解码图像生成部按每个像素来叠加所述预测图像和所述预测残差，从而生成局部解码图像。
[20]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，在所述编码数据中含有表示跨所述分区的变换对象区域的变换合并信息，所述运动图像解码装置还具备：变换对象区域决定部，其基于所述变换合并信息来决定所述变换对象区域，所述预测残差重构部针对由所述变换对象区域决定部决定的变换对象区域的每一个应用逆频率变换来生成所述预测残差。
由于该运动图像解码装置基于编码数据中所含的变换合并信息来应用逆频率变换，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[21]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述运动图像解码装置还具备：变换对象区域决定部，其基于表示该区域的空间相关性的指标，来决定跨所述分区的变换对象区域，所述预测残差重构部对于由所述变换对象区域决定部决定的变换对象区域的每一个，应用逆频率变换来生成所述预测残差。
由于该运动图像解码装置由变换对象区域决定部基于表示该区域的空间相关性的指标来决定跨分区的变换对象区域，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[22]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述变换对象区域决定部将与对象区域中的彼此相邻且属于不同的分区的像素的每一个对应的所述预测图像上的像素值的差分设为表示所述空间相关性的指标。
该运动图像解码装置由变换对象区域决定部将与对象区域中的彼此相邻且属于不同的分区的像素的每一个对应的预测图像上的像素值的差分设为表示该对象区域的空间相关性的指标。通过基于该指标来决定跨分区的变换对象区域，在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[23]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述变换对象区域决定部，在与对象区域中的彼此相邻且属于不同的分区的变换对象区域对应的所述预测图像上，将该变换对象区域中的预测模式是否相同、该预测模式与特定的预测模式是否相同、该预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域中的一个或多个设为表示所述空间相关性的指标。
该运动图像解码装置由变换对象区域决定部在与对象区域中的彼此相邻且属于不同的分区的各像素对应的所述预测图像上，将该变换对象区域中的预测模式是否相同、该预测模式与特定的预测模式是否相同、该预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域中的一个或多个设为表示该空间相关性的指标。通过基于该指标来决定跨分区的变换对象区域，在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[24]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述变换对象区域决定部将对包含对象区域的两个分区的每一个所选择的参照图像是否相同、包含所述对象区域的两个分区的运动矢量的大小的差、以及所述运动矢量的大小的比率中的一个或多个设为表示所述空间相关性的指标。
该运动图像解码装置由变换对象区域决定部对包含对象区域的两个分区的每一个，将所选择的参照图像是否相同、包含该对象区域的两个分区的运动矢量的大小的差、以及所述运动矢量的大小的比率中的一个或多个设为表示该对象区域的空间相关性的指标。通过基于该指标来决定跨分区的变换对象区域，在由运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[25]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，在所述编码数据中含有合并完成变换选择信息，该合并完成变换选择信息表示由生成了所述编码数据的运动图像编码装置应用了频率变换的变换对象区域在宏块内的构成，所述预测残差重构部针对所述合并完成变换选择信息所示的变换对象区域的每一个，应用逆频率变换来生成所述预测残差。
由于该运动图像解码装置基于合并完成变换选择信息来应用逆频率变换，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[26]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述预测残差重构部以与生成了所述编码数据的运动图像编码装置相同的基准来从分割图案的集合中选择对宏块应用的分割图案，并基于所选择的分割图案来对所述宏块应用逆频率变换，其中，该分割图案的集合是按应用频率变换的每个区域对所述宏块进行分割的分割图案的集合，是包含应用所述频率变换的区域的任一个跨所述分区的分割图案在内的集合。
由于该运动图像解码装置基于分割图案来应用逆频率变换，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[27]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，在所述编码数据中含有用于表示生成了所述编码数据的运动图像编码装置对所述宏块所应用的分割图案的信息，所述预测残差重构部将包含在所述编码数据中的信息所示的分割图案设为对所述处理对象的宏块应用的分割图案。
由于该运动图像解码装置基于输入数据中所含的分割图案来应用逆频率变换，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[28]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述预测图像重构部基于所述宏块内中的所述分区的构成和所述宏块，来从所述分割图案的集合中选择对所述宏块应用的分割图案。
由于该运动图像解码装置基于由预测图像重构部选择的分割图案来应用逆频率变换，因此在运动图像编码装置对彼此不同的分区中所含的区域进行了合并的情况下，也能生成解码运动图像。
[29]另外，本发明的一形态的运动图像解码装置具备：可逆码解码部，其针对对运动图像进行编码而得到的编码数据，进行可逆码的解码、以及进行所述宏块的分割；局部解码图像生成部，其按分割了所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中至少包含一个基于表示空间相关性的指标而合并得到的变换对象区域；和运动图像输出部，其结合所述局部解码图像来生成运动图像并输出。
由于该运动图像解码装置对合并后的变换对象区域应用逆频率变换来生成局部解码图像，因此在运动图像编码装置对区域进行了合并的情况下，也能生成解码运动图像。
[30]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述运动图像解码装置具备：局部解码图像存储部，其存储局部解码图像，该局部解码图像是以宏块单位对所述编码数据进行解码而得到的图像；预测图像生成部，其按照对所述宏块进一步分割而得到的分区的每一个，从由所述局部解码图像存储部存储的所述局部解码图像中选择参照图像，并基于所选择的参照图像来生成预测图像；预测残差重构部，其对每个所述变换对象区域应用与该变换对象区域相应的逆频率变换来生成预测残差，所述局部解码图像生成部按每个像素来叠加所述预测图像与所述预测残差来生成局部解码图像。
[31]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，在所述编码数据中含有变换合并信息，该变换合并信息表示基于表示空间相关性的指标而合并的变换对象区域，所述运动图像解码装置还具备：变换对象区域决定部，其基于所述变换合并信息来决定所述变换对象区域，所述预测残差重构部针对于由所述变换对象区域决定部决定的变换对象区域的每一个，应用逆频率变换来生成所述预测残差。
该运动图像解码装置通过由变换对象区域决定部基于变换合并信息来决定变换对象区域，在运动图像编码装置对区域进行了合并的情况下也能生成解码运动图像。
[32]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述运动图像解码装置还具备：变换对象区域决定部，其基于表示该区域的空间相关性的指标而决定合并的变换对象区域，所述预测残差重构部对于由所述变换对象区域决定部决定的变换对象区域的每一个，应用逆频率变换来生成所述预测残差。
由于该运动图像解码装置由变换对象区域决定部基于表示空间相关性的指标来决定变换对象区域，因此在运动图像编码装置对区域进行合并且不输出变换合并信息的情况下，也能生成解码运动图像。
[33]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述变换对象区域决定部将与对象区域中的彼此相邻的各像素对应的所述预测图像上的像素值的差分设为表示所述空间相关性的指标。
该运动图像解码装置通过将与彼此相邻的变换对象区域中的彼此相邻的各像素对应的预测图像上的像素值的差分设为表示空间相关性的指标，在运动图像编码装置对区域进行合并且不输出变换合并信息的情况下，也能生成解码运动图像。
[34]另外，本发明的一形态的运动图像解码装置是在上述的运动图像解码装置的基础上，所述变换对象区域决定部，在与对象区域中的彼此相邻的变换对象区域对应的所述预测图像上，将该变换对象区域中的预测模式是否相同、该预测模式与特定的预测模式是否相同、预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域之中中的一个或多个设为表示所述空间相关性的指标。
该运动图像解码装置通过在与对象区域中的彼此相邻的变换对象区域对应的所述预测图像上将该变换对象区域中的预测模式是否相同、该预测模式与特定的预测模式是否相同、预测模式所示的预测方向的类似性、以及与一方的变换对象区域对应的区域的参照像素是否包含于与另一方的变换对象区域对应的区域中的一个或多个设为表示所述空间相关性的指标。从而在运动图像编码装置对区域进行合并且不输出变换合并信息的情况下，也能生成解码运动图像。
[35]另外，本发明的一形态的运动图像编码/解码***运动图像编码装置，其接受运动图像的输入并输出编码数据；以及运动图像解码装置，其对由所述运动图像编码装置输出的编码数据进行解码来生成运动图像，其中，所述运动图像编码装置具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；频率变换区域分割部，其将所述宏块分割为变换对象区域，所述变换对象区域中至少包含一个变换对象区域是跨所述分区的区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可逆编码而得到的编码数据，所述运动图像解码装置具备：可逆码解码部，其针对对所述编码数据进行可逆码的解码、以及进行所述宏块的分割；局部解码图像生成部，其按分割了所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中至少包含一个变换对象区域是跨所述分区的变换对象区域；和运动图像输出部，其结合所述局部解码图像来生成运动图像并输出。
在该运动图像编码/解码***中，由于运动图像编码装置对跨分区的区域应用频率变换，因此在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下能提高编码效率。另外，由于运动图像解码装置基于表示跨由运动图像编码装置应用了频率变换的分区的区域的信息来应用逆频率变换，因此在运动图像编码装置对彼此不同的分区中所含的区域进行合并的情况下，也能生成解码运动图像。
[36]另外，本发明的一形态的运动图像编码/解码***具备：运动图像编码装置，其接受运动图像的输入并输出编码数据；以及运动图像解码装置，其对由所述运动图像编码装置输出的编码数据进行解码来生成运动图像，其中，所述运动图像编码装置具备：图像输入部，其将输入运动图像的帧分割为宏块单位；分区结构决定部，其将所述宏块进一步分割为分区；频率变换区域分割部，其将所述宏块分割成作为用于应用频率变换的区域的变换对象区域，并基于表示空间相关性的指标，合并至少一个彼此相邻的变换对象区域来生成新的变换对象区域；变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出部，其输出对所述变换系数进行可逆编码而得到的编码数据，所述运动图像解码装置具备：可逆码解码部，其针对对运动图像进行编码而得到的编码数据进行可逆码的解码以及进行所述宏块的分割；局部解码图像生成部，其按分割了所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中至少包含一个基于表示空间相关性的指标而合并得到的变换对象区域；和运动图像输出部，其结合所述局部解码图像来生成运动图像并输出。
在该运动图像编码/解码***中，由于运动图像编码装置对彼此相邻的区域应用频率变换，因此能在彼此相邻的多个区域具有高的空间相关性的情况下提高编码效率。另外，由于运动图像解码装置基于表示由运动图像编码装置应用了频率变换的彼此相邻的区域的信息来应用逆频率变换，因此在运动图像编码装置对彼此相邻的区域进行了合并的情况下，也能生成解码运动图像。
[37]另外，本发明的一形态的运动图像编码方法具有：图像输入步骤，由运动图像编码装置将输入运动图像的帧分割为宏块单位；分区结构决定步骤，由所述运动图像编码装置将所述宏块进一步分割为分区；频率变换区域分割步骤，由所述运动图像编码装置将所述宏块分割为变换对象区域，所述变换对象区域中至少包含一个变换对象区域是跨所述分区的区域；变换系数生成步骤，由所述运动图像编码装置对通过所述频率变换区域分割步骤而分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出步骤，由所述运动图像编码装置输出对所述变换系数进行可逆编码而得到的编码数据。
[38]另外，本发明的一形态的运动图像编码方法具有：图像输入步骤，由运动图像编码装置将输入运动图像的帧分割为宏块单位；分区结构决定步骤，由所述运动图像编码装置将所述宏块进一步分割为分区；频率变换区域分割步骤，由所述运动图像编码装置将所述宏块分割成作为用于应用频率变换的区域的变换对象区域，并基于表示空间相关性的指标，合并至少一个彼此相邻的变换对象区域来生成新的变换对象区域；变换系数生成步骤，由所述运动图像编码装置对通过所述频率变换区域分割步骤而分割的变换对象区域的每一个，应用频率变换来生成变换系数；和编码数据输出步骤，由所述运动图像编码装置输出对所述变换系数进行可逆编码而得到的编码数据。
在该运动图像编码方法中，由于运动图像编码装置对彼此相邻的变换对象区域进行合并来应用频率变换，因此能在彼此相邻的多个区域具有高的空间相关性的情况下提高编码效率。
[39]另外，本发明的一形态的运动图像解码方法具有：可变长解码步骤，由运动图像解码装置针对对运动图像进行编码而得到的编码数据来进行可变长码的解码以及进行所述宏块的分割；局部解码图像生成步骤，由所述运动图像解码装置按分割所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中包含至少一个变换对象区域是跨所述分区的变换对象区域；和运动图像输出步骤，由所述运动图像解码装置结合所述局部解码图像来生成运动图像并输出。
在该运动图像解码方法中，由于运动图像解码装置对跨分区的变换对象区域应用逆频率变换来生成局部解码图像，因此在运动图像编码装置对彼此不同的分区中所包含的区域进行了合并的情况下，也能生成解码运动图像。
[40]另外，本发明的一形态的运动图像解码方法具有：可变长解码步骤，由运动图像解码装置针对对运动图像进行编码而得到的编码数据进行可变长码的解码以及进行所述宏块的分割；局部解码图像生成步骤，由所述运动图像解码装置按分割了所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中至少包含一个基于表示空间相关性的指标而合并得到的变换对象区域；和运动图像输出步骤，由所述运动图像解码装置结合所述局部解码图像来生成运动图像并输出。
在该运动图像解码方法中，由于运动图像解码装置对彼此相邻的变换对象区域应用逆频率变换来生成局部解码图像，因此在运动图像编码装置对彼此相邻的区域进行了合并的情况下，也能生成解码运动图像。
发明效果
根据本发明，能提高运动图像编码的编码效率。
附图说明
图1是表示本发明的第1实施方式中的运动图像编码/解码***1的概略构成的构成图。
图2是表示同实施方式中的运动图像编码装置10的功能块构成的功能块构成图。
图3是表示在同实施方式中由运动图像编码装置10生成编码数据的处理过程的流程图。
图4是表示在同实施方式中，将图像输入部61被输入的运动图像的帧分割为宏块单位，并输出所分割的图像的顺位的图。
图5是表示在同实施方式中，由预测参数决定部102分割宏块单位的图像数据的分区的构成的图。
图6是表示在同实施方式中，由预测参数决定部102生成的预测参数的数据构成的数据构成图。
图7是表示在同实施方式中，由预测图像生成部103生成用于处理对象的宏块的预测图像的处理过程的流程图。
图8是表示在同实施方式中，通过由频率变换决定部105选择的频率变换而决定的变换对象区域的构成例的图。
图9是表示在同实施方式中，由频率变换决定部105生成的变换选择信息的数据构成的数据构成图。
图10是表示在同实施方式中，由频率变换决定部105针对宏块内的各分区来选择频率变换的过程的流程图。
图11是表示在同实施方式中所合并的变换对象区域的例子的图。
图12是表示在同实施方式中的变换合并信息的数据构成的数据构成图。
图13是表示在同实施方式中，由频率变换决定部105判定是否对宏块内的变换对象区域进行合并的处理过程的流程图。
图14是表示在同实施方式中，由频率变换决定部105作为判断的对象的预测图像的像素的例子的图。
图15是表示在同实施方式中，由变换系数生成部107对分区内的变换对象区域应用频率变换的处理的伪代码。
图16是表示在同实施方式中，由可变长编码部108对处理对象的宏块中所含的各分区的变换选择信息以及变换合并信息进行编码的处理过程的流程图。
图17是表示同实施方式中的运动图像解码装置20的功能块构成的概略的功能块构成图。
图18是表示在同实施方式中，由频率变换导出部111生成的合并完成变换选择信息的数据构成的数据构成图。
图19是表示在同实施方式中，由运动图像解码装置20生成解码运动图像的处理过程的流程图。
图20是表示在同实施方式中，运动图像编码装置10基于变换对象区域的边界附近的像素值的变化来判定合并的适当与否，且在不输出变换合并信息的情况下，由运动图像解码装置20生成合并完成变换选择信息的处理过程的流程图。
图21是表示本发明的第2实施方式中的运动图像编码装置11的功能块构成的概略的功能块构成图。
图22是表示在同实施方式中，由频率变换决定部112使用的分割图案的例子的图。
图23是表示在同实施方式中，由频率变换决定部112决定适用于处理对象的宏块的分割图案以及频率变换的处理过程的流程图。
图24是表示在同实施方式中，由运动图像编码装置生成编码数据的处理过程的流程图。
图25是表示同实施方式中的运动图像解码装置21的功能块构成的概略的功能块构成图。
图26是表示在同实施方式中，由运动图像解码装置21生成解码运动图像的处理过程的流程图。
图27是表示选择同实施方式中的分割图案的运动图像解码装置22的构成的构成图。
图28是表示本发明的第3实施方式中的运动图像编码装置16的构成的构成图。
图29是表示在同实施方式中，由预测参数决定部152决定的预测模式的图。
图30是表示在同实施方式中，由运动图像编码装置16生成编码数据的处理过程的流程图。
图31是表示同实施方式中的运动图像解码装置26的功能块构成的概略的功能块构成图。
图32是表示在同实施方式中，由运动图像解码装置26生成解码运动图像的处理过程的流程图。
具体实施方式
<第1实施方式>
以下，参照附图来说明本发明的实施方式。
以下，适当地示出了本发明的实施方式中的运动图像编码装置以及运动图像解码装置所进行的处理与在H.264/AVC中所规定的处理之间的异同，但本发明不限于H.264/AVC，能以VC-1或MPEG-2(MovingPicture Experts Group phase 2)或AV S(Audio Video Coding Standard)等，应用于以宏块单位来处理图像且进行运动补偿预测以及频率变换的利用了各种运动图像编码/解码方式的运动图像编码装置以及运动图像解码装置。在此所谓的频率变换是将二维矩阵作为采样数据且通过离散余弦变换等而变换为同构的二维矩阵的数据的变换，且是为了通过将像素值变换成频域的数据来排除基于像素值的空间相关性的数据的冗余性从而减少码量而执行的。
图1是表示本发明的第1实施方式中的运动图像编码/解码***1的概略构成的构成图。
在同图中，运动图像编码/解码***1构成为包含运动图像编码装置10和运动图像解码装置20。运动图像编码装置10构成为包含图像输入部61、中央处理装置(Central Processing Unit；CPU)62、存储器63、编码数据输出部64和总线65。运动图像解码装置20构成为包含编码数据输入部71、中央处理装置72、存储器73、图像输出部74和总线75。
运动图像编码装置10以帧单位对输入运动图像进行编码并输出编码数据。在运动图像编码装置10中，图像输入部61若被输入运动图像，则将所输入的运动图像分割为宏块单位，并经由总线65输出到中央处理装置62。中央处理装置62对从图像输入部61输出的宏块单位的输入运动图像的每一个进行编码，并经由总线65输出到编码数据输出部64。存储器63存储局部解码图像，即中央处理装置62为了生成编码数据而使用的图像，如后所述，是已生成变换系数的宏块的解码图像。另外，存储器63存储由中央处理装置62执行的程序。进而，存储器63作为由中央处理装置62动作时的工作存储器，来临时存储由中央处理装置62生成的运算结果。编码数据输出部64将由中央处理装置62输出的编码数据向运动图像编码装置10的外部输出。
运动图像解码装置20对由运动图像编码装置10输出的编码数据进行解码并输出解码运动图像。在运动图像解码装置20中，若对编码数据输入部71输入编码数据，则将所输入的编码数据经由总线75而输出到中央处理装置72。中央处理装置72对从编码数据输入部71输出的编码数据进行解码来生成作为宏块单位的解码图像的局部解码图像，并将所生成的局部解码图像经由总线75输出到图像输出部74。存储器73对中央处理装置72为了生成解码图像而使用的解码完成的宏块的局部解码图像进行存储。另外，存储器73存储由中央处理装置72执行的程序。进而，存储器73作为在中央处理装置72动作时的工作存储器，临时存储由中央处理装置72生成的运算结果。图像输出部74对由中央处理装置72输出的宏块单位的解码图像进行合并来生成帧单位的解码图像，并输出到运动图像解码装置20的外部。
此外，关于将由运动图像编码装置10的编码数据输出部64输出的编码数据输入到运动图像解码装置20的编码数据输入部71的方法，只要是能由编码数据输入部71读取该编码数据的方法，就可以是任意的方法。例如，编码数据输出部64可以使用有线或无线的通信路径来对编码数据输入部71发送编码数据。或者，编码数据输出部64可以将编码数据写入到半导体存储器等的存储介质，并由编码数据输入部71从该存储介质读出编码数据。
图2是表示运动图像编码装置10的功能块构成的功能块构成图。
在同图中，运动图像编码装置10构成为包含：图像输入部61、编码部32、局部解码图像存储部33、编码数据输出部64。编码部32构成为包含：预测参数决定部(分区结构决定部)102、预测图像生成部103、预测残差生成部106、频率变换决定部(频率变换区域分割部)105、变换系数生成部107、可变长编码部108、预测残差重构部109和局部解码图像生成部110。
在同图中，对于与图1的各部对应的部分赋予相同的标号(61、64)。
如图1说明那样，若对图像输入部61输入运动图像，则将所输入的运动图像分割为宏块单位。图像输入部61按每个宏块对编码部32的预测参数决定部102和预测残差生成部106输出所分割的图像。
编码部32通过由图1的中央处理装置62执行程序来实现。此外，图1的中央处理装置62为了使附图易读，在图2中未示出。编码部32根据由图像输入部61分割为宏块单位并输出的图像，来生成每个宏块的编码数据。
在编码部32中，预测参数决定部102、预测图像生成部103和预测残差生成部106进行与H.264/AVC同样的帧间预测。
预测参数决定部102基于从图像输入部61输出的宏块单位的图像的像素值，来从由局部解码图像存储部33存储的局部解码图像中选择参照图像，并生成用于根据参照图像来生成预测图像的参数即预测参数。针对预测参数将后述。运动图像编码装置10为了存储与运动图像解码装置20相同的局部解码图像，在对处理对象的宏块的图像与预测图像的差分即预测残差进行频率变换后，进行逆频率变换来重构预测残差，并对重构后的预测残差叠加预测图像来生成局部解码图像，且存储到局部解码图像存储部33。预测参数决定部102将所生成的预测参数输出到频率变换决定部105、预测图像生成部103和可变长编码部108。
预测图像生成部103基于由预测参数决定部102输出的预测参数，根据由预测参数决定部102选择的参照图像来生成预测图像。预测图像是对输入运动图像中的处理对象的宏块的各像素值进行近似得到的图像。由于预测残差生成部106通过针对输入运动图像中的处理对象宏块的像素值和预测图像的像素值，按每个像素取差分来生成预测残差，因此能针对该预测残差削减输入运动图像的像素值的冗余性，能抑制由运动图像编码装置10生成的编码数据的码量。
预测图像生成部103将所生成的预测图像输出到预测残差生成部106和局部解码图像生成部110。
预测残差生成部106取从图像输入部61输出的宏块单位的图像、与从预测图像生成部103输出的预测图像之间的每个像素的值的差，来生成预测残差，并将所生成的预测残差输出到频率变换决定部105和变换系数生成部107。
频率变换决定部105基于从预测参数决定部102输出的预测参数，来决定从预测残差生成部106输出的预测残差的频率变换方法，并将表示所决定的频率变换方法的变换选择信息和变换合并信息输出到变换系数生成部107、预测残差重构部109和可变长编码部108。
变换系数生成部107基于由频率变换决定部105输出的频率变换方法，对于由预测残差生成部106输出的预测残差进行频率变换来生成变换系数。变换系数生成部107将所生成的变换系数输出到可变长编码部108和预测残差重构部109。
可变长编码部(可逆编码部)108对从预测参数决定部102输出的预测参数、从频率变换决定部105输出的变换选择信息以及变换合并信息、从变换系数生成部107输出的变换系数进行可变长编码来生成编码数据。此外，如后述那样，由可变长编码部108进行的编码不限于可变长编码，只要是可逆编码即可。在此所谓的可逆编码是指能无信息损失地进行解码的编码。
可变长编码部108将所生成的编码数据输出到编码数据输出部64。
预测残差重构部109基于从频率变换决定部105输入的变换选择信息以及变换合并信息，对从变换系数生成部107输出的变换系数进行逆频率变换来重构预测残差。预测残差重构部109将所重构的预测残差输出到局部解码图像生成部110。
局部解码图像生成部110取从预测图像生成部103输出的预测图像与由预测残差重构部109输出的经重构的预测残差的每个像素的值的和来生成局部解码图像。局部解码图像生成部110将所生成的局部解码图像写入到局部解码图像存储部33。
局部解码图像存储部33使用图1的存储器63而实现，并存储从局部解码图像生成部110输出的局部解码图像。在由运动图像编码装置10处理输入运动图像的特定帧的特定的宏块的时间点，将先于处理对象的帧而编码的帧的局部解码图像、以及与处理对象的宏块为同一帧内的、先编码的宏块的局部解码图像存储到局部解码图像存储部33。
编码数据输出部64，如图1说明那样，将从可变长编码部108输出的编码数据输出到运动图像编码装置10的外部。
接下来，说明运动图像编码装置10的动作。
图3是表示由运动图像编码装置10生成编码数据的处理过程的流程图。若运动图像编码装置10对图像输入部61输入运动图像，则开始生成编码数据的处理。
在步骤S101中，图像输入部61将所输入的运动图像分割为宏块单位。运动图像编码装置10将所输入的运动图像的帧分割为宏块单位，并按每个宏块来创建编码数据。为此，图像输入部61将所输入的运动图像的帧分割为横16像素×纵16像素的宏块。
图4是表示将对图像输入部61输入的运动图像的帧分割为宏块单位并输出分割后的图像的顺位的图。同图的整体表示运动图像中的1帧。在同图中，取横轴为x轴，并设向右方向为x轴的正方向。另外，取纵轴为y轴，并设向上方向为y轴的正方向。图像输入部61将一个帧分割为每16像素的行以及每16像素的列，由行和列分割的横16像素×纵16像素的区域各自相当于宏块。如箭头所示，图像输入部61按照同一行内的从左向右的顺序以宏块单位来输出图像数据，并将其从上向下逐行进行。图像输入部61对输入运动图像中的各帧按照帧的输入顺序进行该处理。
图像输入部61将分割后的数据输出到预测参数决定部102和预测残差生成部106。
此外，图像输入部61可以将图像数据分割为除了横16像素×纵16像素以外大小的宏块单位。例如，可以是横12像素×纵12像素、横16像素×纵12像素等，纵和横的像素数不同。另外，图像输入部61可以以图4所示以外的顺序来输出宏块单位的图像数据。例如，图像输入部61可以在同一列内按照从上向下的顺序来输出图像数据，并将其从左向右逐列进行。
回到图3，在步骤S102中，运动图像编码装置10开始针对由图像输入部61分割的输入图像的宏块的每一个来生成编码数据的循环。
在步骤S103～S105中，预测参数决定部102、预测图像生成部103和预测残差生成部106进行与在H.264/AVC中所规定的帧间预测(运动补偿预测、帧间预测)同样的帧间预测。
在步骤S103中，预测参数决定部102基于从图像输入部61输出的图像数据的像素值，来决定对图像数据进一步分割的分区结构，按每个分区来选择参照图像，并生成用于根据参照图像来生成预测图像的预测参数。在此所谓的分区是在生成预测图像时的单位区域，如后所述，预测图像生成部103按每个分区生成预测图像，并合并所生成的预测图像来生成宏块的预测图像。另外，参照图像是作为生成预测图像的基础的图像，预测参数决定部102从由局部解码图像存储部33存储的局部解码图像中选择参照图像。如上所述，局部解码图像是处理完成的宏块的解码图像。
图5是表示由预测参数决定部102分割宏块单位的图像数据的分区的构成的图。同图的分区结构是在H.264/AVC中所规定的分区结构，预测参数决定部102选择由在该H.264/AVC中所规定的分区结构中的任一种。
同图的分区构成MB1表示在不分割宏块的一分割的情况下的分区构成。在此情况下，宏块由横16像素×纵16像素的1个分区构成，对该分区赋予分区索引“p0”。在此，分区索引是用于识别宏块内的分区的索引。
另外，分区构成MB2表示在将宏块沿水平方向进行二等分的水平二分割的情况下的分区构成。在该分区结构中，宏块由横16像素×纵8像素的2个分区构成。对上方的分区赋予分区索引“p0”，对下方的分区赋予分区索引“p1”。
分区构成MB3表示在将宏块沿垂直方向进行二等分的垂直二分割的情况下的分区结构。在该分区结构中，宏块由横8像素×纵16像素的2个分区构成。对左方的分区赋予分区索引“p0”，对右方的分区赋予分区索引“p1”。
分区结构MB4表示在将宏块沿水平方向以及垂直方向分别进行二等分的四分割的情况下的分区结构。在该分区结构中，宏块由横8像素×纵8像素的4个分区构成。对左上方的分区赋予分区索引“p0”，对右上方的分区赋予分区索引“p1”，对左下方的分区赋予分区索引“p2”，对右下方的分区赋予分区索引“p3”。
另外，还将分区结构MB4的各分区称为子宏块。预测参数决定部102将该子宏块进一步分割为分区。以下，还将构成子宏块的分区称为“子分区”。
分区结构SBM1表示在不分割子宏块的一分割的情况下的分区结构。在该分区结构中，子宏块由横8像素×纵8像素的一个子分区构成，对该子分区赋予子分区索引“p0”。在此，子分区编号是用于识别分区内的子分区的索引。
另外，分区结构SMB2表示在将子宏块沿水平方向进行二等分的水平二分割的情况下的分区结构。在该分区结构中，子宏块由横8像素×纵4像素的两个分区构成。对上方的子分区赋予子分区索引“p0”，对下方的子分区赋予子分区索引“p1”。
分区结构SMB3表示在将子宏块沿垂直方向进行二等分的垂直二分割的情况下的分区结构。在该分区结构中，子宏块由横4像素×纵8像素的两个子分区构成。对左方的子分区赋予子分区索引“p0”，对右方的子分区赋予子分区索引“p1”。
分区结构SMB4表示在将子宏块沿水平方向以及垂直方向各自进行二等分的四分割的情况下的分区结构。在该分区结构中，子宏块由横4像素×纵4像素的4个子分区构成。对左上方的子分区赋予子分区索引“p0”，对右上方的子分区赋予子分区索引“p1”，对左下方的子分区赋予子分区索引“p2”，对右下方的子分区赋予子分区索引“p3”。
运动图像编码装置10以及运动图像解码装置20的各部在对宏块内的各分区进行处理的情况下，按照同图的分区结构MB1～MB4所示的分区索引的编号顺序进行处理。即，从左方的分区向右方的分区进行处理，并对其从上向下进行反复。此外，在对宏块进行4分割的情况下，按照同图的分区结构SMB1～SMB4所示的子分区索引的编号顺序来处理子宏块内的各子分区，并以同图的分区结构MB4所示的分区索引的编号顺序按每个子宏块来对其反复。
图6是表示由预测参数决定部102生成的预测参数的数据构成的数据构成图。
如同图所示，预测参数包含分区结构信息、以及作为各分区的运动信息的参照图像索引及运动矢量的信息而构成。
分区结构信息是表示由预测参数决定部选择的分区结构的信息。例如，同图的“P_L0_L0_16×8”的“16×8”表示将该宏块分割为横16像素×纵8像素大小的两个分区。即，将该宏块分割为图5的分区结构MB2所示的各分区。“L0_L0”表示两个分区均使用参照图像列表0。此外，“P”表示仅使用前方向预测而进行编码的块。
参照图像索引表示用作为各分区的参照图像的局部解码图像的索引。例如，同图的“2，0”的“2”表示在参照图像列表(如上所述，在此为参照图像列表0)中使用赋予了索引2的局部解码图像作为第1个分区(在图5的分区结构MB2中，赋予了分区索引“p0”的分区)的参照图像。同样，“0”表示在参照图像列表0中使用赋予了索引0的局部解码图像作为第2个分区(在图5的分区结构MB2中，赋予了分区索引“p1”的分区)的参照图像。
运动矢量表示在运动补偿中使参照图像的像素偏离的量。例如，同图的“(0.25，-1.25)，(0.0，0.75)”的“(0.25，-1.25)”表示，预测图像中第1个分区的部分是将参照图像向右偏离0.25像素且向下偏离1.25像素来生成的。另外，“(0.0，0.75)”表示，预测图像中第2个分区的部分是使参照图像不左右运动而向上偏离0.75像素而生成的。
此外，对于除了前方向预测以外还进行后方向预测的宏块，预测参数决定部102按每个分区生成包含两个参照图像编号和两个运动矢量的预测参数。
此外，预测参数决定部102在决定了进行帧内预测的情况下，生成表示帧内预测中的预测图像生成方法的预测参数，但在此省略说明。在此所谓的帧内预测是以下方法：对不使用帧间预测的宏块，通过基于在输入运动图像的相同的帧内的与该宏块相邻且编码及解码完成的像素所进行的插值，来生成预测图像。
预测参数决定部102使用速率失真判定来生成预测参数。具体而言，预测参数决定部102生成由分区结构、参照图像、运动矢量的所有可能的组合而得到的预测参数候补。预测参数决定部102对所生成的预测参数候补的每一个，基于式(1)来计算速率失真成本C，并将速率失真成本C最小的预测参数的候补选择为预测参数。
C＝D+λR   式(1)
在此，R表示在基于该预测参数候补进行编码的情况下的码量。另外，D表示在基于宏块单位的输入图像的像素值、以及该预测参数候补来进行编码以及解码的情况下所得到的局部解码图像的像素值的均方根误差。另外，λ是预先所确定的值，表示码量R与误差D之间的加权系数。预测参数决定部例如通过基于预测参数候补来实际进行编码以及解码，从而算出码量R以及误差D。
此外，在预测参数决定部102计算速率失真成本C时，在存在多种可应用的频率变换的情况下，针对可应用的全部频率变换来计算速率失真成本，并将最小的速率失真成本设为该预测参数候补的速率失真成本。或者，可以将应用预先所确定的特定的频率变换而得到的速率失真成本设为该预测参数候补的速率失真成本。
预测参数决定部102将所生成的预测参数输出到频率变换决定部105、预测图像生成部103和可变长编码部108。
回到图3，在步骤S104中，预测图像生成部103基于从预测参数决定部102输出的预测参数来生成预测图像。如上所述，预测图像是对处理对象的宏块的图像进行近似得到的图像。
图7是表示由预测图像生成部103在图3的步骤S104中生成用于处理对象的宏块的预测图像的处理过程的流程图。
在步骤S121中，预测图像生成部103从预测参数中读出分区结构信息。
在步骤S122中，预测图像生成部103开始由步骤S123、124构成的每个分区的处理的循环。预测图像生成部103以在图6中说明的顺序来处理各分区(在以下的流程图中也同样)。
在步骤S123中，预测图像生成部103从预测参数中读出处理对象的分区的参照图像索引，并基于所读出的参照图像索引，来从局部解码图像存储部33中读出参照图像。
在步骤S124中，预测图像生成部103从预测参数中读出处理对象的分区的运动矢量，并基于所读出的运动矢量来进行针对参照图像的运动补偿。具体而言，预测图像生成部103使参照图像偏离由运动矢量所示的像素量。
在步骤S125中，若存在未处理的分区，则反复从步骤S122起的循环，若不存在，则前进到步骤S126。
在步骤S126中，预测图像生成部103对进行了运动补偿的各参照图像的该分区部分进行拼接来生成预测图像，并将所生成的预测图像输出到预测残差生成部106和局部解码图像生成部110。
其后，结束生成用在该宏块的预测图像的处理。
回到图3，在步骤S105中，预测残差生成部106从由图像输入部61输出的宏块单位的输入图像的各像素的像素值减去由预测图像生成部103输出的预测图像所对应的各像素的像素值，来生成预测残差。预测残差是与宏块为相同尺寸的二维数据。如前所述，通过按每个像素对输入图像中的处理对象宏块的像素值和预测图像的像素值取差分来生成预测残差，能削减输入图像的像素值的冗余性，能抑制由运动图像编码装置10生成的编码数据的码量。
预测残差生成部106将所生成的预测残差输出到频率变换决定部105和变换系数生成部107。
在步骤S106中，频率变换决定部105对于从预测残差生成部106输出的预测残差，选择对分割为由预测参数决定部102决定的分区结构的各分区应用的频率变换，并生成表示所选择的频率变换的变换选择信息。
图8是表示通过由频率变换决定部105选择的频率变换而决定的变换对象区域的构成例的图。在此所谓的变换对象区域是通过1次频率变换而变换成变换系数的宏块内的区域。同图示出了在频率变换决定部105决定了对宏块的横8像素×纵8像素的4个分区p0～p3中的分区p0以及p1应用4×4DCT，且对分区p2以及p3应用8×8DCT的情况下的例子。
像同图的分区p0或p1那样，在频率变换的大小比分区的大小小的情况下，频率变换决定部105将预测残差的分区分割为频率变换的大小的各区域，且分割后的各区域成为变换对象区域。例如，将同图的分区p0分割为4个变换对象区域r0～r3。另一方面，像同图的分区p2或p3那样，在分区的大小与频率变换的大小相同的情况下，通过分区而分割的区域整体成为1个变换对象区域。运动图像编码装置10以及运动图像解码装置20的各部从左边的变换对象区域向着右边的变换对象区域依次处理同一分区内的变换对象区域，并将其从上向下依次反复。进而，在使用多个分区来处理变换对象区域的情况下，从左边的分区向着右边的分区依次进行上述的处理，并将其从上边的分区向着下边的分区依次反复。
以下说明的运动图像编码装置以及运动图像解码装置也同样。
图9是表示由频率变换决定部105生成的变换选择信息的数据构成的数据构成图。变换选择信息表示对宏块内的各分区应用的频率变换。
如同图所示，变换选择信息依照分区的顺序来排列表示对各分区应用的频率变换的信息而构成。在同图中示出了在由频率变换决定部105选择了图8说明的频率变换来作为对各分区应用的频率变换的情况下的变换选择信息的例子。分区p0以及p1的栏的“4×4”表示对分区p0以及p1应用4×4DCT，分区p2以及p3的栏的“8×8”表示对分区p2以及p3应用8×8DCT。
图10是表示由频率变换决定部105针对宏块内的各分区选择频率变换的过程的流程图。
在步骤S141中，频率变换决定部105开始每个分区的处理的循环。
即，首先，在步骤S142～步骤S145中，频率变换决定部105选择对分区应用的频率变换的候补。
在步骤S142中，频率变换决定部105开始针对变换预置集的各要素的处理的循环。在此所谓的变换预置集是能由运动图像编码装置10对宏块应用的全部频率变换的集合。与H.264/AVC相同，运动图像编码装置10除了4×4DCT和8×8DCT以外，还具备4×8DCT、8×4DCT、16×16DCT、16×8DCT、8×16DCT，即具备总共7种频率变换，来作为变换预置集的要素。在此，m×nDCT表示将横m像素×纵n像素设为频率变换的尺寸(频率变换的对象区域的纵横的像素数。以下，也称为“变换尺寸”)的离散余弦变换。
此外，运动图像编码装置10的变换预置集不限于上述的集合，也可以是上述的集合的子集。或者，可以在变换预置集当中包含别的变换尺寸的离散余弦变换，例如包含4×16DCT、16×4DCT的频率变换，也可以在变换预置集当中包含除离散余弦变换以外的频率变换，例如阿达玛变换、正弦变换、小波变换、或者包含对这些变换进行近似得到的变换的频率变换。
在步骤S143中，频率变换决定部105判断从步骤S142起的循环中成为处理对象的频率变换的尺寸在纵横向上是否均为分区的尺寸以下。在为分区的尺寸以下的情况下(步骤S143：“是”)，前进到步骤S144，否则(步骤S143：“否”)，前进到步骤S145。
在步骤S144中，频率变换决定部105将从步骤S142起的循环中成为处理对象的频率变换添加到对分区应用的频率变换的候补(以下，也称为“变换候补”)中。例如，对横16像素×纵8像素的分区，频率变换决定部105将变换预置集当中的横16像素×纵8像素以下的、4×4DCT、8×8DCT、4×8DCT、8×4DCT、16×8DCT设为变换候补。
此外，可以减少由频率变换决定部105选择的变换候补的数目。例如，可以对横16像素×纵8像素的分区，仅将4×4DCT和8×8DCT设为变换候补。例如，通过减少变换预置集的要素数，能减少变换候补的数目。通过减少变换候补的数目，能削减以后的处理量。另外，通过减少变换预置集的要素数，能缩短表示频率变换的索引的码长从而抑制码量的增加。
在步骤S145中，若变换预置集的要素中存在未处理的频率变换，则反复从步骤S142起的循环，若不存在，则前进到步骤S146。
在步骤S146～步骤S149中，频率变换决定部105计算变换候补的各自的速率失真成本，并将速率失真成本最小的频率变换选择为对分区应用的频率变换。
即，首先，在步骤S146中，频率变换决定部105开始针对步骤S142～步骤S145的循环所选择的各变换候补的处理的循环。
在步骤S147中，频率变换决定部105基于前述的式(1)来计算在从步骤S146起的循环中成为处理对象的频率变换的速率失真成本。
在步骤S148中，若在变换候补的要素中存在未处理的频率变换，则反复从步骤S146起的循环，若不存在，则前进到步骤S149。
在步骤S149中，频率变换决定部105将速率失真成本最小的频率变换选择为对该分区应用的频率变换。
在步骤S150中，若存在未处理的分区，则反复从步骤S141起的循环，若不存在，则针对宏块内的各分区来结束选择频率变换的处理。
回到图3，在步骤S107中，频率变换决定部105生成表示对彼此不同的分区中所含的变换对象区域进行合并而得到的区域即跨分区的变换对象区域的变换合并信息。具体而言，频率变换决定部105在步骤106中针对宏块内的相邻的两个变换对象区域的组合的每一个来判定是否对通过选择频率变换而决定的变换对象区域进行合并，并生成表示要合并的变换对象区域的变换合并信息。
频率变换决定部105决定对夹着分区边界而相邻的多个区域进行合并时，变换系数生成部107依照频率变换决定部105的决定来对预测残差进行频率变换，由此，运动图像编码装置10对合并夹着分区边界而相邻的多个区域而得到的区域进行频率变换，能提高编码效率。
图11是表示经合并的变换对象区域的例子的图。在同图(a)中，将宏块分割为4个分区(子宏块)p0～p3。频率变换决定部105决定对分区p0以及p1应用4×4DCT，由此，分区p0以及p1被分割为横4像素×纵4像素的4个变换对象区域r0～r3。另外，频率变换决定部105决定对分区p2应用8×4DCT，从而分区p2被分割为横8像素×纵4像素的2个变换对象区域。另外，频率变换决定部105决定对分区p3应用4×8DCT，从而分区p3被分割为横4像素×纵8像素的2个变换对象区域。
同图(b)示出了由频率变换决定部105决定对同图(a)所示的变换对象区域中的分区p0的变换对象区域r1和分区p1的变换对象区域r0进行合并的例子。
同图(c)～(f)示出了合并后的变换对象区域的其他的例子。在同图(c)中，将分区p2和分区p3均分割为横8像素×纵4像素的2个变换对象区域r0和r1，并对分区p2的变换对象区域r0和分区p3的变换对象区域r1进行合并。在同图(d)中，将分区p0和分区p1均分割为横8像素×纵4像素的4个变换对象区域r0、r1、r2和r3，并对分区p0的变换对象区域r2和分区p1的变换对象区域r0进行合并。在同图(e)中，分区p1～分区p3各自构成变换对象区域，并合并分区p1和分区p3。在同图(f)中，将分区p0～分区p3均分割为横4像素×纵4像素的4个变换对象区域r0、r1、r2和r3，并合并分区p0的变换对象区域r3、分区p1的变换对象区域r2、分区p2的变换对象区域r1以及分区p3的变换对象区域r0。此外，同图所示的变换对象区域的合并只是一例，由频率变换决定部105决定的变换对象区域的合并不局限于此。
图12是表示变换合并信息的数据构成的数据构成图。变换合并信息是表示由频率变换决定部105决定进行合并的区域和对该区域应用的频率变换的信息。
如同图所示，变换合并信息包含分区索引、合并对象区域索引、合并方向索引以及频率变换的信息而构成。频率变换决定部105在每次合并变换对象区域时生成变换合并信息。
分区索引是表示包含所合并的区域中被处理的顺序在前的一方在内的分区的索引。合并对象区域索引是表示所合并的区域中被处理的顺序在前的一方在分区内的位置的索引。通过分区索引和合并对象区域索引，示出了所合并的区域中被处理的顺序在前的一方在宏块内中的位置。合并方向索引是表示从所合并的区域中被处理的顺序在前的一方来看，所合并的区域中被处理的顺序晚的一方的方向的索引。
例如，图12的变换合并信息示出了，在图11(b)的情况下，分区p0包含要进行合并的区域r1，并将该分区p0的区域r1与其右边相邻的区域进行合并。
频率变换的信息是表示对所合并的区域应用的频率变换的信息。在图12的例子中，示出了对所合并的区域应用8×4DCT。
此外，由频率变换决定部105生成的变换合并信息不限于图12的结构，只要是表示所合并的区域的信息即可。例如，变换合并信息可以包含所合并的区域全部的分区索引和合并对象区域索引的组、以及对所合并的区域应用的频率变换的信息而构成。
图13是表示由频率变换决定部105决定宏块内的变换对象区域中的要合并的区域的过程的流程图。频率变换决定部105基于从预测图像生成部103输出的宏块单位的预测图像的像素值来决定在宏块单位的预测残差的变换对象区域中的要合并的区域。使用预测图像的像素值而不使用预测残差的像素值是为了使运动图像解码装置20能进行相同的判定。
在步骤S161中，频率变换决定部105开始进行针对变换对象区域i(i为0～(N-2)的整数，N为宏块内的变换对象区域的个数)的处理的循环。在此对变换对象区域所赋予的编号是与在图8中说明的变换对象区域的处理顺序相应的编号。
在步骤S162中，频率变换决定部105开始进行针对变换对象区域j(j为(i+1)～N的整数)的处理的循环。
在步骤S163中，频率变换决定部105判断以下的条件C131是否成立。
条件C131：变换对象区域i以及变换对象区域j彼此相邻，而且，变换对象区域i和变换对象区域j包含在彼此不同的分区中，而且，将变换对象区域i和变换对象区域j进行结合而得到的区域将形成矩形。
根据该判断，频率变换决定部105仅将跨分区的区域作为以下的步骤S165以及步骤S167的处理对象。
在判断为条件C131成立的情况下(步骤S163：“是”)，前进到步骤S164，在判断为不成立的情况下(步骤S163：“否”)，前进到步骤S167。
在步骤S164中，频率变换决定部105判断变换对象区域i和变换对象区域j是否具有适于合并的特性。频率变换决定部105基于与变换对象区域i和变换对象区域j对应的预测图像的区域的像素值的类似性，来判断变换对象区域i与变换对象区域j的预测残差的空间相关性是否高。具体而言，将从预测图像生成部103输入的宏块单位的预测图像分割为与预测残差相同的分区以及变换对象区域。然后，频率变换决定部105将预测图像的变换对象区域r1与变换对象区域r2之间的边界b的像素单位的长度设为M，将属于变换对象区域r1的与边界b相接的像素的像素值设为brv1[i](i为1～M的正整数)，将属于变换对象区域r2的与边界b相接的像素的像素值设为brv2[i]，且将判定的阈值设为Th，来判断是否满足式(2)。
&Sigma; i = 1 N | brv 1 [ i ] - brv 2 [ i ] | < Th    式(2)
在式(2)中，期待相邻的像素的像素值的差的绝对值|brv1[i]-brv2[i]|越小，变换对象区域i与变换对象区域j的空间相关性越高。为此，频率变换决定部105使用式(2)作为表示空间相关性的指标，来判断作为对象的区域内的空间相关性是否高。在判断为满足式(2)的情况下，频率变换决定部105判断为变换对象区域i与变换对象区域j的空间相关性高、是适于合并的区域，并决定对变换对象区域i和变换对象区域j进行合并。
图14是表示由频率变换决定部105作为判断的对象的、预测图像的像素的例子的图。
同图示出了判断分区p0的变换对象区域r3和分区p1的变换对象区域r2是否具有适于合并的特性的情况下的例子。另外，两变换对象区域间的边界是边界b，边界b的像素单位的长度是4像素。分区p0的变换对象区域r3包含与边界b相接的像素br1[1]～br1[4]，分区p1的变换对象区域r2包含与边界b相接的像素br2[1]～br2[4]。频率变换决定部105依照式(2)来计算彼此相接的像素br1[k](k为0～3的整数)与br2[k]的像素值的差的绝对值|brv1[k]-brv2[k]|的合计值，并判断所算出的合计值是否小于阈值Th。
回到图13，在步骤S164中判断为满足式(2)的情况下(步骤S164：“是”)，前进到步骤S165，在判断为不满足的情况下(步骤S164：“否”)，前进到步骤S167。
在步骤S165中，频率变换决定部105选择对预测残差的变换对象区域i和变换对象区域j应用的新的频率变换t’。频率变换决定部105将与合并后的变换对象区域的大小相同的变换尺寸的离散余弦变换选择为新的频率变换t’。例如，原始的两个变换对象区域是横W像素×纵H像素，在将这些变换对象区域上下排列的情况下，选择横W像素×纵2H像素的频率变换。另一方面，在将这些变换对象区域左右排列的情况下，选择横2W像素×纵H像素的频率变换。由此，新选择的频率变换t’将对原始的两个变换对象区域合并而得到区域作为变换对象区域。
在变换预置集当中不包含频率变换t’的情况下，频率变换决定部105不进行合并。例如，在图11(c)中，对分区p0和分区p1应用的频率变换均是8×4DCT，尽管上述的横2W像素×纵H像素的频率变换是16×4DCT，但该频率变换未包含在变换预置集当中。因此，频率变换决定部105不进行该合并。由此，能抑制频率变换的种类增加且表示频率变换的索引的码长变长。
此外，即使在频率变换t’未包含于变换预置集当中的情况下，频率变换决定部105也可以进行合并。在此情况下，例如，频率变换决定部105在变换预置集当中加入新的频率变换，运动图像编码装置10对运动图像解码装置20输出添加了新的频率变换的频率预置集。如此，即使在频率变换t’未包含于变换预置集当中的情况下，通过进行合并，也能利用相邻的变换对象区域间的空间相关性来缩短变换系数的码长。
在步骤S166中，频率变换决定部105生成变换合并信息。
在步骤S167中，若变换对象区域(i+1)～N中存在未处理的变换对象区域，则反复从步骤S162起的循环，若不存在，则前进到步骤S168。
在步骤S168中，若变换对象区域0～(N-2)中存在未处理的变换对象区域，则反复从步骤S161起的循环，若不存在，则结束用于判定是否对分区内的变换对象区域进行合并的处理。
频率变换决定部105将所生成的变换选择信息和变换合并信息输出到变换系数生成部107、可变长编码部108和预测残差重构部109。
如上所述，频率变换决定部105通过将处理对象的宏块分割为变换对象区域，且对变换对象区域进行合并，能将处理对象的宏块分割为包含跨分区的区域(在步骤S165中所合并的变换对象区域)在内的变换对象区域。
此外，在步骤S164中，可以不仅针对与边界相接的像素，还可针对与边界相分离的像素，将其添加为判断的对象。例如，频率变换决定部105还将距边界1像素的像素包含在式(2)中进行判断。由此，能提高判断的精度。
此外，尽管在图13的流程图中，对变换对象区域的全部的组合进行了步骤S163的判定，但也可以在该步骤S163中，在首先判断为是否为明显不满足条件C131的组合后，判断是否满足条件C131。例如，在像图11(b)的分区p0的变换对象区域r0那样与宏块内的其他的分区不相接的变换对象区域成为判断对象的情况下，明显不满足条件C131。为此，频域105预先存储与宏块内的其他分区不相接的变换对象区域，在该变换对象区域成为判断对象的情况下，在步骤S163中不判断是否满足条件C131而前进到步骤S167。由此，能抑制处理量。
或者，可以通过设置为比条件C131更难成立的条件来抑制处理量。例如，追加如下条件：变换对象区域r1的频率变换和变换对象区域r2的频率变换是相同的频率变换t。如此，通过将条件C131设为更难成立的条件，能减少进行步骤S164以及步骤S165中的处理的次数，抑制处理量。
此外，频率变换决定部105可以再次选择在决定了合并后的变换对象区域并进一步进行合并。通过该合并，来将更大的区域作为变换对象区域，从而能使由运动图像编码装置10输出的编码数据的编码率得以提高。例如，在图11的区域(f)中，对分区p0的区域r3和分区p1的区域r2进行合并，另外，在决定了对分区p2的区域r1和分区p3的区域r0进行合并的情况下，频率变换决定部105将合并了分区p0的区域r3和分区p1的区域r2而得到的区域、与合并了分区p2的区域r1和分区p3的区域r0而得到的区域进一步合并，来生成横8像素×纵8像素的变换对象区域。
另一方面，若频率变换决定部105将合并设为仅1步，则能抑制为了表示合并而所需的码量或合并判定的处理量的增加。
此外，在步骤S164中进行的合并适当与否的判定不局限于使用上述的式(2)。例如，频率变换决定部105可以将变换对象区域r1所在的分区的运动矢量mv1、与变换对象区域r2所在的分区的运动矢量mv2进行比较，在满足给定的条件的情况下，判定为空间相关性高从而适于合并。例如，将r1以及r2的参照图像相同、且mv1和mv2的矢量的大小的差或者比率为阈值以下作为条件。在满足所述条件的情况下，变换对象区域r1以及变换对象区域r2参照同一参照图像内的充分近的区域，因此区域内的空间相关性也高的可能性高，因此通过合并，能期待编码率的提高。为此，频率变换决定部105将所述条件作为表示空间相关性的指标，并判断作为对象的区域内的空间相关性是否高。
此外，尽管由频率变换决定部105判定变换对象区域r1以及r2的合并适当与否的方法在上述进行了说明，但不局限于对分区边界附近的预测图像的像素值的类似性进行评价的方法或对运动矢量的类似性进行评价的方法。例如，还可以通过评价对变换对象区域r1以及r2各自的预测残差进行频率变换而得到的系数分布的类似度的方法、或者与类似度的判定无关地，实际地进行变换并评价码量或速率失真成本的降低的方法等，通过由频率变换决定部105使用根据变换对象区域r1以及r2而得到的上述以外的特征量的方法来判定合并适当与否。
进而，频率变换决定部105可以对变换对象区域r1和r2分别应用频率变换，并基于作为该频率变换的结果而得到的变换系数，来判定r1以及r2的合并适当与否。例如，在根据r1而得到的变换系数和根据r2而得到的变换系数全部为预先设定的阈值以下的情况下，判断为两者的空间相关性高从而适于合并。或者，可以将在对变换对象区域r1和r2进行了合并的情况下和不进行合并的情况下的码量或速率失真成本进行比较，来判定r1以及r2的合并适当与否。
此外，在处理对象的宏块内的分区p具有子分区的情况下，可以不对子分区中的变换对象区域进行合并。或者，可以将宏块改读为子宏块，将分区改读为子分区，由频率变换决定部105递归性地应用图13的处理。进而，分区p不局限于具有子分区的情况，针对在处理单位为与16像素×16像素不同的块的情况下，例如为32像素×32像素的块的情况下等，频率变换决定部105能通过进行图13的处理来判定合并适当与否。
在图3的步骤S108中，变换系数生成部107基于从预测残差生成部106输出的预测残差、从频率变换决定部105输入的变换选择信息以及变换合并信息，来对预测残差进行频率变换，生成变换系数。
具体而言，变换系数生成部107基于变换选择信息以及变换合并信息来选择对各变换对象区域应用的频率变换，并将所选择的频率变换应用到预测残差的各变换对象区域。由变换选择信息表示的频率变换是包含在变换预置集当中的频率变换的任意一种。
图15是表示由变换系数生成部107对分区内的变换对象区域应用频率变换的处理的伪代码。在此，区域R(x，y，W，H)表示将以分区内的左上角为起点沿向右方向移动x像素且沿向下方向移动y像素后的位置作为左上角的横W像素×纵H像素的变换对象区域。
变换系数生成部107对于分区内所含的横M个×纵N个的变换对象区域，如同图的伪代码所示，从左边的变换对象区域向右边的变换对象区域依次对每个变换对象区域应用具有横W像素×纵H像素的变换尺寸的频率变换。并对其从上向下依次反复。
此外，可以在由变换系数生成部107根据预测残差来生成变换系数的处理中包含进行量化的过程。例如，变换系数生成部107可以对所生成的变换系数进行量化。
在图3的步骤S109中，预测残差重构部109基于从变换系数生成部107输出的变换系数和从频率变换决定部105输出的变换选择信息以及变换合并信息来对变换系数进行逆频率变换，由此重构预测残差。此外，在步骤S109中由变换系数生成部107进行了量化的情况下，预测残差重构部109进行与量化对应的逆量化。例如，在变换系数生成部107对所生成的变换系数进行量化的情况下，预测残差重构部109在对变换系数进行了逆量化后，对变换系数进行逆频率变换。
预测残差重构部109将重构后的预测残差向局部解码图像生成部110输出。
在步骤S110中，局部解码图像生成部110基于从预测图像生成部103输出的预测图像、以及从预测残差重构部109输出的预测残差，来生成局部解码图像。局部解码图像生成部110，作为局部解码图像的各像素值，按每个像素来叠加预测图像的像素值和预测残差的像素值，由此来生成局部解码图像。
此外，可以通过由局部解码图像生成部110对所生成的局部解码图像应用滤波器，来降低在块边界产生的块失真或量化误差。在该情况下，运动图像解码装置20也对所生成的局部解码图像应用相同的滤波器，来使运动图像编码装置10和运动图像解码装置20生成相同的局部解码图像。
局部解码图像生成部110将所生成的局部解码图像写入到局部解码图像存储部33。
在步骤S111中，可变长编码部108对从变换系数生成部107输出的变换系数、从预测参数决定部102输出的预测参数、从频率变换决定部105输出的变换选择信息以及变换合并信息进行编码，来生成编码数据，并将所生成的编码数据输出到编码数据输出部64。编码数据输出部64将从可变长编码部108输出的编码数据输出到运动图像编码装置10的外部。
可变长编码部108首先以在H.264/AVC中所确定的方法来对变换系数和预测参数进行可变长编码。此时，可变长编码部108基于分区边界来分割通过跨分区的区域的频率变换而生成的变换系数，由此以与H.264/AVC中所确定的方法同样地按每个分区进行可变长编码。
接下来，可变长编码部108对变换选择信息和变换合并信息进行可变长编码。
首先，可变长编码部108例如使用哈夫曼码来对包含在变换选择信息中的、表示对各分区应用的频率变换的索引进行可变长编码。此外，由可变长编码部108进行的编码不局限于可变长编码，只要是能由运动图像解码装置20无信息损失地进行解码的编码，即，可逆编码，就可以是任意的。例如，可变长编码部108在将变换预置集的要素数设为s的情况下，使用满足2的t次方为s以上的最小的正整数t，并将以t比特对索引进行2进制化而得到的比特串设为编码数据。针对变换系数或预测参数等变换选择信息以外的数据也同样，由可变长编码部108进行的编码只要是可逆编码，就可以是任意的。
接下来，可变长编码部108针对变换合并信息的每一个，对表示合并后的区域的位置的分区索引和合并对象区域索引和合并方向索引、以及表示应用于合并后的区域的频率变换的索引进行编码。例如，分区索引取p0～p3中的任意一个值，可变长编码部108例如使用哈夫曼码来将该分区索引设为可变长编码数据。另外，合并对象区域索引取r0～r7中的任意一个值，可变长编码部108例如使用哈夫曼码来将该合并对象区域索引设为可变长编码数据。另外，合并方向索引取“右(right)”和“下(down)”中的任意一个值，可变长编码部108将该合并方向索引例如设为1比特的编码数据。
此外，运动图像编码装置10也可不输出变换合并信息。如上所述，频率变换决定部105基于预测图像的像素值来决定是否对变换对象区域进行合并。由此，如后所述，运动图像解码装置20能进行与由运动图像编码装置10的频率变换决定部105进行的是否合并变换对象区域的判定相同的判定，并估计合并后的区域。进而，如上所述，通过应用与合并后的区域的大小相同的变换尺寸的频率变换，运动图像解码装置20能估计应用于合并后的区域的频率变换。因此，即使运动图像编码装置10不输出变换合并信息，运动图像解码装置20也能对运动图像进行解码。
另一方面，若运动图像编码装置10输出变换合并信息，则运动图像解码装置20不需要进行合并后的区域的估计，从而能削减运算量。
此外，运动图像编码装置10在输出变换合并信息的情况下，可以省略变换合并信息的一部分的编码以及输出。
首先，在分区内能成为合并的对象的变换对象区域只有1个的情况下，能省略合并对象区域索引。例如，由于在图11(e)的分区p1中变换对象区域只有1个，因此能省略合并对象区域索引。
另外，在能进行合并的方向只有1个方向的情况下，能省略合并方向索引。例如，图11(b)的分区p0的区域r1由于仅沿向右方向与宏块内的其他的分区相接，因此能省略合并方向索引。
另外，如上所述，由于能根据合并后的区域的大小来决定频率变换，因此能省略频率变换的信息。反之，在能根据频率变换的信息来决定变换对象区域的情况下，可以省略与变换对象区域相关性的信息，例如，分区索引或合并对象区域索引、合并方向索引中的任意一个或者全部。
图16是表示由可变长编码部108对处理对象的宏块中所含的各分区的变换选择信息以及变换合并信息进行编码的处理过程的流程图。
在步骤S201中，可变长编码部108判断由频率变换决定部105对处理对象的宏块所决定的分区结构是否为四分割。在判断为是四分割的情况下(步骤S201：“是”)，前进到步骤S203，在判断为是四分割以外的情况下(步骤S201：“否”)，前进到步骤S202。
在步骤S202中，可变长编码部108将对处理对象的宏块内的各分区所应用的变换选择信息以及变换合并信息进行编码。其后，结束对变换选择信息以及变换合并信息进行编码的处理。
在步骤S203中，可变长编码部108开始针对将对宏块进行四分割而得到的横8像素×纵8像素的子宏块0～3的每一个的处理的循环。
在步骤S204中，可变长编码部108将对处理对象的子宏块内的各子分区应用的变换选择信息进行编码。
在步骤S205中，若剩余有未处理的子宏块，则反复从步骤S203起的循环，若未剩余，则前进到步骤S206。
在步骤S206中，可变长编码部108开始针对将宏块进行四分割而得到的横8像素×纵8像素的子宏块0～3的每一个的处理的循环。
在步骤S207中，可变长编码部108将对处理对象的子宏块内的各子分区应用的变换合并信息进行编码。
在步骤S208中，若剩余有未处理的子宏块，则反复从步骤S206起的循环，若未剩余，则结束对变换选择信息以及变换合并信息进行编码的处理。
在图3的步骤S112中，若在输入到运动图像编码装置10的运动图像中存在未处理的部分，则反复从步骤S101起的循环，若已完成输入到运动图像编码装置10的运动图像的处理，则结束由运动图像编码装置10生成编码数据的处理。
通过以上步骤，运动图像编码装置10将夹着分区边界而相邻的变换对象区域进行合并，来应用一频率变换。
接下来，说明对由运动图像编码装置10编码的编码数据进行解码来生成解码运动图像的运动图像解码装置20。
图17是表示运动图像解码装置20的功能块构成的概略的功能块构成图。
在同图中，运动图像解码装置20构成为包含：编码数据输入部71、解码部42、局部解码图像存储部43和图像输出部74。解码部42构成为包含：可变长编码解码部(可逆码解码部)201、预测图像生成部103、频率变换导出部(变换对象区域决定部)111、预测残差重构部109和局部解码图像生成部110。
在同图中，对与图1的各部对应的部分以及与图2的各部对应的部分赋予相同的标号(71、74、103、109、110)，并省略说明。
若对编码数据输入部71输入由运动图像编码装置10的编码数据输出部64(图2)输出的每个宏块的编码数据，则将所输入的编码数据输出到解码部42的可变长编码解码部201。
解码部42通过由图1的中央处理装置72执行程序来实现。解码部42从由编码数据输入部71输入的每个宏块的编码数据，来生成分割为每个宏块的解码图像即局部解码图像。
在解码部42中，可变长编码解码部201从由编码数据输入部71输出的编码数据中，对预测参数、变换选择信息和变换合并信息进行解码。可变长编码解码部201将解码后的预测参数输出到预测图像生成部103和频率变换导出部111，并将解码后的变换选择信息和变换合并信息输出到频率变换导出部111。另外，可变长编码解码部201从由编码数据输入部71输出的编码数据中，对变换系数进行解码。可变长编码解码部201将解码后的变换系数输出到预测残差重构部109。
频率变换导出部111基于从可变长编码解码部201输入的变换选择信息以及变换合并信息，来生成表示合并后的处理对象的宏块内的变换对象区域的构成以及对各变换对象区域应用的频率变换的合并完成变换选择信息。即，频率变换导出部111基于变换选择信息以及变换合并信息来决定变换对象区域。频率变换导出部111将所生成的合并完成变换选择信息输入到预测残差重构部109。
局部解码图像存储部43使用图1的存储器73而实现。局部解码图像存储部43存储由局部解码图像生成部110生成的局部解码图像，即，作为根据编码数据对由运动图像编码装置10分割运动图像而得到的宏块进行解码而得到的图像的局部解码图像。
图像输出部74结合从局部解码图像生成部110输出的局部解码图像来生成帧单位的解码图像，并输出到运动图像解码装置20的外部。
图18是表示由频率变换导出部111生成的合并完成变换选择信息的数据构成的数据构成图。同图示出了在进行了图11(b)的合并的情况下的合并完成变换选择信息的例子。
如同图所示，在合并完成变换选择信息中，表示了宏块内的各变换对象区域的大小。在合并完成变换选择信息中，以各变换对象区域的左上端的像素的位置为基准，从位于上方的变换对象区域起依次表示变换对象区域的大小，在上下关系相同的情况下，从位于左方的变换对象区域起依次表示变换对象区域的大小。
频率变换导出部111从预测参数读出分区结构，并从变换选择信息读出对各分区应用的频率变换，并取得合并前的变换对象区域的构成。然后，频率变换导出部111基于变换合并信息，取得合并后的变换对象区域的构成，并生成合并完成变换选择信息。
接下来，说明运动图像解码装置20的动作。
图19是表示由运动图像解码装置20生成解码运动图像的处理过程的流程图。若运动图像解码装置20将宏块单位的编码数据从外部依次输入，则开始按每个宏块来处理所输入的编码数据的同图的处理。
在步骤S221中，运动图像解码装置20开始按每个宏块处理编码数据的循环。
在步骤S222中，编码数据输入部71从外部接受1宏块的编码数据的输入，并输出到可变长编码解码部201。可变长编码解码部201根据由编码数据输入部71输出的编码数据，对处理对象的宏块的预测参数进行解码。可变长编码解码部201将解码后的预测参数输出到预测图像生成部103和频率变换导出部111。
在步骤S223中，可变长编码解码部201根据由编码数据输入部71输出的编码数据，对处理对象的宏块的变换选择信息以及变换合并信息进行解码。可变长编码解码部201将解码后的变换选择信息以及变换合并信息输出到频率变换导出部111。
在步骤S224中，频率变换导出部111基于从可变长编码解码部201输出的预测参数、变换选择信息和变换合并信息，来生成合并完成变换选择信息。频率变换导出部111将所生成的合并完成变换选择信息输出到预测残差重构部109。
在步骤S225中，可变长编码解码部201根据由编码数据输入部71输出的编码数据，对变换系数进行解码。可变长编码解码部201将解码后的变换系数输出到预测残差重构部109。
在步骤S226中，预测图像生成部103基于从可变长编码解码部201输出的预测参数、以及记录到帧存储器101中的局部解码图像，来生成与处理对象的宏块对应的预测图像。预测图像生成部103将所生成的预测图像输出到局部解码图像生成部110。
在步骤S227中，预测残差重构部109将与通过从频率变换导出部111输出的合并完成变换选择信息而规定的频率变换对应的逆频率变换应用到从可变长编码解码部201输出的变换系数，来生成与处理对象的宏块对应的预测残差。因此，在从可变长编码解码部201输出的变换系数中含有由运动图像编码装置10将彼此不同的分区中所含的区域进行合并而得到的区域作为对象来对预测残差进行频率变换而生成的变换系数的情况下，预测残差重构部109基于表示对彼此不同的分区中所含的区域进行合并而得到的区域的信息即变换合并信息，频率变换导出部111决定合并完成变换对象区域，并针对由合并完成变换选择信息所示的变换对象区域的每一个应用逆频率变换来生成预测残差。
预测残差重构部109将所生成的预测残差输出到局部解码图像生成部110。
在步骤S228中，局部解码图像生成部110基于从预测残差重构部109输出的预测残差、以及从预测图像生成部103输出的预测图像，来生成局部解码图像。局部解码图像生成部110将所生成的局部解码图像写入到局部解码图像存储部43。另外，局部解码图像生成部110将所生成的局部解码图像输出到图像输出部74。图像输出部74对从局部解码图像生成部110输出的局部解码图像进行结合来生成帧单位的解码图像，并输出到运动图像解码装置20的外部。
在步骤S229中，在处理了所输入的全部编码数据的情况下，结束用于生成解码运动图像的处理，在存在剩余的编码数据的情况下，反复从步骤S221起的循环。关于是否处理了所输入的全部编码数据，例如通过由运动图像编码装置10输出表示编码数据的结束的信号、且由编码数据输入部71检测该数据来判定。
如上所述，根据运动图像解码装置20，能从由运动图像编码装置10生成的编码数据来生成解码运动图像。
此外，如在频率变换决定部105的说明中所述，在运动图像编码装置10不输出变换合并信息的情况下，也能由运动图像解码装置20生成解码运动图像。在该情况下，频率变换导出部111使用由可变长编码解码部201解码的预测参数、由局部解码图像存储部43存储的局部解码图像来生成变换合并信息，并基于所生成的变换合并信息和由可变长编码解码部201解码的变换选择信息来生成合并完成变换选择信息。
图20是表示运动图像编码装置10基于变换对象区域的边界附近的像素值的变化来判定合并的适当与否，且在不输出变换合并信息的情况下，由运动图像解码装置20生成合并完成变换选择信息的处理过程的流程图。同图的处理与图19的步骤S223的处理对应。
在步骤S241中，可变长编码解码部201对变换选择信息进行解码。可变长编码解码部201将解码后的变换选择信息输出到频率变换导出部111。在步骤S242中，频率变换导出部111进行与在图13中说明的由频率变换决定部105生成变换合并信息的处理相同的处理，并生成变换合并信息。在步骤S243中，频率变换导出部111基于所生成的变换合并信息和从可变长编码解码部201输出的变换选择信息，来生成合并完成变换选择信息。其后，结束用于生成合并完成变换选择信息的处理。
此外，在频率变换决定部105通过图13中说明的处理以外的处理来判定合并的适当与否的情况下，在步骤S242中，也由频率变换导出部111进行与频率变换决定部105相同的处理。例如，在频率变换决定部105将变换对象区域r1的参照图像与变换对象区域r2的参照图像相同、且变换对象区域r1的运动矢量mv1与变换对象区域r2的运动矢量my2的大小的差为阈值以下作为条件的情况下，频率变换导出部111也使用相同的条件来生成变换合并信息。
若按以上方式，则即使在运动图像编码装置10不输出变换合并信息的情况下，运动图像解码装置20也能生成变换合并信息，并对运动图像进行解码。由此，能省略变换合并信息的编码数据，减少从运动图像编码装置10输出到运动图像解码装置20的码量。
此外，也可以由运动图像编码装置10生成合并完成变换选择信息并编码后进行输出。运动图像解码装置20能使用由运动图像编码装置10生成的合并完成变换选择信息来对编码数据进行解码。
在此情况下，运动图像编码装置10的频率变换决定部105取代将变换选择信息和变换合并信息输出到可变长编码部，而以与由频率变换导出部111生成合并完成变换选择信息相同的过程来生成合并完成变换选择信息并输出到可变长编码部108。可变长编码部108对从频率变换决定部105输出的合并完成变换选择信息进行编码并作为编码数据进行输出。如此，运动图像解码装置20不需要生成合并完成变换选择信息，因此不需要具备频率变换导出部111，从而能简化装置的构成。
如上所述，运动图像编码装置10决定是否对夹着分区边界而相邻的变换对象区域进行合并，并以一种频率变换来对合并后的变换对象区域进行变换，因此能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
另外，运动图像解码装置20基于由运动图像编码装置10进行合并后的变换对象区域来进行频率逆变换，因此能对由运动图像编码装置10生成的编码数据进行解码来生成解码运动图像。
此外，运动图像编码装置10可以判断包含在同一分区内且彼此相邻的变换对象区域的空间相关性是否高，并对判断为空间相关性高的变换对象区域进行合并。判断包含在同一分区内且彼此相邻的变换对象区域的空间相关性是否高的处理、以及对判断为空间相关性高的变换对象区域进行合并的处理的这些处理，能够通过与在上述的夹着分区边界而相邻的变换对象区域的情况下进行同样的处理。
具体而言，在图13的步骤S163中，通过应用从条件C131中排除了设变换对象区域包含在彼此不同的分区区域中的条件而得到的条件“变换对象区域i以及变换对象区域j彼此相邻。而且，合并了变换对象区域i和变换对象区域j后的区域形成矩形。”，能与包含在相同的分区中还是包含在不同的分区中无关地将彼此相邻的变换对象区域作为对象。通过进行针对包含在同一分区内的变换对象区域的上述判定以及合并，能进一步提高编码效率。
运动图像编码装置10与是否对夹着分区边界而相邻的变换对象区域进行合并无关地，判断包含在同一分区内且彼此相邻的变换对象区域的空间相关性是否高，并对判断为空间相关性高的变换对象区域进行合并。或者，运动图像编码装置10也可以在对夹着分区边界而相邻的变换对象区域进行了合并的情况下，进一步判断包含在同一分区内且彼此相邻的变换对象区域的空间相关性是否高，并对判断为空间相关性高的变换对象区域进行合并。通过与是否对夹着分区边界而相邻的变换对象区域进行合并无关地来进行针对包含在同一分区内的变换对象区域的上述判定以及合并，能进一步提高编码效率。另一方面，在对夹着分区边界而相邻的变换对象区域进行合并的情况下，通过进行针对包含在同一分区内的变换对象区域的上述判定以及合并，能抑制由运动图像编码装置10进行的处理量的增大。
<第2实施方式>
图21是表示本发明的第2实施方式中的运动图像编码装置11的功能块构成的概略的功能块构成图。
在同图中，运动图像编码装置11构成为包含：图像输入部61、编码部52、局部解码图像存储部33和编码数据输出部64。编码部52构成为包含：预测参数决定部(参数结构决定部)102、预测图像生成部103、预测残差生成部106、频率变换决定部(频率变换区域分割部)112、变换系数生成部107、可变长编码部113、预测残差重构部109和局部解码图像生成部110。
在同图中，对于与图2的运动图像编码装置10的各部对应的部分赋予相同的标号(33、61、64、102、103、106、107、109、110)，并省略说明。
运动图像编码装置11在如下点上与图2的运动图像编码装置10不同：不由频率变换决定部112进行针对预测图像的各分区的频率变换选择后的合并处理，而使用涉及预测图像的分区边界的分割图案来进行频率变换的决定。
图22是表示频率变换决定部112使用的分割图案的例子的图。
如同图所示，分割图案是能将宏块分割为横或纵的区域的图案。分割图案表示在宏块内的应用了相同的频率变换的区域。频率变换决定部112与为了运动补偿而分割宏块的分区独立地选择分割图案。
频率变换决定部112使用图22(a)～(g)所示的分割图案。
同图(a)表示在不分割宏块的一分割的情况下的分割图案。同图(b)表示在将宏块分割为横16像素×纵8像素的2个区域的二分割的情况下的分割图案。同图(c)表示在将宏块分割为横8像素×纵16像素的2个区域的二分割的情况下的分割图案。同图(d)表示在将宏块分割为横8像素×纵8像素的4个区域的四分割的情况下的分割图案。同图(e)表示在通过将宏块沿上下按每8个像素进行二分割、且沿左右按4像素、8像素、4像素的顺序进行三分割，来将宏块分割为6个区域的情况下的分割图案。同图(f)表示在通过将宏块沿上下按4像素、8像素、4像素的顺序进行三分割、且沿左右按每8个像素进行二分割，来将宏块分割为6个区域的情况下的分割图案。同图(g)表示在通过将宏块沿上下、左右均按4像素、8像素、4像素的顺序进行三分割，来将宏块分割为9个区域的情况下的分割图案。
进而，频率变换决定部112还可以使用图22(h)～(j)所示的分割图案、或者将这些分割图案向左或向右旋转90度而得到的分割图案或旋转180度而得到的分割图案。
同图(h)表示在通过将宏块沿上下按每8个像素进行分割、且进一步将下方的区域沿左右按每8个像素进行分割，来将宏块分割为3个区域的情况下的分割图案。同图(i)表示在通过将宏块沿上下按每8个像素进行分割、且进一步将下方的区域沿左右按4像素、8像素、4像素的顺序进行三分割，来将宏块分割为4个区域的情况下的分割图案。同图(j)表示在通过将宏块沿上下按每8个像素进行分割、且进一步将上方的区域沿左右按每8个像素进行分割，且进一步将下方的区域沿左右按4像素、8像素、4像素的顺序进行三分割，来将宏块分割为5个区域的情况下的分割图案。
在H.264/AVC中，在对宏块进行了4分割而得到的分区中，选择4×4DCT和8×8DCT中的任意一个。在图22所示的分割图案中，能通过同图(d)的分割图案来对应上述的分区选择以及频率变换的应用。
此外，尽管分割图案不局限于图22所例示的图案，但期望能分割的各区域的像素数在纵横上均为包含在变换预置集当中的任意一种频率变换的尺寸的倍数(以下，也称为“可填充”)。另外，频率变换决定部112可以基于分区结构、预测参数或像素值来动态地生成或变更分割图案的集合。在此情况下，运动图像编码装置10对运动图像解码装置20输出分割图案的集合的信息。
图23是表示由频率变换决定部112决定对处理对象的预测残差的宏块所应用的分割图案以及频率变换的处理过程的流程图。
在步骤S261中，频率变换决定部112开始针对预先所确定的分割图案的集合的各分割图案进行处理的循环。
在步骤S262中，频率变换决定部112开始针对在从步骤S261起的循环中成为处理对象的分割图案P内的每个区域进行处理的循环。
在步骤S263中，频率变换决定部112从变换预置集当中选择对在循环中成为处理对象的区域u所应用的频率变换。具体而言，基于前述式(1)来计算在应用了可充填的各频率变换的情况下的速率失真成本，并将使速率失真成本为最小的频率变换设为对区域u应用的频率变换。
在步骤S264中，若在分割图案P内存在未处理的区域，则反复从步骤S262起的处理的循环。若针对分割图案P内的全部区域完成了处理，则前进到步骤S265。
在步骤S265中，若存在未处理的分割图案，则反复从步骤S261起的处理的循环。在不存在未处理的分割图案的情况下，前进到步骤S266。
在步骤S266中，频率变换决定部112选择对处理中的宏块最合适的分割图案。具体而言，按每个分割图案来合计在步骤S261～步骤S265中所得到的速率失真成本，并选择在宏块内的速率失真成本的合计值为最小的分割图案。
在步骤S267中，频率变换决定部112将在步骤S266中选择出的分割图案以及在分割图案内的区域中所选择出的频率变换的信息作为变换选择信息来输出到变换系数生成部107、预测残差重构部109和可变长编码部113。其后，结束用于决定对处理对象的宏块所应用的频率变换的处理。
如上所述，频率变换决定部112决定在各宏块中应用的、分割图案以及各区域的频率变换。在能选择多种分割图案的情况下，计算量会庞大，但例如通过对在步骤S263中进行的频率变换的结果进行存储，并在其后对相同的区域进行相同的频率变换时进行参照，能削减计算量。
可变长编码部113与运动图像编码装置10的可变长编码部108同样，对宏块内的各分区中的变换系数和预测参数进行可变长编码。另外，可变长编码部113对表示分割图案的索引、以及表示对通过分割图案而分割的预测残差的各区域所应用的频率变换的索引进行编码。
可变长编码部113将所生成的编码数据输出到编码数据输出部64。
接下来，说明运动图像编码装置11的动作。
图24是表示由运动图像编码装置生成编码数据的处理过程的流程图。
步骤S281～步骤S285与图3的步骤S101～步骤S105同样。
在步骤S286中，频率变换决定部112基于从预测参数决定部102输出的预测参数和从预测残差生成部106输出的预测残差，来决定对处理对象的宏块所应用的分割图案和对分割图案内的各区域所应用的频率变换，并生成表示分割图案和对各区域所应用的频率变换的变换选择信息，且输出到变换系数生成部107、可变长编码部113和预测残差重构部109。
在步骤S287中，变换系数生成部107基于由频率变换决定部112决定的分割图案和频率变换，对从预测残差生成部106输出的预测残差进行频率变换来生成变换系数，并输出到可变长编码部108和预测残差重构部109。
在步骤S288中，预测残差重构部109基于由频率变换决定部112决定的分割图案和频率变换，将由变换系数生成部107进行了的频率变换的逆频率变换应用到从变换系数生成部107输出的变换系数，来重构处理对象的宏块的预测残差。预测残差重构部109将重构后的预测残差输出到局部解码图像生成部110。步骤S289与图3的步骤S110同样。
在步骤S290中，可变长编码部113对变换系数、预测参数、分割图案和变换选择信息进行编码来生成编码数据。可变长编码部113与图2的可变长编码部108同样，按每个分区来对变换系数进行编码。可变长编码部113将所生成的编码数据输出到编码数据输出部64。编码数据输出部64将从可变长编码部113输出的编码数据输出到运动图像编码装置11的外部。步骤S291与图3的步骤S112同样。
通过上述的过程，运动图像编码装置11对所输入的运动图像进行编码来生成编码数据，并输出到外部。
此外，也可以通过由频率变换决定部112使用上述的速率失真成本的方法以外的方法来决定分割图案，或者进行组合。例如，频率变换决定部112对于图22(c)那样的垂直的边界线，判定该边界线的左右的区域中的类似度或者运动矢量的类似性或参照图像的索引等。在判定为边界线的左右的区域的类似性高的情况下，频率变换决定部112从候补中排除将宏块沿左右二分的、图22(c)(d)(f)的分割图案。在此，频率变换决定部112与运动图像编码装置10的频率变换决定部105同样，通过对分割图案的左右的像素应用式(2)来进行上述的判定。
接下来，说明本实施方式中的运动图像解码装置。
图25是表示运动图像解码装置21的功能块构成的概略的功能块构成图。
在同图中，运动图像解码装置21构成为包含：编码数据输入部71、解码部82、局部解码图像存储部43和图像输出部74。解码部82构成为包含：可变长编码解码部202、预测图像生成部103、预测残差重构部109、局部解码图像生成部110。
在同图中，对于与图17的各部对应的部分赋予相同的标号(43、71、74、103、109、110)，并省略说明。
可变长编码解码部202对从编码数据输入部71输出的编码数据进行解码，来生成预测参数、分割图案、变换选择信息和变换系数。具体而言，可变长编码解码部202首先根据编码数据，对预测参数以及分割图案进行解码。接下来，可变长编码解码部202利用解码后的分割图案，根据编码数据，对变换选择信息进行解码。然后，可变长编码解码部202从解码后的预测参数读出分区的结构，并根据编码数据来对变换系数进行解码。
可变长编码解码部202将所生成的预测参数、分割图案、变换选择信息和变换系数输出到预测残差重构部109和预测图像生成部103。
图26是表示由运动图像解码装置21生成解码运动图像的处理过程的流程图。
步骤S301～步骤S302与图19的步骤S221～步骤S222同样。
在步骤S303中，可变长编码解码部202根据所输入的编码数据，对于与处理对象的宏块对应的分割图案以及变换选择信息进行解码。可变长编码解码部202将解码后的分割图案以及变换选择信息向预测残差重构部109进行输出。
步骤S304～步骤S305与图19的步骤S225～步骤S226同样。
在步骤S306中，预测残差重构部109将从可变长编码解码部202输出的分割图案以及与由变换选择信息规定的频率变换对应的逆频率变换应用到从可变长编码解码部202输出的变换系数，来重构处理对象的宏块的预测残差。预测残差重构部109将重构后的预测残差输出到局部解码图像生成部110。
步骤S307～步骤S308与图19的步骤S228～步骤S229同样。
通过以上步骤，根据运动图像解码装置21，能从由运动图像编码装置11生成的编码数据来生成解码运动图像。
此外，在第1实施方式中，可以是，运动图像编码装置10不输出变换合并信息而由运动图像解码装置20生成变换合并信息，同样，在本实施方式中，也可以是，运动图像编码装置11不输出表示分割图案的信息而由运动图像解码装置选择分割图案。
图27是表示选择分割图案的运动图像解码装置22的构成的构成图。
在同图中，运动图像解码装置22构成为包含：编码数据输入部71、解码部92、局部解码图像存储部43和图像输出部74。解码部92构成为包含：可变长编码解码部202、预测图像生成部103、预测残差重构部209和局部解码图像生成部110。预测残差重构部209构成为包含分割图案导出部203。
在同图中，对于与图17的各部对应的部分赋予相同的标号(43、71、74、103、110、202)，并省略说明。
分割图案导出部203基于局部解码图像、预测参数，进行与运动图像编码装置11的频率变换决定部112相同的处理来选择分割图案。
预测残差重构部209使用由分割图案导出部203选出的分割图案，与运动图像解码装置21的预测残差重构部109同样地重构处理对象的宏块的预测残差。预测残差重构部209将重构后的预测残差输出到局部解码图像生成部110。
由此，即使在运动图像编码装置11不输出表示分割图案的信息的情况下，运动图像解码装置22也能生成解码运动图像。
如上所述，本实施方式的运动图像编码装置11通过使用分割图案来进行编码，从而在夹着分区边界而相邻的区域包含在分割图案相同的区域中的情况下，能对该区域应用一种频率变换。由此，在分割图案内的区域的空间相关性高的情况下，与按每个分区进行频率变换相比，能提高编码效率。
另外，运动图像解码装置21或运动图像解码装置22能从由运动图像编码装置11生成的编码数据来生成解码运动图像。
<第3实施方式>
图28是表示本发明的第3实施方式中的运动图像编码装置16的构成的构成图。
在同图中，运动图像编码装置16构成为包含：图像输入部61、编码部36、局部解码图像存储部33和编码数据输出部64。编码部36构成为包含：预测参数决定部(分区结构决定部、预测模式决定部)152、预测图像生成部153、预测残差生成部106、频率变换决定部(频率变换区域分割部)155、变换系数生成部107、可变长编码部108、预测残差重构部109和局部解码图像生成部110。
在同图中，对于与图2的各部对应的部分赋予相同的标号(61、106～110、33、64)，并省略说明。
运动图像编码装置16按每个宏块来决定是进行帧间预测还是进行帧内预测，并依照决定来进行处理。帧间预测(运动补偿预测)如上述说明那样，是以下方法：使用与处理对象的宏块所在的帧为不同的帧中所含的宏块的局部解码图像来生成与处理对象的宏块类似的预测图像，由此提高编码效率。另一方面，帧内预测是以下方法：使用与处理对象的宏块所在的帧为同一帧中所含的像素(在处理对象的宏块内生成完成的预测图像的像素、或者与处理对象的宏块相邻的宏块的局部解码图像内的像素)来生成与处理对象的宏块类似的预测图像，由此提高编码效率。在决定为进行帧间预测的情况下，由运动图像编码装置16进行的处理与运动图像编码装置10同样，预测参数决定部152、预测图像生成部153和频率变换决定部155分别与图2的预测参数决定部102、预测图像生成部153和频率变换决定部155同样地动作。针对在决定为进行帧内预测的情况下的运动图像编码装置16的处理，将在以下说明。
预测参数决定部152若从图像输入部61输入宏块单位的图像，则按每个宏块来决定是进行帧间预测还是进行帧内预测。是进行帧间预测还是进行帧内预测的决定能使用公知的方法。例如，预测参数决定部152基于式(1)来计算在进行帧间预测的情况下的速率失真成本和在进行帧内预测的情况下的速率失真成本，并选择速率失真成本小的一方。此外，可以不动态地决定是进行帧间预测还是进行帧内预测而仅在预先所确定的帧或者位置处选择帧内预测。另外，也可以以帧单位来决定是否使用帧内预测。
在决定为进行帧内预测的情况下，预测参数决定部152将分区或子分区(以下，特别在不需要区别分区和子分区的情况下，仅称为分区)的尺寸决定为在图5说明的分区中的、横16像素×纵16像素(图5的分区结构MB1)、横8像素×纵8像素(分区结构MB4)、以及横4像素×纵4像素(分区结构MB4以及子分区结构SMB4)中的任意一种，并按每个根据所决定的分区的尺寸而确定的分区，来决定预测模式。关于预测模式将后述。预测参数决定部152生成用于表示已选择帧内预测、已决定的分区的尺寸、以及对各分区应用的预测模式的预测参数，并输出到预测图像生成部153、频率变换决定部155和可变长编码部108。
预测图像生成部153依照由预测参数决定部152决定的预测模式，使用从局部解码图像存储部33读出的局部解码图像来生成预测图像。预测图像生成部153将所生成的预测图像输出到预测残差生成部106和局部解码图像生成部110。
频率变换决定部155基于从预测参数决定部152输出的预测参数，来决定对从预测残差生成部106输出的预测残差应用的频率变换的变换对象区域，另外，决定是否对变换对象区域进行合并。频率变换决定部155生成用于表示已决定的变换对象区域(频率变换的尺寸)的变换选择信息、以及用于表示要进行合并的变换对象区域的变换合并信息，并输出到变换系数生成部107、预测残差重构部109和可变长编码部108。
图29是表示由预测参数决定部152决定的预测模式的图。预测参数决定部152从与在H.264/AVC中所规定的预测模式同样的预测模式中选择对分区应用的预测模式。预测模式是用于表示根据与分区相邻的像素来生成分区的预测图像的方法的信息。
同图表示在分区的尺寸为横4像素×纵4像素的情况下的预测模式。在同图(a)所示的模式0下，基于与分区的上边相邻的像素来纵向地进行插值，生成分区的预测图像。在同图(b)所示的模式1中，基于与分区的左边相邻的像素来横向地进行插值，生成分区的预测图像。在同图(c)所示的模式2中，使用与分区的左边以及上边相邻的像素值的平均值来进行插值，生成分区的预测图像。在同图(d)所示的模式3中，基于与分区的上边相邻的像素来从右上方向左下方地进行插值，生成分区的预测图像。以下同样地，在同图(e)所示的模式4、同图(f)所示的模式5、同图(g)所示的模式6、同图(h)所示的模式7、以及同图(i)所示的模式8中，如图中箭头所示那样斜向地进行插值，来生成分区的预测图像。
在分区的尺寸为横8像素×纵8像素的情况下，预测参数决定部152也从与上述同样的9个预测模式中选择对分区应用的预测模式。在分区的尺寸为横16像素×纵16像素的情况下，预测参数决定部152从与图29(a)同样地基于与分区的上边相邻的像素来纵向地进行插值的模式、与图29(b)同样地基于与分区的左边相邻的像素来横向地进行插值的模式、与图29(c)同样地使用与分区的左边以及上边相邻的像素值的平均值来进行插值的模式、以及基于与分区的左边以及上边相邻的像素来从右上方向左下方的斜向地进行插值的模式这4个预测模式中，选择对分区应用的预测模式。
预测参数决定部152针对各预测模式，基于式(1)来计算在应用于分区的情况下的速率失真成本，并选择使速率失真成本最小的预测模式。
图30是表示由运动图像编码装置16来生成编码数据的处理过程的流程图。若对图像输入部61输入运动图像，则运动图像编码装置16开始生成编码数据的处理。
步骤S321～S322与图3的步骤S101～S102同样。
在步骤S323中，预测参数决定部152决定是进行帧内预测还是帧间预测。在决定为进行帧内预测的情况下(步骤S323：“是”)，前进到步骤S324，在决定为进行帧间预测的情况下(步骤S323：“否”)，前进到步骤S341。
在步骤S324中，预测参数决定部152与第1实施方式的预测参数决定部102(图2)同样地，按分区的每种尺寸来计算速率失真成本，并选择使速率失真成本最小的分区的尺寸。
进而，预测参数决定部152按每个分区来决定预测模式，并生成表示已选择帧内预测、所决定的分区的尺寸、以及预测模式的预测参数。预测参数决定部152将所生成的预测参数输出到频率变换决定部155、预测图像生成部153以及可变长编码部108。
在步骤S325中，预测图像生成部153依照由预测参数决定部152决定的分区的尺寸和预测模式，来按每个分区生成预测图像。具体而言，预测图像生成部153针对宏块内的各分区，从由局部解码图像存储部33存储的局部解码图像中读出与处理对象的分区相邻的像素的像素值(在进行参照的像素包含在其他的宏块的情况下，)，或者从生成完成的分区的预测图像中读出存储在预测图像生成部153的内部的预测图像(在进行参照的像素包含在相同的宏块的情况下，)，并进行与预测模式相应的插值，来生成分区的预测图像。然后，预测图像生成部153结合宏块内的各分区的预测图像来生成宏块的预测图像。预测图像生成部153将所生成的预测图像(宏块的预测图像)输出到预测残差生成部106和局部解码图像生成部110。
步骤S326与图3的步骤S105同样。
在步骤S327中，频率变换决定部155与图3的步骤S106同样地，按每个分区来选择频率变换。具体而言，频率变换决定部155从与第1实施方式的情况同样的变换预置集当中，选择将分区的尺寸以下的区域作为变换对象区域的频率变换。
此外，在H.264/AVC中，在分区为横4像素×纵4像素、横8像素×纵8像素、横16像素×纵16像素的情况下，分别应用4×4DCT、8×8DCT、4×4DCT，像这样根据分区的尺寸来唯一地决定频率变换。频率变换决定部155也可以与该H.264/AVC同样地决定频率变换。在此情况下，在步骤S324中由预测参数决定部152选择了横16像素×纵16像素的分区的情况下，频率变换决定部155在步骤S327中选择4×4DCT作为频率变换，并在下面所述的步骤S328中进行对象区域的合并。
另外，与第1实施方式的情况同样，由运动图像编码装置16使用的频率变换不局限于在H.264/AVC中所使用的频率变换。另外，宏块的尺寸也不局限于横16像素×纵16像素。
进而，分区的尺寸也可以使用除了上述的横4像素×纵4像素、横8像素×纵8像素、横16像素×纵16像素以外的尺寸。
在步骤S328中，频率变换决定部155与图3的步骤S107同样地，生成用于表示对彼此相邻的变换对象区域进行了合并而得到的区域的变换合并信息。频率变换决定部155与第1实施方式的频率变换决定部105同样地，基于预测图像内的彼此相邻的像素的像素值的类似性，来判断这些变换对象区域的空间相关性是否高，并决定是否对这些变换对象区域进行合并。
在此，频率变换决定部155与彼此相邻的变换对象区域是包含在相同的分区中还是包含在不同的分区中无关地，来决定是否对彼此相邻的变换对象区域进行合并。具体而言，与在第1实施方式中说明的同样，频率变换决定部155应用从前述的条件C131中排除了设变换对象区域包含在彼此不同的分区区域中的条件而得到的条件“变换对象区域i以及变换对象区域j彼此相邻，而且，对变换对象区域i和变换对象区域j进行了合并而得到的区域形成矩形”。
此外，与第1实施方式的情况同样，频率变换决定部155也可以使用条件C131，仅将彼此不同的分区中所含的变换对象区域作为对象，来决定是否要进行合并。
此外，频率变换决定部155也可以使用上述以外的方法来决定是否对变换对象区域进行合并。例如，频率变换决定部155也可以将彼此相邻的变换对象区域的预测模式是否相同、或者预测模式与特定的预测模式是否相同即如图29所示那样的预测模式的种类中的任一种是否与特定的预测模式相同、或者预测模式所示的插值方向是否彼此相同或类似、或者一方的变换对象区域是否参照了另一方的变换对象区域的像素、或者对它们进行了组合而得到的基准作为表示空间相关性的指标，并基于表示该空间相关性的指标来决定进行合并的区域。
步骤S329～S333与图3的步骤S108～S112同样。
步骤S341～S349是在由运动图像编码装置16进行帧间预测的情况下的处理。在步骤S341中，预测参数决定部152生成包含表示选择了帧间预测的信息在内的预测参数。除此之外，步骤S341～S349与图3的步骤S103～S111同样。在步骤S349之后，前进到步骤S333。
此外，在频率变换决定部155基于预测图像内的彼此相邻的像素的像素值来决定是否对变换对象区域进行合并的情况下，与第1实施方式的情况不同，运动图像编码装置16不能省略变换合并信息的输出。这是由于，在帧内预测中，预测图像的生成方法与帧间预测的情况不同，如后所述，为了由运动图像解码装置来生成预测图像，需要已经对变换系数进行逆频率变换，因此在频率变换决定部155决定对处理对象的宏块应用的频率变换的时间点还未生成预测图像，从而将不能基于预测图像来估计由运动图像编码装置16进行了的变换对象区域的合并。
另一方面，在频率变换决定部155基于预测模式来决定是否对变换对象区域进行合并的情况下，运动图像解码装置也能使用表示从运动图像编码装置16输出的预测模式的信息来进行与运动图像编码装置16同样的判定，并估计合并后的变换对象区域，因此运动图像编码装置16可以不输出变换合并信息。
此外，在H.264/AVC中，不是按每个宏块而是按每个分区来对预测残差进行频率变换以及逆频率变换，并生成每个分区的局部解码图像，由此来补偿了预测误差。由此，在生成同一宏块内的其他的分区的预测图像时，通过使用补偿了预测误差的局部解码图像，能谋求编码效率的提高。与此相对，在运动图像编码装置16中，在频率变换决定部155对变换对象区域进行了合并后，变换系数生成部107按每个宏块进行频率变换。故而，预测图像生成部153，如在上述的步骤S325中说明的那样，使用未补偿预测误差的图像来生成预测图像。然而，在以下的情况下，预测误差不易成为大的问题。
例如，在要生成宏块的左上端的分区的预测图像等情况下，在帧内预测中所进行参照的像素属于相邻宏块的情况下，参照由局部解码图像存储部33存储的频率变换以及逆频率变换完成的局部解码图像，因此不会产生上述的预测误差的问题。另外，在使用与由变换系数生成部107进行的频率变换可逆的变换的情况下，预测误差也不成问题。另外，如图29(c)所示的模式2那样，在使用基于分区的上边或左边的参照像素的平均值来生成预测图像的直流分量预测模式(DC预测模式)的情况下，也通过取平均值来减轻预测误差的影响，预测误差难成问题。另外，在变换系数生成部107对变换系数进行量化的情况下，若量化宽度小，则基于量化的预测误差的扩大较小，预测误差难成问题。
此外，为了减轻预测误差，在预测图像生成部153使用存储于内部的未进行预测误差补偿的预测图像时，可以执行滤波。在此情况下，运动图像解码装置也在生成预测图像时执行同样的滤波。例如，通过执行平滑化滤波，能减轻突出的预测误差。此外，在为直流分量预测模式的情况下，如上述那样误差难成问题，因此预测残差生成部106可以执行比其他的模式的情况下更弱的滤波、或者不执行滤波。另外，在量化宽度小的情况下，预测残差生成部106可以执行弱的滤波、或者也可以不执行滤波。
此外，运动图像编码装置16可以仅对相同的分区中所含的多个变换对象区域进行合并。在此情况下，与在H.264/AVC中所规定的帧内预测同样，能对每个分区的预测残差进行频率变换以及逆频率变换，来生成每个分区的局部解码图像。由此，能与H.264/AVC的情况同样，谋求编码效率的提高。
此外，在H.264/AVC中所规定的帧内预测中，存在以下情况：在对预测残差进行了频率变换后，为了去除变换系数的直流(DC)分量的冗余性，进一步进行阿达玛变换。与此相对，在运动图像编码装置16中，通过由变换系数生成部107对合并后的变换对象区域进行频率变换，来将彼此相邻的区域的空间相关性反映于变换系数，因此不需要进一步对变换系数进行阿达玛变换，从而将不会造成因进行阿达玛变换而带来的处理量的增大。
接下来，说明对于由运动图像编码装置16所编码的编码数据进行解码来生成解码运动图像的运动图像解码装置26。
图31是表示运动图像解码装置26的功能块构成的概略的功能块构成图。
在同图中，运动图像解码装置26构成为包含：编码数据输入部71、解码部46、局部解码图像存储部43和图像输出部74。解码部46构成为包含：可变长编码解码部(可逆码解码部)201、预测图像生成部163、频率变换导出部(变换对象区域决定部)111、预测残差重构部109和局部解码图像生成部170。
在同图中，对与图17的各部对应的部分赋予相同的标号(43、71、74、201、111、109)，并省略说明。
预测图像生成部163使用从可变长编码解码部201输出的分区的尺寸的信息和预测模式的信息，基于从局部解码图像存储部43读出的相邻的宏块的像素值、或从局部解码图像生成部170输出的、在同一宏块内处理完成的分区的局部解码图像，来按每个分区生成预测图像，并输出到局部解码图像生成部170。
局部解码图像生成部170基于从预测图像生成部163输出的分区的预测图像、以及从预测残差重构部109输出的预测残差，来生成分区的局部解码图像。具体而言，局部解码图像生成部170对分区的预测图像的各像素叠加预测残差中对应的像素来生成分区的局部解码图像。局部解码图像生成部170将所生成的分区的局部解码图像输出到预测图像生成部163。由此，预测图像生成部163在生成同一宏块内的其他的分区的预测图像时，能参照从局部解码图像生成部170输出的图像。
另外，局部解码图像生成部170结合分区的局部解码图像，来生成(宏块单位的)局部解码图像，并将所生成的局部解码图像输出到局部解码图像存储部43和图像输出部74。
图32是表示由运动图像解码装置26生成解码运动图像的处理过程的流程图。若从外部依次对运动图像解码装置26输入宏块单位的编码数据，则开始按每个宏块对所输入的编码数据进行处理的同图的处理。
步骤S381～S385与图19的步骤S221～S225同样。步骤S386与图19的步骤S227同样。在帧内预测中，使用在步骤S386中由预测残差重构部109生成的预测残差，由局部解码图像生成部170按每个分区生成局部解码图像，并使用所生成的每个分区的局部解码图像，由预测图像生成部163按每个分区来生成预测图像，因此与图19的情况不同，运动图像解码装置26在生成预测图像前，对变换系数进行逆频率变换。
在步骤S387中，预测图像生成部163从由可变长编码解码部201输出的预测参数中读出用于表示运动图像编码装置16是进行了帧内预测还是进行了帧间预测的信息。在所读出的信息表示进行了帧内预测的情况下(步骤S387：“是”)，前进到步骤S388，在表示进行了帧间预测的情况下(步骤S387：“否”)，前进到步骤S390。
在步骤S388中，预测图像生成部163生成预测图像。具体而言，如上所述，按每个分区来生成预测图像并输出到局部解码图像生成部170。局部解码图像生成部170基于从预测图像生成部163输出的每个分区的预测图像和从预测残差生成部109输出的预测残差，生成分区的局部解码图像并输出到预测图像生成部163。
在步骤S389中，局部解码图像生成部170如上所述，结合分区的局部解码图像来生成(宏块单位的)局部解码图像，并输出到局部解码图像存储部43和图像输出部74。其后，前进到步骤S392。
步骤S390与图19的步骤S226同样。步骤S391～S392与图19的步骤S228～S229同样。
此外，如上所述，运动图像编码装置16基于预测模式来决定是否对变换对象区域进行合并，而且，在不输出变换合并信息的情况下，与在第1实施方式的图20中说明的同样，运动图像解码装置26的频率变换导出部111进行与由运动图像编码装置16的频率变换决定部165生成变换合并信息的处理相同的处理，来生成变换合并信息。由此，即使在不从运动图像编码装置16输出变换合并信息的情况下，运动图像解码装置26也能生成解码运动图像。
如上所述，运动图像编码装置16在进行帧内预测时，也决定是否对相邻的变换对象区域进行合并，并通过一次频率变换来对合并后的变换对象区域进行变换，因此能在夹着分区边界而相邻的多个区域具有高的空间相关性的情况下提高编码效率。
另外，运动图像解码装置26基于由运动图像编码装置16合并后的变换对象区域来进行频率逆变换，因此能对由运动图像编码装置16生成的编码数据进行解码来生成解码运动图像。
此外，与第2实施方式的运动图像编码装置11同样，运动图像编码装置16的频率变换决定部155可以不进行针对预测图像的各分区的频率变换选择后的合并处理而使用涉及预测图像的分区边界的分割图案来执行频率变换的决定。具体而言，频率变换决定部155依照图23的流程图所示的过程来选择分割图案。然后，运动图像编码装置16对表示分割图案的索引、预测参数(表示分区的尺寸以及预测模式的信息)、变换选择信息和变换系数进行编码并输出，运动图像解码装置26对这些数据进行解码。运动图像解码装置26的预测残差重构部109依照解码后的分割图案以及变换选择信息，对变换系数进行逆频率变换，来重构预测残差。此外，运动图像解码装置26由于从运动图像编码装置16接收分割图案，因此不进行合并完成变换选择信息的生成。因此，运动图像解码装置26不需要具备频率变换导出部111。
该情况也与第2实施方式的情况同样，在依照分割图案而决定的各变换对象区域的空间相关性高的情况下，与按每个分区进行频率变换相比，运动图像编码装置16能提高编码效率。另外，运动图像解码装置21或运动图像解码装置22能根据由运动图像编码装置11生成的编码数据来生成解码运动图像。
此外，也可以通过将用于实现运动图像编码装置10、11、16或运动图像解码装置20、21、22、26的全部或者一部分的功能的程序记录于计算机可读取的记录介质中，并使计算机***读入并执行记录于该记录介质中的程序，来进行各部的处理。此外，设在此所谓的“计算机***”包含OS和周边设备等的硬件。
另外，若是利用了WWW***的情况，设“计算机***”还包含主页提供环境(或者显示环境)。
另外，“计算机可读取的记录介质”指的是软盘、光磁盘、ROM、CD-ROM等的可移动介质、以及内置于计算机***的硬盘等的存储装置。进而，“计算机可读取的记录介质”还包括诸如在通过互联网等网络或电话线路等通信线路来发送程序的情况下的通信线路那样的短时间、动态地保持程序的记录介质、以及成为该情况下的服务器或客户端的计算机***内部的易失性存储器那样的将程序保持一定时间的记录介质。另外，上述程序既可以是用于实现前述功能的一部分的程序，也可以是能够通过与计算机***上已记录的程序的组合来实现前述的功能的程序。
以上，尽管参照附图详述了本发明的实施方式，但具体的构成不限于该实施方式，还包含在不脱离本发明的主旨的范围的设计变更等。
工业实用性
本发明优选应用于运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法、运动图像解码方法。例如，在进行运动图像的收发的情况下或者进行运动图像的保存以及重放的情况下能适用。
标号说明
1 运动图像编码/解码***
10、11、16 运动图像编码装置
20、21、22、26 运动图像解码装置
61 图像输入部
32、36、52 编码部
33、43 局部解码图像存储部
64 编码数据输出部
71 编码数据输入部
42、46、82、92 解码部
74 图像输出部
102、152 预测参数决定部
103、153、163 预测图像生成部
105、112、155 频率变换决定部
106 预测残差生成部
107 变换系数生成部
108、113 可变长编码部
109 预测残差重构部
110，170 局部解码图像生成部
111 频率变换导出部
201、202 可变长编码解码部
203 分割图案导出部

Claims (8)

1.一种运动图像编码装置，其特征在于，具备：
图像输入部，其将输入运动图像的帧分割为宏块单位；
分区结构决定部，其将所述宏块进一步分割为分区；
局部解码图像存储部，其存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；
预测图像生成部，其从由所述局部解码图像存储部存储的局部解码图像中按每个所述分区来选择参照图像，并基于所选择的参照图像来生成预测图像；
预测残差生成部，其生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分；
频率变换区域分割部，其将所述宏块分割为变换对象区域，所述变换对象区域中含有变换对象区域是跨所述分区的区域；
变换系数生成部，其对于由所述频率变换区域分割部分割的变换对象区域的每一个的预测残差，应用频率变换来生成变换系数；和
编码数据输出部，其输出对所述变换系数进行可变长编码而得到的编码数据，
所述频率变换区域分割部按照由所述分区结构决定部分割出的一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。
2.根据权利要求1所述的运动图像编码装置，其特征在于，
在由所述分区结构决定部分割出的分区中，包括由彼此不同的尺寸构成的分区。
3.根据权利要求2所述的运动图像编码装置，其特征在于，
所述频率变换区域分割部生成用于表示变换对象区域的构成以及对各变换对象区域应用的频率变换的合并完成变换选择信息，所述变换对象区域的构成表示跨由所述分区结构决定部分割出的分区的变换对象区域，
所述编码数据输出部将所述合并完成变换选择信息包含在所述编码数据中进行输出。
4.一种运动图像解码装置，其特征在于，具备：
可变长码解码部，其针对对运动图像进行编码而得到的编码数据，进行可变长码的解码以及向宏块的分割；
局部解码图像生成部，其按分割所述宏块而得到的变换对象区域的每一个来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中含有变换对象区域是跨分区的变换对象区域；
局部解码图像存储部，其存储局部解码图像，该局部解码图像是以宏块单位对所述编码数据进行解码而得到的图像；
预测图像生成部，其按照对所述宏块进一步分割而得到的每一个分区，从由所述局部解码图像存储部存储的所述局部解码图像中选择参照图像，并基于所选择的参照图像来生成预测图像；
预测残差重构部，其对每个所述变换对象区域，应用与该变换对象区域相应的逆频率变换来生成预测残差；和
运动图像输出部，其结合所述局部解码图像来生成运动图像并输出，所述局部解码图像是按每个像素来叠加所述预测图像和所述预测残差而生成的，
所述局部解码图像生成部按照一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。
5.根据权利要求4所述的运动图像解码装置，其特征在于，
在所述编码数据中含有表示跨所述分区的变换对象区域的变换合并信息，
所述运动图像解码装置还具备：变换对象区域决定部，其基于所述变换合并信息来决定所述变换对象区域。
6.根据权利要求5所述的运动图像解码装置，其特征在于，
在所述编码数据中含有合并完成变换选择信息，该合并完成变换选择信息表示由生成了所述编码数据的运动图像编码装置应用了频率变换的变换对象区域在宏块内的构成，
所述预测残差重构部针对所述合并完成变换选择信息所示的变换对象区域的每一个，应用逆频率变换来生成所述预测残差。
7.一种运动图像编码方法，其特征在于，包括：
图像输入步骤，由运动图像编码装置将输入运动图像的帧分割为宏块单位；
分区结构决定步骤，由所述运动图像编码装置将所述宏块进一步分割为分区；
局部解码图像存储步骤，存储局部解码图像，该局部解码图像是已生成变换系数的所述宏块的解码图像；
预测图像生成步骤，从由所述局部解码图像存储步骤存储的局部解码图像中按每个所述分区来选择参照图像，并基于所选择的参照图像来生成预测图像；
预测残差生成步骤，生成预测残差，该预测残差是所述预测图像与所述宏块的各像素值的差分；
频率变换区域分割步骤，由所述运动图像编码装置将所述宏块分割为变换对象区域，所述变换对象区域包含变换对象区域是跨所述分区的区域；
变换系数生成步骤，由所述运动图像编码装置对通过所述频率变换区域分割步骤而分割的变换对象区域的每一个的预测残差，应用频率变换来生成变换系数；和
编码数据输出步骤，由所述运动图像编码装置输出对所述变换系数进行可变长编码而得到的编码数据，
在所述频率变换区域分割步骤中，按照由所述分区结构决定步骤分割出的一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。
8.一种运动图像解码方法，其特征在于，包括：
可变长解码步骤，由运动图像解码装置针对对运动图像进行编码而得到的编码数据来进行可变长码的解码以及向宏块的分割；
局部解码图像生成步骤，由所述运动图像解码装置按分割所述宏块而得到的变换对象区域的每一个，来生成应用了与该变换对象区域相应的逆频率变换的局部解码图像，其中，所述变换对象区域中包含变换对象区域是跨分区的变换对象区域；
局部解码图像存储步骤，存储局部解码图像，该局部解码图像是以宏块单位对所述编码数据进行解码而得到的图像；
预测图像生成步骤，按照对所述宏块进一步分割而得到的每一个分区，从由所述局部解码图像存储步骤存储的所述局部解码图像中选择参照图像，并基于所选择的参照图像来生成预测图像；
预测残差重构步骤，对每个所述变换对象区域，应用与该变换对象区域相应的逆频率变换来生成预测残差；和
运动图像输出步骤，结合所述局部解码图像来生成运动图像并输出，所述局部解码图像是按每个像素来叠加所述预测图像和所述预测残差而生成的，
在所述局部解码图像生成步骤中，按照一个分区的一部分与一个变换对象区域的一部分重叠、和所述一个分区相邻的分区的一部分与所述一个变换对象区域的其他部分重叠的方式，对所述一个变换对象区域进行分割。
CN201510087499.9A 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法 Active CN104601997B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009241904 2009-10-20
JP2009-241904 2009-10-20
JP2009-259856 2009-11-13
JP2009259856 2009-11-13
CN201080046815.3A CN102577393B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080046815.3A Division CN102577393B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法

Publications (2)

Publication Number Publication Date
CN104601997A true CN104601997A (zh) 2015-05-06
CN104601997B CN104601997B (zh) 2018-11-09

Family

ID=43900343

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201080046815.3A Active CN102577393B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法
CN201510087579.4A Active CN104618720B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN201510087325.2A Active CN104601996B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN201510087064.4A Active CN104618719B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN201510087499.9A Active CN104601997B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201080046815.3A Active CN102577393B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法
CN201510087579.4A Active CN104618720B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN201510087325.2A Active CN104601996B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN201510087064.4A Active CN104618719B (zh) 2009-10-20 2010-10-20 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法

Country Status (10)

Country Link
US (3) US20120213278A1 (zh)
EP (1) EP2493198B1 (zh)
JP (5) JP5562346B2 (zh)
CN (5) CN102577393B (zh)
BR (1) BR112012009142B1 (zh)
EA (5) EA201691820A1 (zh)
HK (4) HK1210341A1 (zh)
MX (1) MX2012004501A (zh)
MY (2) MY189368A (zh)
WO (1) WO2011049119A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577393B (zh) * 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法
KR20110090781A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
CA3208227A1 (en) 2011-06-24 2012-12-27 Mitsubishi Electric Corporation Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
CN102710938A (zh) * 2012-05-08 2012-10-03 东莞中山大学研究院 一种基于非均匀dct的视频处理方法及其装置
JP5969408B2 (ja) * 2013-01-31 2016-08-17 Kddi株式会社 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
JP2016106444A (ja) * 2013-03-26 2016-06-16 パナソニック株式会社 動画像符号化装置および動画像符号化方法
WO2015118835A1 (ja) * 2014-02-10 2015-08-13 日本電気株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
WO2016129872A1 (ko) * 2015-02-12 2016-08-18 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10382792B2 (en) * 2015-02-13 2019-08-13 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
KR20180079314A (ko) 2015-09-29 2018-07-10 엘지전자 주식회사 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US10715802B2 (en) 2015-09-29 2020-07-14 Lg Electronics Inc. Method for encoding/decoding video signal by using single optimized graph
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
CN114222137A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 构成预测运动矢量列表的方法
WO2018008678A1 (ja) * 2016-07-08 2018-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN114531592A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
KR102416804B1 (ko) * 2016-10-14 2022-07-05 세종대학교산학협력단 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
CA3059740A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
JP7224280B2 (ja) * 2017-07-17 2023-02-17 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
CN110490213B (zh) * 2017-09-11 2021-10-29 腾讯科技（深圳）有限公司 图像识别方法、装置及存储介质
US10504462B2 (en) * 2018-01-25 2019-12-10 Qualcomm Incorporated Non-linear processing of two-dimensional data
CN112119633B (zh) * 2018-04-30 2024-01-02 交互数字Vc控股公司 多种变换的灵活实现

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035477A1 (en) * 1997-04-24 2003-02-20 Shunichi Sekiguchi Method and apparatus for region-based moving image encoding and decoding
US20030112870A1 (en) * 2001-12-19 2003-06-19 Hideki Fukuda Encoder and decoder
JP2003319394A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
CN101273641A (zh) * 2005-09-26 2008-09-24 三菱电机株式会社 运动图像编码装置以及运动图像译码装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09505188A (ja) * 1993-11-15 1997-05-20 ナショナル・セミコンダクター・コーポレイション ４分木構造ｗａｌｓｈ変換符号化
US5920359A (en) * 1997-05-19 1999-07-06 International Business Machines Corporation Video encoding method, system and computer program product for optimizing center of picture quality
US5887084A (en) * 1997-11-07 1999-03-23 Polaroid Corporation Structuring a digital image into a DCT pyramid image representation
US6489995B1 (en) * 1998-10-22 2002-12-03 Sony Corporation Method and apparatus for motion vector concealment
US6222883B1 (en) * 1999-01-28 2001-04-24 International Business Machines Corporation Video encoding motion estimation employing partitioned and reassembled search window
JP2000270329A (ja) * 1999-03-17 2000-09-29 Sanyo Electric Co Ltd オブジェクト指向符号化における領域分割方法および領域分割装置
JP3964391B2 (ja) * 2001-06-29 2007-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
JP2003250161A (ja) * 2001-12-19 2003-09-05 Matsushita Electric Ind Co Ltd 符号化装置及び復号化装置
US7027515B2 (en) * 2002-10-15 2006-04-11 Red Rock Semiconductor Ltd. Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US20050259734A1 (en) * 2004-05-21 2005-11-24 Timothy Hellman Motion vector generator for macroblock adaptive field/frame coded video data
JP2006140758A (ja) * 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
JP2006148615A (ja) * 2004-11-22 2006-06-08 Hitachi Ltd 復号化装置および符号化方法をコンピュータに実行させるためのプログラム
JP2006246351A (ja) * 2005-03-07 2006-09-14 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7961783B2 (en) * 2005-07-07 2011-06-14 Mediatek Incorporation Methods and systems for rate control in video encoder
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR100718135B1 (ko) * 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
KR100647192B1 (ko) * 2005-09-01 2006-11-23 삼성전자주식회사 데이터의 복원 시간을 단축하는 데이터 압축 장치 및 그방법
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock
JP2007325027A (ja) * 2006-06-01 2007-12-13 Oki Electric Ind Co Ltd 画像分割方法、画像分割装置、および画像分割プログラム
US7949054B2 (en) * 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
CN101502124B (zh) * 2006-07-28 2011-02-23 株式会社东芝 图像编码和解码的方法以及装置
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
US8879001B2 (en) * 2006-12-28 2014-11-04 Thomson Licensing Detecting block artifacts in coded images and video
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8295633B2 (en) * 2007-04-04 2012-10-23 Samsung Electronics Co., Ltd. System and method for an adaptive de-blocking filter after decoding of compressed digital video
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
JP2009055236A (ja) * 2007-08-24 2009-03-12 Canon Inc 映像符号化装置及び方法
JP5286805B2 (ja) * 2008-01-31 2013-09-11 沖電気工業株式会社 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法
JP5130983B2 (ja) 2008-03-25 2013-01-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2009241904A (ja) 2008-03-31 2009-10-22 Mitsubishi Fuso Truck & Bus Corp ２階建てバス
JP2009259856A (ja) 2008-04-11 2009-11-05 Sumitomo Metal Mining Co Ltd フィルムキャリアテープの製造方法および無電解スズめっき装置
KR101215682B1 (ko) * 2008-08-12 2013-01-09 노키아 코포레이션 공간적으로 가변하는 변환을 이용하는 비디오 코딩 장치, 방법 및 컴퓨터 판독가능 저장 매체
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8411754B2 (en) * 2008-11-10 2013-04-02 Activevideo Networks, Inc. System, method, and computer program product for translating an element of a static encoded image in the encoded domain
KR101690291B1 (ko) * 2009-02-05 2016-12-27 톰슨 라이센싱 적응형 모드 비디오 인코딩 및 디코딩 방법 및 장치
US20100232511A1 (en) * 2009-03-12 2010-09-16 Himax Media Soltuions, Inc. Motion compensator, motion compensating method, and motion-compensated video decoder implementing the same
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN102577393B (zh) * 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035477A1 (en) * 1997-04-24 2003-02-20 Shunichi Sekiguchi Method and apparatus for region-based moving image encoding and decoding
US20030112870A1 (en) * 2001-12-19 2003-06-19 Hideki Fukuda Encoder and decoder
JP2003319394A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
CN101273641A (zh) * 2005-09-26 2008-09-24 三菱电机株式会社 运动图像编码装置以及运动图像译码装置

Also Published As

Publication number Publication date
EA027182B1 (ru) 2017-06-30
HK1210340A1 (zh) 2016-04-15
JP5873528B2 (ja) 2016-03-01
MY157320A (en) 2016-05-31
JP6097415B2 (ja) 2017-03-15
CN104618720B (zh) 2018-11-13
CN102577393A (zh) 2012-07-11
MY189368A (en) 2022-02-08
WO2011049119A1 (ja) 2011-04-28
EA201691821A1 (ru) 2017-05-31
MX2012004501A (es) 2012-06-08
CN104601996A (zh) 2015-05-06
JP2016086438A (ja) 2016-05-19
JPWO2011049119A1 (ja) 2013-03-14
US20120213278A1 (en) 2012-08-23
US11070802B2 (en) 2021-07-20
EA201691819A1 (ru) 2017-05-31
CN104618719A (zh) 2015-05-13
EA201270474A1 (ru) 2012-11-30
EP2493198A4 (en) 2016-03-30
CN104618720A (zh) 2015-05-13
JP2017112639A (ja) 2017-06-22
JP2018101996A (ja) 2018-06-28
CN102577393B (zh) 2015-03-25
HK1210348A1 (zh) 2016-04-15
JP5562346B2 (ja) 2014-07-30
CN104601996B (zh) 2018-04-10
JP2014195324A (ja) 2014-10-09
EP2493198B1 (en) 2019-04-17
US20200099929A1 (en) 2020-03-26
CN104618719B (zh) 2018-11-09
BR112012009142B1 (pt) 2021-10-19
BR112012009142A2 (pt) 2016-08-30
EA201691822A1 (ru) 2017-05-31
JP6454801B2 (ja) 2019-01-16
HK1210349A1 (zh) 2016-04-15
CN104601997B (zh) 2018-11-09
US20210314568A1 (en) 2021-10-07
EA037919B1 (ru) 2021-06-07
EP2493198A1 (en) 2012-08-29
HK1210341A1 (zh) 2016-04-15
EA201691820A1 (ru) 2017-05-31

Similar Documents

Publication Publication Date Title
CN102577393B (zh) 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法
CN103024382B (zh) 动态图像编码装置、方法以及动态图像解码装置、方法
CN102763416B (zh) 运动图像编码装置以及运动图像编码方法
CN100499818C (zh) 运动图像压缩编码方法和运动图像压缩编码装置
CN103931190B (zh) 编码设备、编码方法、解码设备和解码方法
RU2526764C2 (ru) Устройство, способ и программа для прогнозирующего кодирования изображений, устройство, способ и программа для прогнозирующего декодирования изображений и система и способ кодирования/декодирования
JP2023179682A (ja) 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
KR20200128586A (ko) 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
KR101500781B1 (ko) 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
CN101796847A (zh) 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序以及集成电路
CN104427335A (zh) 视频编码的变换方法及装置
CN110178371A (zh) 影像编码/解码方法及装置
AU2015230828B2 (en) Method and apparatus for performing interpolation based on transform and inverse transform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1210341

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant