CN102577131A - 编码方法、解码方法、编码装置及解码装置 - Google Patents

Abstract

有关本发明的编码方法包括通过对输入信号进行变换而生成变换输出信号的变换步骤(S110)、通过对变换输出信号进行量化而生成量化系数的量化步骤(S120)、和通过对量化系数进行熵编码而生成编码信号的熵编码步骤(S130)；变换步骤(S110)包括通过使用第1变换系数对输入信号进行第1变换而生成第1变换输出信号的第1变换步骤(S112)、和通过对作为第1变换输出信号的一部分的第1部分信号使用第2变换系数进行第2变换从而生成第2变换输出信号的第2变换步骤(S116)；在熵编码步骤(S130)中，计算包含在第2变换系数或第2逆变换系数中的元素与规定值之间的差，通过对计算出的差进行压缩编码，将第2变换系数或第2逆变换系数压缩编码。

Description

编码方法、解码方法、编码装置及解码装置

技术领域

本发明涉及将音频、静止图像、及运动图像编码的编码方法，特别涉及包括将输入信号从时空域向频率域变换的变换处理的编码方法。

背景技术

为了将声音数据及运动图像数据压缩，开发了多个声音编码规格、运动图像编码规格。作为运动图像编码规格的例子，可以举出称作H.26x的ITU-T规格及称作MPEG-x的ISO/IEC规格。最新的运动图像编码规格是称作H.264/MPEG-4AVC的规格。

图1是表示以往的编码装置900的结构的框图。如图1所示，编码装置900具备变换部910、量化部120、和熵编码部930，将声音数据及运动图像数据以低比特率编码。

变换部910通过将作为各种数据的输入信号、或者对输入信号施加了某些处理的变换输入信号从时空域向频率域变换，生成降低了相关性的变换输出信号。将所生成的变换输出信号向量化部120输出。

量化部120通过将从变换部910输出的变换输出信号量化，生成总数据量的较少的量化系数。将所生成的量化系数向熵编码部930输出。

熵编码部930通过将从量化部120输出的量化系数使用熵编码算法编码，生成将其余的数据压缩的编码信号。将所生成的编码信号例如记录到记录介质中，或者经由网络向解码装置等发送。

以下，对变换部910进行的变换处理详细地说明。

在变换部910中，将作为变换对象信号(即变换输入信号)的n元矢量(n维信号)作为变换输入(Transform Input)矢量xⁿ输入。变换部910对变换输入矢量xⁿ进行规定的变换处理(变换T)，作为变换输出信号，输出变换输出(Transform Output)矢量yⁿ(参照式1)。

[数式1]

(式1)yⁿ＝T[xⁿ]

在变换T是线性变换的情况下，如式2所示，变换T可以表现为作为n×n的正方矩阵的变换矩阵(Transform Matrix)A与变换输入矢量xⁿ的矩阵积。另外，式3是用来将变换输出矢量yⁿ使用作为变换矩阵A的各元素的变换系数a_ik按照每个元素y_i计算的式子，由式1和式2导出。

[数式2]

(式2)T[xⁿ]＝Axⁿ

[数式3]

(式3) $y_i=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ik}}{x}_k$

变换矩阵A设计为，使其将输入信号的相关性降低、使得能量向变换输出矢量yⁿ的元素中的具有较小的n的元素(所谓的低频带侧)集中。在变换矩阵A的设计中，已知有KLT(Karhunen Loeve Transform：卡洛变换)的变换系数导出方法、或变换方法。

KLT是基于输入信号的统计性质导出最优的变换系数的方法、或者使用导出的最优的变换系数的变换方法。KLT作为能够完全消除输入信号的相关性、能够最高效率地将能量向低频带集中的技术是周知的。

即，KLT是理想的变换处理，能够以良好的编码效率将通过KLT变换后的编码对象信号编码。

发明概要

发明要解决的课题

但是，在上述以往技术所示的KLT中，有运算量较大、并且作为在变换中使用的系数的变换矩阵的数据量较多的问题。具体而言，是以下这样的。

如图2所示，在蝶形结构等的高速算法存在的DCT(Discrete CosineTransform：离散余弦变换)中，输入信号的维数(以下也记作输入元数)为M的情况下的乘法次数是M×Log₂(M)。相对于此，在KLT中，乘法次数为M×M。例如，DCT的乘法次数在输入元数为4元的情况下是8次，在输入元数为8元的情况下是24次。相对于此，KLT的乘法次数例如在输入元数为4元的情况下是16次(与DCT相比是2倍)、8元的情况下是64次(与DCT相比是2.6倍)、16元的情况下与DCT相比是4.0倍。由于变换尺寸越大则KLT的运算量的增加趋势越显著，所以KLT与DCT相比有运算量变大的问题。

此外，在KLT中，基于包括输入信号矢量xⁿ的集合S_A的统计性质导出变换矩阵A。使用变换矩阵A的变换能够对包含在集合S_A中的输入信号矢量xⁿ进行最优的无相关化和向低频带的能量压缩。但是，在输入了包含在具有与在设计时设想的集合S_A不同的统计的特性的集合S_B中的输入信号矢量的情况下，使用变换矩阵A的变换结果不为最优。相反，如果总是求出最优、每当输入的统计性质的稍稍变化都生成变换系数，则变换系数的数据量变得庞大。

如以上这样，在KLT中，有运算量较大、并且变换系数的数据量较多的问题，所以在以往的编码时难以使用KLT。

发明内容

所以，本发明是为了解决上述问题而做出的，目的是提供一种能够抑制运算量的增加、及变换系数的数据量的增加、提高编码效率的编码方法及编码装置。进而，本发明的目的是提供一种能够将通过有关本发明的编码方法及编码装置编码的信号正确地解码的解码方法及解码装置。

为了达到上述目的，有关本发明的编码方法，包括：变换步骤，通过对输入信号进行变换，生成变换输出信号；量化步骤，通过对上述变换输出信号进行量化，生成量化系数；以及熵编码步骤，通过对上述量化系数进行熵编码，生成编码信号，上述变换步骤包括：第1变换步骤，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及第2变换步骤，通过使用第2变换系数对作为上述第1变换输出信号的一部分的第1部分信号进行第2变换，生成第2变换输出信号，将包括所生成的第2变换输出信号和第2部分信号的上述变换输出信号输出，该第2部分信号是上述第1变换输出信号之中的上述第1部分信号以外的部分，在上述熵编码步骤中，计算上述第2变换系数或用于上述第2变换的逆变换的第2逆变换系数中包含的元素与规定值之间的差，通过对计算出的差进行压缩编码，将上述第2变换系数或上述第2逆变换系数压缩编码。

由此，基于输入信号的统计特性决定变换系数，所以即使是必须将所决定的变换系数编码而向解码装置发送的情况，也能够通过将与规定值之间的差编码来削减应编码的信息量。因而，能够提高编码效率。具体而言，在两个阶段的变换处理中，通过基于统计特性决定在第2阶段的变换处理中使用的变换系数，能够抑制变换系数的数据量的增加并提高编码效率。例如，通过将精度不同的变换以两个阶段进行，与以一个阶段进行高精度的变换的情况相比能够减少运算量，并且与以一个阶段进行运算量较少的变换的情况相比能够以高精度进行变换。

此外，也可以是，上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；在上述熵编码步骤中，计算上述第2变换系数或上述第2逆变换系数中包含的对角元素与该对角元素能够取的值的最大值之间的差。

由此，能够利用基于统计特性决定的变换系数或逆变换系数的对角元素为接近于变换系数或逆变换系数能够取的值的最大值的值这一性质，所以能够进一步提高编码效率。

此外，也可以是，上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；在上述熵编码步骤中，计算上述第2变换系数或上述第2逆变换系数中包含的对角元素与邻接于该对角元素的对角元素之间的差。

由此，能够利用基于统计特性决定的变换系数或逆变换系数的对角元素越是右下的对角元素越小的性质，所以能够进一步提高编码效率。

此外，也可以是，上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；在上述熵编码步骤中，基于在上述第2变换系数或上述第2逆变换系数中包含的对角元素在正方矩阵内的位置计算预测值，并计算所计算出的预测值与上述对角元素之间的差。

由此，通过计算预测值，能够进一步减小与规定值(预测值)之间的差，所以能够进一步提高编码效率。

此外，也可以是，上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；上述编码方法还包括基于上述输入信号的统计特性决定上述第2变换系数或上述第2逆变换系数的变换系数决定步骤；在上述变换系数决定步骤中，决定上述第2变换系数或上述第2逆变换系数，以使得在上述第2变换系数或上述第2逆变换系数中包含的对角元素的符号为正。

由此，不将对角元素的符号编码即可，所以能够进一步提高编码效率。

此外，也可以是，上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；在上述熵编码步骤中，对去除了上述第2变换系数或上述第2逆变换系数中包含的非对角元素与转置元素之间的冗余性之后的成分进行压缩编码，该转置元素是将该非对角元素沿对角元素翻转后的位置的元素。

由此，通过将非对角元素与其转置元素之间的冗余性去除，能够进一步提高编码效率。

此外，也可以是，在上述熵编码步骤中，计算上述非对角元素的绝对值与上述转置元素的绝对值的平均值，对计算出的平均值与上述非对角元素的绝对值之间的差进行压缩编码。

由此，非对角元素和其转置元素具有是绝对值相互接近的值的性质，由于能够利用该性质，所以能够进一步提高编码效率。

此外，也可以是，在在上述熵编码步骤中，还对表示上述非对角元素的符号与上述转置元素的符号是相同还是不同的信息进行压缩编码。

由此，非对角元素和其转置元素相互符号反转的情况较多，所以通过发送表示符号不同还是相同的信息，能够进一步提高编码效率。

此外，也可以是，在上述熵编码步骤中，对表示全部位置的上述非对角元素的符号与上述转置元素的符号相互反转的信息进行压缩编码。

由此，例如在非对角元素和其转置元素全部反转的情况下，仅发送表示非对角元素与转置元素的符号全部反转的信息就足够，所以能够进一步提高编码效率。

此外，也可以是，在上述熵编码步骤中，还对表示上述非对角元素之中的上三角元素及下三角元素中的某一方的正负的信息进行压缩编码。

由此，即使不将非对角元素的正负全部编码，仅通过将表示上三角元素或下三角元素的正负的信息编码就可以，所以能够进一步提高编码效率。

此外，也可以是，在上述熵编码步骤中，还对表示上述非对角元素之中的全部位置的上三角元素的符号是正的信息进行压缩编码。

由此，由于上三角元素是正的情况较多，所以例如在上三角元素全部是正的情况下，仅通过对表示上三角元素的符号全部是正的信息编码就可以，所以能够提高编码效率。

此外，也可以是，在上述量化步骤中，还使用按照在上述第2变换系数或上述第2逆变换系数中包含的元素的位置而加权后的量化步长，对上述第2变换系数或上述第2逆变换系数进行量化；在上述熵编码步骤中，对量化后的第2变换系数或量化后的第2逆变换系数进行压缩编码。

由此，通过对编码系数进行量化，能够进一步压缩信息量，所以能够提高编码效率。

此外，也可以是，上述编码方法还包括：预测步骤，通过预测上述输入信号而生成预测信号；以及减法步骤，生成作为上述预测信号与上述输入信号之间的差的预测误差信号，在上述变换步骤中，对上述预测误差信号进行变换。

由此，能够通过预测编码提高编码效率。

此外，上述第2变换是KLT(Karhunen Loeve Transform：卡洛变换)。

此外，有关本发明的解码方法，通过对编码信号进行解码而生成解码信号，该编码信号是通过对输入信号进行变换及量化而生成的，上述编码信号包括：压缩编码后的编码量化系数；以及在生成该编码信号时进行的变换处理中使用的变换系数或在第2逆变换中使用的第2逆变换系数中所包含的元素与规定值之间的差，上述解码方法包括：熵解码步骤，通过对上述编码信号进行熵解码，生成解码量化系数；逆量化步骤，通过对上述解码量化系数进行逆量化，生成解码变换输出信号；以及逆变换步骤，通过对上述解码变换输出信号进行逆变换，生成解码信号，上述逆变换步骤包括：第2逆变换步骤，通过使用上述第2逆变换系数对作为上述解码变换输出信号的一部分的第2解码变换输出信号进行上述第2逆变换，生成第1解码部分信号；以及第1逆变换步骤，通过使用第1逆变换系数对包括上述第1解码部分信号和第2解码部分信号的第1解码变换输出信号进行第1逆变换，生成上述解码信号，该第2解码部分信号是上述解码变换输出信号之中的上述第2解码变换输出信号以外的部分，在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述规定值相加，生成上述第2逆变换系数。

由此，能够将通过上述编码方法生成的编码信号解码。

此外，也可以是，上述变换系数或上述第2逆变换系数是正方矩阵的系数；上述编码信号包含上述变换系数或上述第2逆变换系数的对角元素与该对角元素能够取的值的最大值之间的差；在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述最大值相加而生成上述对角元素，由此生成上述第2逆变换系数。

此外，也可以是，上述变换系数或上述第2逆变换系数是正方矩阵的系数；上述编码信号包含上述变换系数或上述第2逆变换系数的第1对角元素与邻接于该对角元素的第2对角元素之间的差；在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述邻接的第2对角元素相加而生成上述第1对角元素，由此生成上述第2逆变换系数。

此外，也可以是，上述变换系数或上述第2逆变换系数是正方矩阵的系数；上述编码信号包含上述变换系数或上述第2逆变换系数的对角元素与基于该对角元素在正方矩阵内的位置而计算出的预测值之间的差；在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，并且通过生成上述预测值并将所生成的预测值与所取得的差相加而生成上述对角元素，由此生成上述第2逆变换系数。

此外，也可以是，上述变换系数或上述第2逆变换系数是正方矩阵的系数；在上述熵解码步骤中，通过将去除了在上述变换系数或上述第2逆变换系数中包含的非对角元素与转置元素之间的冗余性之后的成分解码而生成上述非对角元素，由此生成上述第2逆变换系数，该转置元素是将该非对角元素沿对角元素翻转后的位置的元素。

此外，也可以是，上述编码信号包含上述非对角元素的绝对值及上述转置元素的绝对值的平均值、和该平均值与上述非对角元素的绝对值之间的差；在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述平均值和上述差，通过将所取得的平均值与上述差相加，生成上述非对角元素。

此外，也可以是，上述编码信号包括表示上述非对角元素的符号与上述转置元素的符号是相同还是不同的符号反转信息；在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述符号反转信息，按照所取得的符号反转信息，决定上述非对角元素及上述转置元素的符号。

此外，也可以是，上述编码信号包含表示全部位置的上述非对角元素的符号与上述转置元素的符号相互反转的全符号反转信息；在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述全符号反转信息，按照所取得的全符号反转信息，决定上述非对角元素及上述转置元素的符号。

此外，也可以是，上述编码信号还包含表示上述非对角元素之中的上三角元素及下三角元素中的某一方的正负的符号信息；在上述熵解码步骤中，还取得上述符号信息，按照所取得的符号信息，决定上述非对角元素的符号。

此外，也可以是，上述编码信号还取得表示上述非对角元素之中的全部位置的上三角元素的符号是正的上三角元素符号信息；在上述熵解码步骤中，还取得上述上三角元素符号信息，按照所取得的上三角元素信息，决定上三角元素的符号为正。

此外，也可以是，上述编码信号包含按照构成上述变换系数或上述第2逆变换系数的元素的位置而加权后的量化步长、和使用该量化步长量化后的变换系数或量化后的第2逆变换系数；在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述量化步长和上述量化后的变换系数或上述量化后的第2逆变换系数；在上述逆量化步骤中，还使用上述量化步长，对上述量化后的变换系数或上述量化后的第2逆变换系数进行逆量化。

此外，也可以是，上述编码信号是通过对预测误差信号进行变换及量化而生成的信号；上述解码方法还包括生成预测信号的预测步骤；上述逆变换步骤通过进行上述逆变换而根据上述解码变换输出信号生成解码预测误差信号，通过将上述预测信号与上述解码预测误差信号相加，生成上述解码信号。

此外，也可以是，上述第2逆变换是KLT。

在以上的哪种解码方法中，都与编码方法的情况同样，能够抑制运算量的增加及变换系数的数据量的增加。此外，能够将通过上述编码方法编码的信号正确地解码。

另外，本发明不仅能够作为编码方法及解码方法实现，还能够作为具备进行包含在该编码方法及解码方法中的处理步骤的处理部的编码装置及解码装置实现。此外，也可以作为使计算机执行这些步骤的程序实现。进而，也可以作为记录有该程序的计算机可读取的CD-ROM(Compact Disc-Read Only Memory)等的记录介质、以及表示该程序的信息、数据或信号实现。并且，这些程序、信息、数据及信号也可以经由因特网等的通信网络分发。

此外，构成上述各编码装置及解码装置的构成单元的一部分或全部也可以由1个***LSI(Large Scale Integration：大规模集成电路)构成。***LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM及RAM(Random Access Memory)等而构成的计算机***。

发明效果

根据有关本发明的编码方法及编码装置，能够抑制编码处理中的运算量的增加、以及变换系数的数据量的增加。进而，根据有关本发明的解码方法及解码装置，能够将通过有关本发明的编码方法及编码装置编码的信号正确地解码。

附图说明

图1是表示以往的编码装置的结构的框图。

图2是表示DCT与KLT的运算量的比较的图。

图3是表示有关实施方式1的编码装置的结构的一例的框图。

图4是表示有关实施方式1的变换部的结构的一例的框图。

图5是概念性地表示有关实施方式1的变换部的数据流的一例的图。

图6是示意地表示有关实施方式1的变换部的通过KLT进行的变换系数的导出的一例的图。

图7是表示有关实施方式1的编码装置的动作的一例的流程图。

图8是表示有关实施方式1的变换部的动作的一例的流程图。

图9是表示有关实施方式1的变换系数编码部的动作的一例的流程图。

图10A是概念性地表示有关实施方式1的第2变换部的输入输出的一例的图。

图10B是表示有关实施方式1的第2变换系数的一例的图。

图11A是表示在实施方式1中、编码对象元素是对角元素的情况下的变换系数编码部的动作的一例的流程图。

图11B是表示在实施方式1中、编码对象元素是对角元素的情况下的变换系数编码部的动作的另一例的流程图。

图12是表示在实施方式1中、作为非对角元素的编码对象元素、及转置元素的一例的图。

图13是表示在实施方式1中、编码对象元素是非对角元素的情况下的变换系数编码部的动作的一例的流程图。

图14A是表示实施方式1的变换系数的一例的图。

图14B是表示实施方式1的绝对平均值的一例的图。

图14C是表示实施方式1的头记述值(即差)的一例的图。

图15是表示在实施方式1中、上三角元素与下三角元素之间的符号的关系的图。

图16是表示在实施方式1中、发送非对角元素的符号时的句法的一例的示意图。

图17A是表示有关实施方式1的编码装置的结构的另一例的框图。

图17B是表示有关实施方式1的编码装置的结构的另一例的框图。

图18A是表示在实施方式1的变形例中、变换系数用量化步长表的一例的图。

图18B是表示在实施方式1的变形例中、TWL排列的索引表的一例的图。

图18C是表示在实施方式1的变形例中、TWL排列的索引表的一例的图。

图19是表示实施方式1的变形例的编码装置的结构的一例的框图。

图20是表示实施方式1的变形例的编码装置的动作的一例的流程图。

图21是表示有关实施方式2的解码装置的结构的一例的框图。

图22A是表示有关实施方式2的解码装置具备的逆变换部的结构的一例的框图。

图22B是概念性地表示有关实施方式2的矩阵运算的一例的图。

图23是概念性地表示有关实施方式2的逆变换部的数据流的一例的图。

图24是表示有关实施方式2的解码装置的动作的一例的流程图。

图25是表示有关实施方式2的逆变换部的动作的一例的流程图。

图26是表示有关实施方式2的变换系数解码部的动作的一例的流程图。

图27A是表示在实施方式2中、解码对象元素是对角元素的情况下的变换系数解码部的动作的一例的流程图。

图27B是表示在实施方式2中、解码对象元素是对角元素的情况下的变换系数解码部的动作的一例的流程图。

图28是表示在实施方式2中、解码对象元素是非对角元素的情况下的变换系数解码部的动作的一例的流程图。

图29A是表示有关实施方式2的解码装置的结构的另一例的框图。

图29B是表示有关实施方式2的解码装置的结构的另一例的框图。

图30是表示实施方式2的变形例的解码装置的结构的一例的框图。

图31是表示实施方式2的变形例的解码装置的动作的一例的流程图。

图32是表示实现内容分发服务的内容供给***的整体结构的一例的示意图。

图33是表示便携电话的外观的图。

图34是表示便携电话的结构例的框图。

图35是表示数字广播用***的整体结构的一例的示意图。

图36是表示电视机的结构例的框图。

图37是表示对作为光盘的记录介质进行信息的读写的信息再现记录部的结构例的框图。

图38是表示作为光盘的记录介质的构造例的图。

图39是表示实现有关各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的框图。

具体实施方式

以下，对于有关本发明的编码方法、解码方法、编码装置及解码装置，基于实施方式使用附图详细地说明。

(实施方式1)

有关实施方式1的编码装置，是通过将输入信号编码而生成编码信号的编码装置，其特征在于，具备：通过进行变换处理、从输入信号生成变换输出信号的变换部；通过将变换输出信号量化而生成量化系数的量化部；和通过将量化系数和变换系数压缩编码而生成编码信号的编码部。变换部使用是基于输入信号的信号、并且是基于包括作为变换处理的对象的变换对象信号的集合的统计特性决定的正方矩阵的系数的变换系数，对变换对象信号进行变换处理，编码部通过计算包含在变换系数、或在上述变换处理的逆变换中使用的逆变换系数中的元素与规定值的差、将计算出的差进行压缩编码，将变换系数或逆变换系数进行压缩编码。以下，首先对有关实施方式1的编码装置的结构的一例使用图3进行说明。另外，在本说明书中，有将变换矩阵和变换系数作为大致同义而使用的情况。

另外，即使如蝶形结构或使用移位和加法的运算的结构那样、是单纯的不用矩阵运算也能够实现的变换，在本说明书中也有用矩阵表现记述的情况。这样用矩阵表现记述并不是将蝶形结构或使用移位和加法的运算的结构、或者使用提升构造的结构等、减轻了各种的运算量的变换排除。

图3是表示有关实施方式1的编码装置100的结构的一例的框图。在编码装置100中，作为编码对象信号而输入作为声音数据、静止图像数据、运动图像数据等的各种数据的输入信号。编码装置100具备变换部110、量化部120、和编码部130，将输入信号、即编码对象信号编码。

在变换部110中，作为变换对象信号(变换输入信号)而输入编码对象信号。变换输入信号例如用式4所示那样的向量xⁿ表示。例如，编码对象信号由多个变换输入信号xⁿ构成。

[数式4]

(式4)xⁿ＝(x₁，x₂，...，x_n)′

变换部110通过进行变换处理，从变换输入信号生成变换输出信号。变换处理是使用如下变换系数进行的变换处理，该变换系数是正方矩阵的系数，该正方矩阵是基于包括作为变换处理的对象的变换对象信号的集合的统计特性而决定的正方矩阵。

例如，变换部110通过使用作为正方矩阵的系数的变换系数将输入的变换输入信号从时空域向频率域变换，生成减轻了相关性的变换输出信号。将所生成的变换输出信号向量化部120输出，将在变换中使用的变换系数向编码部130输出。关于变换部110的具体的结构，使用图4在后面说明。

量化部120通过将从变换部110输出的变换输出信号量化，生成总数据量较少的量化系数。将所生成的量化系数向编码部130输出。

编码部130具备变换系数编码部131和熵编码部132，将从量化部120输出的量化系数、和从变换部110输出的变换系数压缩编码。

变换系数编码部131通过将从变换部110输出的变换系数按照规定的编码方式进行压缩编码，生成编码变换系数。关于变换系数编码部131进行的具体的动作在后面说明。将所生成的编码变换系数向熵编码部132输出。

熵编码部132通过将量化系数和编码变换系数使用熵编码算法压缩编码，生成将剩余的冗余性进一步压缩的编码信号。将所生成的编码信号例如记录到记录介质中、或经由网络向解码装置等发送。

另外，变换系数编码部131在将变换系数编码时，计算包含在变换系数中的元素与规定值的差，通过将计算出的差压缩编码，将变换系数压缩编码。具体而言，变换系数编码部131按照在正方矩阵的对角元素和非对角元素中不同的编码方式，例如在对角元素和非对角元素中分别计算与不同的基准值的差，将计算出的差编码，由此将对角元素及非对角元素分别压缩编码。关于将变换系数编码的方法，在后面使用附图进行说明。此外，变换系数编码部131也可以将在解码装置中使用的逆变换系数压缩编码。

接着，对有关实施方式1的变换部110的结构的一例更详细地说明。

图4是表示有关实施方式1的编码装置100具备的变换部110的结构的一例的框图。如图4所示，变换部110具备第1变换部200、第1存储器201、第1变换系数导出部202、分割部210、第2存储器211、分割合并信息生成部212、第2变换部220、第3存储器221、第2变换系数导出部222、和合并部230。

第1变换部200通过使用第1变换矩阵A₁ ⁿ将变换输入信号xⁿ变换，由此生成第1变换输出信号y₁ ⁿ。将使用第1变换矩阵A₁ ⁿ的变换记作第1变换T₁。第1变换T₁是将作为时空域的信号的变换输入信号xⁿ变换为作为频率域的信号的第1变换输出信号y₁ ⁿ的处理。

这样，第1变换部200通过对变换输入信号xⁿ进行第1变换T₁，生成第1变换输出信号y₁ ⁿ。将所生成的第1变换输出信号y₁ ⁿ向分割部210及第2存储器211输出。

第1存储器201是保持变换输入信号xⁿ的存储器。例如，在变换输入信号xⁿ是声音数据、或图像数据的情况下，保持相当于1帧的量的数据的多个变换输入信号xⁿ。

第1变换系数导出部202使用保持在第1存储器201中的变换输入信号xⁿ导出第1变换矩阵A₁ ⁿ。第1变换矩阵A₁ ⁿ既可以是预先设定的固定值，或者也可以是由KLT决定的系数。另外，在第1变换矩阵A₁ ⁿ是预先设定的固定值的情况下，变换部110也可以不具备第1存储器201及第1变换系数导出部202，取而代之，只要第1变换部200将预先设定的固定值存储到内部存储器等中就可以。关于通过KLT决定变换系数的方法在后面说明。

分割部210将第1变换输出信号y₁ ⁿ分割为第1部分信号y_1L ^m和第2部分信号y_1H ^n-m，以使第1部分信号y_1L ^m的相关能比第2部分信号y_1H ^n-m的相关能大。将第1部分信号y_1L ^m向第2变换部220及第3存储器221输出。将第2部分信号y_1H ^n-m向合并部230输出。

例如，分割部210使用作为表示将第1变换输出信号y₁ ⁿ怎样分割的信息的分割合并信息，将由N个元素构成的(维数N的)第1变换输出信号y₁ ⁿ分割为由M个元素构成的(维数M的)第1部分信号y_1L ^m和由N-M个元素构成的(维数N-M的)第2部分信号y_1H ^n-m。这里，M是比N小的自然数。另外，分割部210是决定是否作为第2变换的对象的，并不限定于数据的明示性的分割。

另外，分割部210也可以在预先设定的分割位置将第1变换输出信号y₁ ⁿ分割，以使第1部分信号y_1L ^m及第2部分信号y_1H ^n-m包含预先设定的元素数。在此情况下，变换部110也可以不具备第2存储器211及分割合并信息生成部212，取而代之，只要分割部210将表示各部分信号的元素数及分割位置等的分割合并信息存储到内部存储器等中就可以。

第2存储器211是保持第1变换输出信号y₁ ⁿ的存储器。例如，保持相当于1帧的数据的多个第1变换输出信号y₁ ⁿ。

分割合并信息生成部212使用保持在第2存储器211中的第1变换输出信号y₁ ⁿ，生成分割合并信息。分割合并信息例如是对分割部210指示的控制信息，以使得将低频带的元素作为第1部分信号的元素、并且将高频带的元素作为第2部分信号的元素地来分割第1变换输出信号y₁ ⁿ。或者，分割合并信息也可以是对分割部210指示的控制信息，以使得将相关能较大的元素作为第1部分信号的元素、并且将相关能较小的元素作为第2部分信号的元素地来分割第1变换输出信号y₁ ⁿ。

分割合并信息生成部212鉴于多个第1变换输出信号y₁ ⁿ的能量状态的分布而生成分割合并信息。例如，分割合并信息生成部212使相关能比规定的阈值大的元素为第1部分信号的元素并且使相关能比该阈值小的元素为第2部分信号的元素、来分割第1变换输出信号y₁ ⁿ。

第2变换部220通过使用第2变换矩阵A₂ ^m将第1部分信号y_1L ^m变换，从而生成第2变换输出信号y₂ ^m。将使用第2变换矩阵A₂ ^m的变换记作第2变换T₂。即，第2变换部220通过对第1部分信号y_1L ^m进行第2变换T₂，生成第2变换输出信号y₂ ^m。将所生成的第2变换输出信号y₂ ^m向合并部230输出。

第3存储器221是保持第1部分信号y_1L ^m的存储器。例如，保持相当于1帧的数据的多个第1部分信号y_1L ^m。另外，如后所述，第2变换系数导出部222使用比用于导出第1变换矩阵A₁ ⁿ的集合小的集合，将第2变换矩阵A₂ ^m导出。因而，第3存储器221也可以存储容量比第1存储器201小。

第2变换系数导出部222使用保持在第3存储器221中的第1部分信号y_1L ^m导出第2变换矩阵A₂ ^m。第2变换矩阵A₂ ^m是通过KLT决定的系数。关于通过KLT决定变换系数的方法在后面说明。

合并部230通过使用分割合并信息将第2变换输出信号y₂ ^m与第2部分信号y_1H ^n-m合并，生成变换输出信号yⁿ。将所生成的变换输出信号yⁿ向量化部120输出。

第2变换矩阵A₂ ^m是通过KLT对第1部分信号y_1L ^m最优地设计的变换系数，所以第2变换部220通过进行第2变换T₂，能够削减在第1变换输出信号y₁ ⁿ中残留的冗余性。由此，带来有利于编码信号的压缩的效果。

此时，第2变换部220对元素数比第1变换输出信号y₁ ⁿ少的第1部分信号y_1L ^m进行第2变换T₂。因而，能够削减第2变换部220的运算量，并且能够削减在第2变换T₂中使用的第2变换矩阵A₂ ^m的数据量。

另外，本发明的有关实施方式1的变换部110也可以不具备分割部210和合并部230。即，变换部110也可以不是将第1变换输出信号y₁ ⁿ明示地分割，而只要决定构成第1变换输出信号y₁ ⁿ的元素中的、作为第2变换T2的对象的元素、并仅对所决定的元素进行第2变换T₂就可以。

例如，在第2变换部220中输入第1变换输出信号y₁ ⁿ，对所输入的第1变换输出信号y₁ ⁿ使用第2变换系数进行第2变换T₂。此时，第2变换部220将对构成第1变换输出信号y₁ ⁿ的元素中的、不作为第2变换T₂的对象的元素(即，包含在第2部分信号中的元素)乘以的第2变换系数的系数值设定为1。由此，第2变换部220能够仅对构成第1变换输出信号y₁ ⁿ的元素中的、作为第2变换T₂的对象的元素进行第2变换T₂。

另外，此时，分割合并信息生成部212也可以生成用来决定作为第2变换T₂的对象的元素的选择范围信息。第2变换部220也可以基于分割合并信息生成部212生成的选择范围信息决定作为第2变换T₂的对象的元素。

另外，上述分割合并信息是选择范围信息的一例。

接着，举图5所示那样的变换输入信号xⁿ的一例，对变换部110的数据流进行说明。另外，图5是概念性地表示有关实施方式1的变换部110的数据流的一例的图。

如图5所示，在变换部110中，输入由16个元素构成(输入元数是16元)变换输入信号xⁿ。首先，通过第1变换部200对变换输入信号xⁿ进行第1变换T₁，生成第1变换输出信号y₁ ⁿ。将第1变换输出信号y₁ ⁿ向分割部210输出。

分割部210将第1变换输出信号y₁ ⁿ分割为第1部分信号y_1L ^m和第2部分信号y_1H ^n-m。此时，分割部210将第1部分信号y_1L ^m重新排列为1维，向第2变换部220输出。将第2部分信号y_1H ^n-m向合并部230输出。另外，分割部210优选的是将第1部分信号y_1L ^m重新排列，以使各元素从低域向高域排列。另外，分割部210输出的第1部分信号y_1L ^m不进行向一维的重新排列，第2变换依次进行水平变换和垂直变换(顺序不同)。也可以是分离型的结构。

例如，在图5所示的例子中，第1部分信号y_1L ^m由6个元素构成(输入元数是6元)，第2部分信号y_1H ^n-m由10个元素构成(输入元数是10元)。另外，第1部分信号y_1L ^m由连续的6个元素构成，但也可以由离散的元素构成。

第2变换部220通过对第1部分信号y_1L ^m进行第2变换T₂，生成第2变换输出信号y₂ ^m。将所生成的第2变换输出信号y₂ ^m向合并部230输出。通过该第2变换T₂，将第1部分信号y_1L ^m的相关性进一步减轻，输出的第2变换输出信号y₂ ^m成为能量更集中于低频带的信号。

合并部230将第2变换输出信号y₂ ^m重新排列为由分割部210重新排列之前的维(这里是2维)。并且，合并部230通过将重新排列后的第2变换输出信号y₂ ^m和第2部分信号y_1H ^n-m合并，生成变换输出信号yⁿ。

如以上这样，在有关实施方式1的编码装置100中，变换部110将输入的变换输入信号以两个阶段变换。具体而言，通过第1阶段的第1变换，将时空域的变换输入信号变换为频率域的变换输出信号。进而，对变换输出信号的一部分(优选的是包含低频率成分的信号)进行使用KLT的第2变换。

以下，对至少第2变换部220进行的通过KLT的变换系数的导出方法进行说明。KLT是基于输入信号的某个集合的统计性质、设计能够使输入信号完全无相关化的变换的方法。

具体而言，KLT是求出输入信号的方差协方差矩阵(variance-covariance matrix)的非对角成分为0那样的变换，等于对方差协方差矩阵的特征值问题进行求解。导出的特征向量为基函数，特征值为变换系数的各元素的轴的大小(即能量)。从特征值的值(发差或能量)较大的轴向较小的轴排列。

图6是示意地表示通过KLT的变换系数的导出的一例的图。

将输入到变换部110中的变换输入信号xⁿ保持在第1存储器201中。第1变换系数导出部202基于包含保持在第1存储器201中的多个变换输入信号xⁿ作为样本的集合S_A，导出第1变换矩阵A₁ ⁿ。例如，第1变换系数导出部202使用KLT，导出对包含在集合S_A中的许多样本平均性地最优化的第1变换矩阵A₁ ⁿ。

由此，第1变换系数导出部202不怎么受各个变换输入信号xⁿ的统计性质影响，即使是有些不同的性质，也能够使用共通的第1变换矩阵A₁ ⁿ进行第1变换。因而，能够抑制第1变换矩阵A₁ ⁿ的更新频度(例如每1帧)，能够削减运算量。此外，即使是将第1变换矩阵A₁ ⁿ更新的情况，也由于更新前与更新后的各个值的变化量较小，所以能够减少差信息量。

另一方面，将由第1变换部200生成的第1变换输出信号y₁ ⁿ之中的包含相关能较大的元素的第1部分信号y_1L ^m保持在第3存储器221中。第2变换系数导出部222基于包含保持在第3存储器221中的多个第1部分信号y_1L ^m作为样本的集合S_C，导出第2变换矩阵A₂ ^m。例如，第2变换系数导出部222使用KLT，导出对包含在集合S_C中的许多样本平均性地最优化的第2变换矩阵A₂ ^m。

此时，集合S_C是比集合S_A小的集合。例如，在集合S_A是相当于1帧的数据的集合的情况下，集合S_C是相当于图像数据中的切片(slice)或宏块的数据、或相当于声音数据中的子帧或子带的数据的集合。另外，集合S_C只要至少包含两个样本(第1部分信号y_1L ^m)就可以。

如以上这样，在有关实施方式1的编码装置100中，使用包括第1变换T₁和第2变换T₂的多个变换。在第1变换T₁中，使用根据更大的集合S_A的统计性质最优地导出的第1变换矩阵A₁ ⁿ进行变换，在第2变换T₂中，使用根据更小的集合S_C的统计性质最优地导出的第2变换矩阵A₂ ^m进行变换。

这样，通过使集合S_C为比集合S_A小的集合，能够敏锐地追随于第1变换输出信号y₁ ⁿ的统计性质的变化，能够实现进一步的相关性的降低和能量的压缩。另外，通过集合S_C变小，第2变换矩阵A₂ ^m的更新频度(导出频度)变高，但由于第1部分信号y_1L ^m是第1变换输出信号y₁ ⁿ的一部分、维数(元素数)比变换输入信号xⁿ少，所以构成第2变换矩阵A₂ ^m的元素的总数变少，所以能够同时实现高效率的变换、和运算量及数据量的削减。

如以上这样，实施方式1的变换处理是基于包括作为变换处理的对象的变换对象信号的集合的统计特性决定作为正方矩阵的系数的变换系数、使用所决定的变换系数将变换对象信号变换的处理。另外，第1变换部200的变换对象信号是变换输入信号xⁿ，第2变换部220的变换对象信号是第1部分信号y_1L ^m。由于包含第1部分信号y_1L ^m的集合S_C是比包含变换输入信号xⁿ的集合S_A小的集合，所以能够削减运算量及数据量。

另外，尽管在图6中未示出分割部210及合并部230，但如在图4及图5中也表示那样，作为来自第1变换部200的输出的第1变换输出信号y₁ ⁿ被分割为第1部分信号y_1L ^m和第2部分信号y_1H ^n-m。此外，作为来自第2变换部220的输出的第2变换输出信号y₂ ^m被与第2部分信号y_1H ^n-m合并、作为变换输出信号yⁿ向量化部120输出。图6特别表示关于第2变换T₂的处理部及数据。

接着，说明有关实施方式1的编码装置100进行的编码方法。

图7是表示有关实施方式1的编码装置100的动作的一例的流程图。

首先，将声音数据或图像数据等的编码对象信号输入到编码装置100中。在变换部110中，输入的编码对象信号被作为变换输入信号输入。变换部110通过将变换输入信号xⁿ使用规定的变换系数从时空域向频率域变换，生成变换输出信号yⁿ(S110)。

接着，量化部120通过将生成的变换输出信号量化，生成量化系数(S120)。最后，编码部130通过将由量化部120生成的量化系数、变换部110在变换中使用的变换系数压缩编码，生成编码信号(S130)。具体而言，首先，变换系数编码部131通过将变换系数编码，生成编码变换系数。并且，熵编码部132通过将编码变换系数和量化系数进行熵编码，生成编码信号。

如以上这样，有关实施方式1的编码装置100通过将输入的编码对象信号编码，能够将信息量压缩。

接着，对有关实施方式1的编码装置100进行的变换处理(S110)、和编码处理(S130)中的特别是变换系数的编码的详细情况进行说明。首先，对变换处理(S110)进行说明。

图8是表示有关实施方式1的变换部110的动作的一例的流程图。

首先，将输入的变换输入信号xⁿ储存到第1存储器201中。第1变换系数导出部202基于储存在第1存储器201中的多个变换输入信号xⁿ决定第1变换矩阵A₁ ⁿ(S111)。

接着，第1变换部200通过使用所决定的第1变换矩阵A₁ ⁿ对变换输入信号xⁿ进行第1变换T₁，生成第1变换输出信号y₁ ⁿ(S112)。将所生成的第1变换输出信号y₁ ⁿ储存到第2存储器211中。

接着，分割合并信息生成部212基于储存在第2存储器211中的多个第1变换输出信号y₁ ⁿ生成分割合并信息(S113)。并且，分割部210使用所生成的分割合并信息将第1变换输出信号y₁ ⁿ分割为第1部分信号y_1L ^m和第2部分信号y_1H ^n-m(S114)。将第1部分信号y_1L ^m储存到第3存储器221中。

接着，第2变换系数导出部222基于储存在第3存储器221中的多个第1部分信号y_1L ^m决定第2变换矩阵A₂ ^m(S115)。并且，第2变换部220通过使用所决定的第2变换矩阵A₂ ^m对第1部分信号y_1L ^m进行第2变换，生成第2变换输出信号y₂ ^m(S116)。

最后，合并部230通过将第2变换输出信号y₂ ^m与第2部分信号y_1H ^{n- m}合并，生成变换输出信号yⁿ(S117)。

另外，在第1变换不是KLT等的适应性地导出变换系数的方法、而使用固定的变换系数的情况下、或者作为第2变换的对象的元素是固定的情况下，可以分别将第1变换系数的决定处理(S111)及分割合并信息的生成处理(S113)省略。

接着，对有关实施方式1的变换系数的编码进行说明。

如上所述，在有关实施方式1的编码装置100中，编码部130不仅将量化系数编码、也将在变换部110的变换中使用的变换系数编码。此时，变换系数是由多个元素构成的正方矩阵，编码部130在正方矩阵的对角元素和非对角元素中按照不同的编码方式将变换系数编码。具体而言，编码部130具备的变换系数编码部131判断编码对象元素是对角元素还是非对角元素，计算与各自适用的规定值的差，通过将计算出的差编码而将编码对象元素编码。

图9是表示有关实施方式1的变换系数编码部131的动作的一例的流程图。

变换系数编码部131将从变换部110输入的变换系数按照构成该变换系数的每个元素编码。首先，变换系数编码部131判断编码对象元素是对角元素还是非对角元素(S131)。

在编码对象元素是对角元素的情况下(S131中“对角元素”)，变换系数编码部131利用与规定的基准值的差，将编码对象元素编码(S132)。对具体的处理在后面说明。

在编码对象元素是非对角元素的情况下(S131中“非对角元素”)，变换系数编码部131利用与转置元素的关系进行编码(S133)。转置元素是将非对角元素沿对角元素翻转后的位置的元素。关于具体的处理在后面说明。

这样，在有关实施方式1的编码装置100中，根据编码对象元素是对角元素还是非对角元素，使用不同的编码方式将变换系数编码。以下，对由有关实施方式1的编码装置100进行的变换系数的编码更详细地说明。

另外，以下，作为一例，如图10A所示，设想将由4个元素构成的第1部分信号y_1L ^m输入到第2变换部220中、第2变换部220通过使用4×4矩阵的第2变换矩阵A₂ ^m将第1部分信号y_1L ^m变换、从而输出第1部分变换输出信号y₂ ^m的情况。

如图10B所示，构成第2变换矩阵A₂ ^m的各元素用a(i，j)(或a_ij)表示。另外，是i＝1、2、3、4、及j＝1、2、3、4。此时，如图10B所示，i＝j的元素(a_ii)是对角元素，i≠j的元素是非对角元素。进而，将非对角元素分类为是作为i＜j的元素的上三角元素、和是作为i＞j的元素的下三角元素。

首先，对编码对象元素是对角元素的情况进行说明。

图11A是表示在实施方式1中、编码对象元素是对角元素的情况下的变换系数编码部131的动作的一例的流程图。

首先，变换系数编码部131在编码对象元素是对角元素的情况下，计算编码对象元素与规定值的差(S200)。规定值例如是作为变换系数的正方矩阵的元素能够取的值的最大值(例如1)。

接着，变换系数编码部131通过将计算出的差编码，生成编码变换系数(S210)。具体而言，计算出的差是记述在熵编码部132生成的编码信号(编码比特流)的头(header)中的值(以下，记作头记述值)，熵编码部132将头记述值进行熵编码。

如以上那样，变换系数编码部131及熵编码部132将对角元素编码。另外，图11A所示的处理是利用与图9所示的规定的基准值的差的编码处理(S132)的一例。

这里，头记述值h(i，i)由式5表示。

[数式5]

(式5)h(i，i)＝a(i，i)-c

例如是c＝1。或者也可以是接近于1的其他值。将规定值c设为1、或接近于1的其他值的理由如下。

假如在第1变换T₁是能够实现完全的无相关化的变换的情况下，第2变换T₂不能使第1变换输出信号进一步无相关化，所以对角元素全部为1(即，在8比特精度的系数的情况下是255)，非对角元素全部为0。

但是，如上所述，第1变换系数导出部202导出对包含在集合S_A中的多个变换输入信号xⁿ平均性地最优化的第1变换矩阵A₁ ⁿ，所以没有对各个变换输入信号xⁿ最优化。因此，第1变换部200不能达到完全的无相关化，没有将第1变换输出信号y₁ ⁿ及作为其一部分的第1部分信号y_1L ^m完全无相关化。因而，第2变换系数导出部222导出的第2变换矩阵A₂ ^m的对角元素不一定为1，非对角元素不一定为0。

但是，由于第1部分信号y_1L ^m通过第1变换被某种程度上无相关化，所以第2变换矩阵A₂ ^m的对角元素成为接近于1的值。此外，非对角元素成为接近于0的值。

因而，对角元素a(i，i)与1的差成为接近于0的值，所以能够削减应编码的信息量，所以能够进一步提高编码效率。

此外，规定值也可以是与作为编码对象元素的对角元素a(i，i)相邻接的对角元素a(i-1，i-1)或a(i+1，i+1)。即，变换系数编码部131也可以计算在对角方向上相邻接的对角元素间的差、将计算出的差编码。

对角元素具有越为高域成分则越易受到特殊的相关的影响、从1偏离的趋势。即，具有越是右下的对角元素则越从1偏离的趋势。因而，通过在相邻接的对角元素间计算差，能够将信息量压缩。例如，变换系数编码部131如式6所示，计算对角元素a(i，i)与位于该对角元素的左斜上的对角元素a(i-1，i-1)的差，将计算出的差编码。

[数式6]

(式6)h(i，i)＝a(i，i)-a(i-1，i-1)

另外，设a(0，0)＝1。

此外，规定值也可以是作为编码对象元素的对角元素a(i，i)的预测值p(i，i)。即，变换系数编码部131也可以通过计算对角元素a(i，i)的预测值p(i，i)，计算对角元素a(i，i)与预测值p(i，i)的差。

图11B是表示在实施方式1中、编码对象元素是对角元素的情况下的变换系数编码部131的动作的另一例的流程图。

首先，变换系数编码部131在编码对象元素是对角元素的情况下，计算编码对象元素的预测值(S201)。具体而言，是以下这样。

如上所述，对角元素有越为高域成分则越从1偏离的趋势。因而，变换系数编码部131例如使用式7或式8所示那样的一次函数或等差级数计算预测值p(i，i)。

[数式7]

(式7)p(i，i)＝a(i，i)*i(i，i)+c(i，i)

[数式8]

(式8)p(i，i)＝p(i-1，i-1)+d

另外，在式7中，i(i，i)是按照每个对角元素a(i，i)设定的规定的系数，c(i，i)是按照每个对角元素a(i，i)设定的规定的偏移值。但是，i(i，i)及c(i，i)也可以是规定的固定值。此外，在式8中，d是规定的固定值，例如是负的值。

并且，变换系数编码部131如式9所示那样对计算出的预测值p(i，i)与作为编码对象元素的对角元素a(i，i)的差进行计算(S202)。

[数式9]

(式9)h(i，i)＝a(i，i)-p(i，i)

最后，熵编码部132将计算出的差进行熵编码(S210)。

如以上这样，变换系数编码部131及熵编码部132将对角元素压缩编码。另外，图11B所示的处理是利用与图9所示的规定的基准值的差的编码处理(S132)的一例。

另外，在实施方式1中，变换系数编码部131不将对角元素的符号编码。即，变换系数编码部131不在头中记述对角元素的符号、不向解码装置侧发送。具体而言，对角元素的符号预先定义为正。由此，能够将信息量进一步压缩。

因此，第2变换系数导出部222在导出第2变换系数时，在对角元素为负的值的情况下，通过对包含该对角元素的行的全部的元素乘以-1，能够使对角元素成为正的值。

如以上这样，在有关实施方式1的编码装置100中，其特征在于，当将通过KLT导出的变换系数编码时，在编码对象元素是对角元素的情况下，计算对角元素与规定值的差，将计算出的差编码。此时，规定值既可以是预先设定的固定值(例如1)，或者也可以是通过预测对角元素而生成的预测值。进而，通过导出对角元素以使其总为正，变换系数编码部131不发送对角元素的符号。通过以上的结构，能够将信息量压缩，能够提高编码效率。

另外，在编码对象元素是对角元素的情况下，变换系数编码部131也可以进行图11A及图11B的两者的处理、利用编码效率更高者的结果。或者，也可以仅进行预先设定的一方的处理。

接着，对编码对象元素是非对角元素的情况进行说明。

变换系数编码部131在编码对象元素是非对角元素的情况下，将在该编码对象元素、与将该编码对象元素沿对角元素翻转后的位置的元素——即转置元素之间去除了冗余性的成分编码。另外，在将编码对象元素用a(i，j)表示的情况下，将转置元素用a(j，i)表示。图12是表示作为非对角元素的编码对象元素、及转置元素的一例的图。

变换系数编码部131通过利用编码对象元素与转置元素之间的特征性的关系，将编码对象元素与转置元素之间的冗余性去除。在通过KLT导出的变换系数中，作为特征性的关系，例如有在编码对象元素和转置元素中绝对值大致相同的关系。

因而，变换系数编码部131例如计算编码对象元素的绝对值与转置元素的绝对值的平均值(以下，记作绝对平均值)，将计算出的平均值与编码对象元素的绝对值的差编码。

图13是表示在实施方式1中、编码对象元素是非对角元素的情况下的变换系数编码部131的动作的一例的流程图。

首先，变换系数编码部131按照式10，计算编码对象元素与转置元素的绝对平均值ha_tpair(i，j)(S300)。

[数式10]

(式10)ha_tpair(i，j)＝(|a(i，j)|+|a(j，i)|)/2

另外，绝对平均值ha_tpair(i，j)对编码对象元素和转置元素的对(对角对)计算1个值。即，由于是ha_tpair(i，j)＝ha_tpair(j，i)，所以只要仅将上三角元素及下三角元素的某一方作为编码对象元素、计算绝对平均值ha_tpair(i，j)就可以。

并且，变换系数编码部131按照式11或式12，计算编码对象元素的绝对值与绝对平均值的差ha(i，j)(S310)。另外，式11是编码对象元素为上三角元素(i＜j)的情况下的式子，式12是编码对象元素为下三角元素(i＞j)的情况下的式子。

[数式11]

(式11)ha(i，j)＝|a(i，j)|-ha_tpair(i，j)

[数式12]

(式12)ha(i，j)＝|a(i，j)|-ha_tpair(j，i)

并且，熵编码部132通过将头记述值(差ha(i，j))进行熵编码，将信息压缩(S320)。

进而，变换系数编码部131将编码对象元素a(i，j)、或头记述值ha(i，j)的符号(表示正负的信息)编码(S330)。另外，在通过KLT导出的变换系数中，在非对角元素的符号(正负)中也有特征性的关系。因而，也可以通过利用该特征性的关系、以更高的编码效率将符号编码。

如以上这样，在有关实施方式1的编码装置100中，其特征在于，在将通过KLT导出的变换系数编码时，在编码对象元素是非对角元素的情况下，将在该编码对象元素与转置元素之间去除了冗余性的成分编码。例如，利用编码对象元素的绝对值与转置元素的绝对值大致相同的情况较多的关系，能够将信息量压缩，能够提高编码效率。

另外，图14A是表示变换系数a(i，j)的一例的图。此外，图14B是表示根据图14A所示的变换系数计算出的绝对平均值ha_tpair(i，j)的一例的图。图是表示根据图14A所示的变换系数计算出的头记述值ha(i，j)的一例的图。

在图14B所示的例子中，绝对平均值是自然数，将小数点以下的尾数进行进位，但也可以将尾数抹去、或进行四舍五入，或者绝对平均值也可以不是整数。

另外，在编码对象元素是非对角元素的情况下，计算绝对平均值，将计算出的绝对平均值与非对角元素的差编码，但本发明并不限定于此。例如，也可以将编码对象元素与转置元素的和、以及上三角元素和下三角元素的某一方编码。在此情况下，由于编码对象元素与转置元素的和为接近于0的值，所以能够削减应发送的信息量。

以下，对用于进一步的高压缩化的、非对角元素的符号的编码进行说明。

在通过KLT导出的变换系数中，作为特征性的关系，有编码对象元素的符号与转置元素的符号相互不同的情况较多的关系。此外，还有上三角元素的符号是正的情况较多、下三角元素的符号是负的情况较多的关系。即，在上三角元素与下三角元素之间，有图15所示那样的关系。图15是表示在实施方式1中、上三角元素与下三角元素之间的符号的关系的图。

另外，以上所示的符号的关系不仅对作为非对角元素本身的值的a(i，j)成立，对于通过上述式11或式12计算出的头记述值ha(i，j)也成立的情况较多。

因而，变换系数编码部131按照图16所示那样的句法(syntax)，将非对角元素的符号编码。图16是表示在实施方式1中、发送非对角元素的符号时的句法的一例的示意图。

首先，变换系数编码部131对表示作为对象的符号是作为非对角元素本身的值的a(i，j)的符号、还是头记述值ha(i，j)的符号的信息进行编码。进而，变换系数编码部131按照图16所示的模式1～模式4的某个，将非对角元素的符号编码。

例如，在模式1中，变换系数编码部131将全部的非对角元素的符号原样发送。即，变换系数编码部131对非对角元素的每个位置，对表示非对角元素是正还是负的符号信息分配比特。

此外，在模式2中，变换系数编码部131按照非对角元素的每个位置(其中，只是上三角元素就可以)，将表示转置元素的符号是否相对于编码对象元素的符号反转的符号反转信息编码。另外，符号反转信息是表示编码对象元素的符号与转置元素的符号是否不同的信息。

进而，变换系数编码部131将表示上三角元素的正负的符号信息编码。即，变换系数编码部131只要按照非对角元素的每个位置、对符号反转信息和符号信息分配比特就可以。在编码对象元素是下三角元素的情况下，只要按照下三角元素的每个位置将符号反转信息和符号信息编码就可以。

此外，在模式3中，变换系数编码部131也可以对表示在全部的非对角元素的位置处、编码对象元素的符号与转置元素的符号相互反转的全符号反转信息进行编码、再按照上三角元素的每个位置将表示上三角元素的正负的符号信息编码。即，变换系数编码部131只要对全符号反转信息和符号信息分配比特就可以。

另外，如上所述，上三角元素和下三角元素符号相互反转的情况较多，所以通过对表示在全部的位置处符号反转的全符号反转信息分配比特，能够将信息量压缩。

此外，在模式4中，变换系数编码部131也可以将表示上三角元素的符号全部是正的上三角元素符号信息、或表示左上的n×n的部分矩阵的上三角元素是正的范围信息编码。此时，变换系数编码部131例如将下三角元素的符号看作是负，不按照非对角元素的每个位置发送符号信息。

另外，变换系数编码部131也可以将表示下三角元素的符号全部是负的下三角元素符号信息编码。

如以上这样，变换系数编码部131按照包括模式1～模式4的多个模式的某个，将非对角元素的符号编码。

另外，变换系数编码部131也可以根据输入的变换系数来选择模式。例如，在输入的变换系数的上三角元素的符号与下三角元素的符号相互反转的情况下，变换系数编码部131通过选择模式3，能够将信息进一步压缩。或者，在输入的变换系数的上三角元素的符号全部是正的情况下，变换系数编码部131通过选择模式4，能够将信息进一步压缩。

如以上这样，有关实施方式1的编码装置100通过计算在变换处理中使用的变换系数的元素与规定值的差、将计算出的差编码，将变换系数压缩编码。此时，在对角元素和非对角元素中计算与不同的值的差。这是因为，变换系数是基于变换对象信号的统计特性决定的系数，如上所述，在对角元素和非对角元素中具有相互不同的性质。

有关实施方式1的编码装置100通过利用该性质，能够将变换系数压缩编码、向解码装置等发送。因而，能够抑制数据量的增加，并且能够提高编码效率。

另外，在实施方式1中，对变换部110将在变换中使用的变换系数向变换系数编码部131输出、变换系数编码部131将变换系数编码的结构进行了说明，但也可以如图17A所示的编码装置300a那样将变换系数量化。

编码装置300a与图3所示的编码装置100相比，代替编码部130而具备编码部330a这一点不同。编码部330a具备变换系数编码部331a和熵编码部132。以下，对于与图3相同的结构省略说明，以不同点为中心进行说明。

变换系数编码部331a具备变换系数差编码部333和变换系数量化部335，将在变换部110中使用的变换系数编码及量化。

变换系数差编码部333相当于上述变换系数编码部131，在编码对象元素是对角元素的情况下，计算与规定的基准值的差，将计算出的差编码。此外，在编码对象元素是非对角元素的情况下，变换系数差编码部333利用与转置元素的冗余性将非对角元素编码。将通过编码生成的编码变换系数向变换系数量化部335输出。

变换系数量化部335将输入的编码变换系数量化。此时，变换系数量化部335将能量考虑在内，按照变换系数的每个元素对应于元素的位置进行加权。例如，进行加权以使的能量较大的成分、即低频率成分的量化步长变小。

例如，变换系数量化部335如式13所示，通过将构成编码变换系数的元素ha(i，j)除以变换系数用量化步长TWL(i，j)(Trans Weight Level)而量化。

[数式13]

(式13)ha′(i，j)＝ha(i，j)/TWL(i，j)

将量化后的变换系数(以下，记作量化变换系数)向熵编码部132输出，如上述那样进行熵编码。

变换系数用量化步长TWL(i，j)例如由变换系数量化部335预先存储在内部存储器等中。图18A是表示变换系数用量化步长表的一例的图。变换系数用量化步长表是按照每个索引而表示变换系数用量化步长TWL(i，j)的表。

进而，变换系数量化部335按照每个元素ha(i，j)保持参照的TWL排列的索引表。图18B是表示TWL排列的索引表的一例的图。这里，变换系数用量化步长TWL(i，j)按照元素的每个行定义。即，对于位于同一行的元素的索引是相同的，因而，变换系数用量化步长TWL(i，j)也是相同的。是TWL(i，j)＝TWL(i)，基于量化的对象元素的行决定变换系数用量化步长。

变换系数量化部335通过按照元素ha(i，j)的每个位置参照索引表，取得符合的位置的索引。并且，变换系数量化部335通过参照变换系数用量化步长表，取得与所取得的索引对应的变换系数用量化步长TWL(i，j)。

例如，在图18A及图18B所示的例子中，对于第1行的元素ha(1，j)的索引是1，TWL(1，j)也是1。对于第3列的元素ha(3，j)的索引是3，TWL(3，j)是2。

另外，在构成输入信号的元素以从低频带到高频带的顺序、或者以从能量较高者向较低者的顺序排列的情况下，越是上面的行的元素、即越是低域的元素，变换系数越重要。因而，应对上面的行的元素分配更多的比特，所以优选的是使用较小的值的TWL(i，j)。

另外，熵编码部132将量化后的变换系数、和图18A及图18B所示的量化步长表及索引表也编码。另外，在编码装置300a及300b、以及解码装置中，只要索引表及量化步长表是利用固定的值的，也可以不编码。

此外，也可以使用图18C所示那样的TWL排列的索引表。在图18C所示的索引表中，配置为，使得行号码i及列号码j越小、即越是左上的元素则索引越小。与上述同样，越是低域的元素越重要，所以优选的是，不仅是行号码i、对于列号码j较小的元素也分配较多的比特。因而，在图18C所示的索引表中，将索引排列，以使得对于行号码i及列号码j较小的元素的TWL(i，j)为较小的值。

另外，在上述说明中，对将头记述值ha(i，j)量化后进行熵编码的结构进行了说明，但也可以将由变换系数差编码部333编码前的变换系数a(i，j)本身量化。进而，也可以将绝对平均值ha_tpair(i，j)编码。在此情况下，例如，变换系数差编码部333也可以如上述那样将量化后的变换系数a’(i，j)编码。

另外，也可以如图17B所示的编码装置300b那样具备用来将变换系数进行熵编码的专用的熵编码部。

编码装置300b与图17A所示的编码装置300a相比，代替编码部330a而具备编码部330b、还新具备复用部340这一点不同。编码部330b具备变换系数编码部331b和熵编码部132。此外，变换系数编码部331b具备变换系数差编码部333、变换系数量化部335、和变换系数熵编码部337。以下，对与图17A所示的编码装置300a相同的结构省略说明，以不同点为中心进行说明。

变换系数熵编码部337对由变换系数量化部335量化后的编码变换系数进行熵编码。

复用部340通过将由熵编码部132熵编码后的量化系数、和由变换系数熵编码部337熵编码后的变换系数复用，从而生成编码信号。例如，复用部340将熵编码后的变换系数作为编码后的图像或声音数据的头信息记述在编码信号中。

如以上这样，如图17B所示的编码装置300b那样，有关实施方式1的编码装置也可以分别具备量化系数用的熵编码部、和变换系数用的熵编码部。

此外，也可以将有关本发明的编码方法用在预测编码中。图19是表示实施方式1的变形例的编码装置400的结构的一例的框图。对编码装置400输入声音数据及运动图像数据等的编码对象信号。

图19所示的编码装置400具备变换部410、量化部120、编码部130、逆量化部440、逆变换部450、加法器460、存储器470、预测部480、和减法器490。另外，对于进行与图3所示的编码装置100相同的动作的处理部赋予相同的标号，以下省略说明。

在变换部410中，作为变换输入信号而输入编码对象信号与预测信号之间的差——即预测误差信号。变换部410对预测误差信号进行与上述变换部110同样的处理。即，变换部110和变换部410之间只是在不是输入编码对象信号本身、而输入预测误差信号这一点不同，详细的结构例如与图4所示的变换部110相同。

量化部120及编码部130如上述那样动作，所以这里省略说明。

逆量化部440通过将从量化部120输出的量化系数逆量化，生成解码变换输出信号。将所生成的解码变换输出信号向逆变换部450输出。另外，解码变换输出信号是将由变换部410生成的变换输出信号复原的信号，但由于通过量化部120进行了非可逆处理，所以并不与变换输出信号完全相同。即，解码变换输出信号包含量化误差。

逆变换部450通过对解码变换输出信号进行逆变换处理，生成解码变换输入信号。逆变换处理是变换部410进行的变换处理的相反的处理。

例如，设想变换部410使用作为N×N的正方矩阵的变换矩阵A对变换输入信号xⁿ进行变换T的情况。此时，变换部410输出的变换输出信号yⁿ由式1表示。更具体地讲，变换部410通过式2及式3生成变换输出信号yⁿ。

此时，逆变换部450进行的逆变换T^-1是以变换矩阵A的逆矩阵A-1为变换系数的变换处理。对输入到逆变换部450中的解码变换输出信号y^ⁿ进行的逆变换T^-1由式14表示。

[数式14]

(式14) $T^{-1}\left[{\hat{y}}^n\right]=A^{-1}{\hat{y}}^n$

因而，逆变换部450输出的解码变换输入信号x^ⁿ由式15表示。

[数式15]

(式15) ${\hat{x}}^n=T^{-1}\left[{\hat{y}}^n\right]$

加法器460通过将解码变换输入信号与预测信号相加，生成解码信号。将生成的解码信号保存到存储器470中，在生成以后输入的编码对象信号的预测信号时参照。

存储器470是保存解码信号的存储器等的存储部的一例。

预测部480通过参照保存在存储器470中的、之前编码及解码后的解码信号(已编码信号)来预测编码对象信号，从而生成预测信号。将所生成的预测信号向减法器490和加法器460输出。另外，将预测模式(内预测(intra prediction)或间预测(inter prediction)等)等的用于生成预测信号的控制信息输出给编码部130、由编码部130编码。

减法器490通过计算编码对象信号与由预测部480生成的预测信号的差、即预测误差，生成预测误差信号。将所生成的预测误差信号作为变换输入信号输入到变换部410中。

接着，使用图20对上述编码装置400的动作进行说明。

图20是表示实施方式1的变形例的编码装置400的动作的一例的流程图。

首先，将声音数据或运动图像数据等的编码对象信号输入到编码装置400中。预测部480通过参照保存在存储器470中的已编码信号，生成预测信号(S400)。将生成的预测信号输出给减法器490。并且，减法器490通过计算作为编码对象信号与预测信号之间的差的预测误差，生成预测误差信号(S405)。

接着，变换部410对预测误差信号进行变换处理(S110)。例如，按照图8所示的流程图，通过将预测误差信号变换而生成变换输出信号。接着，量化部120通过将变换输出信号量化，生成量化系数(S120)。

接着，编码部130通过将量化系数、和在变换处理中使用的变换系数压缩编码，生成编码信号(S130)。此外，逆量化部440通过将量化系数逆量化，生成解码变换输出信号(S440)。另外，编码部130进行的压缩编码、和逆量化部440进行的逆量化哪个先进行都可以，或者也可以通过并行处理来执行。

接着，逆变换部450通过对解码变换输出信号进行逆变换处理，生成解码变换输入信号(S450)。逆变换处理是变换部410进行的变换处理的相反的处理。最后，加法器460通过将解码变换输入信号与预测信号相加，生成解码信号，保存到存储器470中(S460)。

如以上这样，编码装置400也可以将作为编码对象信号与通过对编码对象信号进行预测而生成的预测信号之间的差的预测误差信号作为变换对象信号、进行上述的变换处理。由此，能够将应编码的信息量压缩，所以能够进一步提高编码效率。

另外，在实施方式1中，变换对象信号是基于输入信号的信号，例如是作为输入信号的编码对象信号本身、或是作为对输入信号施加了某些处理的结果而生成的信号。例如，变换对象信号是预测误差信号、第1部分信号等的执行变换处理的信号。

此外，第1变换部200也可以执行通常的DCT作为第1变换T₁。在此情况下，也能够减小第1变换输出信号y₁ ⁿ的相关性。因而，构成第2变换矩阵A₂ ^m的元素具有上述那样的特性(例如，对角元素接近于1等)。

此外，第2变换部220，作为第2变换T₂，也可以不进行KLT，而是进行基于输入信号的统计特性适应性地决定变换系数、使用所决定的变换系数减小相关性的其他变换。

此外，在有关实施方式1的编码装置100中，将第2部分信号和第2变换输出信号合并后量化，但也可以不合并而进行量化及压缩编码。

此外，如果是仅进行1阶段的变换的情况，也能够采用上述有关实施方式1的编码方法。例如，在有关本发明的编码方法中，也可以计算默认的变换系数Dij(例如，在DCT中使用的变换系数)、与实际在变换中使用的系数Wij之间的差，并将计算出的差编码。由此，能够更高效率地将变换系数编码。这是因为，在作为1阶段的变换而对时空域的变换输入信号进行了KLT的情况下，决定接近于DCT的变换系数。

另外，在上述实施方式1中，对将在编码时进行的变换(具体而言是第2变换)中使用的变换系数压缩编码的例子进行了说明，但编码装置也可以将在变换处理的逆变换中使用的逆变换系数压缩编码。具体而言，有关实施方式1的编码装置100也可以将在第2变换的逆变换中使用的第2逆变换系数压缩编码。第2变换系数和第2逆变换系数例如为转置矩阵的关系。

(实施方式2)

有关实施方式2的解码装置，是通过将编码信号解码而生成解码信号的解码装置，其特征在于，编码信号包括压缩编码后的编码量化系数、和包含于在生成该编码信号时进行的变换处理中使用的变换系数中的元素与规定值的差。有关实施方式2的解码装置具备：通过将编码信号解码、生成解码量化系数和逆变换系数的解码部；通过将解码量化系数逆量化、生成解码变换输出信号的逆量化部；和通过使用逆变换系数进行作为与在编码侧进行的变换处理相反的处理的逆变换处理、从解码变换输出信号生成解码信号的逆变换部。解码部通过将编码信号解码而取得差，通过将所取得的差与规定值相加，生成逆变换系数。以下，首先使用图21对有关实施方式2的解码装置的结构的一例进行说明。

图21是表示有关实施方式2的解码装置500的结构的一例的框图。在解码装置500中，输入将声音数据、静止图像数据、及运动图像数据等的各种数据编码的编码信号。如图21所示，解码装置500具备解码部510、逆量化部520、和逆变换部530，通过将输入的编码信号解码，生成解码信号。

另外，输入到解码装置500中的编码信号，是通过对输入到编码装置中的表示各种数据的输入信号进行变换及量化而生成的信号。更具体地讲，编码信号包括压缩编码的编码量化系数、和包含于在生成该编码信号时进行的变换处理中使用的变换系数中的元素与规定值的差。例如，编码信号是有关实施方式1的编码装置100生成的信号。

解码部510具备熵解码部511和变换系数解码部512，通过将编码信号解码，生成解码量化系数和逆变换系数。

另外，在本实施方式中，也可以是，解码部510不生成逆变换系数，逆变换部530生成逆变换系数。

此外，也可以是，编码装置生成逆变换系数，将基于上述实施方式1生成的逆变换系数编码，向解码装置500发送。在一般的正交变换中，逆变换矩阵和变换矩阵处于转置矩阵的关系。在变换系数编码部131将变换系数压缩编码而向解码装置500发送的情况下，通过在变换系数解码部512中转置而得到逆变换系数。在变换系数编码部131将逆变换系数基于上述实施方式1压缩编码而向解码装置500发送的情况下，不需要变换系数解码部512中的转置。

为了抑制在解码装置500的逆变换中耗费的运算量，也有不使逆变换系数与变换系数一致的情况，在此情况下，变换系数编码部131将逆变换系数基于上述实施方式1压缩编码，向解码装置500发送。此外，在使用称作双正交(Biorthogonal)变换的、没有严格正交的变换、及其逆变换的情况下，也将逆变换系数向解码装置500发送。

熵解码部511通过将编码信号进行熵解码，由此生成解码量化系数和解码变换系数。将解码量化系数输出给逆量化部520，将解码变换系数输出给变换系数解码部512。解码变换系数是复原后的编码变换系数，相当于包含于在生成编码信号时进行的变换处理中使用的变换系数中的元素与规定值之间的差。此外，解码变换系数还包括非对角元素的符号信息等、为了将变换系数复原而需要的信息。

变换系数解码部512通过将解码变换系数解码而将变换系数复原，生成逆变换系数。关于具体的逆变换系数的生成处理在后面说明。

另外，变换系数是在编码装置侧根据变换对象信号适应性地决定的系数。具体而言，变换系数如在实施方式1中说明那样，是基于包括作为变换处理的对象的信号的变换对象信号的集合的统计特性决定的系数，例如是通过KLT决定的系数。

逆量化部520通过将从熵解码部511输出的解码量化系数逆量化而生成解码变换输出信号。即，逆量化部520进行与在实施方式1中说明的量化部120相反的处理。将生成的解码变换输出信号向逆变换部530输出。

逆变换部530通过使用从变换系数解码部512输出的逆变换系数将解码变换输出信号逆变换，生成解码信号。即，逆变换部530进行与在实施方式1中说明的变换部110相反的处理。

如以上的结构所示，解码部510通过将编码信号进行熵解码，取得解码量化系数和变换系数。并且，逆变换部530使用由解码部510取得的变换系数，将解码变换输出信号逆变换。

由此，有关实施方式2的解码装置500使用包含在编码信号中的变换系数生成逆变换系数，使用生成的逆变换系数进行逆变换，或者使用包含在编码信号中的逆变换系数进行逆变换，所以，例如能够将如有关实施方式1的编码装置100那样、进行了使用适应性地决定的变换系数的变换的编码信号解码。

接着，对有关实施方式2的逆变换部530的结构的一例更详细地说明。

图22A是表示有关实施方式2的解码装置500具备的逆变换部530的结构的一例的框图。如图22A所示，逆变换部530具备分割部600、第2逆变换部610、合并部620、和第1逆变换部630，对解码变换输出信号y^ⁿ以两个阶段进行逆变换处理。

分割部600基于分割合并信息，将解码变换输出信号y^ⁿ分割为第2解码变换输出信号y^₂ ^m和第2解码部分信号y^_1H ^n-m。第2解码变换输出信号y^₂ ^m相当于有关实施方式1的第2变换部220生成的第2变换输出信号y₂ ^m，第2解码部分信号y^_1H ^n-m相当于从分割部210输出的第2部分信号y_1H ^n-m。

分割合并信息是表示将解码变换输出信号y^ⁿ怎样分割的信息，具体而言，是表示在通过编码装置变换处理时怎样将变换对象信号分割的信息。分割合并信息也可以包含在编码信号中，或者也可以保存在解码装置500具备的内部存储器等中。特别是，在第2变换的对象元素是固定的情况下，通过将分割合并信息保存到存储器中，能够削减编码信号的代码量。

第2逆变换部610通过将第2解码变换输出信号y^₂ ^m逆变换，生成第1解码部分信号y^_1L ^m。具体而言，第2逆变换部610对第2解码变换输出信号y^₂ ^m进行作为与有关实施方式1的第2变换部220进行的变换处理(第2变换T₂)相反的处理的逆变换处理(第2逆变换T₂ ^-1)。

即，第2逆变换部610使用由熵解码部511及变换系数解码部512生成的第2逆变换矩阵A^-1 ₂，对第2解码变换输出信号进行第2逆变换T₂ ^-1。或者，第2逆变换部610也可以计算第2变换矩阵A₂的逆矩阵，使用计算出的作为逆矩阵的第2逆变换矩阵A^-1 ₂，按照式15将第2解码变换输出信号y^₂ ^m逆变换。

另外，第1解码部分信号y^_1L ^m相当于从有关实施方式1的分割部210输出的第1部分信号y_1L ^m。此外，第2逆变换矩阵A^-1 ₂如在实施方式1中说明那样，是基于包含作为变换处理的对象的信号的第1部分信号y_1L ^m的集合的统计特性而决定的系数，例如是通过KLT决定的系数。

合并部620通过基于分割合并信息将从分割部600输出的第2解码部分信号y^_1H ^n-m、和从第2逆变换部610输出的第1解码部分信号y^_1L ^m合并，生成第1解码变换输出信号y^₁ ⁿ。第1解码变换输出信号y^₁ ⁿ相当于从有关实施方式1的第1变换部200输出的第1变换输出信号y₁ ⁿ。

第1逆变换部630通过将第1解码变换输出信号y^₁ ⁿ逆变换，生成解码信号x^ⁿ。具体而言，第1逆变换部630对第1解码变换输出信号y^₁ ⁿ进行作为与有关实施方式1的第1变换部200进行的变换处理(第1变换T₁)相反的处理的逆变换处理(第1逆变换T₁ ^-1)。

即，第1逆变换部630使用由熵解码部511及变换系数解码部512生成的第1逆变换矩阵A^-1 ₁，对第1解码变换输出信号y^₁ ⁿ进行第1逆变换T₁ ^-1。或者，第1逆变换部630也可以计算作为第1变换矩阵A₁的逆矩阵的第1逆变换矩阵A^-1 ₁，也可以使用计算出的第1逆变换矩阵A^-1 ₁、按照式15将第1解码变换输出信号y^₁ ⁿ逆变换。

这里，第1逆变换矩阵A^-1 ₁如在实施方式1中说明那样，是基于包含作为变换处理的对象的信号的变换输入信号y₁ ⁿ在内的集合的统计特性而决定的系数，例如是通过KLT决定的系数。另外，第1逆变换部630也可以是逆DCT变换，在此情况下，第1逆变换矩阵A^-1 ₁也可以由第1逆变换部630存储在内部存储器等中。

另外，本发明的有关实施方式2的逆变换部530也可以不具备分割部600和合并部620。即，逆变换部530不是将解码变换输出信号y^ⁿ明示地分割，只要决定构成解码变换输出信号y^ⁿ的元素中的作为第2逆变换T₂ ^{- 1}的对象的元素、仅对所决定的元素进行第2逆变换T₂ ^-1就可以。

例如，在第2逆变换部610中，输入解码变换输出信号y^ⁿ，对输入的解码变换输出信号y^ⁿ使用第2逆变换系数进行第2变换T₂ ^-1。此时，第2逆变换部610将对构成解码变换输出信号y^ⁿ的元素中的、不作为第2逆变换T₂ ^-1的对象的元素(即，包含在第2解码部分信号中的元素)乘以的第2变换矩阵进行设定，设定为使对角元素为0、非对角元素为1。由此，第2逆变换部610能够仅对构成解码变换输出信号y^ⁿ的元素中的、作为第2逆变换T₂ ^-1的对象的元素进行第2逆变换T₂ ^-1。在图22B中表示矩阵运算的具体例。

如图22B(a)那样对4元的向量X_n中的3元(X₁，X₂，X₃)乘以3×3的大小的矩阵A³ _ij而得到的结果，与如图22B(b)那样将A³ _ij向4×4扩展、在扩展时将对角元素设定为1、将非对角元素设定为0的扩展后的矩阵A⁴ _ij与4元的X的相乘结果的3元的部分一致。

另外，此时，第2逆变换部610也可以取得用来决定作为第2逆变换T₂ ^-1的对象的元素的选择范围信息，基于所取得的选择范围信息决定作为第2逆变换T₂ ^-1的对象的元素。选择范围信息例如从编码装置或内部存储器取得。

接着，举图23所示那样的解码变换输出信号y^ⁿ的一例，对逆变换部530中的数据流进行说明。另外，图23是概念性地表示有关实施方式2的逆变换部530的数据流的一例的图。

如图23所示，在逆变换部530中，输入由16个元素构成(输入元数是16元)的解码变换输出信号y^ⁿ。

首先，分割部600将解码变换输出信号y^ⁿ分割为包括低频带的第2解码变换输出信号y^₂ ^m和包括高频带的第2解码部分信号y^_1H ^n-m。具体而言，分割部600使用分割合并信息进行分割，以使第2解码变换输出信号y^₂ ^m的相关能比第2解码部分信号y^_1H ^n-m的相关能大。

进而，分割部600将2维的第2解码变换输出信号y^₂ ^m重新排列为1维，向第2逆变换部610输出。此时，分割部600优选的是将第2解码变换输出信号y^₂ ^m重新排列，以使其从低域向高域排列。例如，在图23所示的例子中，第2解码变换输出信号y^₂ ^m由6个元素构成(输入元数是6元)，第2解码部分信号y^_1H ^n-m由10个元素构成(输入元数是10元)。

接着，第2逆变换部610通过使用由熵解码部511及变换系数解码部512生成的第2逆变换矩阵A^-1 ₂对第2解码变换输出信号y^₂ ^m进行第2逆变换T₂ ^-1，生成第1解码部分信号y^_1L ^m。具体而言，计算在由编码装置进行的变换处理中使用的第2变换矩阵A₂的逆矩阵(第2逆变换矩阵)，使用计算出的第2逆变换矩阵A^-1 ₂将第2解码变换输出信号y^_1L ^m逆变换。

接着，合并部620将第1解码部分信号y^_1L ^m重新排列为由分割部600重新排列成1维的信号之前的维(这里是2维)。并且，合并部620通过将第1解码部分信号y^_1L ^m与第2解码部分信号y^_1H ^n-m合并，生成第1解码变换输出信号y^₁ ⁿ。

最后，第1逆变换部630通过将第1解码变换输出信号y^₁ ⁿ逆变换，生成解码信号x^ⁿ。具体而言，计算在由编码装置进行的变换处理中使用的第1变换矩阵A₁的逆矩阵(第1逆变换矩阵)，使用计算出的第1逆变换矩阵A^-1 ₁将第1解码变换输出信号y^₁ ⁿ逆变换。

如以上这样，在有关实施方式2的解码装置500中，逆变换部530将输入的解码变换输出信号以两个阶段变换。由此，能够将由编码装置进行了两个阶段的变换处理的编码信号解码。

接着，说明有关实施方式2的解码装置500进行的解码方法。

图24是表示有关实施方式2的解码装置500的动作的一例的流程图。

首先，将编码了声音数据或图像数据等的编码信号输入到解码装置500中。熵解码部511通过将输入的编码信号解码，生成解码量化系数和变换系数(S510)。具体而言，首先，熵解码部511通过将编码信号解码，生成解码量化系数和解码变换系数。并且，变换系数解码部512通过将解码变换系数解码，将变换系数复原，再生成逆变换系数。或者，在将逆变换系数编码的情况下，变换系数解码部512将解码变换系数解码，生成逆变换系数。

接着，逆量化部520通过将所取得的解码量化系数逆量化，生成解码变换输出信号(S520)。

最后，逆变换部530通过使用由变换系数解码部512生成的逆变换系数，将解码变换输出信号从频率域向时空域逆变换，从而生成解码信号(S530)。

如以上这样，有关实施方式2的解码装置500通过使用包含在编码信号中的变换系数进行逆变换，生成解码信号。由此，即使是由编码装置适应性地决定变换系数、包含所决定的变换系数的情况，有关实施方式2的解码装置500也能够将编码信号解码。

接着，对有关实施方式2的解码装置500进行的逆变换处理(S530)、和解码处理(S510)中的特别是变换系数的解码的详细情况进行说明。首先，对逆变换处理(S530)进行说明。

图25是表示有关实施方式2的逆变换部530的动作的一例的流程图。

首先，分割部600取得分割合并信息(S531)。例如，分割部600在分割合并信息包含在编码信号中的情况下从解码部510取得，在固定位置处的分割的情况等的情况下从内部存储器等取得。

接着，分割部600基于所取得的分割合并信息，将解码变换输出信号y^ⁿ分割为第2解码变换输出信号y^₂ ^m和第2解码部分信号y^_1H ^n-m(S532)。将第2解码变换输出信号y^₂ ^m向第2逆变换部610输出，将第2解码部分信号y^_1H ^n-m向合并部620输出。

接着，第2逆变换部610取得从变换系数解码部512输出的第2逆变换矩阵A^-1 ₂(S532)。进而，第2逆变换部610通过使用所取得的第2逆变换矩阵A^-1 ₂对第2解码变换输出信号y^₂ ^m进行逆变换(第2逆变换T₂ ^-1)，生成第1解码部分信号y^_1L ^m(S534)。将所生成的第1解码部分信号y^_1L ^m向合并部620输出。

接着，合并部620通过将第1解码部分信号y^_1L ^m与第2解码部分信号y^_1H ^n-m合并，生成第1解码变换输出信号y^₁ ⁿ(S535)。将所生成的第1解码变换输出信号y^₁ ⁿ向第1逆变换部630输出。

接着，第1逆变换部630取得第1逆变换矩阵A^-1 ₁(S536)。例如，第1逆变换部630在第1变换矩阵A₁或第1逆变换矩阵A^-1 ₁包含在编码信号中的情况下，从变换系数解码部512取得，在第1逆变换是逆DCT变换等，第1逆变换矩阵A^-1 ₁是预先设定的系数的情况下，从内部存储器等取得。

最后，第1逆变换部630通过使用所取得的第1逆变换矩阵A^-1 ₁对第1解码变换输出信号y^₁ ⁿ进行逆变换(第1逆变换T₁ ^-1)，生成解码信号x^ⁿ(S537)。

如以上这样，有关实施方式2的逆变换部530通过进行作为与对编码信号执行的变换处理相反的处理的逆变换处理，能够从解码变换输出信号生成解码信号。

接着，对有关实施方式2的变换系数的解码进行说明。

如上述那样，在编码信号中，包含压缩编码的编码量化系数、和包含于在生成该编码信号时进行的变换处理中使用的变换系数中的元素与规定值之间的差。在有关实施方式2的解码装置500中，解码部510通过生成编码信号，生成解码量化系数和变换系数。变换系数是用于在生成编码信号时进行的变换处理中的系数，是由编码装置基于包含输入信号的集合的统计特性适应性地决定的系数。

在变换系数中，如在实施方式1中说明那样，在对角元素和非对角元素中具有相互不同的性质，在编码装置中，利用该性质进行编码。因而，有关实施方式2的解码装置500也同样，在变换系数的对角元素和非对角元素中按照不同的解码方式取得变换系数(逆变换系数)。

图26是表示有关实施方式2的变换系数解码部512的动作的一例的流程图。

解码部510将包含在编码信号中的压缩编码的变换系数按照构成该变换系数的每个元素进行解码。具体而言，熵解码部511通过将编码信号进行熵解码而生成解码变换系数。接着，变换系数解码部512判断包含在解码变换系数中的解码对象元素是对角元素还是非对角元素(S511)。

在解码对象元素是对角元素的情况下(在S511中是“对角元素”)，变换系数解码部512利用与规定的基准值的差进行解码(S512)。关于具体的处理在后面说明。

在解码对象元素是非对角元素的情况下(在S511中“非对角元素”)，变换系数解码部512利用与转置元素的关系进行解码(S513)。关于具体的处理在后面说明。

这样，在有关实施方式2的解码装置500中，根据解码对象元素是对角元素还是非对角元素，使用不同的解码方式将变换系数解码。以下，对由有关实施方式2的解码装置500进行的变换系数的解码更详细地说明。

首先，对解码对象元素是对角元素的情况进行说明。

图27A是表示在实施方式2中、解码对象元素是对角元素的情况下的变换系数解码部512的动作的一例的流程图。

首先，熵解码部511通过将编码信号进行熵解码，取得解码变换系数、具体而言取得对角元素与规定值的差，向变换系数解码部512输出(S600)。例如，在按照图11A所示的流程图编码的编码信号中，在头中记述有对角元素a(i，i)与规定值c的差。因而，熵解码部511通过将编码信号进行熵解码，取得由式5表示的头记述值h(i，i)。

接着，变换系数解码部512通过将所取得的头记述值h(i，i)与规定值c相加，取得对角元素a(i，i)(S610)。此时，也可以是，规定值c也记述在编码信号的头中，通过熵解码部511将编码信号进行熵解码，从而，变换系数解码部512取得规定值c。或者，也可以是，在规定值c是变换系数的元素能够取的值的最大值等、预先设定的固定值(例如c＝1)的情况下，变换系数解码部512将规定值c预先保持在内部存储器等中。

如以上这样，变换系数解码部512能够利用变换系数的对角元素是与能够取的值的最大值等的规定值接近的值的情况较多的性质，将编码的变换系数解码。

此外，规定值也可以是与对角元素a(i，i)相邻接的对角元素a(i-1，i-1)或a(i+1，i+1)。例如，在编码信号中包含式6所示那样的头记述值h(i，i)。

此时，熵解码部511通过将编码信号进行熵解码，取得式6所示的头记述值h(i，i)，向变换系数解码部512输出。并且，变换系数解码部512通过将所取得的头记述值与已经解码的对角元素a(i-1，i-1)相加，生成作为解码对象元素的对角元素a(i，i)。

由此，变换系数解码部512能够利用变换系数的对角元素具有越是右下的对角元素越从1偏离的趋势，将编码的变换系数解码。

此外，规定值也可以是作为解码对象元素的对角元素a(i，i)的预测值p(i，i)。

图27B是表示在实施方式2中、解码对象元素是对角元素的情况下的变换系数解码部512的动作的一例的流程图。

首先，熵解码部511通过将编码信号进行熵解码，取得对角元素与预测值之间的差，向变换系数解码部512输出(S600)。例如，在按照图11B所示的流程图编码的编码信号中，在头中记述有对角元素a(i，i)与预测值p(i，i)之间的差。因而，熵解码部511通过将编码信号进行熵解码，取得式9所示的头记述值h(i，j)。

接着，变换系数解码部512生成预测值p(i，i)(S611)。例如，变换系数解码部512按照式7及式8生成预测值p(i，i)。另外，用于生成预测值的信息、例如在式7及式8中使用的i(i，i)及c(i，i)记述在编码信号的头中。或者，也可以使用保持在变换系数解码部512的内部存储器等中的值。

并且，变换系数解码部512通过将生成的预测值p(i，i)与所取得的作为差的头记述值h(i，i)相加，生成对角元素a(i，i)(S612)。

如以上这样，通过熵解码部511将编码信号进行熵解码、变换系数解码部512将所取得的解码变换系数解码，生成对角元素。另外，图27A及图27B所示的处理是利用与图26所示的规定的基准值的差的解码处理(S512)的一例。另外，按照图27A及图27B的哪种解码方式、或是否按照别的解码方式解码，记述在编码信号的头等中。

接着，对解码对象元素是非对角元素的情况进行说明。

变换系数解码部512在解码对象元素是非对角元素的情况下，将在该非对角元素、与作为将该非对角元素沿对角元素翻转的位置的元素的转置元素之间去除了冗余性的成分解码。另外，在将解码对象元素用a(i，j)表示的情况下，将转置元素用a(j，i)表示(参照图12)。

例如，编码信号包含非对角元素的绝对值及转置元素的绝对值的平均值(绝对平均值)、和该平均值及非对角元素的绝对值的差。以下，对输入了包括绝对平均值和差在内的编码信号的情况下的解码装置500的动作使用图28进行说明。

图28是表示在实施方式2中、解码对象元素是非对角元素的情况下的变换系数解码部512的动作的一例的流程图。

首先，熵解码部511通过将编码信号进行熵解码，取得非对角元素的绝对值及转置元素的绝对值的平均值、该平均值及非对角元素的绝对值的差、和非对角元素的符号，向变换系数解码部512输出(S700)。

例如，在按照图13所示的流程图编码的编码信号中，在头中记述有绝对值的平均值ha_tpair(i，j)、和平均值与非对角元素的绝对值的差ha(i，j)。因而，熵解码部511通过将编码信号进行熵解码，取得式10～式12所示的ha_tpair(i，j)和ha(i，j)。

此外，编码信号包括表示以图16所示的模式1～模式4及其他模式的哪种编码的非对角元素的符号的信息。另外，对表示符号的信息的详细情况在后面说明。

接着，变换系数解码部512通过将所取得的差ha(i，j)与平均值ha_tpair(i，j)相加(参照式10～式12)，生成非对角元素a(i，j)的绝对值(S710)。进而，变换系数解码部512通过基于表示符号的信息来决定非对角元素a(i，j)的符号，生成非对角元素a(i，j)(S720)。

以下，对取得了按照图16所示的模式1～模式4编码的、表示变换系数的符号的信息的情况下的变换系数解码部512的动作进行说明。

例如，对取得了模式1的符号信息的情况进行说明。

符号信息由于原样表示非对角元素的各自的符号，所以变换系数解码部512按照所取得的符号信息，分别决定非对角元素的符号。

接着，对取得了模式2的符号反转信息和符号信息的情况进行说明。符号反转信息是表示解码对象元素的符号与转置元素的符号是否不同的信息。此外，符号信息是表示上三角元素或下三角元素的正负的信息。这里，符号信息对上三角元素分别表示解码对象元素的符号。

例如，在符号信息表示包含在上三角元素中的解码对象元素a(i，j)的符号是正的情况下，变换系数解码部512基于解码对象元素a(i，j)的符号反转信息，决定转置元素a(j，i)的符号。例如，在符号反转信息表示解码对象元素的符号与转置元素的符号反转的情况下，转置元素a(j，i)的符号为负。反之，在符号反转信息表示解码对象元素的符号与转置元素的符号没有反转的情况下，转置元素a(j，i)的符号为正。在符号信息表示包含在上三角元素中的解码对象元素a(i，j)的符号是负的情况下，转置元素a(j，i)的符号与上述相反。

接着，对取得了模式3的全符号反转信息和符号信息的情况进行说明。全符号反转信息是表示包含在变换系数中的非对角元素的符号在全部的位置处反转的信息。因而，变换系数解码部512在符号信息表示解码对象元素a(i，j)的符号是正的情况下，决定转置元素a(j，i)的符号是负。在符号信息表示解码对象元素a(i，j)的符号是负的情况下，转置元素a(j，i)的符号为正。

接着，对取得了模式4的上三角元素符号信息或范围信息的情况进行说明。上三角元素符号信息是表示包含在变换系数中的上三角元素的符号在全部的位置中是正的信息。范围信息是表示左上的n×n的部分矩阵的上三角元素是正的信息。

例如，在取得了上三角元素符号信息的情况下，变换系数解码部512也可以将上三角元素的符号决定是正、并且将下三角元素的符号全部决定是负。此外，在取得了范围信息的情况下，变换系数解码部512将包含在变换系数中的系数之中的、左上的n×n的部分矩阵的上三角元素的符号在全部的位置处决定为正。此时，变换系数解码部512也可以将左上的n×n的部分矩阵的下三角元素的符号在全部的位置处决定为负。

另外，相反也可以取得表示包含在变换系数中的下三角元素的符号在全部的位置处是负的下三角元素符号信息。

如以上这样，变换系数解码部512决定非对角元素a(i，j)的符号。进而，如上所述，非对角元素a(i，j)的绝对值通过将所取得的绝对平均值ha_tpair(i，j)与ha(i，j)相加来计算，所以变换系数解码部512能够生成非对角元素a(i，j)。

如以上这样，在有关实施方式2的解码装置500中，通过从编码信号取得变换系数、使用所取得的变换系数进行逆变换来生成解码信号。此时，在变换系数中，如在实施方式1中说明那样，在对角元素和非对角元素中分别具有不同的性质，在编码信号中，包含有通过利用这些性质计算出的差。

另外，在编码信号中也可以包含有逆变换系数。即，编码装置也可以基于在变换中使用的变换系数生成逆变换系数、将所生成的逆变换系数基于上述实施方式编码。即，有关实施方式2的解码装置500也可以从编码装置取得(复原)逆变换系数。

有关实施方式2的解码装置500通过进行与编码装置进行的处理相反的处理，能够利用变换系数的性质将编码信号解码。

另外，也可以将包含在编码信号中的变换系数量化。即，编码信号也可以包含量化的变换系数(以下记作量化变换系数)、和表示在变换系数的量化中使用的量化步长的信息。此时，在有关实施方式2的解码装置中，如图29A所示，将由解码部510解码后的量化变换系数向变换系数解码部712a具备的变换系数逆量化部714输出。另外，图29A是表示实施方式2的变形例的解码装置700a的结构的一例的图。

解码装置700a与图21所示的解码装置500相比，代替解码部510而具备解码部710a这一点不同。解码部710a具备熵解码部511和变换系数解码部712a。以下，对于与图21相同的结构省略说明，以不同点为中心进行说明。

变换系数解码部712a具备变换系数逆量化部714和变换系数差解码部716，通过对由熵解码部511生成的量化变换系数进行量化及解码，将变换系数复原，生成逆变换系数。

熵解码部511通过将编码信号进行熵解码，取得量化步长和量化变换系数。另外，量化步长例如如在实施方式1中说明那样，将能量考虑在内，按照变换系数的每个元素根据元素的位置而加权。例如，进行加权，以使能量较大的成分、即低频率成分的量化步长变小。

熵解码部511通过将例如编码信号熵解码，取得量化变换系数、和图18A～图18C所示的量化步长表及索引表，向变换系数逆量化部714输出。

变换系数逆量化部714利用量化步长表及索引表，按照变换系数的每个元素，根据元素的位置，与实施方式1同样，生成量化步长TWL(i，j)。并且，变换系数逆量化部714使用所生成的量化步长、和量化的元素ha’(i，j)，生成作为头记述值的差ha(i，j)(参照式13)。

变换系数差解码部716相当于上述变换系数解码部512，在解码对象元素是对角元素的情况下，通过将由逆量化生成的差与规定的基准值相加，将对角元素复原。此外，在编码对象元素是非对角元素的情况下，变换系数差解码部716利用与转置元素的冗余性将非对角元素解码。将通过解码生成的逆变换系数向逆变换部530输出。

如以上这样，作为实施方式2的另一例的解码装置700a能够将在从量化变换系数进行编码时使用的变换系数复原而生成逆变换系数，所以能够将包括量化变换系数的编码信号解码。

另外，也可以如图29B所示的解码装置700b那样，具备用来将编码变换系数进行熵解码的专用的熵解码部。

解码装置700b与图29A所示的解码装置700a相比，代替解码部710a而具备解码部710b、还有新具备逆复用部705这一点不同。解码部710b具备熵解码部511和变换系数解码部712b。此外，变换系数解码部712b具备变换系数逆量化部714、变换系数差解码部716、和变换系数熵解码部718。以下，对与图29A所示的解码装置700a相同的结构进行说明，以不同的点为中心进行说明。

逆复用部705将输入的编码信号分离为编码量化系数和编码变换系数。将编码量化系数向熵解码部511输出，将编码变换系数向变换系数熵解码部718输出。

变换系数熵解码部718通过将从逆复用部705输入的编码变换系数进行熵解码，取得量化变换系数。将量化变换系数向变换系数逆量化部714输出。

如以上这样，如图29B所示的解码装置700b那样，有关实施方式2的解码装置也可以分别具备量化系数用的熵解码部、和变换系数用的熵解码部。

此外，本发明也可以应用到对预测编码后的编码信号进行解码的预测解码中。

图30是表示实施方式2的变形例的解码装置800的结构的一例的图。在解码装置800中输入预测编码的编码信号。预测编码的编码信号例如是从图19所示的编码装置400输出的编码信号，是通过对预测误差信号进行变换及量化而生成的信号。

图30所示的解码装置800具备解码部510、逆量化部520、逆变换部530、加法器840、存储器850、和预测部860。另外，对于进行与图21所示的解码装置500相同的动作的处理部赋予相同的标号，以下省略说明。

解码部510通过将所输入的编码信号进行熵解码，取得解码量化系数和变换系数。另外，解码部510取得在生成编码信号时的预测中使用的预测模式(内预测或间预测等)等的控制信息，向预测部860输出。

由于逆量化部520及逆变换部530如上述那样动作，所以这里省略说明。

加法器840通过将从逆变换部530输出的解码变换输入信号、与由预测部860生成的预测信号相加，生成解码信号。

存储器850是保存解码信号的存储器等的存储部的一例。

预测部860参照保存在存储器850中的、之前解码的解码信号，生成预测信号。将所生成的预测信号向加法器840输出。例如，预测部860基于从解码部510输入的控制信息生成预测信号。

接着，使用图31对上述解码装置800的动作进行说明。

图31是表示实施方式2的变形例的解码装置800的动作的一例的流程图。

首先，将预测编码了声音数据或运动图像数据等的输入信号的编码信号输入到解码装置800中。即，编码信号是将作为输入信号与预测信号之间的差的预测误差信号进行变换、量化及压缩编码而生成的信号。

预测部860基于保存在存储器850中的已解码的解码信号生成预测信号(S800)。

接着，解码部510通过将编码信号解码，取得解码量化系数和逆变换系数(S510)。并且，逆量化部520通过将解码量化系数逆量化，生成解码变换输出信号(S520)。进而，逆变换部530通过使用从解码部510输入的逆变换系数对解码变换输出信号进行逆变换，生成解码变换输入信号(S530)。解码变换输入信号是将预测误差信号复原后的解码预测误差信号。

接着，加法器840通过将预测信号与解码变换输入信号相加，生成解码信号(S840)。加法器840将所生成的解码信号作为参照信号保存到存储器850中，并且将解码信号作为输出信号向外部输出(S850)。

另外，在生成预测信号时，在需要包含在编码信号中的控制信息的情况下，只要将预测信号的生成(S800)在解码处理(S510)后进行就可以。此外，预测信号的生成(S800)和逆量化(S520)及逆变换(S530)也可以并行地进行。

如以上这样，解码装置800能够将编码了预测误差信号的编码信号解码。

此外，也可以不将第2部分信号与第2变换输出信号合并、而分别将量化及熵编码后的编码信号解码。即，通过熵解码及逆量化，生成第2解码部分信号和第2解码变换输出信号，所以解码装置500也可以不具备分割部600。

此外，如果是仅进行1阶段的逆变换的情况，也能够采用上述有关实施方式2的解码方法。例如，编码信号也可以计算默认的变换系数Dij(例如在DCT中使用的变换系数)、与实际在变换中使用的系数Wij的差、包含计算出的差。此时，解码装置500通过将编码信号进行熵解码，取得该差。解码装置500例如通过将默认的变换系数Dij存储到内部存储器等中、通过将所取得的差与默认的变换系数Dij相加，能够生成在编码时使用的系数Wij。

(实施方式3)

通过将用来实现上述各实施方式所示的运动图像编码方法或运动图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机***中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明上述各实施方式所示的运动图像编码方法及运动图像解码方法的应用例和使用它的***。

图32是表示实现内容分发服务的内容供给***ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex107～ex110。

该内容供给***ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(PersonalDigital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给***ex100并不限定于图32那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给***ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给***ex100中，客户端能够接收编码的数据而再现。这样，在内容供给***ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

只要在构成该内容供给***的各设备的编码、解码中使用上述各实施方式所示的图像编码方法或图像解码方法就可以。

作为其一例，对便携电话ex114进行说明。

图33是表示使用在上述实施方式中说明的图像编码方法和图像解码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex601、CCD照相机等的能够拍摄影像、静止图像的照相机部ex603、显示将由照相机部ex603摄影的影像、由天线ex601接收到的影像等解码后的数据的液晶显示器等的显示部ex602、操作键ex604群构成的主体部、用来进行声音输出的扬声器等的声音输出部ex608、用来进行声音输入的麦克风等的声音输入部ex605、用来将摄影的运动图像或静止图像的数据、接收到的邮件的数据、运动图像的数据或静止图像的数据等、编码的数据或解码的数据的记录介质ex607、用来使得能够向便携电话ex114安装记录介质ex607的插槽部ex606。记录介质ex607是在SD卡等的塑料壳内收存有作为能够进行电改写及擦除的非易失性存储器的EEPROM(Electrically Erasable and Programmable Read Only Memory)的一种的闪存存储器元件的结构。

进而，使用图34对便携电话ex114进行说明。便携电话ex114对于合并控制具备显示部ex602及操作键ex604的主体部的各部的主控制部ex711，将电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接口部ex703、LCD(Liquid Crystal Display)控制部ex702、图像解码部ex709、解复用部ex708、记录再现部ex707、调制解调电路部ex706及声音处理部ex705经由同步总线ex713相互连接。

电源电路部ex710如果通过用户的操作使结束通话及电源键成为开启状态，则通过从电池组对各部供给电力，带有照相机的数字便携电话ex114起动为能够动作的状态。

便携电话ex114基于由CPU、ROM及RAM等形成的主控制部ex711的控制，在声音通话模式时，将由声音输入部ex605集音的声音信号通过声音处理部ex705变换为数字声音数据，将其用调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后经由天线ex601发送。此外，便携电话ex114在声音通话模式时，将由天线ex601接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制解调电路部ex706进行波谱逆扩散处理，通过声音处理部ex705变换为模拟声音数据后，将其经由声音输出部ex608输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键ex604的操作输入的电子邮件的文本数据经由操作输入控制部ex704向主控制部ex711送出。主控制部ex711将文本数据用调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后，经由天线ex601向基站ex110发送。

在数据通信模式时，在发送图像数据的情况下，将由照相机部ex603摄像的图像数据经由照相机接口部ex703向图像编码部ex712供给。此外，在没有发送图像数据的情况下，也可以将由照相机部ex603摄像的图像数据经由照相机接口部ex703及LCD控制部ex702直接显示在显示部ex602上。

图像编码部ex712是具备在本发明中说明的图像编码装置的结构，通过将从照相机部ex603供给的图像数据用在上述实施方式所示的图像编码装置中使用的编码方法压缩编码而变换为编码图像数据，将其向解复用部ex708送出。此外，与此同时，便携电话ex114将在由照相机部ex603摄像中由声音输入部ex605集音的声音经由声音处理部ex705作为数字的声音数据向解复用部ex708送出。

解复用部ex708将从图像编码部ex712供给的编码图像数据和从声音处理部ex705供给的声音数据用规定的方式复用，将结果得到的复用数据用调制解调电路部ex706进行波谱扩散处理、由收发电路部ex701实施数字模拟变换处理及频率变换处理后、经由天线ex601发送。

在数据通信模式时接收到链接在主页等上的运动图像文件的数据的情况下，将经由天线ex601从基站ex110接收到的接收数据用调制解调电路部ex706进行波谱逆扩散处理，将结果得到的复用数据向解复用部ex708送出。

此外，为了将经由天线ex601接收到的复用数据解码，解复用部ex708通过将复用数据分离，分为图像数据的比特流和声音数据的比特流，经由同步总线ex713将该编码图像数据向图像解码部ex709供给，并将该声音数据向声音处理部ex705供给。

接着，图像解码部ex709是具备在本发明中说明的图像解码装置的结构，通过将图像数据的比特流用与在上述实施方式中表示的编码方法对应的解码方法解码而生成再现运动图像数据，将其经由LCD控制部ex702向显示部ex602供给，由此，显示例如包含在链接在主页上的运动图像文件中的运动图像数据。与此同时，声音处理部ex705将声音数据变换为模拟声音数据后，将其向声音输出部ex608供给，由此，将例如包含在链接在主页上的运动图像文件中的声音数据再现。

另外，并不限定于上述***的例子，最近通过卫星、地面波的数字广播受到关注，如图35所示，在数字广播用***中也能够装入上述实施方式的至少图像编码装置或图像解码装置的某个。具体而言，在广播站ex201中，将声音数据、影像数据或复用了这些数据的比特流经由电波向通信或广播卫星ex202传送。接受到该传送的广播卫星ex202发出广播用的电波，由具有卫星广播接收设备的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将比特流解码并将其再现。此外，在将记录在作为记录介质的CD或DVD等的储存介质ex215、216中的复用了图像数据和声音数据的比特流读取、解码的读取器/记录器ex218中也能够安装上述实施方式所示的图像解码装置。在此情况下，将再现后的影像信号显示在监视器ex219上。此外，也可以考虑在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置、将其用电视机的监视器ex219再现的结构。此时，也可以不是在机顶盒、而在电视机内装入图像解码装置。此外，也可以由具有天线ex205的车ex210从卫星ex202或从基站等接收信号、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。

此外，可以在将记录在DVD、BD等的记录介质ex215中的声音数据、影像数据或复用了这些数据的编码比特流读取并解码、或将声音数据、影像数据或这些数据编码而作为复用数据记录在记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上、通过记录有编码比特流的记录介质ex215在其他装置或***中再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置、将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图36是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得影像信息的比特流或输出的调谐器ex301、将接收到的编码数据解调或调制到向外部发送的编码数据中的调制/解调部ex302、和将解调后的影像数据、声音数据分离、或将编码的影像数据、声音数据复用的复用/分离部ex303。此外，电视机ex300具备具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305的信号处理部ex306、和具有将解码后的声音信号输出的扬声器ex307及将解码后的影像信号显示的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外、还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的影像数据、声音数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的编码比特流。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318～ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免***的溢出、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构、对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将编码比特流读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图37中。信息再现/记录部ex400具备以下说明的单元ex401～ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。***控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由***控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。***控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图38中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用***ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。另外，导航仪ex211的结构可以考虑例如在图36所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、***中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式4)

在上述各实施方式中表示的运动图像编码方法及装置、运动图像解码方法及装置典型地可以用作为集成电路的LSI实现。作为一例，在图39中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501～ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504等的控制部ex501的控制，通过AVI/Oex509从麦克风ex117及照相机ex113等输入AV信号。将输入的AV信号暂时储存到SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流朝向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

此外，例如在进行解码处理的情况下，LSIex500基于控制部ex501的控制，将通过流I/Oex506经由基站ex107、或从记录介质ex215读出而得到的编码数据暂时储存到存储器ex511等中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音数据的解码及/或影像数据的解码。这里，影像信号的解码处理是在上述各实施方式中说明的解码处理。进而，根据情况，可以将解码的声音信号和解码的影像信号暂时储存到缓冲器ex508等中，以使这些信号能够同步再现。将解码后的输出信号一边适当经由存储器ex511等、一边从便携电话ex114、游戏机ex115、电视机ex300等的各输出部输出。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以1芯片化，也可以多芯片化。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、***LSI、超级LSI、超大规模LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field ProgrammableGate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。

以上，基于实施方式说明了有关本发明的编码方法、编码装置、解码方法及解码装置，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对该实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成单元适当组合而构建的形态也包含在本发明的范围内。

产业上的可利用性

本发明起到能够抑制编码处理的运算量的增加、以及变换系数的数据量的增加的效果，能够在将音频、静止图像、及运动图像编码的编码装置、以及将由该编码装置编码的数据解码的解码装置中使用。例如，本发明可以在音频设备、便携电话、数字照相机、BD记录器、数字电视机等的各种AV设备中使用。

标号说明

100、300a、300b、400、900编码装置

110、410、910变换部

120量化部

130、330a、330b编码部

131、331a、331b变换系数编码部

132、930熵编码部

200第1变换部

201第1存储器

202第1变换系数导出部

210、600分割部

211第2存储器

212分割合并信息生成部

220第2变换部

221第3存储器

222第2变换系数导出部

230、620合并部

333变换系数差编码部

335变换系数量化部

337变换系数熵编码部

340复用部

440、520逆量化部

450、530逆变换部

460、840加法器

470、850存储器

480、860预测部

490减法器

500、700a、700b、800解码装置

510、710a、710b解码部

511熵解码部

512、712a、712b变换系数解码部

610第2逆变换部

630第1逆变换部

705逆复用部

714变换系数逆量化部

716变换系数差解码部

718变换系数熵解码部

ex100内容供给***

ex101因特网

ex102因特网服务提供商

ex103流媒体服务器

ex104电话网

ex106、ex107、ex108、ex109、ex110基站

ex111计算机

ex112PDA

ex113、ex116照相机

ex114带有照相机的数字便携电话(便携电话)

ex115游戏机

ex117麦克风

ex200数字广播用***

ex201广播站

ex202广播卫星(卫星)

ex203线缆

ex204、ex205、ex601天线

ex210车

ex211导航仪(汽车导航)

ex212再现装置

ex213、ex219监视器

ex214、ex215、ex216、ex607记录介质

ex217机顶盒(STB)

ex218读取器/记录器

ex220遥控器

ex230信息轨道

ex231记录块

ex232内周区域

ex233数据记录区域

ex234外周区域

ex300电视机

ex301调谐器

ex302调制/解调部

ex303复用/分离部

ex304声音信号处理部

ex305影像信号处理部

ex306、ex507信号处理部

ex307扬声器

ex308、ex602显示部

ex309输出部

ex310、ex501控制部

ex311、ex505、ex710电源电路部

ex312操作输入部

ex313桥接部

ex314、ex606插槽部

ex315驱动器

ex316调制解调器

ex317接口部

ex318、ex319、ex320、ex321、ex404、ex508缓冲器

ex400信息再现/记录部

ex401光头

ex402调制记录部

ex403再现解调部

ex405盘马达

ex406伺服控制部

ex407***控制部

ex500LSI

ex502CPU

ex503存储器控制器

ex504流控制器

ex506流I/O

ex509AV I/O

ex510总线

ex511存储器

ex603照相机部

ex604操作键

ex605声音输入部

ex608声音输出部

ex701收发电路部

ex702LCD控制部

ex703照相机接口部(照相机I/F部)

ex704操作输入控制部

ex705声音处理部

ex706调制解调电路部

ex707记录再现部

ex708解复用部

ex709图像解码部

ex711主控制部

ex712图像编码部

ex713同步总线

Claims (33)

1.一种编码方法，其特征在于，

包括：

变换步骤，通过对输入信号进行变换，生成变换输出信号；

量化步骤，通过对上述变换输出信号进行量化，生成量化系数；以及

熵编码步骤，通过对上述量化系数进行熵编码，生成编码信号，

上述变换步骤包括：

第1变换步骤，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及

第2变换步骤，通过使用第2变换系数对作为上述第1变换输出信号的一部分的第1部分信号进行第2变换，生成第2变换输出信号，将包括所生成的第2变换输出信号和第2部分信号的上述变换输出信号输出，该第2部分信号是上述第1变换输出信号之中的上述第1部分信号以外的部分，

在上述熵编码步骤中，

计算上述第2变换系数或用于上述第2变换的逆变换的第2逆变换系数中包含的元素与规定值之间的差，通过对计算出的差进行压缩编码，将上述第2变换系数或上述第2逆变换系数压缩编码。

2.如权利要求1所述的编码方法，其特征在于，

上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；

在上述熵编码步骤中，计算上述第2变换系数或上述第2逆变换系数中包含的对角元素与该对角元素能够取的值的最大值之间的差。

3.如权利要求1所述的编码方法，其特征在于，

上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；

在上述熵编码步骤中，计算上述第2变换系数或上述第2逆变换系数中包含的对角元素与邻接于该对角元素的对角元素之间的差。

4.如权利要求1所述的编码方法，其特征在于，

上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；

在上述熵编码步骤中，基于在上述第2变换系数或上述第2逆变换系数中包含的对角元素在正方矩阵内的位置计算预测值，并计算所计算出的预测值与上述对角元素之间的差。

5.如权利要求1～4中任一项所述的编码方法，其特征在于，

上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；

上述编码方法还包括基于上述输入信号的统计特性决定上述第2变换系数或上述第2逆变换系数的变换系数决定步骤；

在上述变换系数决定步骤中，决定上述第2变换系数或上述第2逆变换系数，以使得在上述第2变换系数或上述第2逆变换系数中包含的对角元素的符号为正。

6.如权利要求1～5中任一项所述的编码方法，其特征在于，

上述第2变换系数或上述第2逆变换系数是正方矩阵的系数；

在上述熵编码步骤中，对去除了上述第2变换系数或上述第2逆变换系数中包含的非对角元素与转置元素之间的冗余性之后的成分进行压缩编码，该转置元素是将该非对角元素沿对角元素翻转后的位置的元素。

7.如权利要求6所述的编码方法，其特征在于，

在上述熵编码步骤中，计算上述非对角元素的绝对值与上述转置元素的绝对值的平均值，对计算出的平均值与上述非对角元素的绝对值之间的差进行压缩编码。

8.如权利要求6或7所述的编码方法，其特征在于，

在上述熵编码步骤中，还对表示上述非对角元素的符号与上述转置元素的符号是相同还是不同的信息进行压缩编码。

9.如权利要求6或7所述的编码方法，其特征在于，

在上述熵编码步骤中，对表示全部位置的上述非对角元素的符号与上述转置元素的符号相互反转的信息进行压缩编码。

10.如权利要求8或9所述的编码方法，其特征在于，

在上述熵编码步骤中，还对表示上述非对角元素之中的上三角元素及下三角元素中的某一方的正负的信息进行压缩编码。

11.如权利要求6或7所述的编码方法，其特征在于，

在上述熵编码步骤中，还对表示上述非对角元素之中的全部位置的上三角元素的符号是正的信息进行压缩编码。

12.如权利要求1～11中任一项所述的编码方法，其特征在于，

在上述量化步骤中，还使用按照在上述第2变换系数或上述第2逆变换系数中包含的元素的位置而加权后的量化步长，对上述第2变换系数或上述第2逆变换系数进行量化；

在上述熵编码步骤中，对量化后的第2变换系数或量化后的第2逆变换系数进行压缩编码。

13.如权利要求1～12中任一项所述的编码方法，其特征在于，

上述编码方法还包括：

预测步骤，通过预测上述输入信号而生成预测信号；以及

减法步骤，生成作为上述预测信号与上述输入信号之间的差的预测误差信号，

在上述变换步骤中，对上述预测误差信号进行变换。

14.如权利要求1～13中任一项所述的编码方法，其特征在于，

上述第2变换是KLT卡洛变换。

15.一种解码方法，通过对编码信号进行解码而生成解码信号，该编码信号是通过对输入信号进行变换及量化而生成的，其特征在于，

上述编码信号包括：

压缩编码后的编码量化系数；以及

在生成该编码信号时进行的变换处理中使用的变换系数或在第2逆变换中使用的第2逆变换系数中所包含的元素与规定值之间的差，

上述解码方法包括：

熵解码步骤，通过对上述编码信号进行熵解码，生成解码量化系数；

逆量化步骤，通过对上述解码量化系数进行逆量化，生成解码变换输出信号；以及

逆变换步骤，通过对上述解码变换输出信号进行逆变换，生成解码信号，

上述逆变换步骤包括：

第2逆变换步骤，通过使用上述第2逆变换系数对作为上述解码变换输出信号的一部分的第2解码变换输出信号进行上述第2逆变换，生成第1解码部分信号；以及

第1逆变换步骤，通过使用第1逆变换系数对包括上述第1解码部分信号和第2解码部分信号的第1解码变换输出信号进行第1逆变换，生成上述解码信号，该第2解码部分信号是上述解码变换输出信号之中的上述第2解码变换输出信号以外的部分，

在上述熵解码步骤中，

通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述规定值相加，生成上述第2逆变换系数。

16.如权利要求15所述的解码方法，其特征在于，

上述变换系数或上述第2逆变换系数是正方矩阵的系数；

上述编码信号包含上述变换系数或上述第2逆变换系数的对角元素与该对角元素能够取的值的最大值之间的差；

在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述最大值相加而生成上述对角元素，由此生成上述第2逆变换系数。

17.如权利要求15所述的解码方法，其特征在于，

上述变换系数或上述第2逆变换系数是正方矩阵的系数；

上述编码信号包含上述变换系数或上述第2逆变换系数的第1对角元素与邻接于该对角元素的第2对角元素之间的差；

在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述邻接的第2对角元素相加而生成上述第1对角元素，由此生成上述第2逆变换系数。

18.如权利要求15所述的解码方法，其特征在于，

上述变换系数或上述第2逆变换系数是正方矩阵的系数；

上述编码信号包含上述变换系数或上述第2逆变换系数的对角元素与基于该对角元素在正方矩阵内的位置而计算出的预测值之间的差；

在上述熵解码步骤中，通过对上述编码信号进行解码而取得上述差，并且通过生成上述预测值并将所生成的预测值与所取得的差相加而生成上述对角元素，由此生成上述第2逆变换系数。

19.如权利要求15～18中任一项所述的解码方法，其特征在于，

上述变换系数或上述第2逆变换系数是正方矩阵的系数；

在上述熵解码步骤中，通过将去除了在上述变换系数或上述第2逆变换系数中包含的非对角元素与转置元素之间的冗余性之后的成分解码而生成上述非对角元素，由此生成上述第2逆变换系数，该转置元素是将该非对角元素沿对角元素翻转后的位置的元素。

20.如权利要求19所述的解码方法，其特征在于，

上述编码信号包含上述非对角元素的绝对值及上述转置元素的绝对值的平均值、和该平均值与上述非对角元素的绝对值之间的差；

在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述平均值和上述差，通过将所取得的平均值与上述差相加，生成上述非对角元素。

21.如权利要求19或20所述的解码方法，其特征在于，

上述编码信号包括表示上述非对角元素的符号与上述转置元素的符号是相同还是不同的符号反转信息；

在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述符号反转信息，按照所取得的符号反转信息，决定上述非对角元素及上述转置元素的符号。

22.如权利要求19或20所述的解码方法，其特征在于，

上述编码信号包含表示全部位置的上述非对角元素的符号与上述转置元素的符号相互反转的全符号反转信息；

在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述全符号反转信息，按照所取得的全符号反转信息，决定上述非对角元素及上述转置元素的符号。

23.如权利要求21或22所述的解码方法，其特征在于，

上述编码信号还包含表示上述非对角元素之中的上三角元素及下三角元素中的某一方的正负的符号信息；

在上述熵解码步骤中，还取得上述符号信息，按照所取得的符号信息，决定上述非对角元素的符号。

24.如权利要求19或20所述的解码方法，其特征在于，

上述编码信号还取得表示上述非对角元素之中的全部位置的上三角元素的符号是正的上三角元素符号信息；

在上述熵解码步骤中，还取得上述上三角元素符号信息，按照所取得的上三角元素信息，决定上三角元素的符号为正。

25.如权利要求15～24中任一项所述的解码方法，其特征在于，

上述编码信号包含按照构成上述变换系数或上述第2逆变换系数的元素的位置而加权后的量化步长、和使用该量化步长量化后的变换系数或量化后的第2逆变换系数；

在上述熵解码步骤中，通过对上述编码信号进行解码，取得上述量化步长和上述量化后的变换系数或上述量化后的第2逆变换系数；

在上述逆量化步骤中，还使用上述量化步长，对上述量化后的变换系数或上述量化后的第2逆变换系数进行逆量化。

26.如权利要求15～25中任一项所述的解码方法，其特征在于，

上述编码信号是通过对预测误差信号进行变换及量化而生成的信号；

上述解码方法还包括生成预测信号的预测步骤；

上述逆变换步骤通过进行上述逆变换而根据上述解码变换输出信号生成解码预测误差信号，通过将上述预测信号与上述解码预测误差信号相加，生成上述解码信号。

27.如权利要求15～26中任一项所述的解码方法，其特征在于，

上述第2逆变换是KLT。

28.一种编码装置，其特征在于，

具备：

变换部，通过对输入信号进行变换，生成变换输出信号；

量化部，通过对上述变换输出信号进行量化，生成量化系数；以及

熵编码部，通过对上述量化系数进行熵编码，生成编码信号，

上述变换部包括：

第1变换部，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及

第2变换部，通过使用第2变换系数对作为上述第1变换输出信号的一部分的第1部分信号进行第2变换，生成第2变换输出信号，将包括所生成的第2变换输出信号和第2部分信号的上述变换输出信号输出，该第2部分信号是上述第1变换输出信号之中的上述第1部分信号以外的部分，

上述熵编码部，计算上述第2变换系数或用于上述第2变换的逆变换的第2逆变换系数中包含的元素与规定值之间的差，通过对计算出的差进行压缩编码，将上述第2变换系数或上述第2逆变换系数压缩编码。

29.一种解码装置，通过对编码信号进行解码而生成解码信号，该编码信号是通过对输入信号进行变换及量化而生成的，其特征在于，

上述编码信号包括：

压缩编码后的编码量化系数；以及

在生成该编码信号时进行的变换处理中使用的变换系数或在第2逆变换中使用的第2逆变换系数中所包含的元素与规定值之间的差，

上述解码装置包括：

熵解码部，通过对上述编码信号进行熵解码，生成解码量化系数；

逆量化部，通过对上述解码量化系数进行逆量化，生成解码变换输出信号；以及

逆变换部，通过对上述解码变换输出信号进行逆变换，生成解码信号，

上述逆变换部包括：

第2逆变换部，通过使用上述第2逆变换系数对作为上述解码变换输出信号的一部分的第2解码变换输出信号进行上述第2逆变换，生成第1解码部分信号；以及

第1逆变换部，通过使用第1逆变换系数对包括上述第1解码部分信号和第2解码部分信号的第1解码变换输出信号进行第1逆变换，生成上述解码信号，该第2解码部分信号是上述解码变换输出信号之中的上述第2解码变换输出信号以外的部分，

上述熵解码部，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述规定值相加，生成上述第2逆变换系数。

30.一种集成电路，其特征在于，

具备：

变换部，通过对输入信号进行变换，生成变换输出信号；

量化部，通过对上述变换输出信号进行量化，生成量化系数；以及

熵编码部，通过对上述量化系数进行熵编码，生成编码信号，

上述变换部包括：

第1变换部，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及

第2变换部，通过使用第2变换系数对作为上述第1变换输出信号的一部分的第1部分信号进行第2变换，生成第2变换输出信号，将包括所生成的第2变换输出信号和第2部分信号的上述变换输出信号输出，该第2部分信号是上述第1变换输出信号之中的上述第1部分信号以外的部分，

上述熵编码部，计算上述第2变换系数或用于上述第2变换的逆变换的第2逆变换系数中包含的元素与规定值之间的差，通过对计算出的差进行压缩编码，将上述第2变换系数或上述第2逆变换系数压缩编码。

31.一种集成电路，通过对编码信号进行解码而生成解码信号，该编码信号是通过对输入信号进行变换及量化而生成的，其特征在于，

上述编码信号包括：

压缩编码后的编码量化系数；以及

在生成该编码信号时进行的变换处理中使用的变换系数或在第2逆变换中使用的第2逆变换系数中所包含的元素与规定值之间的差，

上述集成电路包括：

熵解码部，通过对上述编码信号进行熵解码，生成解码量化系数；

逆量化部，通过对上述解码量化系数进行逆量化，生成解码变换输出信号；以及

逆变换部，通过对上述解码变换输出信号进行逆变换，生成解码信号，

上述逆变换部包括：

第2逆变换部，通过使用上述第2逆变换系数对作为上述解码变换输出信号的一部分的第2解码变换输出信号进行上述第2逆变换，生成第1解码部分信号；以及

第1逆变换部，通过使用第1逆变换系数对包括上述第1解码部分信号和第2解码部分信号的第1解码变换输出信号进行第1逆变换，生成上述解码信号，该第2解码部分信号是上述解码变换输出信号之中的上述第2解码变换输出信号以外的部分，

上述熵解码部，通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述规定值相加，生成上述第2逆变换系数。

32.一种程序，其特征在于，

使计算机执行编码方法，该编码方法包括：

变换步骤，通过对输入信号进行变换，生成变换输出信号；

量化步骤，通过对上述变换输出信号进行量化，生成量化系数；以及

熵编码步骤，通过对上述量化系数进行熵编码，生成编码信号，

上述变换步骤包括：

第1变换步骤，通过使用第1变换系数对上述输入信号进行第1变换，生成第1变换输出信号；以及

第2变换步骤，通过使用第2变换系数对作为上述第1变换输出信号的一部分的第1部分信号进行第2变换，生成第2变换输出信号，将包括所生成的第2变换输出信号和第2部分信号的上述变换输出信号输出，该第2部分信号是上述第1变换输出信号之中的上述第1部分信号以外的部分，

在上述熵编码步骤中，

计算上述第2变换系数或用于上述第2变换的逆变换的第2逆变换系数中包含的元素与规定值之间的差，通过对计算出的差进行压缩编码，将上述第2变换系数或上述第2逆变换系数压缩编码。

33.一种程序，使计算机执行解码方法，该解码方法通过对编码信号进行解码而生成解码信号，该编码信号是通过对输入信号进行变换及量化而生成的，其特征在于，

上述编码信号包括：

压缩编码后的编码量化系数；以及

在生成该编码信号时进行的变换处理中使用的变换系数或在第2逆变换中使用的第2逆变换系数中所包含的元素与规定值之间的差，

上述解码方法包括：

熵解码步骤，通过对上述编码信号进行熵解码，生成解码量化系数；

逆量化步骤，通过对上述解码量化系数进行逆量化，生成解码变换输出信号；以及

逆变换步骤，通过对上述解码变换输出信号进行逆变换，生成解码信号，

上述逆变换步骤包括：

第2逆变换步骤，通过使用上述第2逆变换系数对作为上述解码变换输出信号的一部分的第2解码变换输出信号进行上述第2逆变换，生成第1解码部分信号；以及

第1逆变换步骤，通过使用第1逆变换系数对包括上述第1解码部分信号和第2解码部分信号的第1解码变换输出信号进行第1逆变换，生成上述解码信号，该第2解码部分信号是上述解码变换输出信号之中的上述第2解码变换输出信号以外的部分，

在上述熵解码步骤中，

通过对上述编码信号进行解码而取得上述差，通过将所取得的差与上述规定值相加，生成上述第2逆变换系数。

Images