CN101035286A - 信号处理器 - Google Patents

信号处理器 Download PDF

Info

Publication number
CN101035286A
CN101035286A CNA2007100803965A CN200710080396A CN101035286A CN 101035286 A CN101035286 A CN 101035286A CN A2007100803965 A CNA2007100803965 A CN A2007100803965A CN 200710080396 A CN200710080396 A CN 200710080396A CN 101035286 A CN101035286 A CN 101035286A
Authority
CN
China
Prior art keywords
data
orthogonal transform
component
carrying
inverse transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007100803965A
Other languages
English (en)
Other versions
CN101035286B (zh
Inventor
笹川幸宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101035286A publication Critical patent/CN101035286A/zh
Application granted granted Critical
Publication of CN101035286B publication Critical patent/CN101035286B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种数据压缩方法，包括第一步骤，在该第一步骤中，对数据进行正交变换以生成正交变换数据。在所述第一步骤之后执行的处理步骤被分为：对所述正交变换数据的交流分量的处理步骤和对所述正交变换数据的直流分量的处理步骤。对直流分量的处理步骤包括第二步骤，在该第二步骤中，对所述正交变换数据执行等价于所述正交变换数据的解码过程的反变换。

Description

信号处理器
技术领域
本发明涉及一种用于表示半色调图像、彩色图像等的数据压缩多值数据的信号处理器，更具体地，涉及如下一种提高处理效率的技术，通过作为图像数据压缩算法的对图像数据的单元区域(块)所进行的正交变换以及对与多个块相关的直流分量所进行的正交变换，从而提高压缩效率。
背景技术
表示多值图像，例如诸如半色调图像、彩色图像等，的图像数据，具有数量巨大的信息。因此，有必要在存储和传送这些图像数据时压缩信息量。一种广泛使用的用于压缩信息量而不破坏多值图像的图像数据的特性的编码方法是，使用DCT(离散余弦变换)作为正交变换的方法。进一步还发明了一种编码方法，其组合了多种不同的正交变换，以在提高图像质量的同时提高了编码效率。具体而言，在称为H.264/AVC的编码方法中，作为一种正交变换的HAT(哈德马变换)被组合到离散余弦变换，从而提高了编码效率。
图15示出了一种采用了H.264/AVC编码方法的信号处理器的构造。图16A-16C和17A-17C描述了信号处理的概念。该信号处理器包括离散余弦变换单元41、哈德马变换单元42、量化单元43、哈德马反变换单元44、反量化单元45、离散余弦反变换单元46、图像预测单元47、和预测图像误差计算单元48。
待编码的图像被分为例如4×4像素组成的多个块(见图16)，并且在预测图像误差计算单元48中生成对应于每个所述块的预测图像误差数据D0’，并将其供给到离散余弦变换单元41。离散余弦变换单元41对所供给的预测图像误差数据D0’执行二维离散余弦变换，从而对每个块的预测图像误差数据D0’进行正交变换(见图16B)。然后，以四行四列矩阵的形式生成表示相应块的图像的空间频率分布的DCT系数数据D1’。其后的处理参照直流分量的处理和交流分量的处理来描述。
直流分量的处理
离散余弦变换单元41从DCT系数数据D1’的直流分量D2’，即刻生成表示一个处理单元(MB(宏块)，例如，八个块)的图像的直流分量分布的DCT直流系数数据D3’(见图16C)，并将数据D3’供给到哈德马变换单元42。哈德马变换单元42对所供给的DCT直流数据D3’执行二维哈德马变换，从而对数据D3’进行正交变换(见图17A)。结果，以两行四列矩阵的形式生成代表与八个块的图像的直流分量相关的空间频率分布的HAT系数数据D4’。
交流分量的处理
在DCT系数数据D1’中，HAT系数数据D4’和除了直流分量D2’之外的交流分量被供给到量化单元43。量化单元43基于合适的量化步骤量化所供给的DCT系数数据D1’的交流分量和HAT系数数据D4’。量化步骤取决于可视实验的结果，在该实验中，检查针对每个空间频率的可视灵敏度，并且该可视灵敏度用于最小化可视图像质量的退化，并提高编码效率。因此生成了量化后DCT系数数据d5’和量化后HAT系数数据D5’(见图16B和17A)。这些量化后数据被编码。
进一步，有必要将量化结果恢复成图像数据并将恢复后的图像数据反馈，从而使量化误差不会残留于其它信号处理器中。因此，量化后HAT系数数据D5’被供给到哈德马反变换单元44。哈德马反变换单元44对所供给的量化后HAT系数数据D5’执行二维哈德马反变换，从而对数据D5’进行正交变换(见图17A)。结果，获得了直流系数数据D6’，D6’对应于与八个块的图像相关的量化后DCT系数数据d5’的直流分量d4’。
接着，量化后DCT直流系数数据D6’被分解成相应八个块的直流分量D7’(见图7B)，并反映在量化后DCT系数数据D5’的直流分量d4’上，然后，量化后DCT系数数据D5’被供给到反量化单元45。反量化单元45对所供给的数据进行反量化，从而获得初始空间频率。表示相应块的图像的空间频率分布的DCT系数数据D1’以四行四列的矩阵形式生成(见图16B)。
接着，DCT系数数据D1’被供给到离散余弦反变换单元46。离散余弦反变换单元46对所供给的DCT系数数据D1’执行二维离散余弦反变换，从对每个块的DCT系数数据D1’进行正交变换。因此，生成了每个块的预测图像误差数据D0’(见图16B)。
最后，预测图像误差数据D0’被供给到图像预测单元47。图像预测单元47将所生成的预测图像供给到预测图像误差计算单元48。然后，编码处理完成。
由此生成的预测图像误差数据D0’显示与解码过程相同的处理结果。因此，当预测图像误差数据D0’用作在接下来的编码处理中用于计算预测图像误差的参考图像时，可防止量化误差的存留。
如文中所述，相应块的图像的空间频率分布和与多个块的图像的直流分量相关的空间频率分布，通过离散余弦变换(DCT)和哈德马变换(HAT)这两种不同的正交变换而被量化，结果，可以实现高编码效率。
然而，传统的编码方法的问题在于，增加了编码过程完成前的处理时间。图18示出了按时间顺序的相应处理。在图中按照时间顺序示出了离散余弦变换(DCT)、哈德马变换(HAT)、量化(Q)、哈德马反变换(IHAT)、反量化(IQ)、离散余弦反变换(IDCT)和图像预测(Pred)。
为了如文中所述在完成哈德马变换(HAT)后执行量化(Q)，在时刻T41之时和之后启动量化，在这种情况下，需要有极其大量的时间用作一个处理单元(MB)的最大分配时间T42。
图19示出了具有如下特点的数据压缩器件的构造，该数据压缩器件的编码效率低于如图15所示的其中只使用DCT的器件结构的编码效率。数据压缩器件不包括哈德马变换单元和哈德马反变换单元。图20按时间顺序示出了在如图19所示的数据压缩器件中的相应处理。在附图中按照时间顺序示出了离散余弦变换(DCT)、量化(Q)、反量化(IQ)、离散余弦反变换(IDCT)和图像预测(Pred)。
在该数据压缩器件的构造中，在时刻T51之时和之后启动量化，因为量化(Q)在完成离散余弦变换(DCT)之后被执行。在这种情况下，图18中所示的按时间顺序的操作中的最大分配时间T42几乎两倍于每个处理单元(MB)的最大分配时间T52。由此增大了最大分配时间T42，因为随着在如图18所示的按时间顺序的操作中加入哈德马变换(HAT)即第二正交变换，除非完成哈德马变换，否则不能启动量化(Q)，并且除非完成量化，否则不能启动哈德马反变换(IHAT)。
为了解决这种不方便的情况，有必要增大电路运行频率或者使这些处理并行执行，由此就使芯片面积增大和功耗增大。
最关键的问题在于，当存在需要依次执行的两种正交变换等时，必须根据处理顺序而执行的反变换导致了处理效率的变差。
发明内容
因此，本发明的主要目的是通过追求数据压缩方法中处理效率的提高来防止性能的变差，在该数据压缩方法中，执行两种不同的正交变换，以及追求与之相关的数据处理方法。
为了实现上述目的，在执行正交变换后，对空间频率分布的交流分量和直流分量的处理在本发明中被分离，从而使交流分量和直流分量被彼此独立地处理。结果，可以消除在执行反变换时产生的对处理顺序的依赖性。
根据本发明的一种数据压缩方法，包括：
第一步骤，在该第一步骤中，对数据进行正交变换从而生成正交变换数据；和
在所述第一步骤之后执行的处理步骤，其中
所述之后的处理步骤包括第二步骤，在该第二步骤中对所述正交变换数据执行反变换，所述反变换等价于所述正交变换数据的解码过程，并且
所述之后的处理步骤被分为：对所述正交变换数据的交流分量的处理步骤和对所述正交变换数据的直流分量的处理步骤。
所述第二步骤优选地包括对应于所述第一步骤的正交反变换，并且所述正交反变换优选地是所述正交变换数据的直流分量为零的正交反变换。
进一步，优选地，本发明包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，并且所述第二步骤中的正交反变换进一步包括对应于所述第三步骤的正交反变换。
在此，所述数据是图像数据。
在第一步骤中执行的正交变换的实例包括离散余弦变换、修正离散余弦变换等。在第三步骤中执行的正交变换的实例包括哈德马变换、第二离散余弦变换、小波变换等。在所述第二步骤中所执行的对应于所述第一步骤的正交反变换为离散余弦反变换等。在所述第二步骤中所执行的对应于所述第三步骤的正交反变换为哈德马反变换等。
根据本发明，当正交变换等在执行另一个正交变换之后被执行时，跟着第一步骤(正交变换)的处理步骤被分为对交流分量的处理和对直流分量的处理，从而使每种处理可以独立执行。结果，可以消除在执行反变换之时产生的对处理顺序的依赖性，从而改进了处理效率并防止性能的变差。
对在正交变换中获得的直流分量所进行的变换优选地也是正交变换，并且在第三步骤中执行该正交变换。然后，在第二步骤中执行的正交反变换优选地进一步包括对应于所述第三步骤的正交反变换。
一种数据压缩方法，包括：
第一步骤，在该第一步骤中，对数据进行正交变换从而生成第一正交变换数据；和
在所述第一步骤后之后执行的处理步骤，其中
所述之后的处理步骤包括：第二步骤，在该第二步骤中对所述第一正交变换数据执行反变换，所述反变换等价于所述第一正交变换的解码过程；和第三步骤，在该第三步骤中对所述第一正交变换数据的直流分量进行正交变换，从而生成第二正交变换数据，
所述之后的处理步骤被分为：对所述第一正交变换数据的交流分量的处理步骤和对所述第一正交变换数据的直流分量的处理步骤。
所述第二步骤优选地包括对应于所述第一步骤的第一正交反变换和对应于所述第三步骤的第二正交反变换。进一步，优选地，所述第一正交变换数据的直流分量为第一值，所述第一值和从第二正交反变换数据的逆矩阵获得的第二值之间的差被添加到所述第一正交反变换中第一正交反变换数据的逆矩阵的元素。
在前述构造中，数据压缩方法优选地进一步包括：
第四步骤，在该第四步骤中，所述第一正交变换数据的交流分量和直流分量被量化；和第五步骤，在该第五步骤中，在所述第四步骤的量化中获得的数据被反量化。
在前述构造中，优选地以分时方式执行所述第四步骤和所述第五步骤。进一步，优选地以分时方式执行所述第一步骤、所述第二步骤和所述第三步骤。
没有必要在彼此独立的块中执行量化和反量化，并且例如当以分时方式在公共块中执行量化和反量化时，仍然可以实现本发明的效果。当所述处理由此而在公共块中执行时，可有效地减小电路面积和功率损耗。
根据前述构造的又一优选模式，所述数据是图像数据，在所述第一步骤中执行的正交变换是离散余弦变换，在所述第三步骤中执行的正交变换是哈德马变换，所述第二步骤对应于所述第一步骤的处理是离散余弦反变换，所述第二步骤对应于所述第三步骤的处理是哈德马反变换。
根据前述构造的又一种优选模式，在所述第三步骤中执行的正交变换和所述第二正交反变换可以从多种不同的正交变换及其对应的正交反变换中选择，并且基于在所述第一步骤中执行的变换的结果从所述多种正交变换及其对应的正交反变换中选择任意的处理手段。
正交变换的实例包括诸如离散余弦变换和哈德马变换的若干类型的变换，这些变换分别具有优点和缺点。一般而言，可以用简单的加法和减法计算实现哈德马变换，而离散余弦变换可以实现适于压缩的正交变换。哪一种变换是合适的，取决于在第一步骤中获得的变换结果，这样就可以消除在处理量和编码效率之间的折中。
根据前述构造的又一种优选模式，所述数据是图像数据，在所述第四步骤中执行的对直流分量的量化是对图像的亮度或色差信息的直流分量的量化，并且基于在所述第二步骤中执行的变换的结果确定量化中的量化步骤。
根据前述构造的又一种优选模式，所述数据是音频数据，进一步提供对所述直流分量进行变换的步骤，并且所述步骤执行一参数变换，以确定所述图像数据或所述音频数据的图像质量或声音质量。
根据前述构造的又一种优选模式，所述数据是图像数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换包括在期望范围内的图像亮度或色差信息的直流分量的最大值或最小值，并且基于在所述第三步骤中执行的变换的结果确定所述期望范围。
根据前述构造的又一种优选模式，所述数据是音频数据，在所述第一步骤中执行的正交变换为修正离散余弦变换，在所述第二步骤中执行的对应于所述第一步骤的正交反变换为修正离散余弦反变换，在所述第三步骤中执行的正交变换为小波变换，并且在所述第二步骤中执行的对应于所述第三步骤的正交反变换为小波反变换。
根据前述构造的又一种优选模式，所述数据是音频数据，在所述第四步骤中执行的对直流分量的量化是对音频幅度水平的量化，并且基于在所述第三步骤中执行的变换的结果确定所述量化中的量化步骤。
根据前述构造的又一种优选模式，所述数据是音频数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换包括在期望范围内的音频幅度水平直流分量的最大值或最小值，并且基于在所述第三步骤中执行的变换的结果确定所述期望范围。相应地，限制该幅度从而使得由直流分量导致的动态范围不能超过指定的取值。
根据前述构造的又一种优选模式，所述数据是图像数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换使用多个亮度信息的直流分量的平均值作为所述图像的亮度或色差信息的直流分量，并且基于在所述第三步骤中执行的变换的结果确定所述平均值。
根据前述构造的又一种优选模式，所述数据是音频数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换使用多个音频幅度水平的直流分量的平均值作为所述音频幅度水平的直流分量，并且基于在所述第三步骤中执行的变换的结果确定所述平均值。相应地，减少了直流分量的变化。
根据前述构造的又一种优选模式，所述数据是图像数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换为如下的过程，在该过程中，从多个图像亮度或色差信息的直流分量的空间频率分量中消除高频分量，并且基于在所述第三步骤中执行的变换的结果确定所述高频分量消除过程中的消除程度。相应地，由于消除了高频分量，因此防止了直流分量大幅度变化。
根据前述构造的又一种优选模式，所述数据是音频数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换为如下的过程，在该过程中，从音频幅度水平的直流分量的空间频率分量中消除高频分量，并且基于在所述第三步骤中执行的变换的结果确定所述高频分量消除过程中的消除程度。相应地，由于消除了高频分量，因此防止了直流分量大幅度变化。
根据前述构造的又一种优选模式，所述数据是图像数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换将图像上的亮度或色差信息的直流分量设置到可获得高效率编码的范围中，并且基于在所述第三步骤中执行的变换的结果确定在变换过程中的高效率编码范围。
根据前述构造的又一种优选模式，所述数据是音频数据，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，所述参数变换将音频幅度水平的直流分量设置到可获得高效率编码的范围中，并且基于在所述第三步骤中执行的变换的结果确定在变换过程中的高效率编码范围。
至此，所描述的本发明被有效地应用于通讯设备、信息重现设备、图像显示设备、电子设备等。
根据本发明，当正交变换等在执行另一个正交变换之后得到执行时，跟随第一步骤的处理步骤被分为：针对交流分量的处理步骤和针对直流分量的处理步骤，从而使相应的处理被独立执行。结果，可以消除由反变换引发的对处理顺序的依赖性，可以提高处理效率，并可以防止性能变差。
能够提高处理效率并防止性能变差的本发明，可以用于要求降低功耗、提高图像质量并提高音频质量的多种用途。
附图说明
本发明的这些和其它目标以及优点将通过下文对本发明的优选实施例的描述而变得清晰。本领域的技术人员一旦执行本发明就将体会到本说明书未提及的多种益处。
图1是描述根据本发明优选实施例1的数据处理器(数据压缩器件)的构造的结构图。
图2A-2B是根据优选实施例1的数据压缩方法中的处理概念的(第一)描述。
图3A-3C是根据优选实施例1的数据压缩方法中的处理概念的(第二)描述。
图4是根据优选实施例1的信号处理器中按时间顺序的处理的描述。
图5是基于H.264/AVC编码方法执行的根据优选实施例1的数据压缩方法中每帧处理时间的描述。
图6是描述根据本发明优选实施例2的信号处理器(数据压缩器件)的构造的结构图。
图7是根据优选实施例2的信号处理器中按时间顺序的处理的描述。
图8是描述根据本发明优选实施例3的信号处理器(数据压缩器件)的构造的结构图。
图9A-9B是根据优选实施例3的数据压缩方法中参数调节的(第一)概念性视图。
图10A-10B是根据优选实施例3的数据压缩方法中参数调节的(第二)概念性视图。
图11是根据优选实施例3的信号处理器中按时间顺序的处理的描述。
图12是描述根据本发明优选实施例4的信号处理器(数据压缩器件)的构造的结构图。
图13是在根据优选实施例4的信号处理器中按时间顺序的处理的描述。
图14A-14D是包含根据本发明的信号处理器的各种不同器件的示意图。
图15是描述传统信号处理器(数据压缩器件)的构造的结构图。
图16A-16C是传统信号处理器中的处理概念的(第一)描述。
图17A和17B是传统信号处理器中的处理概念的(第二)描述。
图18是传统信号处理器中的按照时间顺序的处理的描述。
图19是描述另一种传统信号处理器(数据压缩器件)的构造的结构图。
图20是另一种传统信号处理器中按时间顺序的处理的描述。
具体实施方式
下文中，将参照附图描述本发明的各优选实施例。
优选实施例1
图1是描述根据本发明优选实施例1的信号处理器(数据压缩器件)的构造的结构图。根据本优选实施例的信号处理器包括离散余弦变换单元1、哈德马(Hadamard)变换单元2、交流分量量化单元3A、直流分量量化单元3B、哈德马反变换单元4、交流分量反量化单元5A、直流分量反量化单元5B、离散余弦反变换单元6、图像预测单元7、和预测图像误差计算单元8。
离散余弦变换单元1的后续阶段被分成交流处理***和直流处理***。交流处理***包括按时间顺序排列的元件，其为交流分量量化单元3A、交流分量反量化单元5A、和离散余弦反变换单元6。直流处理***包括按时间顺序排列的元件，其为哈德马变换单元2、直流分量量化单元3B、哈德马反变换单元4、和直流分量反量化单元5B。离散余弦反变换单元6的输出和直流分量反量化单元5B的输出被供给到图像预测单元7，并且图像预测单元7的输出被供给到预测图像误差计算单元8。
现在将示意性地描述图1中所示的构造中的运行。预测图像误差数据D0从预测图像误差计算单元8供给到离散余弦变换单元1。离散余弦变换单元1通过二维离散余弦变换对预测图像误差数据D0进行正交变换，进而生成DCT系数数据D1。DCT系数数据D1被分成两个***。
在离散余弦变换单元1的后续阶段中的相应元件以如下顺序开始运行。
1)交流分量量化单元(ACQ)3A
2)交流分量反量化单元(ACIQ)5A
3)离散余弦反变换单元(IDCT)6
4)哈德马变换单元(HAT)2
5)直流分量量化单元(DCQ)3B
6)哈德马反变换单元(IHAT)4
7)直流分量反量化单元(DCIQ)5B
交流处理***的运行
从离散余弦变换单元1输出的DCT系数数据D1减去直流分量D2而获得交流分量(D1-D2)，该交流分量被供给到交流分量量化单元3A。交流分量量化单元3A对交流分量(D1-D2)进行量化，进而生成量化后DCT系数数据d5。量化后DCT系数数据d5被传送到后续阶段并在其中被编码。
进一步，量化后DCT系数数据d5被供给到反馈***以防止量化误差存留，换句话说，量化后DCT系数数据d5被供给到交流分量反量化单元5A。交流分量反量化单元5A对量化后DCT系数数据d5进行反量化，进而生成反量化后DCT交流系数数据d7，并且将所生成的数据d7供给到离散余弦反变换单元6。离散余弦反变换单元6通过二维离散余弦反变换对反量化后DCT交流系数数据d7进行正交变换，进而生成交流分量预测图像误差数据d9。交流分量预测图像误差数据d9被供给到图像预测单元7。在离散余弦反变换单元6中，直流分量是零(DC＝0)。
直流处理***的运行
从DCT系数数据D1获取的直流分量D2被共同供给到哈德马变换单元2。供给到哈德马变换单元2的数据因此具有直流分量分布，并且相关数据在下文中称为DCT直流系数数据D3。哈德马变换单元2通过二维哈德马变换对DCT直流系数数据D3进行正交变换，进而生成HAT系数数据D4。HAT系数数据D4具有与直流分量相关的空间频率分布。HAT系数数据D4供给到直流分量量化单元3B。直流分量量化单元3B对HAT系数数据D4进行量化，进而生成量化后HAT系数数据D5。量化后HAT系数数据D5被传送到后续阶段并在其中被编码。
量化后HAT系数数据D5被供给到反馈***以防止量化误差存留。换句话说，量化后HAT系数数据D5被供给到哈德马反变换单元4，并通过二维哈德马反变换而被正交变换。因此生成了量化后DCT直流系数数据D6。量化后DCT直流系数数据D6相当于量化后DCT系数数据d5的直流分量d4。量化后DCT直流系数数据D6被供给到直流分量反量化单元5B。直流分量反量化单元5B对量化后DCT直流系数数据D6进行反量化，进而生成反量化后DCT直流系数数据D7。反量化后DCT直流系数数据D7相当于DCT系数数据D1的直流分量D2。反量化后DCT直流系数数据D7供给到图像预测单元7。
图像预测单元7生成参考图像，该参考图像用于计算来自反量化后DCT直流系数数据D7和交流分量预测图像误差d9的预测图像误差，并且图像预测单元7将所生成的参考图像供给到预测图像误差计算单元8。参考图像相当于预测图像误差数据D0’。预测图像误差计算单元8基于所供给的参考图像防止量化误差的存留。
现在将更为具体地描述所述运行。如图2A所示，待编码的图像被分成若干4×4像素的块。预测图像误差计算单元8生成对应于这些块中的每一个的预测图像误差数据D0，并将所生成的数据D0供给到离散余弦变换单元1。如图2A所示，离散余弦变换单元1对预测图像误差数据D0执行二维离散余弦变换，进而对相应块的预测图像误差数据D0进行正交变换。因此，代表相应块图像的空间频率分布的DCT系数数据D1以四行四列的矩阵形式生成。
交流处理***的运行
接着，通过从DCT系数数据D1中减去直流分量D2而获得的交流分量(D1-D2)被供给到交流分量量化单元3A。交流分量量化单元3A基于合适的量化步骤而量化交流分量(D1-D2)，进而生成量化后DCT系数数据d5，如图2B所示。如早先所描述的，基于可视实验结果设置量化步骤，该可视实验结果显示了针对每个空间频率检查的可视灵敏度。在量化后DCT系数数据d5中，图像的可视退化(deterioration)被降低到最低水平，从而提高了编码效率。量化后DCT系数数据d5被传送到后续阶段并在其中被编码。
进一步，对量化结果执行早先所描述的编码过程，并且量化结果被恢复成图像数据，并且对其执行反馈处理。量化后DCT系数数据d5被供给到交流分量反量化单元5A，从而防止量化误差的存留。交流分量反量化单元5A基于早先所描述的量化步骤对量化后DCT系数数据d5进行反量化，从而获得初始的空间频率，从而使得相当于直流分量的项(element)d6为零。因此，交流分量反量化单元5A生成反量化后DCT交流系数数据d7，d7以四行四列的矩阵形式表示相应块图像的空间频率分布。
接下来，反量化后DCT交流系数数据d7被供给到离散余弦反变换单元6。离散余弦反变换单元6对反量化后DCT交流系数数据d7执行二维离散余弦反变换，进而对相应块的反量化后DCT交流系数数据d7进行正交变换。因此，生成了相应块的交流分量预测图像误差数据d9，其被供给到图像预测单元7。
直流处理***的运行
如图3A所示，离散余弦变换单元1通过一个处理单元(MB：例如八个块)收集包含于DCT系数数据D1中的直流分量D2，进而生成DCT直流系数数据D3，D3表示对应于所述处理单元的图像的直流分量分布。所生成的直流系数数据D3被供给到哈德马变换单元2。哈德马变换单元2通过二维哈德马变换对DCT直流系数数据D3进行正交变换，如图3B所示。因此，生成了代表与对应于所述处理单元的图像相关的空间频率分布的HAT系数数据D4。HAT系数数据D4以两行四列的矩阵形式生成。HAT系数数据D4被供给到直流分量量化单元3B。直流分量量化单元3B基于适合的步骤对DCT系数数据D1和HAT系数数据D4的交流分量进行量化，进而生成量化后HAT系数数据D5。如早先所描述的，基于可视实验结果设置量化步骤，所述可视实验结果显示针对每个空间频率而检查的可视灵敏度。当执行该步骤时，图像的可视退化被降至最小，从而提高了在量化后HAT系数数据D5中的编码效率。可以决定量化步骤，从而基于与八个块的图像的直流分量相关的空间频率分布(从HAT系数数据D4的值获得)，来进一步降低图像的可视退化。结果是，可以进一步提高编码效率。
接着，量化后HAT系数数据D5被供给到哈德马反变换单元4。哈德马反变换单元4通过二维哈德马反变换对量化后HAT系数数据D5进行正交变换。结果，可以获得量化后DCT直流系数数据D6，其相当于与八个块的图像相关的量化后DCT系数数据d5的直流分量d4。
接着，量化后DCT直流系数数据D6被供给到直流分量反量化单元5B。直流分量反量化单元5B基于早先描述的量化步骤对量化后DCT直流系数数据D6进行反量化，从而获得初始空间频率。结果，生成了反量化后DCT直流系数数据D7，其对应与相应块的图像相关的DCT系数数据的直流分量。
接着，如图3C所示，直流分量反量化单元5B将反量化后DCT直流系数数据D7分解(dissolve)成处理单元(例如，八个块)的直流分量8，进而生成四行四列的矩阵，该矩阵中的所有元素显示的值等于直流分量D8的值。因为在空间频率中的直流分量对应于在预测图像误差数据中的偏置分量，因此所生成的矩阵等于每个块的直流分量预测图像误差数据D9。直流分量预测图像误差数据D9相当于从预测图像误差数据D0减去交流分量预测图像误差数据d9而获得的差值。
最后，由反离散余弦变换单元6生成的交流分量预测图像误差数据d9和由直流分量反量化单元5B生成的直流分量预测图像误差数据D9被供给到图像预测单元7。图像预测单元7将基于数据d9和D9而生成的预测图像供给到预测图像误差计算单元8。然后就完成了编码处理。
由此生成的交流分量预测图像误差数据d9和直流分量预测图像误差数据D9之和相当于通过传统方法而从数学上得到的预测图像误差数据D0’。因此，所述和等于采用类似于传统方法的方式而由解码过程获得的处理结果。当所述和被用作在接下来的解码过程中计算预测图像的参考图像时，可防止量化误差的存留。
如文中所述，相应块的图像的空间频率分布和与所述多个块的图像的直流分量相关的空间频率分布被量化，其中采用了离散余弦变换(DCT)和哈德马变换(HAT)两种不同的正交变换。结果，因此而达到的解码效率较高。
进一步，在离散余弦变换单元1处被处理之后，交流分量和直流分量被分离，然后被独立处理。因此，可以消除在传统方法中所见的由反变换引发的对处理顺序的依赖。
图4示出了按照时间顺序的诸项处理。附图中按照时间顺序示出了离散余弦变换(DCT)、交流分量量化(ACQ)、交流分量反量化(ACIQ)、离散余弦反变换(IDCT)、哈德马变换(HAT)、直流分量量化(DCQ)、哈德马反变换(IHAT)、直流分量反量化(DCIQ)、和图像预测(Pred)。
如图4所示，在本优选实施例中，在完成离散余弦变换(DCT)之后执行交流分量量化(ACQ)。因此，交流分量量化(ACQ)开始于时刻T1之时和之后，然后，依次开始按顺序紧随着的交流分量反量化(ACIQ)和离散余弦反变换(IDCT)。
进一步，在完成对一个处理单元(MB)的处理之前的时期期间，可以提前执行对交流分量的处理，因为哈德马变换(HAT)与对一个处理单元(MB)的最后一个块的离散余弦变换(DCT)并行启动。然后，在时刻T2之时和之后，启动直流分量量化(DCQ)，因为在完成哈德马变换(HAT)之后才执行直流分量量化(DCQ)。
在这种情况下一个处理单元(MB)的最大分配(allocation)时间T3被降低到大约为传统方法中处理时间T42的一半，这说明处理效率被提高了。举例而言，通过提高处理效率可以获得如下效果。在某些情况下，由于编码方法的标准，所述处理只需要在传统方法中的处理时间T42内就能完成。在这些情况下，当处理电路的运行频率被降低到大致一半时，能够降低功率损耗，或者，通过用于在剩余处理时间期间改进图像质量的附加处理，可进一步增大编码效率。
所述正交变换不限于离散余弦变换和哈德马变换。在采用诸如小波变换(WT)或修正离散余弦变换(MDCT)的正交变换的情况下，本发明仍然有效。
进一步，没有必要在分立的块中执行图4所示的量化和反量化。在量化和反量化以分时方式执行于公共块中的情况下，仍然能够实现本发明的效果。可以以类似方式将分时执行应用于离散余弦变换(DCT)和离散余弦反变换(IDCT)，或者哈德马变换(HAT)和哈德马反变换(IHAT)。上文所述的公共处理块可以减小电路尺寸和功率损耗。
以下描述的是根据本发明的H.264/AVC编码LSI规格和由此获得的效果的具体实例。从使过程并行化的观点来看，以下将示意性地描述所实现的电路尺寸和并行化形式，并考虑到并行化的可能和由电路尺寸所带来的差别。
例如，在整个H.264/AVC编码处理中的处理都并行化的情况下，作为彼此正交的图像分量的亮度分量和色差分量优选为并行化的。由于在量化和反量化的计算过程中存在倍增/平移，在亮度分量中的优选处理处于如下水平，即，8×8像素的相应行或列被并行化(八行并行化或八列并行化)，并且在色差分量中的优选处理处于如下水平，即，4×4像素的相应行或列被并行化(四行并行化或四列并行化)。在每个处理单元(MB)并行化的情况下，并行化并非优选，因为需要记住正交变换中行和列中的项(element)。
其中基于前述观点而实现并行化的编码LSI的电路尺寸为大约4,000,000个晶体管。同时，在所执行的正交变换和量化的数目增加的情况下，需要增加诸如存储器和寄存器的存储器电路和操作器，这意味着需要更多的晶体管。具体而言，一个额外的并行需要增加大约10％的晶体管。晶体管数目的增多影响了芯片面积，导致出产率变差。因此，现实的电路尺寸最多为40,000,000个晶体管。
接下来描述的是，在限定了每个基于上述并行化形式的处理单元所要达到的必要循环数目、图像尺寸以及帧频的情况下，LSI所需的最低运行频率。例如，在H.264/AVC编码中处理量为最大的图像模式中，图像尺寸为1920×1080，并且帧频为30Hz。在这种模式下一个屏幕中的处理单元(MB)的数目为8160。基于前述形式的并行化，在处理单元(MB)中的必要循环数目T3适合为大约288个循环。如图5所示，一个图像单元(帧)包括多个处理单元(MB)。因此，每图像单元(帧)的必要循环数目T4为8160×288＝2350080个循环。因为帧频为30Hz，LSI中针对编码过程所要求的运行频率为2350080×30＝70.5MHz。
在所述处理单元中，直至完成哈德马变换(HAT)的时刻T2的循环数目为大约230个周期。进一步，从量化到基于前述并行化形式的图像预测的循环数目为大约230个周期。因此，例如在如图15所示带有传统编码器件的LSI中，处理单元(MB)中的必要循环数目T42为大约288+230＝518个周期。每图像单元(帧)的必要循环数目为大约8160×518＝4226880个周期。因为在这种情况下的帧频也为30Hz，因此在LSI中所需要的运行频率为4226880×30＝126.8MHz。
基于前面的描述，在不采用本发明的构造中，当在带有H.264/AVC编码器件(信号处理器)的LSI中采用所述并行形式(至多40,000,000个晶体管的电路区域)时，很难处理具有低于100MHz的运行频率、1920×1080的图像尺寸和30Hz的帧频的图像模式，然而，在采用本发明的构造中，可以在低于100MHz的运行频率下处理相应的图像模式。
优选实施例2
没有必要将与直流分量相关的正交变换限制于哈德马变换。在本发明的优选实施例2中，选择哈德马变换和离散余弦变换的其中一种作为与直流分量相关的正交变换。
图6是描述根据优选实施例2的信号处理器(数据压缩器件)构造的结构图。在图6中，与根据优选实施例1的图1所示相同的附图标记表示相同的元件。根据本优选实施例的构造的特征在于，哈德马变换单元9A和离散余弦变换单元9B在离散余弦变换单元1的后续阶段中并联连接，并且这些元件的输出在选择器10中得到选择，并被供给到直流分量量化单元3B。哈德马反变换单元11A和离散余弦反变换单元11B被并联连接到直流分量量化单元3B的输出，并且这些元件的输出在选择器12中得到选择，并供给到直流分量反量化单元5B。
在前述的构造中，基于离散余弦变换单元1的处理结果判断哈德马变换和离散余弦变换中的哪一个可较佳地选择作为与直流分量变换相关的正交变换，并且基于判断结果对选择器10和12进行控制。所述构造的其它任何部分类似于优选实施例1，在此不再赘述。
参照通常所认识到的相应正交变换的优点，简单的加法和减法可以实现哈德马变换，而离散余弦变换可以实现最适合压缩的正交变换。在本优选实施例中，基于离散余弦变换的处理结果判断哪一种正交变换是合适的，并基于判断结果选择哈德马变换和离散余弦变换中的一种。结果，可以解决处理量和编码效率之间的折中，这种折中发生在所执行的编码方法中。例如，如下文所述进行了所述判断。在离散余弦变换单元1处进行处理之后，在高频分量中经常检测到0的情况下，可以预测在直流分量中的空间变化较小。因此，哈德马变换可以实现足够水平的压缩。相应地，在高频分量中经常检测到0的情况下，基于处理量较小的判断选择了哈德马变换。在高频分量中经常未检测到0的情况下，选择离散余弦变换。通过选择器10和12进行所述判断，不过，通过未示出的运行控制器也可以进行该判断。
进一步，在离散余弦转换单元1处被处理之后，交流分量和直流分量被分离然后被独立处理。因此，可以消除传统构造中所见的由于反变换而引发的对处理顺序的依赖性。
图7示出了按照时间顺序的处理。所述处理基本上类似于根据优选实施例1而在图2中所示出的。如图2中示出的哈德马变换(HAT)，选择了哈德马变换(HAT)和第二离散余弦变换(DCT)中的一种。进一步，如图2中示出的哈德马反变换(IHAT)，选择了哈德马反变换(IHAT)和第二离散余弦反变换(IDCT)中的一种。
如本文中所述，在完成离散余弦变换(DCT)之后执行交流分量量化(ACQ)。因此，在时刻T11之时和之后启动交流分量量化(ACQ)，然后依次启动按顺序跟随着的交流分量反量化(ACIQ)和离散余弦反变换(IDCT)。
在与对一个处理单元(MB)的最后一个块执行离散余弦变换(DCT)的时刻相并行(相同步)的时刻T12处，选择采用哪一种正交变换(哈德马变换(HAT)和离散余弦变换(DCT))，并启动所选择的处理。因此，可以提前处理交流分量直至时刻T12。进一步，在完成于定时12处所选择的正交变换(哈德马变换(HAT)或离散余弦变换(DCT))后，执行直流分量量化(DCQ)。因此，在定时T13之时和之后启动直流分量量化(DCQ)。结果，一个处理单元(MB)的最大分配时间T14被降低到基本为传统方法中处理时间T42的一半，并且因此可以提高运行效率。
优选实施例3
在优选实施例1和2中，在本发明所应用的构造中，一个正交变换是在执行另一个正交变换后才执行的。不过，本发明不限于此，并且可以将本发明应用于信号处理器，其中，通过DC参数调节单元13对示出了离散余弦变换单元1的处理结果的调节直流分量参数进行调节，所述单元13示于图8所示的本发明的优选实施例3中。在图8所示的构造中，省略了哈德马变换单元2和哈德马反变换单元4，并提供了DC参数调节单元13。
参照如图9A所示实例来描述参数调节，确定了增大/减小系数，该系数用于包括处于如下水平的多个直流分量D10，该水平被其上限值Th1和下限值Th2所限定，并且变换之前的直流分量D10基于所述增大/减小系数而被调节成变换后直流分量D11。因此，可以防止由直流分量所限定的动态范围超过先前所计划的范围。
在如图9B所示的参数调节的另一个示例中，计算了变换之前的多个直流分量D10的平均值Dav，并且平均值Dav被设置成变换后直流分量D12(在变换之前的直流分量D10被变换成平均值Dav)。结果，可以将少直流分量的变化(variation)。
在如图10A所示的参数调节的又一个实例中，基于直流分量的分布，消除了变换之前的多个直流分量D10的高频分量。更具体地，变换之前的直流分量D10被平滑化，计算了平滑结果分布Dis，并且将变换后直流分量D13调节成所计算的分布Dis附近的一个值。结果，可以防止直流分量被大幅改变。
如图10B所示的参数调节的又一个实例中，计算了直流分量范围A1和A2，在该范围中，变换前的多个直流分量D10中的编码效率高；并且调节变换后直流分量D14，使其被包括在所计算的范围A1和A2中。结果，提高了编码效率。
在相应的参数调节的构造(见图9A-9B)中，在离散余弦变换单元1之时和之后，交流分量和直流分量被分离并且被独立处理。结果，可以消除在传统方法中所见的由反变换所引发的对于处理顺序的依赖性。
图11示出了按照时间顺序的处理。所述处理基本上类似于如图2所示的根据优选实施例1的那些处理，不同之处在于，图2所示的哈德马变换被替代为DC参数调节(ADJ)。
如图11所示，在完成离散余弦变换(DCT)之后，执行交流分量量化(ACQ)。因此，在定时T21之时和之后启动交流分量量化(ACQ)，然后，依次启动按顺序跟随的交流变量反量化(ACIQ)和离散余弦反变换(IDCT)。在时刻T22确定关于直流分量的参数调节的内容，所述时刻T2并行于与一个处理单元(MB)的最后一块相关的离散余弦变换(DCT)，并启动DC参数调节(ADJ)。因此，可以预先处理交流分量，直到启动DC参数调节(ADJ)(直到定时T22)。因为在完成DC参数调节(ADJ)之后才执行直流分量量化(DCQ)，因此在时刻T23之时和之后启动直流分量量化(DCQ)。结果，一个处理单元(MB)的最大分配时间T24被降低到大约为传统方法中处理时间T42的一半，进而提高了运行效率。
优选实施例4
迄今为止在所描述的优选实施例中，本发明被用于与图像数据相关的编码方法。不过，本发明不限于此，并可以用于例如针对音频数据的编码过程。
如图12所示，根据本发明的优选实施例4的音频数据编码器件包括：修正离散余弦变换单元21、小波变换单元22、交流分量量化单元23A、直流分量量化单元23B、反小波变换单元24、交流分量反量化单元25A、直流分量反量化单元25B、修正离散余弦反变换单元26、预测单元27、和预测误差计算单元28。
一般而言，作为离散余弦变换的一种变化的修正离散余弦变换(MDCT)，被用于针对音频压缩的正交变换，其中减少了由压缩导致的损耗(strain)。进一步，可以一般地认识到的是，小波变换是适合于波形分析的正交变换，并且在对直流分量的分布执行小波变换时可增大编码效率。
进一步，交流分量和直流分量在离散余弦变换单元1之中和之后被分离，并被独立处理。结果，在本优选实施例中可以消除在传统方法中可见的由反变换所引发的对处理顺序的依赖。
图13示出了按时间顺序的处理。在所述附图中按照时间顺序示出了修正离散余弦变换(MDCT)、交流分量量化(ACQ)、交流分量反量化(ACIQ)、反修正离散余弦变换(IMDCT)、小波变换(WT)、直流分量量化(DCT)、反小波变换(IWT)、直流分量反量化(DCIQ)和预测(Pred)。
如上文所示，在完成修正离散余弦变换(MDCT)之后执行交流分量量化(ACQ)。因此，在时刻T31之时和之后启动交流分量量化(ACQ)，然后，依次启动按顺序跟随交流分量反量化(ACIQ)和反修正离散余弦变换(IMDCT)。小波变换(WT)与对一个处理单元(MB)的最后一块的修正离散余弦变换(MDCT)并行启动。因此，可以预先处理交流分量，直到启动小波变换(WT)。因为在完成小波变换(WT)之后才执行直流分量量化(DCQ)，因此在时刻T32之时和之后启动直流分量量化(DCQ)。因此，与传统方法中的处理时间相比，一个处理单元(MB)的最大分配时间T33被明显减少。相应地，可以采用与相应优选实施例(与图像数据相关的编码方法的实施例)类似的方式来提高运行效率。
如之前的优选实施例所述，本发明可应用于与图像和音频相关的编码器件。例如，本发明应用于图像编码器件中与亮度或色差相关的相应优选实施例，同时本发明还应用于音频编码器件中与音频幅度水平相关的相应的优选实施例。
如图4、7、11和13所示的按时间顺序的处理可以被并行化，或者以分时方式执行。相应地，在并行化情况下，可根据并行水平而降低每步处理所需的时间量；同时，在以分时方式执行的情况下，可依据分时重复度(multiplicity)来共同地使用电路源。
图14示出了一移动电话31的示意性外观，该无线电话31是包含了根据本发明的信号处理器的通讯设备的实例。移动电话13包括应用LSI 32。应用LSI 32是包含根据本发明的信号处理器的一种半导体集成电路。根据本发明的信号处理器可以以低于传统器件的功率运行，并且应用LSI 32和包含应用LSI 32的移动电话31也可以以较小功率运行。进一步，在设置于移动电话31中除应用LSI 32之外的所有半导体集成电路中，当根据本发明的信号处理器被用作设置于相关半导体集成电路中的逻辑电路时，可获得类似于本发明各优选实施例的效果。
包含根据本发明的信号处理器的通讯设备不限于无线电话，并包括通讯***中的发射器、接收器、用于数据传送的调制解调设备等。本发明可有效地降低在数字和模拟***中的功耗，无论是有线或者无线电通信以及光通信或者电通信。
图14B示出了包含根据本发明的信号处理器的信息再现设备的示意外观。光盘33包括用于处理从光盘所读取的信号的介质信号处理LSI 34。介质信号处理LSI 34是包含根据本发明的信号处理器的半导体集成电路。因为根据本发明的编码器件可以以小于传统器件的功率运行，因此介质信号处理LSI 34和包含介质信号处理LSI 34的光盘设备33也可以以较小功率运行。进一步，在设置于光盘33中的除介质信号处理LSI 34之外的所有半导体集成电路中，当根据本发明的信号处理器被用作设置于相关半导体集成电路中的逻辑电路时，可获得类似于本发明相应优选实施例的效果。
包含根据本发明的信号处理器的信息再现设备不限于光盘设备，它还包括：图像记录/再现设备，其中结合有磁盘；信息记录/再现器件，其中使用半导体存储器作为介质；等等。根据本发明，可以针对各种类型的信息再现设备(可包括信息记录功能)有效地降低功耗，而不论使用何种介质用于信息记录。
图14C示出了电视接收器35的示意性外观，电视接收器35作为包含根据本发明的信号处理器的图像显示设备的实例。电视接收器35包括用于处理图像信号和音频信号的图像/音频处理LSI 36。图像/音频处理LSI 36为包含根据本发明的信号处理器的半导体集成电路。根据本发明的信号处理器可以以小于传统器件的功率运行，因此，图像/音频处理LSI 36和包含图像/音频处理LSI 36的电视接收器35也可以以较小功率运行。进一步，在设置于电视接收器35中的除了图像/音频处理LSI 36之外的所有半导体集成电路中，当根据本发明的信号处理器被用作设置于相关半导体集成电路中的逻辑电路时，可获得类似于相应优选实施例的效果。
包含根据本发明的信号处理器的图像显示设备不限于电视接收器，并例如包括用于显示通过电通讯电路而发布的流数据的设备等。根据本发明，在所有图像显示设备(可包括信息记录功能)中，可有效降低功耗，而与传送信息的方法无关。
图14D示出了数码相机37的示意外观，数码相机37作为包含根据本发明的信号处理器的电子设备的实例。数码相机37包括信号处理LSI 38，其为包含根据本发明的信号处理器的半导体集成电路。根据本发明的信号处理器可以以低于传统器件的功率运行，因此，信号处理LSI 38和包含信号处理LSI 38的数码相机37也可以以较低功率运行。进一步，在设置于数码相机37中的除了信号处理LSI 38之外的所有半导体集成电路中，当根据本发明的信号处理器被用作设置于相关半导体集成电路中的逻辑电路时，可获得类似于相应优选实施例的效果。
包含根据本发明的信号处理器的电子设备不限于数码相机，并包括通常可得的包含半导体集成电路的设备，例如各种AV设备。根据本发明，一般而言在电子器件中可有效地降低功耗。
虽然目前已经描述的内容可视为本发明的优选实施例，不过可以理解的是，在此可进行各种不同的改造，并且在附带的权利要求书中本发明意在涵盖所有这些落于本发明的真实精神和范围中的改造。

Claims (37)

1、一种数据压缩方法，包括：
第一步骤，在该第一步骤中，对数据进行正交变换从而生成正交变换数据；和
在所述第一步骤之后执行的处理步骤，其中
所述之后的处理步骤包括第二步骤，在该第二步骤中对所述正交变换数据执行反变换，所述反变换等价于所述正交变换数据的解码过程，并且
所述之后的处理步骤被分为：对所述正交变换数据的交流分量的处理步骤和对所述正交变换数据的直流分量的处理步骤。
2、根据权利要求1所述的数据压缩方法，其中
所述第二步骤包括对应于所述第一步骤的正交反变换，并且所述正交反变换是所述正交变换数据的直流分量为零的正交反变换。
3、根据权利要求2所述的数据压缩方法，进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，其中
所述第二步骤中的正交反变换进一步包括对应于所述第三步骤的正交反变换。
4、根据权利要求3所述的数据压缩方法，进一步包括：
第四步骤，在该第四步骤中，对所述正交变换数据的交流分量和直流分量进行量化；和
第五步骤，在该第五步骤中，对在所述第四步骤的量化中获得的数据进行反量化。
5、根据权利要求4所述的数据压缩方法，其中
以分时方式执行所述第四步骤和所述第五步骤。
6、根据权利要求3所述的数据压缩方法，其中
以分时方式执行所述第一步骤、所述第二步骤和所述第三步骤。
7、根据权利要求3所述的数据压缩方法，其中
所述数据是图像数据，
在所述第一步骤中执行的正交变换为离散余弦变换，
在所述第三步骤中执行的正交变换为哈德马变换，
在所述第二步骤中执行的对应于所述第一步骤的正交反变换为离散余弦反变换，并且
在所述第二步骤中执行的对应于所述第三步骤的正交反变换为哈德马反变换。
8、根据权利要求3所述的数据压缩方法，其中
在所述第三步骤中执行的正交变换和在所述第二步骤中执行的对应于所述第三步骤的正交反变换可以从多种不同的正交变换及其对应的正交反变换中选择，并且
基于在所述第一步骤中执行的变换的结果，从所述多种正交变换及其对应的正交反变换中选择任意的处理手段。
9、根据权利要求4所述的数据压缩方法，其中
所述数据是图像数据，
在所述第四步骤中执行的对直流分量的量化为对图像的亮度或色差信息的直流分量的量化，并且
基于在所述第二步骤中执行的变换的结果确定量化中的量化步骤。
10、根据权利要求3所述的数据压缩方法，其中
所述数据是音频数据，
在所述第一步骤中执行的正交变换为修正离散余弦变换，
在所述第二步骤中执行的对应于所述第一步骤的正交反变换为修正离散余弦反变换，
在所述第三步骤中执行的正交变换为小波变换，并且
在所述第二步骤中执行的对应于所述第三步骤的正交反变换为小波反变换。
11、根据权利要求4所述的数据压缩方法，其中
所述数据是音频数据，
所述第四步骤中对直流分量的量化为关于音频幅度水平的量化，并且
基于在所述第三步骤中执行的变换的结果确定量化中的量化步骤。
12、一种数据压缩方法，包括：
第一步骤，在该第一步骤中，对数据进行正交变换从而生成第一正交变换数据；和
在所述第一步骤后之后执行的处理步骤，其中
所述之后的处理步骤包括：
第二步骤，在该第二步骤中对所述第一正交变换数据执行反变换，所述反变换等价于所述第一正交变换的解码过程；和
第三步骤，在该第三步骤中对所述第一正交变换数据的直流分量进行正交变换，从而生成第二正交变换数据，并且
所述之后的处理步骤被分为：对所述第一正交变换数据的交流分量的处理步骤和对所述第一正交变换数据的直流分量的处理步骤。
13、根据权利要求12所述的数据压缩方法，其中
所述第二步骤包括对应于所述第一步骤的第一正交反变换和对应于所述第三步骤的第二正交反变换，并且
所述第一正交变换数据的直流分量为第一值，所述第一值和从第二正交反变换数据的逆矩阵获得的第二值之间的差被添加到所述第一正交反变换中第一正交反变换数据的逆矩阵的元素。
14、根据权利要求12所述的数据压缩方法，进一步包括：
第四步骤，在该第四步骤中，对所述第一正交变换数据的交流分量和直流分量进行量化；和
第五步骤，在该第五步骤中，对在所述第四步骤的量化中获得的数据进行反量化。
15、根据权利要求14所述的数据压缩方法，其中
以分时方式执行所述第四步骤和所述第五步骤。
16、根据权利要求12所述的数据压缩方法，其中
以分时方式执行所述第一步骤、所述第二步骤和所述第三步骤。
17、根据权利要求13所述的数据压缩方法，其中
所述数据是图像数据，
在所述第一步骤中执行的正交变换是离散余弦变换，
在所述第三步骤中执行的正交变换是哈德马变换，
在所述第一步骤中执行的正交反变换是离散余弦反变换，并且
在所述第二步骤中执行的正交反变换是哈德马反变换。
18、根据权利要求13所述的数据压缩方法，其中
在所述第三步骤中执行的正交变换和所述第二正交反变换可以从多种不同的正交变换及其对应的正交反变换中选择，并且
基于在所述第一步骤中执行的变换的结果从所述多种正交变换及其对应的正交反变换中选择任意的处理手段。
19、根据权利要求14所述的数据压缩方法，其中
所述数据是图像数据，
在所述第四步骤中执行的对直流分量的量化是对图像的亮度或色差信息的直流分量的量化，并且
基于在所述第二步骤中执行的变换的结果确定量化中的量化步骤。
20、根据权利要求1所述的数据压缩方法，其中
所述数据是音频数据，
进一步提供对所述直流分量进行变换的步骤，并且
所述步骤执行一参数变换，以确定所述图像数据或所述音频数据的图像质量或声音质量。
21、根据权利要求20所述的数据压缩方法，其中
以分时方式执行所述参数变换。
22、根据权利要求20所述的数据压缩方法，其中
所述数据是图像数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换是这样一种变换，其包括在期望范围内的图像亮度或色差信息的直流分量的最大值或最小值，并且
基于在所述第三步骤中执行的变换的结果确定所述期望范围。
23、根据权利要求12所述的数据压缩方法，其中
所述数据是音频数据，
在所述第一步骤中执行的正交变换为修正离散余弦变换，
在所述第二步骤中执行的对应于所述第一步骤的正交反变换为修正离散余弦反变换，
在所述第三步骤中执行的正交变换为小波变换，并且
在所述第二步骤中执行的对应于所述第三步骤的正交反变换为小波反变换。
24、根据权利要求14所述的数据压缩方法，其中
所述数据是音频数据，
在所述第四步骤中执行的对直流分量的量化是对音频幅度水平的量化，并且
基于在所述第三步骤中执行的变换的结果确定所述量化中的量化步骤。
25、根据权利要求20所述的数据压缩方法，其中
所述数据是音频数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换是这样一种变换，其包括在期望范围内的音频幅度水平直流分量的最大值或最小值，并且
基于在所述第三步骤中执行的变换的结果确定所述期望范围。
26、根据权利要求20所述的数据压缩方法，其中
所述数据是图像数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换是这样一种变换，其使用多个亮度信息的直流分量的平均值作为所述图像的亮度或色差信息的直流分量，并且
基于在所述第三步骤中执行的变换的结果确定所述平均值。
27、根据权利要求20所述的数据压缩方法，其中
所述数据是音频数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换是这样一种变换，其使用多个音频幅度水平的直流分量的平均值作为所述音频幅度水平的直流分量，并且
基于在所述第三步骤中执行的变换的结果确定所述平均值。
28、根据权利要求20所述的数据压缩方法，其中
所述数据是图像数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换为如下的过程，在该过程中，从多个图像亮度或色差信息的直流分量的空间频率分量中消除高频分量，并且
基于在所述第三步骤中执行的变换的结果确定所述高频分量消除过程中的消除程度。
29、根据权利要求20所述的数据压缩方法，其中
所述数据是音频数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换为如下的过程，在该过程中，从音频幅度水平的直流分量的空间频率分量中消除高频分量，并且
基于在所述第三步骤中执行的变换的结果确定所述高频分量消除过程中的消除程度。
30、根据权利要求20所述的数据压缩方法，其中
所述数据是图像数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换是这样一种变换，其将图像上的亮度或色差信息的直流分量设置到可获得高效率编码的范围中，并且
基于在所述第三步骤中执行的变换的结果确定在所述变换过程中可获得高效率编码的范围。
31、根据权利要求20所述的数据压缩方法，其中
所述数据是音频数据，
进一步包括第三步骤，在该第三步骤中，对所述正交变换数据的直流分量进行正交变换，
所述第二步骤进一步包括对应于所述第三步骤的正交反变换，
所述参数变换是这样一种变换，其将音频幅度水平的直流分量设置到可获得高效率编码的范围中，并且
基于在所述第三步骤中执行的变换的结果确定在所述变换过程中可获得高效率编码的范围。
32、一种信号处理器，包括：
第一变换单元，其用于通过对数据进行正交变换而生成正交变换数据；和
第二变换单元，其用于对由所述第一变换单元获得的所述正交变换数据执行反变换，所述反变换等价于所述正交变换数据的编码过程，其中
所述第二变换单元执行正交反变换，该正交反变换对应于由所述第一变换单元执行的正交变换，并且所述正交反变换为所述正交变换数据的直流分量为零的反变换。
33、一种包含半导体集成电路的通讯设备，其中
所述半导体集成电路包括如权利要求32所述的信号处理器。
34、一种包含半导体集成电路的信息重现设备，其中
所述半导体集成电路包括如权利要求32所述的信号处理器。
35、一种包含半导体集成电路的图像显示设备，其中
所述半导体集成电路包括如权利要求32所述的信号处理器。
36、一种包含半导体集成电路的电子设备，其中
所述半导体集成电路包括如权利要求32所述的信号处理器。
37、一种安装了H264/AVC编码过程的LSI，其中在包括至多40,000,000个晶体管的电路区域中对如下图像模式执行所述编码过程，该图像模式具有至多100MHz的频率、至少1920×1080的图像尺寸和至少30Hz的帧频。
CN2007100803965A 2006-03-07 2007-03-07 信号处理器 Expired - Fee Related CN101035286B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006060864 2006-03-07
JP2006060864A JP2007243399A (ja) 2006-03-07 2006-03-07 データ圧縮方式およびその関連技術
JP2006-060864 2006-03-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2010102950941A Division CN101945283A (zh) 2006-03-07 2007-03-07 信号处理器

Publications (2)

Publication Number Publication Date
CN101035286A true CN101035286A (zh) 2007-09-12
CN101035286B CN101035286B (zh) 2011-06-08

Family

ID=38478988

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007100803965A Expired - Fee Related CN101035286B (zh) 2006-03-07 2007-03-07 信号处理器
CN2010102950941A Pending CN101945283A (zh) 2006-03-07 2007-03-07 信号处理器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010102950941A Pending CN101945283A (zh) 2006-03-07 2007-03-07 信号处理器

Country Status (3)

Country Link
US (1) US8094950B2 (zh)
JP (1) JP2007243399A (zh)
CN (2) CN101035286B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2373031A1 (en) * 2008-08-12 2011-10-05 Lg Electronics Inc. Method of decoding a video signal
US9635368B2 (en) 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
WO2010143853A2 (ko) 2009-06-07 2010-12-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
CN102577131A (zh) * 2009-08-06 2012-07-11 松下电器产业株式会社 编码方法、解码方法、编码装置及解码装置
KR20120046725A (ko) * 2009-08-06 2012-05-10 파나소닉 주식회사 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치
JPWO2011016250A1 (ja) * 2009-08-06 2013-01-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
JP5353560B2 (ja) * 2009-08-25 2013-11-27 富士通株式会社 画像処理回路および画像符号化装置
US8798131B1 (en) * 2010-05-18 2014-08-05 Google Inc. Apparatus and method for encoding video using assumed values with intra-prediction
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
RU2509437C1 (ru) * 2012-07-17 2014-03-10 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ формирования целочисленных ортогональных декоррелирующих матриц заданных размеров для прямого и обратного декоррелирующего преобразования видеоизображений и устройство для его осуществления
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
CN105392013B (zh) * 2015-12-24 2018-07-17 福州瑞芯微电子股份有限公司 一种h.264编码的变换量化与反量化反变换处理方法与***
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0493128B1 (en) * 1990-12-28 1999-06-23 Canon Kabushiki Kaisha Image processing apparatus
US5845041A (en) * 1991-11-12 1998-12-01 Mitsubishi Denki Kabushiki Kaisha Video signal recording and reproducing apparatus with high efficiency encoding
JPH0644291A (ja) * 1992-07-22 1994-02-18 Kyocera Corp 離散コサイン変換器及び情報符号化器
US5424778A (en) 1992-08-31 1995-06-13 Victor Company Of Japan, Ltd. Orthogonal transform coding apparatus and decoding apparatus
JP3336754B2 (ja) * 1994-08-19 2002-10-21 ソニー株式会社 デジタルビデオ信号の記録方法及び記録装置
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
JP2630923B2 (ja) 1994-12-05 1997-07-16 日本アイ・ビー・エム株式会社 画像認識方法及び装置
JP2000041248A (ja) 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
US6934337B2 (en) * 2001-09-27 2005-08-23 Intel Corporation Video capture device and method of sending high quality video over a low data rate link
US7145948B2 (en) * 2002-05-29 2006-12-05 Koninklijke Philips Electronics N.V. Entropy constrained scalar quantizer for a Laplace-Markov source
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
CN2648738Y (zh) * 2003-10-17 2004-10-13 清华大学 带有视频水印的视频转码器
US20060140487A1 (en) 2004-12-23 2006-06-29 Kabushiki Kaisha Toshiba Image compressing apparatus and image decoding apparatus and image converting apparatus and image processing method

Also Published As

Publication number Publication date
JP2007243399A (ja) 2007-09-20
US8094950B2 (en) 2012-01-10
US20070211953A1 (en) 2007-09-13
CN101035286B (zh) 2011-06-08
CN101945283A (zh) 2011-01-12

Similar Documents

Publication Publication Date Title
CN101035286A (zh) 信号处理器
CN1242620C (zh) 用于数字视频记录的基于代码转换器的自适应量化
CN1225126C (zh) 用于视频编码的新型空间预测方法及其装置
CN1784011A (zh) 图像编码装置及图像编码方法
CN1656817A (zh) 上下文自适应的vlc视频变换系数编码/解码方法与设备
CN1956546A (zh) 图像编码装置
CN1926875A (zh) 运动补偿方法
CN1392725A (zh) 图象处理方法和设备、计算机程序、以及存储介质
CN1625902A (zh) 运动图片编码和解码方法以及使用该方法的设备和程序
CN1574968A (zh) 运动图像解码装置及运动图像解码方法
CN1679342A (zh) 对视频数据进行内编码的方法和设备
CN1531347A (zh) 图象信号编码装置及图象信号编码方法
CN1282107C (zh) 一种对图像进行快速压缩和解压缩的方法
CN1809161A (zh) 对编码视频数据选择编码类型和预测模式
CN1256849C (zh) 1/4像素精度插值的方法和装置
CN1842164A (zh) 解码视频数据的解码器和***
CN1262122C (zh) 编码装置及方法
CN1306457C (zh) 估计编码图像的方法及装置
CN1240225C (zh) 图像编码装置以及图像编码方法
CN1684519A (zh) 运动图像编码装置及方法、运动图像译码装置及方法
CN101043633A (zh) 一种编码中量化矩阵选择方法、装置及编解码方法及***
CN1756364A (zh) 帧内预测模式的选择方法
CN1921627A (zh) 视频数据压缩编码方法
CN1529509A (zh) 视频图像亚像素插值的方法和装置
CN1266947C (zh) 活动图象压缩编码装置及运动矢量检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110608

Termination date: 20130307