CN101076117B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101076117B
CN101076117B CN2007101025951A CN200710102595A CN101076117B CN 101076117 B CN101076117 B CN 101076117B CN 2007101025951 A CN2007101025951 A CN 2007101025951A CN 200710102595 A CN200710102595 A CN 200710102595A CN 101076117 B CN101076117 B CN 101076117B
Authority
CN
China
Prior art keywords
sub
filtering
bands
analysis
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101025951A
Other languages
English (en)
Other versions
CN101076117A (zh
Inventor
福原隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101076117A publication Critical patent/CN101076117A/zh
Application granted granted Critical
Publication of CN101076117B publication Critical patent/CN101076117B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种图像处理设备，包括：水平分析滤波单元，用于以行为单元接收图像数据，并且在每当水平方向上的抽样数目达到预定值时，通过执行水平低通分析滤波和水平高通分析滤波而产生低频分量和高频分量；以及垂直分析滤波单元，用于在每当水平分析滤波单元所产生的低频和高频分量的垂直方向上的行数目达到预定值时，通过执行垂直低通分析滤波和垂直高通分析滤波而产生多个子频带的系数数据。

Description

图像处理设备和图像处理方法
相关申请的交叉引用
本发明包括与2006年5月16日向日本专利局申请的申请号为JP2006-136875的日本专利申请有关的主题，通过参考将该申请的整个内容引入到这里。
技术领域
本发明涉及一种用于使用滤波器组来对输入图像执行频带分析并且将该图像划分成多个子频带的频带分析设备和方法，一种用于使用滤波器组来对被划分成多个子频带的图像执行频带合成的频带合成设备和方法，一种使用滤波器组来对输入图像执行频带分析并且对经受了频带分析的图像进行编码以产生编码的码流的图像编码设备和方法，一种用于对编码的码流进行解码并且使用滤波器组来对解码的码流执行频带合成的图像解码设备和方法，一种程序以及一种记录介质。
背景技术
作为一种用于对图像进行压缩的典型方法，由国际标准组织(ISO)标准化的联合照相专家组(JPEG)方法是可用的。JPEG方法使用离散余弦变换(DCT)，并且以相对比较高的比特率提供了极好的编码图像和解码图像。然而，当编码比特率降低为预定值或更低时，DCT变换所特有的块噪音显著增加了。因此，从主观角度来看，性能降低变得很突出。
近年来，已积极地实施了对用于使用作为低通滤波器与高通滤波器的组合的滤波器组将图像划分成多个子频带并且对多个子频带的每一个执行编码的方法的研究与开发。在这种环境下，小波变换编码已经被认为是一种将会代替DCT变换的最新有前途的技术，因为与DCT变换不一样，小波变换编码不具有在高压缩时块噪音变得很突出这样的缺点。
在2001年1月完成国际标准化的JPEG 2000采用了一种将上述小波变换和高效熵编码(对每个位平面进行位建模和算术编码)结合在一起的方法。与其他任何JPEG方法相比，该JPEG 2000在编码效率方面实现了显著的改善。
例如，在C.Chrysafis和A.Ortega的“Line Based，ReducedMemory，Wavelet Image Compression”(IEEE Trans.ImageProcessing，第9卷，第378-389页，2000年3月)中所描述的技术是可用的。
发明内容
在小波变换中，基本上，对图像整体执行分析滤波。因此，必须对其数目与整个图像的像素数目相对应的小波变换系数的数目进行存储和保持。因此，高容量存储器是具有较高分辨率的图像所必需的，这会导致对硬件开发等的严重约束。
为了解决该问题，已提出了存储器需求降低的若干小波变换方法。基于行的小波变换是存储器需求降低的这种小波变换方法当中最重要的方法之一(例如，参见C.Chrysafis和A.Ortega的“Line Based，Reduced Memory，Wavelet Image Compression”，IEEE Trans.ImageProcessing，第9卷，第378-389页，2000年3月)。在C.Chrysafis和A.Ortega的“Line Based，Reduced Memory，Wavelet ImageCompression”(IEEE Trans.Image Processing，第9卷，第378-389页，2000年3月)中所描述的技术中，在图像的输入行的数目达到预定值之后立即执行小波变换。因此，必需的存储器容量显著地降低了，同时可获得与当对整个图像执行小波变换时所获得的小波变换系数相同的小波变换系数。此外，可减少要开始小波变换所必需的延迟时间。
然而，例如，为了实现实时对图像进行编码与传送并且对该图像进行接收与解码的设备，必须进一步减少用于从对图像进行编码至对编码的码流进行解码以重构出该图像这样的处理的延迟时间。此外，在硬件开发领域中，期望进一步降低存储器需求。
因此，希望提供一种存储器需求降低的且具有低延迟的、用于对图像执行频带分析的频带分析设备和方法，一种存储器需求降低的且具有低延迟的、用于对图像执行频带合成的频带合成设备和方法，一种用于在执行这种频带分析的同时对图像进行编码的图像编码设备和方法，一种用于在执行这种频带合成的同时对图像进行解码的图像解码设备和方法，一种程序以及记录介质。
根据本发明实施例的图像处理设备包括：水平分析滤波装置，用于以行为单元接收图像数据，并且用于在每当水平方向上的抽样数目达到预定值时，通过执行水平低通分析滤波和水平高通分析滤波而产生低频分量和高频分量；以及垂直分析滤波装置，用于在每当由水平分析滤波装置所产生的低频和高频分量的垂直方向上的行数目达到预定值时，通过执行垂直低通分析滤波和垂直高通分析滤波而产生多个子频带的系数数据。
根据本发明另一实施例的图像处理设备包括：输入装置，用于输入通过执行图像数据的水平低通和高通分析滤波以及垂直低通和高通分析滤波所产生的多个子频带的系数数据；垂直合成滤波装置，用于在每当垂直方向上的行数目达到预定值时，通过对输入装置所输入的多个子频带的系数数据执行垂直低通合成滤波和垂直高通合成滤波，而产生低频分量和高频分量；以及水平合成滤波装置，用于在每当由垂直合成滤波装置所产生的低频和高频分量的水平方向上的抽样数目达到预定值时，通过执行水平低通合成滤波和水平高通合成滤波来对预定数目的子频带进行合成。
因此，可实现存储器需求降低的且具有低延迟的图像数据的频带分析和频带合成。另外，在执行这种频带分析和频带合成的同时，可对图像数据进行编码和解码。
附图说明
图1示意性地示出了根据第一实施例的频带分析设备的结构；
图2A和2B示意性地示出了HDTV视频信号的数据的单元；
图3示出了其中频带分析设备在执行了水平滤波之后执行垂直滤波的情况；
图4说明了对于每M列所执行的缓冲；
图5说明了在划分级别1进行分析滤波过程中的水平滤波；
图6说明了在划分级别1进行分析滤波过程中的垂直滤波；
图7示出了通过执行分析滤波直至划分级别2所获得的结果；
图8示出了通过对实际图像执行分析滤波直至划分级别3所获得的结果；
图9示出了5×3分析滤波器的提升(lifting)结构；
图10是用于对一起多路复用的Y、Cb、Cr的数据流以及分析滤波的定时进行说明的图示；
图11包括示出了基于SMPTE 274M标准的信号当中的交织信号的信号分布图，并且示出了***垂直同步信号的位置；
图12示意性地示出了相关技术的频带分析设备的结构；
图13示出了相关技术的频带分析设备在执行了垂直滤波之后执行水平滤波这样的情况；
图14示意性地示出了根据第二实施例的图像编码设备；
图15示意性地示出了根据第三实施例的频带合成设备；
图16示出了5×3合成滤波器的提升结构；以及
图17示意性地示出了根据第四实施例的图像解码设备的结构。
具体实施方式
参考附图对本发明的实施例进行描述。
第一实施例
对根据第一实施例的、用于使用分析滤波器组来对输入的视频信号执行频带分析以将视频信号划分成多个子频带的频带分析设备进行描述。
图1示意性地示出了根据第一实施例的频带分析设备10的结构。参考图1，频带分析设备10包括图像行输入单元11、列缓冲器单元12、水平分析滤波器单元13、以及垂直分析滤波器单元14。
图像行输入单元11接收每一行的视频信号D10，并且将该图像行的数据流D11提供给列缓冲器单元12。
视频信号通常是由标准来定义的。例如，当前根据国家电视标准委员会(NTSC)***来执行电视广播。另外，作为美国标准制定组织的电影与电视工程师学会(SMPTE)将高清晰度电视(HDTV)***标准化为标准号“SMPTE 274M”。在以下的描述中，将HDTV***(分辨率为1920×1080)作为一个示例进行描述。
图2A示出了HDTV视频信号的数据的单元的结构。亮度信号Y实际上每行具有1920个抽样。有效视频结束(EAV，end of active video)信号的抽样数据以及有效视频起始(SAV，start of active video)信号的抽样数据(总共为280个抽样)位于亮度信号Y的实际抽样数据之前。色差信号Cb和Cr具有相似结构。然而，色差信号Cb和Cr具有4:2:2的格式，并且每个色差信号Cb和Cr的实际抽样数目是亮度信号Y的实际抽样数目的一半。因此，色差信号Cb和Cr的实际抽样的总数目等于亮度信号Y的实际抽样数目。通过对亮度信号Y以及色差信号Cb和Cr进行多路复用，可如图2B所示产生包括有EAV和SAV信号的560个抽样以及亮度信号Y与色差信号Cb和Cr的3840个抽样的数据。
因此，如图2B所示，当输入基于作为通常被称为“HD-SDI”标准的、HDTV***的SMPTE 274M标准的信号作为视频信号D10时，可获得图像行的数据流D11作为经多路复用的抽样数据。下面对如上所述的假定进行描述。
如图3和4所示，列缓冲器单元12存储并保持各个列的数据流D11，并且继续存储并保持数据流D11，直至对M列的数据流D11进行了存储为止。值M与水平滤波的抽头数目相对应。值M随抽头数目的增加而增加。
水平分析滤波器单元13顺序地读取M列的列数据D12，并且执行水平低通分析滤波和水平高通分析滤波。由于水平滤波，如图5所示，产生了通过水平划分所获得的低频分量(L)和高频分量(H)D13。
如图3和5所示，在低频和高频分量D13的行数目达到N之后，垂直分析滤波器单元14立即执行垂直低通分析滤波和垂直高通分析滤波。值N与垂直滤波的抽头数目相对应。值N随抽头数目的增加而增加。由于垂直滤波，如图3和6所示，产生了通过垂直划分所获得的低频分量(1LL)D14和高频分量(1HL、1LH、以及1HH)D15。就图3和6中的字母“L”和“H”的顺序而言，第一个字母表示在执行了水平滤波之后所获得的频带，而最后一个字母表示在执行了垂直滤波之后所获得的频带。另外，位于字母“L”或“H”之前的数字表示划分级别。
作为划分级别1的分析滤波的结果，如上所述，垂直分析滤波器单元14产生了低频分量(1LL)D14和高频分量(1HL、1LH、以及1HH)D15。
在小波变换中，通常，不对在分析滤波过程中所产生的高频分量进行进一步分析。因此，在第一实施例中，输出高频分量(1HL、1LH、以及1HH)，而无需进行进一步分析。相反，将低频分量(1LL)D14提供给列缓冲器单元12，以便通过分析滤波器组对其进行进一步分析。在列缓冲器单元12中对为水平分析滤波所需的数目的列进行了缓冲之后，立即执行划分级别2的分析滤波。如上所述重复地对低频分量进行划分，因为图像信号的大部分能量集中在低频分量上。
在划分级别2的分析滤波过程中，水平分析滤波器单元13顺序地读取M列的列数据D12，并且执行水平低通分析滤波和水平高通分析滤波。此后，紧接在低频和高频分量D13的行数目达到N/2之后，如图6所示，垂直分析滤波器单元14立即执行垂直低通分析滤波和高通分析滤波。由于垂直滤波，如图7所示，产生了低频分量(2LL)和高频分量(2HL、2LH、以及2HH)。参考图7，将划分级别1的子频带1LL划分成四个子频带2LL、2HL、2LH、以及2HH。
为了进一步增加划分级别，对低频分量重复地执行分析滤波。图8示出了其中对实际图像执行通过分析滤波的子频带划分直至划分级别3的这样一个示例。
作为上述分析滤波的最一般的算术方法，一种被称为卷积操作的方法是可用的。卷积操作是用于实现数字滤波器的最基本过程。作为卷积操作，执行使滤波器抽头系数乘以实际输入数据这样的卷积乘法。然而，卷积操作产生了这样的问题，即，计算负荷随着抽头长度的增加而增加。
作为一种用于解决上述问题的技术，在W.Sweldens的“TheLifting Scheme：A Custom-design Construction of BiorthogonalWavelets”(Appl Comput.Harmon.Anal.，第3卷第2期第186-200页，1996年)中所描述的小波变换的提升技术是已知的。
图9示出了在JPEG 2000标准中所采用的5×3分析滤波器的提升结构。参考图9示意性地对其中提升技术应用于5×3分析滤波器的分析滤波进行说明。
参考图9，在最高的行中示出了输入图像的像素，在中间的行中示出了高频分量输出，并且在最低的行中示出了低频分量输出。输入图像的像素不是必须在最高的行中示出。在最高的行中可以示出通过上述分析滤波所获得的系数。在该实施例中，在最高的行中示出了输入图像的像素。将偶数编号的像素或行表示为正方形，并且将奇数编号的像素或行表示为圆形。
作为第一步，利用下列等式从输入像素产生高频分量系数di 1：
di 1＝di 0-1/2(si 0+si+1 0)        …(1)。
此后，作为第二步，利用以下等式，根据所产生的高频分量系数和输入像素当中的奇数编号的像素产生低频分量系数si 1：
si 1＝si 0+1/4(di-1 1+di 1)        …(2)。
如上所述，在分析滤波过程中，在产生了高频分量之后，产生低频分量。这种分析滤波所使用的两种滤波器组具有仅仅两个抽头，这两个抽头可以通过利用Z变换表示而被表示为“P(z)＝(1+z-1)/2”和“U(z)＝(1+z-1)/4”。也就是说，虽然最初必须有五个抽头，但是在该实施例中仅需两个抽头。因此，计算量显著降低了。因此，期望的是将这种提升技术用于频带分析设备10中的水平滤波和垂直滤波。
如上所述，图像行的数据流D11包括一起多路复用的亮度信号Y及色差信号Cb和Cr。在这种情况下，通过利用每个分量(Y，Cb，Cr)的抽样率，可有效地实现分析滤波。也就是说，如图10所示，每两个周期输入Y数据一次，而每四个周期输入Cb数据和Cr数据中的每一个一次。因此，通过利用输入的Y数据、Cb数据、以及Cr数据之间的时间差异来顺序地执行分析滤波，可利用单个分析滤波器组来执行Y、Cr、Cb滤波而不会延迟。
因为以形成视频信号的画面(场/帧)为单元来执行上述分析滤波，因此，必须对画面的结束点进行检测并且停止并重置分析滤波的操作。
图像行输入单元11可以包括用于对视频信号的垂直同步信号进行检测的单元，以便可对画面的结束点进行检测。图11包括示出了基于SMPTE 274M标准的信号当中的交织信号的信号分布图。在图11中，上图示出了第一场，并且下图示出了第二场。参考图11，22行的垂直同步信号位于第一场的开始处，并且23行的垂直同步信号位于第二场的开始处。因此，利用这种垂直同步信号，可很容易地对画面的结束点进行检测。此后，在执行了检测之后，可立即停止分析滤波的操作。
如上所述，作为相关技术的小波变换，在C.Chrysafis和A.Ortega的“Line Based，Reduced Memory，Wavelet Image Compression”(IEEE Trans.Image Processing，第9卷，第378-389页，2000年3月)中所描述的基于行的小波变换是已知的。
图12示意性地示出了用于实现这种基于行的小波变换的频带分析设备100的结构。参考图12，频带分析设备100包括图像行输入单元101、行缓冲器单元102、垂直分析滤波器单元103、以及水平分析滤波器单元104。
图像行输入单元101接收每一行的视频信号D100，并且将图像行的数据流D101提供给行缓冲器单元102。
如图13所示，行缓冲器单元102存储并保持各个行的数据流D101，并且继续存储并保持数据流D101直至对N行的数据流D101进行了存储为止。
如图13所示，垂直分析滤波器单元103顺序地读取N行的行数据D102，并且执行垂直低通分析滤波和垂直高通分析滤波。由于垂直滤波，产生了通过垂直划分所获得的低频分量(L)和高频分量(H)D103。
紧接在低频和高频分量D103的列数目达到M之后，如图13所示，水平分析滤波器单元104立即执行水平低通分析滤波和水平高通分析滤波。由于水平滤波，产生了通过水平划分所获得的低频分量(1LL)D104和高频分量(1HL、1LH、以及1HH)D105。
如上所述，通过在C.Chrysafis和A.Ortega的“Line Based，Reduced Memory，Wavelet Image Compression”(IEEE Trans.ImageProcessing，第9卷，第378-389页，2000年3月)中所描述的基于行的小波变换所产生的子频带与通过频带分析设备10所执行的小波变换所产生的子频带相同。
然而，对于基于行的小波变换而言，如图13所示，与通过使图像在水平方向的大小乘以N(行)所获得的值相对应的缓冲是必需的。另外，因为在完成了这种缓冲之后执行垂直滤波，所以产生了下述延迟时间，该延迟时间是在开始垂直滤波之前的时间。
相反，对于频带分析设备10将要执行的小波变换而言，仅需要1(行)×M(列)个列缓冲器。因此，与使用行缓冲器的情况相比，可显著地降低所必需的存储器容量。此外，因为可紧接在输入了该数目的列缓冲器的数据之后立即开始水平分析滤波，因此，与基于行的小波变换相比，可显著地降低在开始小波变换之前的延迟时间。
第二实施例
在第一实施例中已对通过执行小波变换将视频信号划分成多个子频带的频带分析设备10进行了描述。通常，小波变换经常被用作图像压缩的预处理。对根据第二实施例的、用于对通过小波变换所产生的系数数据进行压缩和编码的图像编码设备进行描述。
图14示意性地示出了根据第二实施例的图像编码设备20的结构。该图像编码设备20包括分析滤波器组21、量化单元22、熵编码单元23、以及速率控制器24。
分析滤波器组21具有与图1所示的频带分析设备10相似的结构。也就是说，分析滤波器组21执行对输入视频信号D20的分析滤波，并且将通过该分析所获得的系数数据D21提供给量化单元22。例如，在划分级别2的分析滤波过程中，通过对在划分级别1的分析滤波所产生的子频带1LL的四行执行小波变换，获得子频带2LL、2HL、2LH、以及2HH的两行。在划分级别3的分析滤波过程中，通过对子频带2LL的两行执行小波变换，获得子频带3LL、3HL、3LH、以及3HH的一行。当划分级别3的分析滤波是最终的分析滤波时，子频带3LL是最低频率的子频带。
量化单元22通过将分析滤波器组21所产生的系数数据D21除以例如量化步长大小来执行量化，并且产生量化系数数据D22。
量化单元22可以形成行块，并且可对每个行块的量化步长大小进行设置，其中所述每个行块包括所产生的最低频率子频带(在上述情况中，为3LL)的一行，以及要产生该最低频率子频带的所述行所必需的其他子频带的多个行。因为行块包括图像区域中的所有子频带(在图8所示的示例中，从3LL至1HH的十个子频带)的系数，因此，如果对每个行块执行量化，那么可发挥作为小波变换特征的多分辨率分析这样的优点。另外，因为仅确定整个屏幕的行块数目，因此可降低施加于图像编码设备20上的负荷。
另外，因为图像信号的能量通常集中于低频分量上，并且由于人的视觉特性而使得低频分量的性能降低很突出，因此，有效的是在量化过程中执行加权，以便使低频分量的量化步长大小很小。由于这种加权，可将相对大量的信息分配给低频分量，因此可提高整个图像的主观品质。
熵编码单元23对量化单元22所产生的量化系数数据D22执行源编码，并且产生压缩编码的码流D23。作为源编码，例如，可使用在JPEG中所采用的霍夫曼编码和在JPEG 2000中所采用的运动图像专家组(MPEG)或高精度算术编码。
确定要受到熵编码的系数范围，是直接与压缩效率有关的很重要因素。例如，在JPEG和MPEG中，通过对8×8的块执行DCT变换并且此后对所产生的64个DCT变换系数执行霍夫曼编码，来对信息进行压缩。也就是说，64个DCT变换系数形成了熵编码的范围。
与对8×8的块所执行的DCT变换不同，分析滤波器组21以行为单元执行小波变换。因此，熵编码单元23对各个子频带以及子频带的每P行执行源编码。
值P最小是1。必需的参考信息量随着行数目的减少而减少。因此，可降低所必需的存储器容量。相反，必需的信息量随着行数目的增加而增加。因此，可提高编码效率。然而，如果值P超过了形成一个子频带的行块的行数目，那么形成下一行块的行也是必需的。因此，产生了在通过小波变换和量化产生下一行块的量化系数数据之前的延迟时间。因此，为了实现低延迟，必须具有与形成一个行块的行数目相等或比其更小的值P。例如，在图8所示的示例中，因为形成子频带3LL、3HL、3LH、以及3HH的行块的行数目是1，因此将值P设置为1。另外，因为形成子频带2HL、2LH、以及2HH的行块的行数目是2，因此将值P设置为1或2。
速率控制器24执行控制以便实现期望的比特率或压缩率。在执行了速率控制之后，速率控制器24输出其速率已受到控制的已编码的码流D24。例如，为了实现较高的比特率，速率控制器24将用于降低量化步长大小的控制信号D25传送到量化单元22。相反，为了实现较低的比特率，速率控制器24将用于提高量化步长大小的控制信号D25传送到量化单元22。
第三实施例
对根据第三实施例的、与根据第一实施例的频带分析设备10相对应的频带合成设备进行描述。在第三实施例中，对如图8所示的受到子频带划分直至划分级别3的图像执行合成滤波。
图15示意性地示出了根据第三实施例的频带合成设备30的结构。参考图15，频带合成设备30包括行缓冲器单元31、垂直合成滤波器单元32、列缓冲器单元33、水平合成滤波器单元34、以及垂直同步信号***单元35。
行缓冲器单元31存储并保持每一行的低频分量(3LL)D30和高频分量(3HL、3LH、以及3HH)D31。行缓冲器单元31继续存储和保持低频分量D30和高频分量D31，直至对N行的低频分量D30和高频分量D31进行了存储为止。仅将最低频率子频带3LL的低频分量D30输入到行缓冲器单元31。此后，从水平合成滤波器单元34提供通过合成滤波所产生的低频分量D35。
垂直合成滤波器单元32顺序地读取N行的行数据D32，并且执行垂直低通合成滤波和垂直高通合成滤波。由于垂直滤波，产生了通过垂直合成所获得的低频和高频分量D33。
列缓冲器单元33存储并保持通过垂直合成所获得的各个列的低频和高频分量D33，并且继续存储并保持低频和高频分量D33，直到对M列的低频和高频分量D33进行了存储为止。
水平合成滤波器单元34顺序地读取M列的列数据D34，并且执行水平低通合成滤波和水平高通合成滤波。由于水平滤波，产生了通过水平合成所获得的低频分量(2LL)D35。
作为划分级别3的合成滤波的结果，水平合成滤波器单元34产生了低频分量(2LL)。
类似地，在划分级别2的合成滤波过程中，从低频分量(2LL)D35和高频分量(2HL、2LH、以及2HH)D31产生了低频分量(1LL)D35。另外，在划分级别1的合成滤波过程中，从低频分量(1LL)D35和高频分量(1HL、1LH、以及1HH)产生了图像数据流。将所产生的图像数据流提供给垂直同步信号***单元35。
如图11所示，垂直同步信号***单元35依照预定定时将垂直同步信号***到图像数据流中，并且输出所产生的视频信号D36。
提升技术也可以应用于上述合成滤波。
图16示出了在JPEG 2000标准中所采用的5×3合成滤波器的提升结构。参考图16对其中将提升技术应用于5×3合成滤波器的合成滤波进行示意性地说明。
参考图16，在最高的行中示出了通过小波变换所产生的系数。将高频分量系数表示为圆形，并且将低频分量系数表示为正方形。
作为第一步，利用以下等式，根据输入的低频和高频分量系数产生偶数编号的系数si 0(第一个系数被认为是第0个系数)：
si 0＝si 1-1/4(di-1 1+di 1)    …(3)。
此后，作为第二步，利用以下等式，根据在第一步中所产生的偶数编号的系数si 0以及输入的高频分量系数di 1，产生奇数编号的系数di 0：
di 0＝di 1-1/2(si 0+si+1 0)    …(4)。
如上所述，在合成滤波过程中，在产生了偶数编号的系数之后，产生奇数编号的系数。虽然最初必须有五个抽头，但是这种合成滤波所使用的两种滤波器组具有两个抽头。因此，可显著减少计算量。
第四实施例
对根据第四实施例的、与根据第二实施例的图像编码设备20相对应的图像解码设备进行描述。
图17示意性地示出了根据第四实施例的图像解码设备40的结构。参考图17，该图像解码设备40包括熵解码单元41、解量化单元42、以及合成滤波器组43。
熵解码单元41对所接收到的编码的码流D40执行源解码，并且产生量化系数数据D41。作为源解码，如上所述，可使用霍夫曼解码或高效算术解码。另外，如果如上所述图像编码设备对每P行执行了源编码，那么熵解码单元41也对各个子频带以及子频带的每P行执行源解码。
解量化单元42通过使量化系数数据D41乘以量化步长大小来执行解量化，并且产生系数数据D42。通常在编码的码流的报头中对量化步长大小进行了描述。如果如上所述图像编码设备设置了每个行块的量化步长大小，那么解量化单元42也通过设置每个行块的解量化步长大小来执行解量化。
合成滤波器组43具有与图15所示的频带合成设备30相似的结构。也就是说，合成滤波器组43对系数数据D42执行合成滤波，以产生图像数据流，将垂直同步信号***到所产生的图像数据流中，并且输出所产生的视频信号D43。
本发明并不局限于上述第一至第四实施例中的任何一个。在不脱离本发明的精神和范围的情况下可对本发明进行各种变化和修改。
例如，在先前的每个实施例中对视频信号执行频带分析或频带合成。然而，本发明还可应用于静态图像的频带分析或频带合成。
虽然在前述实施例中已对硬件结构进行了描述，但是还可通过软件来执行一系列处理。在这种情况下，可以将构成软件的程序预先并入到诸如只读存储器(ROM)或硬盘这样的计算机专用硬件中，或者可以从网络或可通过安装各种程序来执行各种功能的通用个人计算机上的记录介质中来安装。作为记录介质，例如，可使用包括磁盘(软盘)、诸如高密度盘-只读存储器(CD-ROM)或数字多用途盘(DVD)这样的光盘、诸如迷你盘(MD)(商标)这样的磁光盘、或者半导体存储器在内的封装介质。
本领域普通技术人员应该明白的是，根据设计要求及其他因素，可存在各种修改、组合、子组合、以及变化，只要它们在所附权利要求或其等效内容的范围之内即可。

Claims (16)

1.一种图像处理设备，包括：
水平分析滤波装置，用于以行为单元接收图像数据，并且用于在每当水平方向上的抽样数目达到预定值时，通过执行水平低通分析滤波和水平高通分析滤波而产生低频分量和高频分量；
垂直分析滤波装置，用于在每当水平分析滤波装置所产生的低频和高频分量的垂直方向上的行数目达到预定值时，通过执行垂直低通分析滤波和垂直高通分析滤波而产生多个子频带的系数数据；以及
量化装置，用于对垂直分析滤波装置所产生的多个子频带的系数数据进行量化，以产生量化系数数据，
其中，该量化装置形成行块，并且对每个行块的量化步长大小进行设置，其中每个所述行块包括最低频率子频带的一行以及要产生该最低频率子频带的行所必需的其他子频带的多行。
2.根据权利要求1的图像处理设备，其中，水平分析滤波装置和垂直分析滤波装置中的每一个分级地对最低频率子频带执行分析滤波。
3.根据权利要求1的图像处理设备，其中，水平分析滤波装置和垂直分析滤波装置中的每一个执行小波变换的提升算术处理。
4.根据权利要求1的图像处理设备，其中：
通过对亮度信号和两种色差信号进行多路复用来获得每一行的图像数据；并且
水平分析滤波装置和垂直分析滤波装置中的每一个利用亮度信号与两种色差信号之间的时间差异来执行分析滤波。
5.根据权利要求1的图像处理设备，进一步包括：
检测装置，用于通过对用作图像数据的视频信号的垂直同步信号进行检测，来对形成该视频信号的多个画面的每一个的结束点进行检测，
其中，水平分析滤波装置和垂直分析滤波装置中的每一个对多个画面中的每一个执行分析滤波。
6.根据权利要求1的图像处理设备，进一步包括：
编码装置，用于对垂直分析滤波装置所产生的多个子频带的系数数据进行编码，以产生编码流。
7.根据权利要求6的图像处理设备，其中，编码装置包括：
熵编码装置，用于对量化装置所产生的量化系数数据执行熵编码，以产生编码流。
8.根据权利要求1的图像处理设备，其中，量化装置对行块的量化步长大小执行加权，以便与相应子频带的位置相对应。
9.根据权利要求8的图像处理设备，其中，量化装置对行块的量化步长大小执行加权，以便将较小的量化步长大小设置到较低频率的子频带，并且将较大的量化步长大小设置到较高频率的子频带。
10.根据权利要求7的图像处理设备，其中：
量化装置形成行块，并且对每个行块的量化步长大小进行设置，其中每个所述行块包括最低频率子频带的一行以及要产生该最低频率子频带的行所必需的其他子频带的多行；并且
熵编码装置对各个子频带以及其数目不超过行块的行数目的每预定数目的行的量化系数数据执行熵编码。
11.一种图像处理方法，包括：
以行为单元接收图像数据，并且在每当水平方向上的抽样数目达到预定值时，通过执行水平低通分析滤波和水平高通分析滤波而产生低频分量和高频分量；
垂直分析滤波步骤，在每当所产生的低频和高频分量的垂直方向上的行数目达到预定值时，通过执行垂直低通分析滤波和垂直高通分析滤波而产生多个子频带的系数数据；以及
量化步骤，用于对垂直分析滤波步骤所产生的多个子频带的系数数据进行量化，以产生量化系数数据，
其中，该量化步骤形成行块，并且对每个行块的量化步长大小进行设置，其中每个所述行块包括最低频率子频带的一行以及要产生该最低频率子频带的行所必需的其他子频带的多行。
12.一种图像处理设备，包括：
输入装置，用于输入通过执行图像数据的水平低通和高通分析滤波以及垂直低通和高通分析滤波所产生的多个子频带的系数数据；
解码装置，用于通过对下述编码流进行解码而产生多个子频带的系数数据，其中所述编码流是对通过对图像数据执行水平低通和高通分析滤波以及垂直低通和高通分析滤波所产生的多个子频带的系数数据进行编码而产生的，并且通过输入装置而输入；
垂直合成滤波装置，用于在每当垂直方向上的行数目达到预定值时，通过对输入装置所输入的多个子频带的系数数据执行垂直低通合成滤波和垂直高通合成滤波而产生低频分量和高频分量；以及
水平合成滤波装置，用于在每当垂直合成滤波装置所产生的低频和高频分量的水平方向上的抽样数目达到预定值时，通过执行水平低通合成滤波和水平高通合成滤波来对预定数目的子频带进行合成，
其中，解码装置包括：
熵解码装置，用于对编码流执行熵解码，以产生多个子频带的量化系数数据；以及
解量化装置，用于对熵解码装置所产生的量化系数数据进行解量化，以产生多个子频带的系数数据，
其中，解量化装置形成行块，并且对每个行块的量化步长大小进行设置，其中每个所述行块包括最低频率子频带的一行以及要产生该最低频率子频带的行所必需的其他子频带的多行。
13.根据权利要求12的图像处理设备，其中：
通过分级地对最低频率子频带执行分析滤波而将图像数据划分成多个子频带；并且
垂直合成滤波装置和水平合成滤波装置中的每一个从包括最低频率子频带的预定数目的子频带开始分级地执行合成滤波。
14.根据权利要求12的图像处理设备，其中，垂直合成滤波装置和水平合成滤波装置中的每一个执行逆小波变换的提升算术处理。
15.根据权利要求12的图像处理设备，进一步包括：
垂直同步信号***装置，用于通过将垂直同步信号***到垂直合成滤波装置所产生的、包括多个画面且用作图像数据的视频信号的画面之间，而产生该视频信号。
16.一种图像处理方法，包括：
输入步骤，输入通过执行图像数据的水平低通和高通分析滤波以及垂直低通和高通分析滤波所产生的多个子频带的系数数据；
解码步骤，用于通过对下述编码流进行解码而产生多个子频带的系数数据，其中所述编码流是对通过对图像数据执行水平低通和高通分析滤波以及垂直低通和高通分析滤波所产生的多个子频带的系数数据进行编码而产生的，并且通过输入步骤而输入；
在每当垂直方向上的行数目达到预定值时，通过对输入的多个子频带的系数数据执行垂直低通合成滤波和垂直高通合成滤波，而产生低频分量和高频分量；以及
在每当所产生的低频和高频分量的水平方向上的抽样数目达到预定值时，通过执行水平低通合成滤波和水平高通合成滤波来对预定数目的子频带进行合成，
其中，解码步骤包括：
熵解码步骤，用于对编码流执行熵解码，以产生多个子频带的量化系数数据；以及
解量化步骤，用于对熵解码步骤所产生的量化系数数据进行解量化，以产生多个子频带的系数数据，
其中，解量化步骤形成行块，并且对每个行块的量化步长大小进行设置，其中每个所述行块包括最低频率子频带的一行以及要产生该最低频率子频带的行所必需的其他子频带的多行。
CN2007101025951A 2006-05-16 2007-05-16 图像处理设备和图像处理方法 Expired - Fee Related CN101076117B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006136875A JP4360379B2 (ja) 2006-05-16 2006-05-16 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP2006136875 2006-05-16
JP2006-136875 2006-05-16

Publications (2)

Publication Number Publication Date
CN101076117A CN101076117A (zh) 2007-11-21
CN101076117B true CN101076117B (zh) 2010-06-16

Family

ID=38822057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101025951A Expired - Fee Related CN101076117B (zh) 2006-05-16 2007-05-16 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US8189932B2 (zh)
JP (1) JP4360379B2 (zh)
KR (1) KR20070111363A (zh)
CN (1) CN101076117B (zh)
TW (1) TWI379593B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356031B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4793320B2 (ja) * 2007-05-17 2011-10-12 ソニー株式会社 情報処理装置および方法
JP4356029B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4356032B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4356028B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4525704B2 (ja) * 2007-05-17 2010-08-18 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム。
JP4356030B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
JP4356033B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 画像データ処理装置および方法
CN101686389B (zh) * 2008-09-28 2012-10-03 富士通株式会社 图像下采样方法和***
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
JP4626707B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 情報処理装置および方法
US8798388B2 (en) * 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP2011147050A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法
JP2011160075A (ja) * 2010-01-29 2011-08-18 Sony Corp 画像処理装置および方法
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
EP2575364B1 (en) * 2011-09-30 2020-03-18 BlackBerry Limited Methods and devices for data compression using a non-uniform reconstruction space
CN102611907B (zh) * 2012-03-16 2014-04-09 清华大学 一种多分辨率视频原地滤波方法及其装置
CN108156462A (zh) * 2017-12-28 2018-06-12 上海通途半导体科技有限公司 一种图像压缩、解压缩方法、***及其应用的me架构
CN112085094B (zh) * 2020-09-08 2024-04-05 中国平安财产保险股份有限公司 单证图像翻拍检测方法、装置、计算机设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302229B2 (ja) * 1994-09-20 2002-07-15 株式会社リコー 符号化方法、符号化／復号方法及び復号方法
JPH1028031A (ja) 1996-07-10 1998-01-27 Sony Corp ディジタルフィルタ
JPH1063643A (ja) 1996-08-19 1998-03-06 Fuji Photo Film Co Ltd 画像変換方法
EP0897222A4 (en) * 1997-02-10 2007-07-25 Sony Corp PROCESS AND EQUIPMENT FOR DATA PROCESSING
JP3339054B2 (ja) * 1997-03-28 2002-10-28 ソニー株式会社 データ符号化方法及び装置、データ復号方法及び装置、並びに記録媒体
JPH11127439A (ja) 1997-10-24 1999-05-11 Seiko Epson Corp 画像符号化装置およびその方法並びに画像復号化装置およびその方法
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
US6788820B2 (en) * 1999-11-03 2004-09-07 Lucent Technologies Inc. Methods and apparatus for wavelet-based image compression
US6973127B1 (en) * 1999-12-23 2005-12-06 Xvd Corporation Apparatus and method for memory saving wavelet based video coding
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
JP2001285643A (ja) 2000-03-30 2001-10-12 Canon Inc 画像変換装置及び方法
US6904177B2 (en) * 2001-03-13 2005-06-07 Canon Kabushiki Kaisha Filter processing apparatus
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
CA2499212C (en) * 2002-09-17 2013-11-19 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
US7483575B2 (en) * 2002-10-25 2009-01-27 Sony Corporation Picture encoding apparatus and method, program and recording medium
JP2005150846A (ja) 2003-11-11 2005-06-09 Canon Inc 画像処理方法及び装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2001-285643A 2001.10.12
JP特开2005-150846A 2005.06.09
JP特开平10-28031A 1998.01.27
JP特开平10-63643A 1998.03.06

Also Published As

Publication number Publication date
US8189932B2 (en) 2012-05-29
KR20070111363A (ko) 2007-11-21
CN101076117A (zh) 2007-11-21
JP2007311923A (ja) 2007-11-29
JP4360379B2 (ja) 2009-11-11
TWI379593B (en) 2012-12-11
US20070286510A1 (en) 2007-12-13
TW200812394A (en) 2008-03-01

Similar Documents

Publication Publication Date Title
CN101076117B (zh) 图像处理设备和图像处理方法
KR101376385B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN101309417B (zh) 用于处理图像数据的方法和设备
CN101106719B (zh) 小波变换设备、小波逆变换设备和方法
CN101132179B (zh) 小波变换设备和方法、小波逆变换设备和方法
CN101729896B (zh) 信息处理设备和方法
CN101309418B (zh) 用于处理信息的设备和方法
US8213731B2 (en) Information processing device and method
JP2004166254A (ja) 画像符号化装置及び方法、並びにプログラム及び記録媒体
WO2007083312A2 (en) Method and apparatus for a multidimensional discrete multiwavelet transform
Huang et al. Low memory and low complexity VLSI implementation of JPEG2000 codec
CN102158695A (zh) 图像处理设备和方法
CN102036064A (zh) 图像处理装置和方法
US8249375B2 (en) Information processing apparatus and method
CN102131082A (zh) 图像处理装置和图像处理方法
US20080285870A1 (en) Information processing device and method
Elamaran et al. Comparison of wavelet filters in image coding and denoising using embedded zerotree wavelet algorithm
JP4111761B2 (ja) 画像処理装置
Abdul-Wahed et al. Compression of image using multi-wavelet techniques
Hongxin et al. Memory efficient image compressing using lifting scheme
Li et al. Effective logging data compression using the discrete wavelet transform
Zhang et al. Efficient Embedded Image Compression Using Optimal Reversible Biorthogonal Integer Wavelet Transform
JP2011114592A (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100616

Termination date: 20180516

CF01 Termination of patent right due to non-payment of annual fee