CN1198458C - 图象译码方法与图象译码设备 - Google Patents

图象译码方法与图象译码设备 Download PDF

Info

Publication number
CN1198458C
CN1198458C CNB021220611A CN02122061A CN1198458C CN 1198458 C CN1198458 C CN 1198458C CN B021220611 A CNB021220611 A CN B021220611A CN 02122061 A CN02122061 A CN 02122061A CN 1198458 C CN1198458 C CN 1198458C
Authority
CN
China
Prior art keywords
image
decoding
intermediate image
resolution
disposal ability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB021220611A
Other languages
English (en)
Other versions
CN1390048A (zh
Inventor
冈田茂之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1390048A publication Critical patent/CN1390048A/zh
Application granted granted Critical
Publication of CN1198458C publication Critical patent/CN1198458C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

分层编码的编码图像数据通过逆小波变换被连续译码。译码处理期间,将中间分层图像存入帧缓冲器。在对译码处理可应用的存储容量或功率容量施加限制或输出终端的分辨度受限制的情况下,中断处理器在中途中止译码处理。然后,中断处理器从帧缓冲器里取出此时得到的中间分层图像,并对其作适当地扩缩等图像处理而将它用作最后译码图像。由此明显降低了处理成本。

Description

图象译码方法与图象译码设备
技术领域
本发明涉及图像译码技术,尤其涉及编码图象数据的译码方法与设备。
背景技术
在常被称为“图象世纪”的二十世纪中,制作了大量各类图片与图像,并且应用于影视等领域。尤其在九十年代,个人计算机(pc)与其它信息设备得到广泛应用,数码相机、彩色打印机等获得普及,且因特网应用出现了爆发性增长,导致数字图像文化深深地渗入平民百姓的日常生活里。在此情况下,编码与压缩技术,诸如静止图像的JPEG(联合摄影专家组)与活动图像的MPEG(活动图像专家组)都已被标准化,通过CD-ROM等记录媒体和网络、广播等传输媒体改善了图像分布与再现的便利性。JPEG系列中的一种先进版本JPEG2000已经推出,且MPEG的中长期目标早已制订出来了。因此,图像处理技术目前的走向与未来的精益求精,无疑将带领我们更深地进入数字图像世界。
图像数据格式的标准化促进了数字设备间的数据交换,例如,只有名片一半大小的存储卡,现已很容易在便携信息设备与其它信息设备之间作数据交换。数码相机拍摄的图像数据,很容易用支持同一数据格式的高清晰度彩色打印机输出。现在可以期望,图像数据将来会越来越多地通过各种不同类型的设备与装置交换使用。
发明内容
鉴于这些情况,发明人已认识到下述一个问题。即如果数码相机拍摄的图像原来的分辨度为640×480,那么在320×200的LCD与显示的话就要求缩放该图像。另一方面,若准备产生一种拇指甲大小的120×80图像,也要求作缩放。一般而言,缩放所需的处理时间和存储器存取容量(即带宽)几乎正比于待处理的原始图像的大小。因此在该例中,若要对LCD输出产生图像数据或产生拇指甲大小的图像数据,造成的负载就正比于原始图像的640×480尺寸。
根据这些因素,本发明的一个目的是提供一种能减少图像译码处理所需的负荷并减少功耗的图像译码技术。
本发明一较佳实施例涉及一种图像译码方法。在该方法中,通过分层译码编码的图像数据而产生中间图像,所述编码的图像数据通过对原始图像分层编码而生成;在译码到输出的任一点,中止所述通过译码而产生中间图像;和把所述中止时得到的中间图像用作最后译码图像。
在另一较佳实施例中,该方法根据在译码到输出任一点处的处理能力,中止所述通过译码而生成中间图像。
在再一个较佳实施例中,该方法以根据在译码到输出任何一点的处理能力而确定的分级,中止所述通过译码而生成中间图像。
在正常译码图像时,只要获得完成译码后得到的这些图像就够了。但在该较佳实施例中,在译码过程中得到的中间图像倒是有意获得并利用的。例如,即使中间图像的分辨度低于最后译码的图像的分辨度,或者中间图像以低频分量为主,若能显示,这种中间图像仍能有用。再者,根据某种用途,反而适宜应用这种较低分辨度的中间图像,使该实施例适用于这种场合。例如,在从图像译码一直到显示和打印译码的图像这一处理过程中,对处理能力诸如存储容量、功耗、CPU和分辨度等有所限制,译码处理在中途中止,就用此时得到的中间图像代替最后译码的图像。由此降低了处理成本。
在分层结构或递归结构下作图像译码时,中间图像可能是一种在译码过程中产生的中间分级或中间递归级的图像。此时,在分层或递归处理期间就自然地多次生成中间分层的中间图像,因而便于实施该实施例。下面在简称“中间图像”时,该术语也包括“中间分层图像”。另外,中间图像可以是分辨度比原始图像低的图像,也可以是原始图像的低频分量居多的图像。
显示译码的图像的输出终端的有效分辨度可以用作处理能力,而在中止步骤中,在生成适合该有效分辨度的中间图像的某一阶段,可以中止生成中间图像。另外,显示译码图像的输出终端的有用存储容量也可用作处理能力,而且在中止步骤中,在生成适合存储容量的中间图像的某一阶段,可以中止生成该中间图像。
再者,可用于译码处理的存储器容量可用作处理能力,在中止步骤中,在生成适合该存储器容量的中间图像的某一阶段,可中止生成该中间图像。
另外,允许译码处理和译码图像显示之一的功耗可以用作处理能力,在中止步骤中,可按该功耗中止生成中间图像。再者,在将这种模式设置为节能模式时,可适合中止译码处理。
该图像译码方法还包括对最后的译码图像做扩缩处理,使之适合显示该译码图像的输出终端的有效分辨度。当用作最后译码图像的中间图像的分辨度与输出终端的分辨度相比较而发现不配时,可作这种扩缩处理。另外,还可以作微调、边缘突出或高通滤波、平滑或减噪或低通滤波、彩色转换或其它各种图像处理,以便取代这种扩缩处理或与这种扩缩处理相组合。
本发明又一较佳实施例涉及图像译码设备。该设备包括:译码单元,用于对原始图像经分层编码而生成的编码图像数据逐渐译码,再生成中间图像;和中断控制单元,它对译码单元起作用,并根据从译码到输出任一点的处理能力,中止生成中间图像,其中译码单元把中断控制单元中止时得到的中间图像输出为最后译码图像。
假定原始图像被分层和编码,译码单元可按其分级逐渐作译码处理,并以中间分层生成中间图像。译码单元可在译码处理中作二维逆小波变换,并用二维低频分量构成的子带生成中间图像。
在再一较佳实施例中,该设备还包括:拍摄组件;控制拍摄组件机构的机构控制组件;和处理拍摄组件所得数字图像的处理组件,其中译码单元和中断控制单元包含在所述处理组件中。
在还有一较佳实施例中,该设备还包括:接收组件;处理接收信号的处理组件;和重现已处理信号的播放组件,其中译码单元和中断控制单元包含在所述处理组件中。本图像译码设备还包括向外部设备输出译码图像的接口组件。“外部设备”可以包括网络等传输信道或线路和存储器等无源单元。
须指出,上述构成元件与步骤的任何随意置换或替代、在方法与设备之间的部分或全部置换或替代的表达与增添,以及改变成计算机程序、记录媒体等的表述,均全部有效并为这些实施例所包括。
还有,这一发明内容并不一定描述所有必要的特征,因而本发明也可能是这些描述特征的局部组合。
附图说明
图1示出JEPG2000对编码图像数据译码的一系列步骤。
图2示出本发明一较佳实施例的图像译码设备的结构。
图3示出一例图2中处理性能表的内部结构。
图4示出一例图2中处理性能表的内部结构。
图5A和5B示出某些分层LL子带和其位平面之间的关系。
图6示出本发明另一较佳实施例的数码相机结构。
图7示出本发明又一较佳实施例的电视机结构。
具体实施方式
现在根据诸较佳实施例描述本发明,这些实施例并不限制本发明,仅作示例。实施例所描述的所有特征及其组合并不一定是本发明的实质。
诸较佳实施例都涉及一种对用JPEG2000编码的图像数据作译码的设备。
图1示出基于JPEG2000的译码过程。如图1所示,首先输入编码图像数据CI,然后在以下要描述的算术译码与位平面译码等处理后作反量化处理。在此阶段,得到一个已对原始图像作过两次小波变换的图像(下称“第三分层图像WI3”)。之后,对该图像作逆小波变换而生成第二分层图像WI2。接着,通过第二次逆小波变换得到第一次分层图像WI1。另外,对该图像WI1作第三次逆小波变换而得到译码的图像DI。
为便于更好得理解,先描述一下编码步骤,就是图1所示的处理逆变换。即,图1中称为译码图像DI的部分是原始图像,原始图像作一次小波变换就生成第一分层图像WI1。JPEG2000所用的小波变换滤波器是Daubechies滤波器,其本质在于沿图像的垂直与水平两个方向同时操作高通与低通滤波器。从而把变换得出的图像分成总共四个带,即沿x与y两个方向具有低频分量的LL子带、沿x与y方向之一具有低频分量而沿另一方向具有高频分量的HL子带与LH子带,以及沿X与y两个方向具有高频分量的HH子带。而且,该滤波器还能工作,沿x与y两个方向将像素数减为1/2。因此如图1所示,可生成如第一分层图像WI1所示的四个子带(用LL1、HL1、LH1和HH1表示)。
在编码的小波变换中,作预定次数滤波。图1中,小波变换作三次,生成第二与第三分层图像WI2和WI3。第二次和以后的小波变换只对前一分层图像的LL子带分量实施。例如,在第二分层图像WI2中,把第一分层图像WI1的LL1子带分成LL2、HL2、LH2和HH2四个子带。在编码处理中,对第三分层图像WI3作量化和其它处理,最后得到编码的图像数据CI。
要指出,关于分层的图像,原始图像里的低频分量出现在更靠近图1的左上角。如在图1的第二分层图像WI2中,左上角LL2子带为最低频率。换言之,一旦得到该LL2子带,就能再现原始图像的大多数基本特征。这一知识与理解将应用于下述诸实施例中。
图2示出图像译码设备10的结构。该结构可用CPU、存储器与其它任意计算机LSI等硬件或装入存储器里的程序等软件实现。然而,图2中,方块中只示出由这类硬软件组合实现的功能。因此,本领域的技术人员应理解,这些功能块可用各种方式如单纯硬件、单纯软件或它们的组合实现。
图像译码设备10主要包括译码单元12和中断控制单元30。译码单元12包括:数据流分析仪14,用于接收编码的图像数据CI并分析其数据流;算术译码器16,用于以算术方法译码被分析结果确定为要译码的数据序列;位平面译码器18,用于译码以位平面形式对各彩色分量如此得到的数据;对结果做反量化的反量化器20;和逆小波变换器24,用于对反量化得到的第n分层图像WIn作逆小波变换。该逆小波变换器24把帧缓冲器22用作工作区。译码完成最后得到的译码图像DI从帧缓冲器22输出到任意目的地。作为输出终端的例子,有LCD等显示器、存储卡或硬盘等存储装置、打印机等打印机设备或通过网络的服务器。
另一方面,中断控制单元30包括:中断处理器32,用于用逆小波变换器24强制中断译码并对迄今生成的第n分层图像作预定处理;处理性能表34,用于存贮图像译码与输出之间任一阶段有关处理性能或能力的信息;以及处理性能限定器36,用于规定特定的处理性能或能力。中断处理器32通过参照处理性能限定器36规定的处理性能和处理性能表34贮存的处理性能,把分辨度或像质确定到符合规定的处理性能,然后按确定的分辨度或像质用逆小波变换确定译码的分级。于是,在监视逆小波变换器24处的译码进展时,中断处理器32在译码进展到规定的分级时强制中断译码过程,并对后续的分层中止译码过程。
中断处理器32从帧缓冲器22里读出译码过程中断时得到的第n分层图像WIn的低频分量LL子带图像(以下也称为中间图像),必要时,在对它处理(后面描述)后再把它写回帧缓冲器22。被中断处理器32处理过的该中间图像,作为最后译码图像DI从帧缓冲器22中输出。
在JPEG2000中,同一分层的图像按LL、HL或LF和HH子带依次译码。由于某一分层的LL子带图像被用作之后将变为最后译码图像DI的中间图像,所以该特定分层的HL、LH与HH子带图像根本不使用。因此,当中断处理器32在某一分级中断逆小波变换器24的译码过程时,从原理上说,在完成了该分层的LL子带译码时的某一点就强制中断了译码过程,所以对同一分层的其它后续子带不再作译码处理。
下面说明中断处理器32以某分级判断中断译码的判据。图像输出终端可以是要求高分辨度的大型LCD或打印机,或者是只要求低分辨度的摄象机寻像器,因为图像很小。这意味着要求的像质或分辨度在应用当中是不同的。因此,考虑到输出终端的显示能力,译码图像的分辨度可以变化。
再者,图像译码占用很大的存储容量,对CPU有较大负荷,译码图像的数据量不仅对输出终端的存储器带来很大负担,对输出终端的传输线路也有很大负担。因此,还必须考虑译码设备的处理性能与能力以及输出终端的能力。还存在一些译码处理设备和/或输出终端的显示设备用电池驱动的情况,此时可能必须通过将电池充电状态切换到节能模式并缩短处理时间来抑制或尽量减小功耗。
对此,中断处理器32就确定一种条件,以根据从图像译码到输出过程中涉及到的各种处理性能而中断译码处理,这些处理性能包括译码处理的CPU性能与存储器容量、显示、打印和记录等输出的存储器容量、对输出终端的传输性能,以及译码设备或显示设备的允许功耗。在这种中断判断中可作参照的处理性能表34的例子示于图3和4。
图3示出存贮对应于不同输出终端的分辨度的处理性能表34。输出终端的名称70和输出终端可输出的图像尺寸72以二者相互关联的方式存贮起来。中断处理器32从处理性能限定器36接收限定译码图像输出终端的信息,通过参照处理性能表34得到与之对应的图像尺寸,由此确定获取使用的中间图像的分层。例如,假定编码图像数据尺寸为1280×960。为在320×240的LCD上显示该图像,就把第二分层图像WI2的中间图像用作复原图像,因为该中间图像LL2的尺寸为320×240。为在640×480的外部监视器上显示该图像,则把第一分层图像WI1的中间图像LL1用作复原图像,因为该中间图像LL1的尺寸为640×480。在把它从打印机输出时,使用的就是原始图像,即在执行复原处理直到结束后得到的复原图像DI。
图4示出的处理性能表34,存贮了对应于不同功耗模式的分辨度。贮存在处理性能表34中的信息是相互关联的功耗模式74与图像尺寸76。例如,在320×240的LCD上显示数字摄象机图像时,若中断处理器32从处理性能限定器36接收正常功率模式规格,则中断处理器32参照该处理性能表34选择320×240的最大图像尺寸。然而,若中断处理器32从处理性能限定器36接收到节能模式的规格,就选择一半尺寸,即160×120。在节能模式中,可使用第三分层图像WI3的中间图像LL3。这种功耗模式可按电池电荷电平自动设置,或由用户通过操作模式设定功能而设置。再者,功耗模式可以被构造成在交流接合器的电源与电池驱动之间作模式切换。另外,还可以被构造成由处理性能限定器36监视电池电荷电平,并告诉中断处理器32有用功率电平,而中断处理器32据此测量或估算译码所需的功耗,并在允许的功耗范围内中止译码处理。
作为中断处理器32中止的另一个判据,可以用图像译码设备10的CPU性能或帧缓冲器22的存储器容量确定要提取的中间图像的分辨度。而且,还可用输出终端处显示设备或打印设备的存储器容量来确定要提取的中间图像的分辨度。或者,可对输出终端有用的存储器容量设置一限制条件,从而可在该限制条件内选择最大分辨度。还有,可在译码处理期间监视和掌握存储器活度比的动态变化,使得在剩余存储容量不足时中断译码。
作为又一例子,中间图像的分辨度可以不单纯由处理性能确定,还由图像的用途确定。例如,在上例320×240尺寸的LCD上显示时,若目的是显示120×80尺寸的拇指甲图像,可用第三分层160×120的中间图像LL3代替第二分层320×240的中间图像。此时,中间图像LL3与拇指甲图像之间尺寸不一致,因而把该中间图像在处理得尺寸减为120×80后再用作复原图像。对于其它用途,如数码相机的“静止图像”或“活动图像”,处理性能限定器36可向中断处理器32告知用户对图像的用途,而为每种用途确定的分辨度可从处理性能表34获取。这种分辨度由用户的数字摄象机规格或数码相机常用规格确定。
因此,通过中断处理器32的这一操作,可以把译码处理期间得到的并且适合某种处理性能或用途的中间分层的中间图像用作译码图像,不必让译码处理到最后得到译码图像DI。因此,处理时间缩短了,存储器上利用率很低,因而功耗明显减小。
由于在第n分层得到的LL子带中间图像的尺寸是原始图像垂直与水平尺寸的1/2n倍,故其尺寸可能与输出终端的图像尺寸不一致。此时,适当地扩缩中间图像,把它调节成输出终端的图像尺寸,并把如此调节的中间图像用作译码图像。这种扩缩处理涉及到图像内插与像素值转变等处理。这些处理通常由中断处理器32通过从帧缓冲器22中提取该中间图像而进行。然而,这些处理也可在输出终端执行。因此可把处理安排成将LL子带中间图像直接从帧缓冲器22输出给输出终端。
再者,假定把该图像译码设备10构成为数码相机等,则有时可用变焦功能扩缩拍摄的图像。此时,LL子带中间图像可通过内插和转换处理扩缩,而HL或LH或HH子带图像(有的话)可用于通过逆小波变换获得垂直与水平尺寸大二倍的图像。因此,在上述中断处理中,代替LL子带图像译码中的中断,LL以外的子带图像也可被译码并贮存在帧缓冲器22里,从而在变焦时,也可把LL以外的子带图像逆变换成下一分层图像而被用作复原图像。另外,在没有LL以外子带图像时,通过将像素值简化为0可恢复下一分层图像。
作为中断或中止控制的再一种方法,若输出终端要求的像质很低,则可通过在位平面当中只译码高次位平面而不用低次位平面就可作出中断或中止。
图5A示出LL2子带与第二分层WI2位平面间的关系。在图5A的第二分层图像WI2中,如长方体50所示,首先截取所有垂直位平面对LL2子带译码。这样,通过跳过较接近LSB(最低位)的位平面,同时把像质降低保持最小,可以取消部分译码处理。
在图5B中,LL2子带长方体50被分成由有效位平面形成的部分52和被跳过的部分54。此时根据输出终端所需的像质废弃一个最低位平面。
如上所述,根据要求的分辨度或像质,中断控制单元30尤其通过中断处理器32的处理在中途中止译码过程,此时得到的中间图像可以用作复原图像。然而,由于注意到防止像质下降,可得到相对自然的图像。因此,根据该实施例,在相对小规模结构,如数码相机或具有不同分辨度的两个或多个显示单元,如小型内置LCD与外部显示器的情况下,根据显示设备所要求的分辨度,可在短时间内恢复图像,以达到显著的实用优点。再者,由于可以省略不必要的恢复处理,可以明显减少功耗。
把LL子带图像用作中间图像的优点归结如下:
1.一般而言,图像处理承受的处理负荷正比于图像尺寸。因此,若使用垂直和水平图像尺寸为垂直和水平长度1/2n的第n分层中间图像,就能将处理负荷减为约1/22n。结果,可期望改善处理时间、帧缓冲器22的占用量和功耗。
2.在某些情况下,可以跳过扩缩处理。例如,若输出终端要求的图像尺寸为原始图像尺寸的1/2n,就可使用第n分层中间图像而无须改变其尺寸。换言之,在选择第n分层的LL子带图像时,实际上就完成了扩缩。这方面还提高了处理效率。
3.用LL子带图像作中间图像还具有像质上的优点。在其设计方面,JPEG2000用小波变换作图像编码着重于低位速率的像质,因而第一分层图像的LL子带通常实现的像质等于或甚至远优于扩缩成为复原图像DI的原始图像所用的一般滤波器的像质。因此,在像质方面,提取中间分层图像的LL子带也作为扩缩处理,这是JPEG2000的优点。
4.作为中间图像变成可再使用的背景,可以指出,其数据格式与原始图像一样。即小波变换所作的图像编码是一种逐个像素的滤波,因此在保留的范围内,同一显示***的显示能像原始图像一样,虽然其像素值与图像尺寸可以改变。这样,像复原图像DI一样,中间图像经得起照原样显示的应用要求的考验。
图6示出本发明另一实施例的数码相机200的结构。数码相机200包括拍摄块202、机构控制块204、处理块206、LCD监视器208和操作钮210。
虽然图像中未示出,但是拍摄块202包括透镜、光圈、光学低通滤色镜、CCD、信号处理器等。根据来自形成在CCD受光面上的目标图像的光量,电荷聚集在CCD中并被读出作为电压信号。该电压信号被信号处理器分成R、G、B分量,然后做白平衡调节与灰度控制。之后,RGB信号被模/数转换成数字图像数据而输出给处理块206。机构控制块204控制拍摄块202的光学***,即控制变焦、聚焦、孔径和其它功能的驱动。
处理块206包括在整体上控制数码相机200的CPU 220与存储器222、YC处理器226、卡控制器228和通信单元224。在这些元件中,CPU 220和存储器222的与图像译码有关的部件构成图2所示的图像译码设备10的译码单元12和中断控制单元30。图2的帧缓冲器22也可用部分存储器222实现。这种数码相机200显然也可用CPU 220和存储器222实现图像编码设备(未示出),因而可把图像数据存入存储卡230。因此,下面在能够编码与译码的条件下描述结构。
YC处理器226根据数字图像数据产生强度y和色差Cb与Cr,并依次独立编码。编码的图像数据CI经通信单元224输出给外部单元,或经卡控制器228写入存储卡230。
通信单元224按通信标准规程执行协议的转换等控制,除了这些控制外,还利用各个接口与打印机或游戏机等外部设备交换数据。
LCD监视器208不仅显示拍摄/再现模式、变焦率和日期/时间,还显示活动图像、高速连续图像、静像镜头等。这样,在用户摄取活动图像时,例如这些图像首先被编码与压缩,再记录在存储卡230上。当用户再现活动图像时,适时对译码作中断处理,这是本实施例的特征。操作钮210包括电源开关、复原开关和其它用户用来拍摄或设置各种功能模式的开关。
上述结构的优点如下:
1.由于按输出终端所需的分辨度或像质适时地中断译码处理,接着再应用中间图像,所以能缩短扩缩的处理时间,并明显减小带宽。因此,能便于例如在数码相机里同时执行高分辨度静止图像记录与活动图像拍摄。另外,在同时记录静止图像与拇指甲图像时,也便于例如高速连续拍摄。
2.在拍摄和再现活动图像时,帧速率是预定的,因而可按译码处理能力中断处理,并把中间图像用作复原图像。由此可保持预定的帧速率,同时尽量减小像质下降。另外,无须明显提高图像译码设备10的操作速度,可按处理能力再现活动图像,因此在成本与功耗方面具有优点。
如上所述,通过巧妙地利用JPEG2000的处理与结构并特别注意JPEG2000高像质的滤波器,能以相对简单的结构提高图像处理效率。再者,由于对MPEG4的帧压缩应用了小波交换,所以可应用类似于静止图像的方案与机械再现活动图像。由此提高了数码相机、数字视频与其它图像处理设备的商业价值,并改进其操作便利性。
图7示出本发明又一实施例的电视机300的结构,它包括天线块302、经天线302接收广播电波的接收块304、处理接收块304处理所得图像与音频数据的处理块306、以及再现经处理块306译码的音频与图像的播放块308。接口块336适时地把译码的图像数据从处理块306输出给外部设备。
接收块304包括调谐器320和包分离器322。调谐器320选择载送用户选择频道的转发器,并执行OPSK解调。包含多个解调所得传输包的数据流被发送到包分离器322。包分离器322是一分路器,分离对应于所需频道的包,并把它们输出给处理块306。
处理块306里的图像-音频译码器334同CPU 330与存储器332协同工作,对已在广播台被编码和发射的图像与音频数据译码,图像-音频译码器334对输入的包译码,并把音频数据输出给音频输出单元340,而把图像数据输出给显示设备344。音频输出单元340对输入的音频数据作预定处理,而把音频最后输出给扬声器342。在处理块306的构成元件中,即图像-音频译码器334、CPU 330和存储器332中与图像译码相关的部件构成图2所示的图像译码设备10的译码单元12和中断控制单元30。通过构制上述结构,就能以极低的成本和功耗实现所谓的数字电视。例如,便携式电话等小型设备就可配备这种电视。
本发明已基于仅作示例的诸实施例作了描述。本领域的技术人员明白,可对描述的每个元件与每种处理的组合作其它各种修改,而且这类修改包括在本发明范围内。下面将描述这类修改。
在上述诸实施例中,引用图像译码作为一个例子,以说明用中间图像来获得最后的复原图像。然而,不必把本发明只限于图像译码,若能将任何一种图像处理进行中的过程用作中间图像,全都适用。例如,在原始图像通过多次预定滤波被分层的情况中,自然会得到中间分层的图像,因而适用于本发明的目的。使用的滤波器可以是常用的求均滤波器或任一种滤波器。
再者,出于同样的理由,本发明适用于具有某种渐进特性(如渐进JPEG中规定的)的图像处理。例如,图像可以逐渐显示,出现在中间分层的图像可以用作中间图像。
虽然在上述实施例中举例引用和描述了数码相机,当然还可以有其它电子设备。例如本发明可应用于传真机、复印机与扫描仪等设备,其中的摄像组件与处理组件类似于数码相机里的那些组件。
虽然在上述实施例中以同样方式举例描述了电视机,但是可以是任何其它具有接收组件与处理组件的设备,如便携式电话或各种能接至因特网的个人数字助手(PDA)。
在图5B中,通过对LL子带省略处理低次位平面而中止译码处理。作为另一种译码法,可以从最高位平面开始,依次以位平面为单位处理四个子带。即,在对某一位平面依次处理了LL、HL或LH和HH子带后,可按同一次序处理下一个低次位平面。在该译码法中,还可通过省略未处理过的低次位平面处理而中止译码处理。此时,与图5A和5B的情况不同,对整个四个子带都省略了低次位平面处理。
根据本发明,图像译码处理的效率有明显提高。
尽管通过诸示例实施例描述了本发明,但应明白,本领域的技术人员可作出许多变化与替代而不违背所附如权利要求限定的本发明的范围。

Claims (31)

1.一种图像译码方法,其特征在于,包括以下步骤:
通过分层译码编码的图像数据而产生中间图像,所述编码的图像数据通过对原始图像分层编码而生成;
在译码到输出的任一点,中止所述通过译码而产生中间图像;和
把所述中止时得到的中间图像用作最后译码图像。
2.如权利要求1所述的图像译码方法,其特征在于,根据译码到输出任一点的处理能力,中止所述通过译码而产生中间图像。
3.如权利要求1所述的图像译码方法,其特征在于,以根据译码到输出任一点的处理能力所决定的分级,中止所述通过译码而产生中间图像。
4.如权利要求1所述的图像译码方法,其特征在于,中间图像的分辨度低于原始图像的分辨度。
5.如权利要求2所述的图像译码方法,其特征在于,中间图像的分辨度低于原始图像的分辨度。
6.如权利要求3所述的图像译码方法,其特征在于,中间图像的分辨度低于原始图像的分辨度。
7.如权利要求1所述的图像译码方法,其特征在于,中间图像是一种原始图像的低频分量居多的图像。
8.如权利要求2所述的图像译码方法,其特征在于,中间图像是一种原始图像的低频分量居多的图像。
9.如权利要求3所述的图像译码方法,其特征在于,中间图像是一种原始图像的低频分量居多的图像。
10.如权利要求2所述的图像译码方法,其特征在于,显示译码图像的输出终端的有效分辨度作为处理能力,而所述中止使得在产生了适合该有效分辨度的中间图像时,中止所述产生中间图像。
11.如权利要求3所述的图像译码方法,其特征在于,显示译码图像的输出终端的有效分辨度作为处理能力,而所述中止使得在产生了适合该有效分辨度的中间图像时,中止所述产生中间图像。
12.如权利要求2所述的图像译码方法,其特征在于,显示译码图像的输出终端的有用存储容量作为处理能力,而所述中止使得在产生了适合该存储容量的中间图像时,中止所述产生中间图像。
13.如权利要求3所述的图像译码方法,其特征在于,显示译码图像的输出终端的有用存储容量作为处理能力,而所述中止使得在产生了适合该存储容量的中间图像时,中止所述产生中间图像。
14.如权利要求2所述的图像译码方法,其特征在于,把可用于译码处理的存储容量作为处理能力,所述中止使得在产生了适合于存储容量的中间图像时,中止所述产生中间图像。
15.如权利要求3所述的图像译码方法,其特征在于,把可用于译码处理的存储容量作为处理能力,所述中止使得在产生了适合于存储容量的中间图像时,中止所述产生中间图像。
16.如权利要求2所述的图像译码方法,其特征在于,把对译码处理和译码图像显示之一允许的功耗作为处理能力,而所述中止根据该功耗确定中止所述产生中间图像的阶段。
17.如权利要求3所述的图像译码方法,其特征在于,把对译码处理和译码图像显示之一允许的功耗作为处理能力,而所述中止根据该功耗确定中止所述产生中间图像的阶段。
18.如权利要求1的图像译码方法,其特征在于,还包括以下步骤:
对最后译码图像做扩缩处理,使之适合显示该译码图像的输出终端的有效分辨度。
19.如权利要求2的图像译码方法,其特征在于,还包括以下步骤:
对最后译码图像做扩缩处理,使之适合显示该译码图像的输出终端的有效分辨度。
20.如权利要求3的图像译码方法,其特征在于,还包括以下步骤:
对最后译码图像做扩缩处理,使之适合显示该译码图像的输出终端的有效分辨度。
21.一种图像译码设备,其特征在于,包括:
译码单元,用于对原始图像经分层编码而生成的编码图像数据分层译码,然后产生一中间图像;和
中断控制单元,用于对所述译码单元起作用,并根据译码到输出任一点的处理能力,中止产生中间图像,
其中所述译码单元把所述中断控制单元中止时得到的中间图像输出为最后译码图像。
22.如权利要求21的图像译码设备,其特征在于,中间图像的分辨度低于最后译码图像的分辨度。
23.如权利要求21的图像译码设备,其特征在于,中间图像主要包含最后译码图像的低频分量。
24.如权利要求21的图像译码设备,其特征在于,所述译码单元在译码过程中执行二维逆小波变换,并用二维低频分量构成的子带产生中间图像。
25.如权利要求21的图像译码设备,其特征在于,所述中断控制单元通过省略处理中间图像的低次位平面而中止译码处理。
26.如权利要求21的图像译码设备,其特征在于,把显示译码图像的输出终端的有效分辨度作为处理能力,而所述中断控制单元在产生了适合于该有效分辨度的中间图像时,中止产生中间图像。
27.如权利要求21的图像译码设备,其特征在于,把显示译码图像的输出终端的可用存储容量作为处理能力,而所述中断控制单元在产生了适合该存储容量的中间图像时,中止产生中间图像。
28.如权利要求21的图像译码设备,其特征在于,把译码处理可使用的存储容量作为处理能力,而所述中断控制单元在产生了适合该存储容量的中间图像时,中止产生中间图像。
29.如权利要求21的图像译码设备,其特征在于,把译码处理和译码图像显示之一允许的功耗作为处理能力,而所述中断控制单元按该功耗确定中止产生中间图像的阶段。
30.如权利要求21所述的图像译码设备,其特征在于,还包括:拍摄组件;控制所述拍摄组件机构的机构控制组件;和处理所述拍摄组件得到的数字图像的处理组件,其中所述译码单元和所述中断控制单元包含在所述处理组件中。
31.如权利要求21所述的图像译码设备,其特征在于,还包括:接收组件;处理接收信号的处理组件;和再现已处理信号的播放组件,其中所述译码单元和所述中断控制单元包含在所述处理组件中。
CNB021220611A 2001-05-31 2002-05-31 图象译码方法与图象译码设备 Expired - Fee Related CN1198458C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001165941 2001-05-31
JP2001165941A JP2002359846A (ja) 2001-05-31 2001-05-31 画像復号方法および装置

Publications (2)

Publication Number Publication Date
CN1390048A CN1390048A (zh) 2003-01-08
CN1198458C true CN1198458C (zh) 2005-04-20

Family

ID=19008552

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021220611A Expired - Fee Related CN1198458C (zh) 2001-05-31 2002-05-31 图象译码方法与图象译码设备

Country Status (4)

Country Link
US (1) US7046853B2 (zh)
JP (1) JP2002359846A (zh)
KR (1) KR100512210B1 (zh)
CN (1) CN1198458C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265731A (ja) * 1996-01-24 1997-10-07 Sony Corp 音声再生装置及び方法、音声録音装置及び方法、音声録音再生システム、音声データの転送方法、情報受信装置、記録媒体
JP4067281B2 (ja) * 2001-02-20 2008-03-26 三洋電機株式会社 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置
JP3779215B2 (ja) * 2002-01-28 2006-05-24 富士通株式会社 携帯型情報処理装置
JP2004215021A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
FR2849982B1 (fr) * 2003-01-15 2005-04-08 Canon Kk Decodage d'une image numerique codee selon plusieurs niveaux de resolution
JP2004297772A (ja) * 2003-03-12 2004-10-21 Ricoh Co Ltd 画像処理システム、画像形成装置、画像処理方法、プログラム及び記憶媒体
US7433524B2 (en) 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
JP4806515B2 (ja) * 2003-05-19 2011-11-02 株式会社日立製作所 符号化装置、これを用いたビデオカメラ装置及び符号化方法
JP4145746B2 (ja) * 2003-07-17 2008-09-03 シャープ株式会社 情報出力装置、情報出力方法、情報出力プログラム、および該プログラムを記録した記録媒体
US7412100B2 (en) * 2003-09-04 2008-08-12 Qualcomm Incorporated Apparatus and method for sub-sampling images in a transform domain
US7538762B2 (en) 2003-09-30 2009-05-26 Intel Corporation Switching display update properties upon detecting a power management event
MXPA06004097A (es) 2003-10-14 2006-06-27 Thomson Licensing Tecnica para la adicion de ruido reconfortante de bit exacto.
US7639743B2 (en) * 2004-03-25 2009-12-29 Sony Corporation Image decoder and image decoding method and program
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
JP2007013315A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 情報処理装置および動画像再生方法
KR100714446B1 (ko) * 2005-07-26 2007-05-04 한국전자통신연구원 Mpeg 계층화 동영상 전송 방법
JP4688165B2 (ja) * 2005-09-30 2011-05-25 株式会社リコー 画像処理装置及び画像処理方法
US8391630B2 (en) * 2005-12-22 2013-03-05 Qualcomm Mems Technologies, Inc. System and method for power reduction when decompressing video streams for interferometric modulator displays
KR100822132B1 (ko) * 2006-10-24 2008-04-15 주식회사 대우일렉트로닉스 디지털 멀티미디어 방송 장치의 방송 재생 방법
US20080101325A1 (en) * 2006-10-31 2008-05-01 Qi Bao Wireless relay device deployment methods and apparatus
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
US9634690B2 (en) * 2010-09-30 2017-04-25 Alcatel Lucent Method and apparatus for arbitrary resolution video coding using compressive sampling measurements
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9398310B2 (en) 2011-07-14 2016-07-19 Alcatel Lucent Method and apparatus for super-resolution video coding using compressive sampling measurements
BR122016028746A2 (pt) * 2012-12-26 2019-08-27 Sony Corp dispositivo, e, método de processamento de imagem
US9600899B2 (en) 2013-12-20 2017-03-21 Alcatel Lucent Methods and apparatuses for detecting anomalies in the compressed sensing domain
US9563806B2 (en) 2013-12-20 2017-02-07 Alcatel Lucent Methods and apparatuses for detecting anomalies using transform based compressed sensing matrices
US9894324B2 (en) 2014-07-15 2018-02-13 Alcatel-Lucent Usa Inc. Method and system for modifying compressive sensing block sizes for video monitoring using distance information

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900007702B1 (ko) 1980-10-01 1990-10-18 모토로라 인코포레이티드 통신 시스템에서의 메세이지 수신 장치
KR950004220B1 (ko) * 1993-02-01 1995-04-27 주식회사금성사 가변장 부호 복호기의 버퍼제어회로
DE19526416A1 (de) * 1995-07-19 1997-01-23 Siemens Ag Verfahren und Anordnung zur Bestimmung eines adaptiven Abbruchkriteriums beim iterativen Decodieren multidimensional codierter Infomation
US6067383A (en) * 1995-09-12 2000-05-23 Matsushita Electric Industrial Co., Ltd. Coding method, coding apparatus, wavelet transform apparatus, and wavelet reverse transform apparatus
US6075918A (en) * 1995-10-26 2000-06-13 Advanced Micro Devices, Inc. Generation of an intermediate video bitstream from a compressed video bitstream to enhance playback performance
US5768536A (en) * 1995-10-26 1998-06-16 Advanced Micro Devices, Inc. Generation of a secondary video bitstream from a compressed video bitstream to enhance playback performance
JP3304750B2 (ja) 1996-03-27 2002-07-22 松下電器産業株式会社 ロスレス符号装置とロスレス記録媒体とロスレス復号装置とロスレス符号復号装置
JPH10145783A (ja) 1996-11-06 1998-05-29 Dainippon Printing Co Ltd 画像圧縮伸張方法および装置
JPH10215453A (ja) 1997-01-30 1998-08-11 Sharp Corp 動画像符号化装置および動画像復号装置
JP3213584B2 (ja) 1997-09-19 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
JP2000023157A (ja) * 1998-07-01 2000-01-21 Fuji Photo Film Co Ltd 符号化画像ファイル作成方法および装置、画像復元方法および装置並びにこれらの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体
US6236765B1 (en) * 1998-08-05 2001-05-22 Intel Corporation DWT-based up-sampling algorithm suitable for image display in an LCD panel
JP4109777B2 (ja) * 1998-12-25 2008-07-02 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
US6628714B1 (en) * 1998-12-18 2003-09-30 Zenith Electronics Corporation Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
KR100303744B1 (ko) * 1999-03-11 2001-09-29 다니구찌 이찌로오, 기타오카 다카시 화상 압축·신장 방법 및 화상 압축·신장 장치
JP2001045488A (ja) 1999-05-27 2001-02-16 Fuji Photo Film Co Ltd 画像復号化方法および装置並びに記録媒体
AUPQ156199A0 (en) * 1999-07-12 1999-08-05 Canon Kabushiki Kaisha Method and apparatus for re-ordering of a bit stream
AU2001230593A1 (en) * 2000-02-10 2001-08-20 Sharp Kabushiki Kaisha Server device, communication terminal, relay server, conversion rule management server, and recording medium storing program
US7099511B2 (en) * 2000-03-14 2006-08-29 Monolith Co., Ltd. Method and apparatus for coding and decoding image data using critical points
JP4067281B2 (ja) * 2001-02-20 2008-03-26 三洋電機株式会社 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置

Also Published As

Publication number Publication date
KR100512210B1 (ko) 2005-09-07
US7046853B2 (en) 2006-05-16
KR20020092799A (ko) 2002-12-12
US20020181789A1 (en) 2002-12-05
JP2002359846A (ja) 2002-12-13
CN1390048A (zh) 2003-01-08

Similar Documents

Publication Publication Date Title
CN1198458C (zh) 图象译码方法与图象译码设备
US7092965B2 (en) System and method for improved compression of DCT compressed images
JP4888729B2 (ja) 符号化装置および方法、並びに、復号装置および方法
CN1207897C (zh) 图象处理方法和设备
JP4208378B2 (ja) 画像処理装置及び方法及び記録媒体
WO2006046551A1 (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
US7113645B2 (en) Image decompression apparatus and method
US7333662B2 (en) Image coding and decoding using intermediate images
US7120306B2 (en) Image processing method and image coding apparatus utilizing the image processing method
US20080285874A1 (en) Method and apparatus for processing image data
JP2000358183A (ja) 画像処理装置及びその方法
JP2000184204A (ja) 画像処理装置及び方法及び記憶媒体
CN1181679C (zh) 图象解码装置和方法以及图象重放装置
WO2006046550A1 (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
CN1949821A (zh) 频率影像信息中除去噪音的影像复原方法及其装置
JP2001359117A (ja) 画像処理装置及び該装置における画像処理方法
JP2006074130A (ja) 画像復号方法、画像復号装置および撮像装置
JP2002252759A (ja) 画像量子化方法と装置、およびそれらを利用可能な画像符号化装置
JP4749508B2 (ja) 画像復号方法
YAMAUCHI et al. A single-chip JPEG2000 encode processor capable of compressing D1-images at 30 frames/s without tile division
Lin et al. Towards modality transferable visual information representation with optimal model compression
US20110091119A1 (en) Coding apparatus and coding method
JP2010004279A (ja) 画像処理装置及びそれを備えた画像形成装置
JP2005151018A (ja) 画像符号化装置及び画像復号化装置
JP5186820B2 (ja) 符号化装置、符号化方法および符号化プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: INTELLECTUAL PROPERTY BRIDGE NO. 1 CO., LTD.

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140606

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140606

Address after: Tokyo, Japan

Patentee after: GODO KAISHA IP BRIDGE 1

Address before: Osaka Japan

Patentee before: Sanyo Electric Co., Ltd.

ASS Succession or assignment of patent right

Owner name: SANYO ELECTRIC CO., LTD.

Free format text: FORMER OWNER: INTELLECTUAL PROPERTY BRIDGE NO. 1 CO., LTD.

Effective date: 20150806

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150806

Address after: Osaka Japan

Patentee after: Sanyo Electric Co., Ltd.

Address before: Tokyo, Japan

Patentee before: GODO KAISHA IP BRIDGE 1

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050420

Termination date: 20200531

CF01 Termination of patent right due to non-payment of annual fee