CN100542262C - 逆量化方法图像解码方法和设备及处理器 - Google Patents

逆量化方法图像解码方法和设备及处理器 Download PDF

Info

Publication number
CN100542262C
CN100542262C CNB200580003035XA CN200580003035A CN100542262C CN 100542262 C CN100542262 C CN 100542262C CN B200580003035X A CNB200580003035X A CN B200580003035XA CN 200580003035 A CN200580003035 A CN 200580003035A CN 100542262 C CN100542262 C CN 100542262C
Authority
CN
China
Prior art keywords
quantization
image
unit
orthogonal transform
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB200580003035XA
Other languages
English (en)
Other versions
CN1910921A (zh
Inventor
陈涛
路久怀
柏木吉一郎
角野真也
林宗顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1910921A publication Critical patent/CN1910921A/zh
Application granted granted Critical
Publication of CN100542262C publication Critical patent/CN100542262C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的图像解码方法是一种通过逆量化和逆正交变换来对编码图像进行解码的解码方法,其中,作为逆量化处理,将定义每个分量量化步长的缩放比的量化矩阵乘以作为频率变换或量化步长系数的某一乘数,并且将乘法结果乘以量化值。

Description

逆量化方法图像解码方法和设备及处理器
相关申请的交叉引用
本申请要求以下美国临时申请的权益:2004年1月30日提交的No.60/540,636;2004年3月9日提交的No.60/551,690;2004年3月12日提交的No.60/552,907;以及2004年4月12日提交的No.60/561,351,它们的内容在此整个被引入作为参考。
技术领域
本发明涉及一种有效地压缩运动图像的图像编码方法、正确解码这种已压缩运动图像的图像解码方法、以及图像编码设备、图像解码设备及其程序。
背景技术
近来,随着综合地处理音频、视频和像素值的多媒体时代的到来,现有信息媒体,即报纸、杂志、电视、收音机和电话以及其它借以向人们传达信息的装置,列入了多媒体范围内。一般,多媒体指的是一种表示法:不仅字符,而且图形符号、音频,尤其是图像等,彼此相关。然而,为了将上述现有信息媒体包括在多媒体范围内,显然,先决条件是以数字形式来表示这种信息。
然而,当估计上述数字形式信息媒体的每一种中所包含的信息量时,每字符的信息量需要1-2字节,而音频需要超过每秒64千位(电话质量),并且当考虑运动图像时,它需要超过每秒100兆位(目前电视接收质量)。因此,上述信息媒体以数字形式来照原样处理这样海量的信息是不现实的。例如,视频电话已经通过综合业务数字网(ISDN)而投入实际使用,其传输率为64千位到1.5兆位,然而,不可能直接通过ISDN来传输在电视屏幕上捕获的或通过电视摄影机拍摄的图像。
因此,这需要信息压缩技术,例如在视频电话情况下,使用遵照由国际电信联盟电信标准化部门(ITU-T)进行国际标准化的H.261和H.263标准的视频压缩技术。根据遵照MPEG-1标准的信息压缩技术,可以将图像信息以及音频信息存储在普通音乐光盘(CD)上。
在此,运动图像专家组(MPEG)是一种用于压缩运动图像信号的国际标准,MPEG-1是一种将视频信号向下压缩到每秒1.5兆位(比特)的标准,也就是把电视信号中所包括的信息向下近似压缩到百分之一。MPEG-1标准的目标质量是中等质量,以便实现主要1.5兆位左右的传输率,因此,满足更高质量图像要求为目的而标准化的MPEG-2实现电视广播质量,以2兆位到15兆位的传输率来传输运动图像信号。
在当前环境下,先前负责MPEG-1/MPEG-2标准化的工作组(ISO/IEC/JTC1/SC29/WG11)进一步标准化了MPEG-4,MPEG-4实现了优于MPEG-1/MPEG-2所实现的压缩率的压缩率,允许基于每个对象的编码/解码操作,并实现了多媒体时代所需的新功能。首先,在MPEG-4标准化过程中,目标是标准化低比特率编码,然而,当前目标扩展为更通用的编码,包括用于隔行扫描图像等的高比特率编码。而且,由ITU-T和国际标准化组织/国际电工技术委员会(ISO/IEC)共同制定的、作为下一代编码方法的MPEG-4 AVC(高级视频编码)和ITU H.264的标准化正在进行中,它们具有更高的压缩率。自2002年8月起,下一代编码方法以委员会草案(CD)的名义被公布。
在运动图像编码中,通常是通过消除空间和时间方向上的冗余来执行信息量压缩的。因此,目的在于减小时间冗余的帧间图像(inter-picture)预测编码估计运动,并参考前向和后向图像逐个块来产生预测图像,然后对所获得的预测图像和当前要编码的图像之间的差值进行编码。在此,“图像”是表示屏幕上的图像的术语,并且当用于逐行扫描图像时代表帧,而当用于隔行扫描图像时它代表帧或场。在此,隔行扫描图像是其中单帧由两场组成的图像,每一场都具有不同捕获时间。为了对隔行扫描图像编码和解码,三种处理单帧的方式是可能的:作为帧;作为两场;以及作为帧/场结构,取决于帧中的块。
在没有参考图像的情况下被执行帧内图像(intra-picture)预测编码的图像被称为“I图像”。参考单幅图像而执行帧间图像预测编码的图像被称为“P图像”。通过同时参考两幅图像来执行帧间图像预测编码的图像被称为“B图像”。B图像可以指按显示次序从前向或后向图像中任意选择的两幅图像。可以为用作基本编码/解码单元的每个块指定参考图像(即参考图像)。将通过把要在编码位流中先描述的参考图像称为第一参考图像,并把要在编码位流中后描述的参考图像称为第二参考图像,来区分这种参考图像。注意,作为对这些类型图像进行编码和解码的条件,用于参考的图像必须已经被编码和解码。
运动补偿帧间图像预测编码用来对P图像或B图像编码。利用运动补偿帧间图像预测的编码是一种在帧间图像预测编码中使用运动补偿的编码方法。与仅仅根据参考图像中的像素值执行预测的方法不同,运动补偿是一种能够通过估计图像内每一部分的运动量(以下称为“运动矢量”),并进一步考虑到这种运动量来执行预测,来提高预测精度并减少数据量的技术。例如,有可能通过估计当前要编码的图像的运动矢量,然后对通过仅仅使各个运动矢量的量偏移而获得的预测值与当前要编码的图像之间的预测残差进行编码,来进行运动补偿,由此减少数据量。在该技术中,也以编码形式记录或发送运动矢量,因为在解码时需要运动矢量信息。
基于每个宏块来估计运动矢量。更具体地说,应该预先在当前要编码的图像中固定宏块,以便通过在参考图像中的搜索区域内寻找这种固定宏块的最相似参考块来估计运动矢量。
图1示出了位流示例数据结构。如图1所示,位流具有如下的分层结构。位流(流)由多个图像组(GOP)组成。通过利用GOP作为基本编码单元,有可能编辑运动图像以及进行随机访问。每个GOP由多幅图像组成,每幅图像是I图像、P图像或B图像。每幅图像进一步由多个片组成。作为每幅图像内条形区的每个片由多个宏块组成。而且,每个流、GOP、图像和片都包括用于指示每个单元终点的同步信号(sync)、以及作为这种单元所共有的数据块的头(头)。
在不是在作为流序列的位流中而是在作为逐段数据单元(unit ofpiecemeal data)的分组中传输数据的情况下,可以分别传送头和除头以外的部分的数据。在这种情况下,不应将头和数据部分并入相同位流中,如图1所示。然而,在分组的情况下,虽然不得顺序地传输头和对应的数据部分,但是只是在不同分组中传送它们。因此,即使在头和数据部分未被并入相同位流中的情况下,如参考图1所描述的位流的相同概念也可适用。
一般来讲,人类视觉***的特征在于与高频分量相比,它对图像中低频分量的灵敏度。此外,因为图像信号中低频分量的能量大于高频分量能量,所以按从低频分量到高频分量的顺序来执行图像编码。结果,低频分量编码所需的位数大于高频分量编码所需的位数。
鉴于以上几点,当对通过正交变换而获得的各频率的变换系数进行量化时,与低频分量相比,现有编码方法将更大的量化步长用于高频分量。该技术使常规编码方法有可能在图像主观质量发生可忽视的降级的情况下,实现压缩比的大大增加。
因为与低频分量量化步长对比的高频分量量化步长取决于图像信号,所以按照惯例使用一种逐幅图像改变各频率分量量化步长的技术。量化矩阵(也称为“加权矩阵”)用于推导出各频率分量的量化步长。图2示出了量化矩阵的例子。在该图中,左上分量为直流分量,而向右分量是水平高频分量,向下分量是垂直高频分量。图2中的量化矩阵也指示,当值变得越大时,量化步长变得越大。通常,有可能为每幅图像使用不同的量化矩阵。指示每个频率分量量化步长大小的值是固定长度编码的。注意,通常量化矩阵的每个分量以及每个量化步长的值彼此近似成比例,但是不必固守这种关系,只要清楚地定义它们之间的对应性。
图3示出了,由常规图像编码设备或图像解码设备执行的、如MPEG-2和MPEG-4中所提出的逆量化的流程图。
如图所示,常规图像编码设备或图像解码设备获得加权矩阵Wi,j和量化参数QP(S11和S12),计算量化步长QStep,并获得量化值(即量化的频率系数)fi,j(S14)。然后,图像编码设备通过计算fi,j×QStep×Wi,j来导出逆量化值(S15-S17)。
在图像编码设备所执行的量化处理中,使作为正交变换的结果而获得的频率系数乘以从计算QStep×Wi,j而产生的值的倒数。
然而,问题在于,常规量化和逆量化处理强加了许多计算工作量,因为在处理中需要执行大量的除法和乘法。
发明内容
本发明的目的是提供一种用于减少量化和逆量化计算所需工作量的图像解码方法、图像编码方法、图像解码设备、图像编码设备及程序。
本发明的一个方面提供了一种逆量化方法,用于通过对已量化的正交变换系数进行逆量化来获得逆量化正交变换系数,所述方法包括:获得加权矩阵;获得量化参数;通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;将已量化的正交变换系数与所述等级尺度值相乘;以及将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化正交变换系数。
本发明的另一方面提供了一种图像解码方法,用于对已量化的正交变换系数进行逆量化和逆正交变换来获得块图像,所述方法包括:获得加权矩阵;获得量化参数;通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;将已量化的正交变换系数与所述等级尺度值相乘;将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化的正交变换系数;通过加法/减法运算和比特移位运算对所获得的逆量化正交变换系数进行逆正交变换来获得块图像。
本发明的另一方面提供了一种图像解码装置,用于以块为基础对已编码的图像数据进行解码来获得块图像,所述装置包括:获得单元,操作用于获得加权矩阵和量化参数,并通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;乘法单元,操作用于将已量化的正交变换系数与所述等级尺度值相乘;移位器,将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化的正交变换系数;以及逆正交变换单元,操作用于通过加法/减法运算和比特移位运算对所获得的逆量化正交变换系数进行逆正交变换来获得块图像。
本发明的再一方面提供了一种处理器,用在对运动图像进行解码的解码装置中,所述处理器包括:集成电路;其中所述处理器i)使用所述集成电路获得加权矩阵和量化参数;ii)通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;iii)将已量化的正交变换系数与所述等级尺度值相乘;iv)将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化的正交变换系数;以及v)对所述移位的结果进行逆正交变换。
为了实现以上目的,本发明的图像编码方法是一种通过逐块执行的逆量化和逆正交变换来对编码图像进行解码的图像解码方法。该方法包括以下作为逆量化处理的步骤:将量化矩阵和乘数相乘,所述量化矩阵指示每个频率分量的量化步长的缩放比,并且所述乘数是正交变换或量化步长的系数;以及将由所述乘法产生的乘积和量化值相乘。
所述乘数可以与逆正交变换处理中所使用的归一化因数有关。
根据以上结构,可以减少计算所需工作量,因为在逆正交变换处理中不需要执行频率系数所需的乘法。也就是说,通过预计算为推导量化步长所需的乘法,有可能减少逆正交变换所需的乘法,以致不增加量化计算所需的工作量。
可以对每个预定单位的编码数据执行量化矩阵和乘数之间的乘法,并且可以逐块执行乘积和量化值之间的乘法,预定单位的编码数据包括编码块,并且该乘积为编码块所共有。
由量化矩阵和乘数之间的乘法产生的乘积可以被存储在存储器中,并且该乘积和量化值之间的乘法可以涉及访问存储器。
预定单位的编码数据可以是对应于图像的数据。
根据以上结构,通过将处理分成以下两部分,有可能减少操作数以便进一步减少计算工作量:基于每幅图像的乘法;以及基于每一块的乘法。
根据本发明的图像编码方法、图像解码设备及图像编码设备、程序和半导体器件具有相同的结构,并获得和上述一样的效果。
附图说明
由以下连同说明本发明具体实施方式的附图一起考虑的本发明描述,本发明的这些及其它目的、优点和特征将变得显而易见。在附图中:
图1示出了位流的示例数据结构;
图2示出了量化矩阵例子;
图3示出了,由常规图像编码设备执行的、如MPEG-2和MPEG-4中所提出的逆量化的流程图;
图4示出了根据本发明第一实施方式的图像编码设备的结构框图;
图5示出了在对宏块亮度块执行16×16帧内图像预测编码的情况下的块结构以及要对块执行的正交变换;
图6示出了在对宏块亮度块执行4×4帧内图像预测编码或4×4帧间图像预测编码的情况下的块结构以及要对块执行的正交变换;
图7示出了宏块色度块的结构以及要对块执行的正交变换;
图8示出了Hadamard变换中所使用的方程式;
图9A示出了整数精度DCT中所使用的方程式;
图9B示出了整数精度逆DCT中所使用的方程式;
图10A-10D分别示出了量化矩阵中编码顺序的例子;
图11A示出了量化矩阵中的加权分量阵列,其中为正交变换定义每个加权分量;
图11B和11C分别示出了怎样把通过对量化矩阵中每个分量进行编码所获得的每个数据放在头中;
图12示出了量化的输入-输出特性曲线;
图13示出了随量化参数而变的量化步长特性曲线;
图14示出了随量化参数而变的信噪比特性曲线;
图15A至15C用于说明归一化和逆量化处理;
图16A示出了量化单元第一示例结构的框图;
图16B示出了逆量化单元第一示例结构的框图;
图17A示出了适于加权矩阵的量化单元第二示例结构的框图;
图17B示出了使用加权矩阵的逆量化单元第二示例结构的框图;
图18A示出了使用加权矩阵的量化单元第三示例结构的框图;
图18B示出了使用加权矩阵的逆量化单元第三示例结构的框图;
图19示出了,在基于量化参数QP对每个(i,j)分量执行包括频率变换乘法的每个量化步长计算的情况下的逆量化处理流程图;
图20示出了,在预先基于量化参数QP来执行包括频率变换乘法的每个量化步长计算的情况下的量化流程图;
图21示出了在根据需要基于量化参数QP来执行包括频率变换乘法的每个量化步长计算的情况下的量化流程图;
图22示出了图像解码设备结构框图;
图23A-23C是存储程序的存储介质的图解;
图24示出了内容供应***总配置框图;
图25示出了使用图像编码和解码方法的蜂窝电话的具体例子;
图26示出了蜂窝电话框图;
图27示出了数字广播***例子;
图28-31示出了根据第二实施方式、基于8×8加权矩阵来推导量化矩阵的例子;
图32-35示出了基于4×4加权矩阵来推导量化矩阵的例子;
图36示出了根据第三实施方式的逆量化单元框图;
图37示出了加权矩阵的例子;
图38示出了逆量化处理;
图39和40示出了逆量化处理;
图41和42分别示出了表的例子;以及
图43示出了对4×4色度DC块执行的逆量化。
具体实施方式
(第一实施方式)
图4示出了根据本发明第一实施方式的图像编码设备的结构框图。
图像编码设备1是这样一种设备,它输出通过对输入图像信号Vin执行压缩编码,然后把编码的图像信号转换成如可变长度码的位流而获得的编码图像信号Str。这种图像编码设备1包括运动估计单元ME、运动补偿单元MC、减法器Sub、正交变换单元T、量化单元Q、逆量化单元IQ、逆正交变换单元IT、加法器Add、图像存储器PicMem、开关SW以及可变长度编码单元VLC。
图像信号Vin被输入到减法器Sub和运动估计单元ME。减法器Sub计算输入图像信号Vin中的每幅图像和每幅预测图像之间的残差图像,并把所计算的残差图像输出到正交变换单元T。
正交变换单元T对残差图像执行正交变换,以便将其变换为正交变换系数或频率系数,并把它们输出到量化单元Q。
量化单元Q利用参考从外面输入的量化矩阵WM而推导出的量化步长,来对从正交变换单元T输入的每个块的频率系数进行量化,并把所得到的量化值Qcoef输出到可变长度编码单元VLC。
逆量化单元IQ利用参考量化矩阵WM而推导出的量化步长,来对量化值Qcoef执行逆量化,以便将它们变换为频率系数,并把它们输出到逆正交变换单元IT。根据该实施方式的逆量化单元IQ分两步来执行逆量化:第一步是,使指示每个频率分量的每个量化步长缩放比(scaling ratio)的量化矩阵乘以一个作为正交变换系数或量化步长的乘数,并把乘法结果存储到存储器中;第二步是,使存储器中存储的结果乘以每个量化值。第一步是基于每幅图像进行操作的,而第二步是基于每个块进行操作的。用于频率变换的乘数包括逆正交变换归一化因数。在该情况下,存储器中存储的乘法结果是通过使每个量化步长和逆正交变换归一化因数相乘而获得的值。
逆正交变换单元IT对频率系数执行逆频率变换,以便将它们变换成残差图像,并把该残差图像输出到加法器Add。加法器Add将每幅残差图像和从运动补偿单元MC输出的每幅预测图像相加,以便获得解码图像。在指示应该存储这种解码图像的情况下,导通开关SW,从而将解码图像存储在图像存储器PicMem中。
基于每个宏块而被输入图像信号Vin的运动估计单元ME在图像存储器PicMem中存储的解码图像中检测和输入的图像信号Vin最相似的图像区,并确定指示这种图像区位置的运动矢量MV。对通过进一步分割宏块而获得的每个块执行运动矢量估计。
运动补偿单元MC利用以上处理中所检测到的运动矢量,来从图像存储器PicMem中存储的解码图像中取出最合适的图像区,作为预测图像。
可变长度编码单元VLC对量化矩阵WM、量化值Qcoef和运动矢量MV的每一个执行可变长度编码,以便获得位流Str。
图5和6分别示出了按照MPEG-4 AVC、通过正交变换单元T执行的正交变换。对于由16×16组成像素的亮度宏块,对基于16×16宏块的帧内图像预测编码的情况和其它类型编码的情况,不同地执行正交变换和借助于正交变换的块分割。
图5示出了在要对亮度块执行16×16帧内图像预测编码的情况下,宏块亮度块的结构和正交变换。在该情况下,正交变换单元T如以下(1)至(4)那样执行正交变换。(1)将16×16像素的亮度块分成16个4×4像素块。(2)对由分割而产生的每一个4×4块执行基于整数精度4×4离散余弦变换(DCT)的正交变换。在此,整数精度DCT不保持和DCT相同的特性,因为值被舍入,但是它仍然能够用作近似于DCT的变换。(3)产生由每一个正交变换块中的直流(DC)分量组成的4×4DC块。(4)对4×4DC块执行Hadamard变换。正确被称为“离散Hadamard变换(DHT)”的Hadamard变换是一种只执行加法和减法的简单正交变换。
图6示出了在不同于16×16帧内图像预测编码的编码,如4×4帧内图像预测编码和4×4帧间图像预测编码的情况下,亮度块的结构和要对亮度块执行的正交变换。在该情况下,正交变换单元T如以下(1)和(2)那样执行正交变换。(1)将16×16像素的亮度块分成16个4×4像素块。(2)对由分割而产生的每一个4×4块执行基于整数精度DCT的正交变换。
图7示出了宏块色度块的结构以及要对色度块执行的正交变换。在该情况下,正交变换单元T如以下(1)至(4)那样执行正交变换。(1)把由8×8像素组成的色度宏块分成4个4×4像素块。(2)对由分割而产生的每一个4×4块执行基于整数精度4×4 DCT的正交变换。(3)产生由每个正交变换块中的DC分量组成的2×2像素DC块。(4)对每个2×2 DC块执行Hadamard变换。
因而,正交变换单元T将对DC块使用作为最简单正交变换之一的、可以仅仅通过执行加法和减法来实现的Hadamard变换。
图8示出了在Hadamard变换中使用的方程和波形图,每一幅波形图代表相应的方程。在图中,“h0”-“h3”表示4个输入信号,而“H0”-“H3”分别表示被执行Hadamard变换的分量。“H0”是被执行Hadamard变换的DC分量,而“H3”是被执行Hadamard变换的最高频分量。Hadamard变换的逆变换是Hadamard变换。也就是说,可以通过再次对“H0”-“H3”执行Hadamard变换来获得“h0”-“h3”。
注意,可以利用以下方程来获得对2×2 DC亮度块执行的Hadamard变换。即,对2×2 DC块中的每行和每列使用一次以下方程。
H 0 = ( h 0 + h 1 ) / 2
H 1 = ( h 0 - h 1 ) / 2
图9A示出了正交变换单元T为整数精度DCT使用的方程以及波形图,每幅波形图都代表相应的方程。“d0”-“d3”表示4个输入信号,而“D0”-“D3”表示被执行整数精度DCT的分量。在整数精度4×4 DCT中,对4×4像素块中的每行和每列使用一次图9A所示的4输入DCT。
“D0”是DC分量,而“D3”是最高频分量。在频率分量H1和D1之间,整数精度DCT的波形图和图8A所示Hadamard变换的波形图之间的差异是显而易见的。也就是说,与频率分量H1相比,频率分量D1(最低频率的电流分量)表示得更平滑(即从最大值逐渐变为最小值)。
图9B示出了正交变换单元T为整数精度逆DCT使用的方程。在图中,需要实际运算以便利用频率分量D1和D3来获得D1’和D3’。在该实施方式中,预先使逆量化处理中的量化步长乘以某些值(如上所述由逆量化单元IQ所取的第一步长),目的在于避免整数精度逆DCT中的实际运算。从而,为整数精度逆DCT执行的乘法数目减少了,并且计算所需的工作量也减小了。结果,在逆量化处理中,奇数次数频率分量的量化步长等于偶数次数频率分量的量化步长的
Figure C20058000303500141
倍或8/5倍。
图10A-10D分别示出了量化矩阵中编码顺序的例子。该顺序用于编码或解码量化矩阵,并且量化矩阵按实际上要在量化和逆量化过程中***作的分量的顺序重新排列。在图像编码中所执行的正交变换中,4×4像素和8×8像素是最经常使用的两种单元。图10A和10C示出了使用4×4像素单元的例子,而图10B和10D示出了使用8×8像素单元的例子。在从低频分量开始向高频分量进行的编码中,压缩效率高,如图10A和10B所示,但是在某些情况下,可以使用按水平顺序的编码,如图10C和10D所示。
图11A-11C示出了量化矩阵,以及在形成流(streaming)时被编码的量化矩阵(即加权矩阵)的数据结构。在图中,“头”表示图1所示的“GOP”或“图像”的头,或等效信息。图11A示出了量化矩阵中的频率分量阵列。“Wi,j”表示量化矩阵中行“i”和列“j”中的分量。图11B和11C分别示出了量化矩阵中每个分量的编码数据怎样被放在头中的例子。“WeightingMatrix(加权矩阵)”表示通过对量化矩阵进行编码而获得的位流。图11B示出了通过按图10B所示的顺序对量化矩阵进行编码而获得的流,而图11C示出了通过按图10D所示的顺序对量化矩阵进行编码而获得的流。注意,图11B和11C中所示的流中的“Wi,j”表示量化矩阵中“Wi,j”所表示的位置处的编码可变长度码。
图12示出了由量化单元Q和逆量化单元IQ所执行的量化(或逆量化)的输入-输出特性。量化意谓,对通过量化步长分割正交变换频率分量(图12中要量化的值)的结果进行舍入,以便将频率分量变成整数。舍入的整数被称为量化值。相反,把要量化的值变回为频率分量被称为“逆量化”。通过改变量化步长的大小,有可能增加或减少由编码而产生的位数量。因而,通过改变量化步长的大小,有可能保持相同的压缩比(即每单位时间的码量)。
图13示出了量化步长对量化参数的特性曲线。量化参数用于导出量化步长,并被调节,以便让码量对应于比特率。逆量化单元IQ和量化单元Q利用要编码的量化参数来导出量化步长,因为不直接对量化步长进行编码。在图13所示的例子中,当量化参数QP增加6时,量化步长加倍。结果,在量化参数QP变化的情况下,量化参数QP变得与信噪(SN)比成比例,并且SN比的变化量维持在相同水平,如图14所示,而与量化参数QP的值无关。
注意,在量化参数指示从0到51变动的值时,量化步长的最大值指示等于最小值256倍的值。
图15A至15C用于说明归一化和逆量化。以下描述一种简化逆量化处理中把用于图9B所示正交变换中归一化的乘法的方法。如图9B所示,分量D1和D3位于第N位置(N为奇数)。使在水平和垂直方向上都位于第N位置的分量乘以两次
Figure C20058000303500152
这意谓分量乘以8/5。基于此,对于在逆量化处理中预先进行的归一化,应该预先乘以量化步长,如以下的(a)至(c)。
(a)在分量在水平和垂直方向上都位于第M(M为偶数)位置的情况下,不执行归一化乘法。
(b)在分量在水平或垂直方向上位于第N(N为奇数)位置的情况下,使分量乘以
Figure C20058000303500153
(c)在分量在水平和垂直方向上都位于第N(N为奇数)位置的情况下,使分量乘以8/5。
现在,给定 β = α × 8 / 5 , γ=α×8/5,(a)至(c)变成了以下(A)至(C)。
(A)在分量在水平和垂直方向上都位于第M(M为偶数)位置的情况下,使分量乘以α。
(B)在分量在水平或垂直方向上位于第N(N为奇数)位置的情况下,使分量乘以β。
(C)在分量在水平和垂直方向上都位于第N(N为奇数)位置的情况下,使分量乘以γ。
利用这种简单规则,有可能在逆量化处理中一起实现归一化。在逆DCT和量化处理中,专门的归一化乘法变得不必要。
当量化参数QP增加6时,量化步长加倍。因此,用以下方程式来表示通过包括归一化乘法的计算所获得的量化参数QP与量化步长之间的关系。
量化步长=(QP%6的量化步长)×(2(QP/6))
基于此,如图15B所示,通过使“QP%6的量化步长”向左移位“QP/6”位,可以容易地获得涉及归一化的量化步长,作为与任意量化参数QP相对应的量化步长(即涉及归一化乘法的量化步长)。这可以通过仅仅分别为α、β和γ所对应的“QP%6的量化步长”保留总共18个量化步长,来实现,如图15C所示。在该实施方式中,亮度信号的量化参数大小和色度信号的量化参数大小之比将基于逐片地变化。由于颜色(尤其是红色)的退化在视觉上比亮度退化明显,所以优选地色度信号的量化参数QP小于亮度信号的量化参数。
显然,由于可以通过使量化步长移位QP/6位来表示量化步长,所以可以用乘法和移位操作的组合来表示量化和逆量化。图16A和16B示出了量化单元Q和逆量化单元IQ的第一示例结构的框图。在第一例子中,在不使用加权矩阵的情况下,只使用乘法和移位运算。量化单元Q1包括乘法单元Q11和右移位器Q12。乘法单元Q11将正交变换系数乘以Q1。“Q1”是量化步长(QP%6的量化步长)的倒数的倍数。量化步长通常用于量化中所执行的除法,然而,量化步长的倒数被预先计算以便相乘,因为除法运算比乘法运算更复杂。逆量化单元IQ1包括乘法单元IQ11和左移位器IQ12。
量化单元Q1操作如下。右移位器Q12使乘法单元Q11所执行的乘法结果向右移位S1位。也就是说,右移位器Q12使乘法单元Q11所执行的乘法结果除以2S1。S1值与QP/6成比例地变化。逆量化单元IQ1操作如下。乘法单元IQ11使正交变换系数乘以Q2。“Q2”值与QP%6的量化步长成比例地变化。左移位器IQ12使乘法单元IQ11所执行的乘法结果向左移位S1位。也就是说,左移位器IQ12使乘法单元IQ11所执行的乘法结果乘以2S2。“S2”值与QP/6成比例地变化。
在此,“S1”和“S2”是对于所有频率系数都固定的值,它们每一个都随量化参数QP而变。“Q1”和“Q2”具有取决于量化参数QP和频率系数位置的值。在该情况下,要求满足由Q1×(2-S1)×Q2×(2S2)=1所表示的关系。在该情况下,Q1×Q2导致二进制的指数,并且S2-S1被获得为固定值。
图17A和17B示出了,在使用加权矩阵的情况下量化单元Q和逆量化单元IQ第二示例结构的框图。量化单元Q2包括:乘法单元Q21,该乘法单元Q21使频率系数乘以Q1;乘法单元Q22,该乘法单元Q22使乘法单元Q21所执行的乘法结果乘以Qa;右移位器Q23,该右移位器Q23使乘法单元Q22所执行的乘法结果向右移位S1位;以及右移位器Q24,该右移位器Q24使右移位器Q23所执行的移位结果向右移位Sa位。逆量化单元IQ2包括:乘法单元IQ21,该乘法单元IQ21使量化频率系数乘以Q2;左移位器Q22,该左移位器Q22使乘法结果向左移位S2位;乘法单元IQ23,该乘法单元IQ23使左移位器Q22所执行的移位结果乘以Qb;以及右移位器IQ24,该右移位器IQ24使左移位器Q22所执行的移位结果向右移位Sb位。
在此,“Qa”和“Sa”对应于指定加权矩阵中的加权分量Wi,j,并且可以建立以下关系:Qa×2-Sa×Qb×2-Sb=1。
图18A和18B示出了量化单元Q和逆量化单元IQ第三示例结构的框图,其中图17A和17B所示的结构被简化了,以便一起执行乘法和移位操作。图中的量化单元Q3包括:乘法单元Q31,该乘法单元Q31使正交变换系数乘以Q1a;以及右移位器Q32,该右移位器Q32使乘法单元Q31所执行的乘法结果向右移位“S1+Sa”位。逆量化矩阵IQ3包括:乘法单元IQ31,该乘法单元IQ31使量化的正交变换系数乘以Q2a;以及右移位器IQ32,该右移位器IQ32使乘法单元IQ31所执行的乘法结果向右移位“Sb-S2”位。乘法单元IQ31通过执行与Q1a的一次乘法,来执行图17A所示的分别与Q1和Qa的两次乘法。即,利用以下方程:Q1b=Q1×Qb来完成执行。右移位器Q32通过执行一次移位,来执行分别向右S1位和Sa位的两次右移位。乘法单元IQ31通过执行与Q2b的一次乘法,来执行分别与Q2和Qb的两次乘法。即,利用以下方程:Q2b=Q2×Qb,来完成执行。右移位器IQ32通过执行一次移位,来执行向左移位S2位和向右移位Sb位。
图19示出了,在基于量化参数QP对每个(i,j)分量执行包括频率变换乘法的量化步长计算的情况下的逆量化流程图。例如,通过逆量化单元IQ3(或IQ2),基于块来执行逆量化。
首先,逆量化单元IQ3获得加权矩阵{Wi,j}和量化参数QP(S31、S32)。然后,逆量化单元IQ3进一步从量化参数QP导出{Q2i,j}和S2(S33),如通过包括频率变换乘法的计算所获得的量化步长,并获得量化值(量化的频率系数){fi,j}(S34)。在此,{Q2i,j}被获得作为QP%6的量化步长。利用QP/6来获得S2b。
接着,逆量化单元IQ3在循环1(S35-S40)中对块中的每个频率系数执行量化。即,逆量化单元IQ3根据加权矩阵{Wi,j}来导出{Qbi,j}和Sb(S36),并通过使Qbi,j和Q2i,j相乘来获得等级尺度(level scale)LSi,j(S37)。逆量化单元IQ3进一步通过从Sb减去S2来获得要移位的位数S2b(S38),以便同时移位,并通过使量化值fi,j和等级尺度(level scale)LSi,j相乘来计算逆量化值,然后使乘法结果向左移位S2b位(S40)。
从而,可以通过以下简单方法来执行逆量化:对通过包括频率变换乘法的计算所获得的量化步长执行逆量化,同时利用量化参数QP来计算量化步长。
图20示出了,在预先利用量化参数QP来计算通过包括频率变换乘法的计算所获得的量化步长的情况下的量化处理流程图。例如,通过逆量化单元IQ3(或IQ2)来执行逆量化。图20和图19之间的差别在于,基于每幅图像把每一个都是通过包括频率变换乘法的计算而获得的所有量化步长LSi,j都存储在存储器中作为表(循环1中的S43c),以及从表中读出LSi,j(循环2中的S49a)。其它操作几乎和图19一样,从而省略对它们的描述。根据该实施方式的逆量化,在循环1中,把每一个都是通过包括频率变换乘法的计算而获得的所有量化步长LSi,j都存储在存储器中作为表,它适于基于块来高速地计算逆量化值。
图21示出了,在根据需要基于量化参数QP来计算通过包括频率变换乘法的计算所获得的量化步长的情况下的量化处理流程图。例如,通过逆量化单元IQ3(或IQ2)来执行逆量化。图19和图21之间的差别在于,在初始化时为存储器中的表分配自由区(free area),以及通过包括频率变换乘法的计算所获得的量化步长LSi,j是否被存储在表中(S56)。在判断量化步长LSi,j和要移位的位数S2b未被存储的情况下,计算LSi,j和S2b(S57a-S57c),并把所获得的LSi,j和加到表上(S57d),而在判断量化步长LSi,j被存储了的情况下,从表中读出LSi,j和S2b(S57e)。根据该实施方式的逆量化,与图20相比,有可能将计算量减小到共同使用量化参数QP的随后块所要求的最小计算量,尽管对于第一块,计算量或多或少地随分量而变。
图22示出了根据该实施方式的图像解码设备的结构框图。在图中,相同的附图标记被赋予按照和图4框图所示的图像编码设备中所包括的单元一样的方式进行操作的单元,并省略对它们的说明。逆量化单元IQ和逆正交变换单元IT和图4所示的一样,在那里已经说明了这些操作。
此外,通过把用于实现以上实施方式的每一个中所描述的运动图像编码/解码方法的程序记录在存储介质如软盘等上,可以在独立计算机***中容易地执行以上实施方式中所示的处理。
图23A、23B和23C是利用诸如计算机***中软盘的存储介质中所存储的程序,来实现以上实施方式中所描述的运动图像编码/解码方法的图解。
图23B示出了软盘的完整外观、其横截面结构及软盘自身,而图23A示出了作为存储介质主体的软盘的物理格式。软盘FD被容纳在外壳F中,多个磁道Tr从外到内同心地形成在盘的表面上,并且每个磁道在角方向上被分成16个扇区Se。因而,运动图像编码方法和运动图像解码方法作为程序被记录在软盘FD上为它分配的区中。
图23C示出了用于把程序记录在软盘FD上以及再现软盘FD上的程序的配置。当把程序记录在软盘FD上时,计算机***Cs通过软盘驱动器FDD写入运动图像编码和解码方法作为程序。当利用软盘上的程序来在计算机***中构造运动图像编码和解码方法时,通过软盘驱动器FDD从软盘读出程序,然后将其传送给计算机***。
在存储介质是软盘的假定之下进行了以上说明,但是也可以利用光盘来执行相同处理。另外,存储介质不限于软盘和光盘,而可以使用能够记录程序的其它任何介质,如集成电路(IC)卡和只读存储器(ROM)盒式磁带。
以下描述上述实施方式中所说明的运动图像编码和解码方法的应用以及使用该运动图像编码和解码方法的***。
图24示出了用于实现内容传送服务的内容供应***ex100的总体配置框图。用于提供通信服务的区被分成具有期望大小的小区,并且作为固定无线电台的小区站点(cell site)ex107~ex110位于各自小区中。
该内容供应***ex100例如通过因特网ex101、因特网服务供应商ex102、电话网ex104以及小区站点ex107~ex110连接到各种设备,如计算机ex111、个人数字助理(PDA)ex112、照相机ex113、蜂窝电话ex114和具有照相机的蜂窝电话ex115。
然而,内容供应***ex100不限于图24所示的配置,而可以连接到任何设备的组合。而且,每个设备可以不通过小区站点ex107~ex110而直接连接到电话网ex104。
照相机ex113是一种能够拍摄视频的设备,如数字摄像机。蜂窝电话ex114可以是以下任一***的蜂窝电话:个人数字通信(PDC)***、码分多址(CDMA)***、宽带码分多址(W-CDMA)***或全球移动通信***(GMS)、个人手持电话***(PHS)等。
流式传输服务器ex103通过电话网ex104以及小区站点ex109连接到照相机ex113,根据发自用户的编码数据,利用照相机ex113来实现实况播送分发等。照相机ex113和发送数据的服务器等的任何一个都可以对数据进行编码。由照相机ex116拍摄的运动图像数据可以通过计算机ex111被发送给流式传输服务器ex103。在该情况下,照相机ex116或计算机ex111可以对运动图像数据进行编码。计算机ex111中所包括的大规模集成电路(LSI)ex117和照相机ex116执行编码处理。可以把用于编码和解码运动图像的软件集成到可以通过计算机ex111等读取的任何类型存储介质(如只读光盘(CD-ROM)、软盘和硬盘)中。此外,具有照相机ex115的蜂窝电话可以发送运动图像数据。该运动图像数据是通过蜂窝电话ex115中所包括的LSI编码的数据。
内容供应***ex100用和如上述实施方式所示的一样的方法,对用户利用照相机ex113、照相机ex116等拍摄的内容(如音乐实况播送视频)进行编码,并把它们发送给流式传输服务器ex103,同时一旦客户请求,流式传输服务器ex103就以流方式把内容数据传送给客户。客户包括能够对上述编码数据进行解码的计算机ex111、PDAex112、照相机ex113、蜂窝电话ex114等。从而,在内容供应***ex100中,客户能够接收和再现编码数据,并且进一步能够实时接收、解码和再现数据,以便实现个人广播。
当该***中的每个设备执行编码或解码时,可以使用上述实施方式中所示的运动图像编码设备和运动图像解码设备。
将对蜂窝电话进行说明,作为这种设备的一个例子。
图25示出了使用上述实施方式中所说明的运动图像编码和解码方法的蜂窝电话ex115。蜂窝电话ex115具有:天线ex201,用于通过无线电波和小区站点ex110通信;能够拍摄运动和静态图像的照相机单元ex203,如电荷耦合器件(CCD)相机;显示单元ex202,如液晶显示器,用于显示通过照相机单元ex203拍摄的或通过天线ex201接收的数据、如解码的图像等;包括一组操作键ex204的主体单元;语音输出单元ex208,如扬声器,用于输出语音;语音输入单元ex205,如麦克风,用于输入语音;存储介质ex207,用于记录编码或解码数据,如通过照相机拍摄的运动或静态图像数据、所接收的电子邮件数据、以及运动或静态图像数据;以及插槽单元ex206,用于把存储介质ex207附加到蜂窝电话ex115上。存储介质ex207是一种放在在诸如安全数字存储卡(SD卡)的塑料盒中的快速存储元件,该快速存储元件是一种作为电可擦除可重写非易失性存储器的电可擦除可编程只读存储器(EEPROM)。
接下来,将参考图26来说明蜂窝电话ex115。在蜂窝电话ex115中,被设计成全面控制包括显示单元ex202和操作键ex204的主体的每个单元的主控制单元ex311,通过同步总线ex313互连到电源电路单元ex310、操作输入控制单元ex304、图像编码单元ex312、相机接口单元ex303、液晶显示器(LCD)控制单元ex302、图像解码单元ex309、复用/解复用单元ex308、读/写单元ex307、调制解调器电路单元ex306和语音处理单元ex305。
当通过用户的操作接通呼叫结束(call-end)键或电源键,则电源电路单元ex310从电池组向各单元供电,以便把具有照相机的数字蜂窝电话ex115激活为就绪状态。
在蜂窝电话ex115中,语音处理单元ex305在包括中央处理器(CPU)、只读存储器(ROM)和随机存储器(RAM)的主控制单元ex311的控制下,把在会话模式下通过语音输入单元ex205接收的语音信号转换成数字语音数据,调制解调器电路单元ex306对数字语音数据执行扩展频谱处理,并且通信电路单元ex301对数据执行数模转换和频率转换,以便通过天线ex201来发送数据。同样,在蜂窝电话ex115中,通信电路单元ex301对在会话模式下通过天线ex201接收的数据进行放大,并对数据执行频率转换和模数转换,调制解调器电路单元ex306对数据执行逆扩展频谱处理,并且语音处理单元ex305将数据转换成模拟语音数据,以便通过语音输出单元ex208输出模拟语音数据。
此外,当在数据通信模式下发送电子邮件时,通过操作主体的操作键ex204输入的电子邮件文本数据通过操作输入控制单元ex304被发送到主控制单元ex311。在主控制单元ex311中,在调制解调器电路单元ex306对文本数据执行扩展频谱处理并且通信电路单元ex301对文本数据执行数模转换和频率转换之后,数据通过天线ex201被发送到小区站点ex110。
当在数据通信模式下发送图像数据时,通过照相机单元ex203拍摄的图像数据通过相机接口单元ex303被提供给图像编码单元ex312。当不发送图像数据时,也有可能通过相机接口单元ex303和LCD控制单元ex302,把照相机单元ex203所拍摄的图像数据直接显示在显示单元ex202上。
包括如本发明所述的运动图像编码设备的图像编码单元ex312利用如上述实施方式所示的运动图像编码设备所采用的编码方法,来对照相机单元ex203所提供的图像数据进行压缩和编码,以便将其转换成编码图像数据,并将其发送到复用/解复用单元ex308。此时,在利用照相机单元ex203拍摄的期间,蜂窝电话ex115把通过语音输入单元ex205收到的语音通过语音处理单元ex305发送到复用/解复用单元ex308,作为数字语音数据。
复用/解复用单元ex308利用预定方法,对图像编码单元ex312所提供的编码图像数据和语音处理单元ex305所提供的语音数据进行复用,然后调制解调器电路单元ex306对作为复用结果而获得的复用数据执行扩展频谱处理,最后通信电路单元ex301对数据执行数模转换和频率变换,以便通过天线ex201发送。
关于在数据通信模式下接收链接到网页等上的运动图像文件数据,调制解调器电路单元ex306对通过天线ex201从小区站点ex110收到的数据执行逆扩展频谱处理,并发送作为逆扩展频谱处理的结果所获得的复用数据。
为了对通过天线ex201收到的复用数据进行解码,复用/解复用单元ex308把复用数据解复用为编码的图像数据流和编码的语音数据流,并分别通过同步总线ex313把编码图像数据提供给图像解码单元ex309,把语音数据提供给语音处理单元ex305。
接着,包括如本发明所述的运动图像解码设备的图像解码单元ex309利用如上述实施方式所示的编码方法所对应的编码方法,对编码的图像数据流进行解码,以产生再现的运动图像数据,并通过LCD控制单元ex302将该数据提供给显示单元ex202,从而例如链接到万维网页的运动图像文件中所包括的图像数据被显示。同时,语音处理单元ex305将语音数据转换成模拟语音数据,并将该数据提供给语音输出单元ex208,从而例如链接到万维网页的运动图像文件中所包括的语音数据被再现。
本发明不限于上述***,因为地基或卫星数字广播最近已被报道,并且至少可以将上述实施方式中所描述的运动图像编码设备或运动图像解码设备集成到如图27所示的数字广播***中。更具体地说,编码视频信息流通过无线电波从广播电台ex409被发送到广播卫星ex410,或者和广播卫星ex410通信。一旦收到该编码视频信息流,广播卫星ex410就发射无线电波进行广播。然后,具有卫星广播接收功能的***ex406接收无线电波,并且电视机(接收器)ex401或机顶盒(STB)ex407对编码位流进行解码以便再现。可以在再现设备ex403中实现如上述实施方式所示的运动图像解码设备,以便读出和解码存储介质ex402如CD和数字通用光盘(DVD)上记录的编码流。在该情况下,再现的运动图像信号被显示在监视器ex404上。也可以想象在连接到用于有线电视的电缆ex405或用于卫星和/或地基广播的天线ex406的STB ex407中,实现运动图像解码设备,以便将它们再现在电视机ex401的监视器ex408上。也可以将运动图像解码设备并入电视机中,而不是机顶盒中。同样,具有天线ex411的汽车ex412能够从卫星ex410或小区站点ex107接收信号,以便在显示设备如汽车ex412中所设置的汽车导航***ex413上重放运动图像。
此外,如上述实施方式所示的运动图像编码设备可以对图像信号进行编码,并将它们记录在存储介质上。作为具体的例子,可以引用用于把图像信号记录在DVD盘ex421上的记录器ex420,如DVD记录器,以及用于把图像信号记录在硬盘上的盘记录器。可以把它们记录在SD卡ex422上。当记录器ex420包括如上述实施方式所述的运动图像解码设备时,可以再现DVD盘ex421或SD卡ex422上记录的图像信号,以便将它们显示在监视器ex408上。
对于汽车导航***ex413的结构,可以想象图26所示的部件中没有照相机单元ex203、相机接口单元ex303和图像编码单元ex312的结构。上述情况也适用于计算机ex111、电视机(接收器)ex401等。
另外,对于诸如蜂窝电话ex114的终端,可以设想三种类型的实现:用编码器和解码器实现的发送/接收终端,只用编码器实现的发送终端,以及只用解码器实现的接收终端。
注意,图4、16A、16B、17A、17B、18A、18B和22所示框图中的每个功能块都可以被实现为作为集成电路设备的LSI。可以以一个或多个芯片的形式来集成这种LSI(例如可以把除存储器以外的功能块集成到单个芯片中)。在此,取LSI作为例子,然而,取决于集成度,它可以被称为“IC”、“***LSI”、“超级LSI”和“ultra LSI”。
集成电路集成方法不限于LSI,可以用专用线或一般处理器来实现它。在制造LSI之后,可以利用可编程的现场可编程门阵列(FPGA)、或能够为LSI中的电路单元重新配置连接和设置的可重新配置处理器。
此外,随着由于半导体技术或不同于半导体技术的另一种技术的进展而代替LSI的集成电路集成技术的到来,可以利用新出现的技术来实施功能块的集成。可以引用生物技术应用作为例子之一。
在功能块中,只有用于存储数据的单元可以在不以芯片形式进行集成的情况下,被单独构造为该实施方式中所述的存储介质115。
注意,可以通过处理器或程序,来实现图4和22中所示的功能块或图19至21中所示的流程图中的主要部分。
如上所述,有可能在任一上述设备或***中使用以上实施方式中提出的图像编码方法和图像解码方法。因此,有可能获得上述实施方式中描述的效果。
(第二实施方式)
以下描述本发明第二实施方式。
<基于整数的无除法量化方案>
为了减小计算复杂性,希望利用q矩阵的量化只使用乘法和移位操作。换句话说,实际上应该避免计算量大的除法操作。所提出的基于整数的无除法非均匀高效量化方法一般可应用于视频编码***中任何尺寸的块变换和量化。
在图16A和16B中,说明了在只使用乘法和移位操作的情况下的变换系数的量化和解量化(de-quantization)操作。对于给定的QP,S1和S2的值对于所有系数都是固定的,而Q1和Q2的值取决于QP值和系数位置(参见Ref.1:ISO/IEC MPEG&ITU-T VCEG的联合视频小组(JVT),“Draft of ITU-T Recommendation and Final DraftInternational Standard of Joint Video Specification(联合视频规范的ITU-T建议和最终草案国际标准草案)(ITU-T Rec.H.264|ISO/IEC14496-10 AVC)”,JVT-G050r1.doc,Geneva,Switzerland,May 2003)。注意,这不是加权量化机制,而只不过是归一化问题,因为在视频编码标准中整数变换的行是正交的,但是没有相同范数(norm)(见Ref.1)。
把q矩阵集成到无除法量化和解量化中首先可以被看作是在这两个处理中引入另一对乘法和移位。在图17A和17B中对此进行了说明。注意,Qa和Qb的值取决于指定的q矩阵项以及指定的Sa值。
为了减小计算复杂性,可以只利用乘法和移位操作来近似除法操作。对于指定的q矩阵项Mq和给定的(或编码器和解码器都同意的)Sa值,整数Qa的值被定义为(1<<(Sa+Bn))/Mq。相应地,整数Qb的值被定义为Mq<<(Sa-Bn)。例如,可以把Bn设定为4。显然,在该情况下,利用所有项都等于16的q矩阵的量化将和视频编码标准中的均匀量化一样(见Ref.1)。注意,Sa>Bn,并且通常Sa>=8。这种设计用于保持一定水平的整数计算精度,因为Qa和Qb都是整数。考虑这种利用q矩阵的量化的设计,可以证明所有操作和存储器存取都可以用16位来计算。注意,如果在存储之前数据被缩放/移位,则中间结果允许超过16位。较大的Sa值允许更好的整数量化计算精度,然而,应该相对于硬件设计,关于中间结果的动态范围来约束值。
<解量化和归一化逆变换的单次乘法>
根据图17A和17B,直接的做法是据此组合乘法和移位操作,由此减小计算复杂性。图18A和18B示出了利用q矩阵量化的进一步集成度。具体地说,整数Q1a被定义为Q1*(1<<(Sa+Bn))/Mq,且整数Q2a等于Q2*Mq<<(Sa-Bn)。因为Q1和Q2是从查找表获得的,所以q矩阵的集成基本上导致执行过程中的查找表更新。
在初始化阶段,可以容易地根据指定的q矩阵来改变表。注意,整数S2的值被定义为QP/6,并且它总是小于8,因为在视频编码标准中QP必须在[0,51]的范围内(见Ref.1)。重要的是,所建议的集成有助于使Q1a值对于每个q矩阵项的不同值(例如典型地为[1,255])都是可区分的。从编码器设计的观点来看,这是所希望的一种特性,因为它允许依据量化进行更精细调谐的灵活性。
<基于q矩阵推导的新查找表例子>
我们得到以下一般形式的量化公式:
量化:
Cij=sign(xij)*(abs(xij)*Qq(QP%6,i,j)+(1<<n)*f)>>n
解量化:
yij=sign(cij)*((abs(cij)*Qd(QP%6,i,j))>>m)
在此,xij、cij、yij分别表示原始、量化和解量化的系数。Qq和Qd分别是在量化和解量化中使用的矩阵。考虑整数变换的归一化,Qq和Qd不同。注意,在均匀量化的情况下,Qq和Qd将是平坦矩阵(flatmatrix)。如果x为正,则sign(x)等于1,如果x=0,则sign(x)等于0,或者如果x为负,则sign(x)等于-1。abs(x)是x的绝对值。m和n的值取决于QP、块变换尺寸和Sa值。f值通常取决于块编码类型;例如,对于帧内编码块它等于3/8,对于帧间编码块它等于1/6。
<与8×8q矩阵关联的新查找表/矩阵>
考虑Bn=4、Sa=8,且如图30和31推导矩阵Qq和Qd的情况。对于行正交且具有相同范数的8×8整数变换,利用q矩阵推导查找表是简单的。采用图28所示的8×8q矩阵。
基于8×8整数变换,分别得到如图29所示的量化和解量化缩放因数(scaling factor)表。
在QP=20的情况下,用于量化的缩放因数(用作乘数)将等于1979,用于解量化的缩放因数将等于19。注意,在均匀量化的情况下,这些值对于所有变换系数都是相同的。当使用q矩阵时,缩放因数实质上分别变成了如图30和31所示的矩阵。当指定q矩阵时,可以对每个缩放因数进行初始化。
<与4×4q矩阵关联的新查找表/矩阵>
考虑Bn=4、Sa=8,且如图34和35所示推导矩阵Qq和Qd的情况。对于行正交但具有不同范数的4×4整数变换(参见Ref.1),利用q矩阵推导查找表需要考虑矩阵中系数的位置。采用图32所示的4×4q矩阵。如图33所示确定量化和解量化缩放因数表(考虑整数变换的归一化)。
在QP=20的情况下,用于量化和解量化的缩放因数(用作乘数)矩阵将分别如图34和35所示。
当指定4×4q矩阵时,可以相对图33中列出的矩阵w和v的每一行来初始化这些矩阵。
<分别处理DC块量化>
在使用Hadamard变换的情况下,所提议的利用q矩阵的量化不适用于第二级变换,即亮度和色度的DC分量变换。这是一些原因。在编码器中,量化紧跟变换之后,而在解码器中,解量化紧跟逆变换之后、而不是之前。这是为了在逆变换期间保持可能的动态范围(整数计算精度)。结果,量化和解量化实际上是在不同的域中。这对于均匀量化不是问题,但是在使用加权q矩阵的过程中将造成系数的缩放因数的不对准。另外,Hadamard变换本身不必保持和第一级中一样的DCT(或近似整数变换)特性。Hadamard变换域中的加权量化可能不是同样地有意义。
该创新将均匀量化方案扩展到使用q矩阵的加权量化方案,同时维持整数操作,并将复杂性保持到最小限度。作为重要的例子,该解决方案允许在可忽略的复杂性增加和最小限度句法改变的情况下,把量化矩阵方案集成到当前视频编码***(参见Ref.1)实现中。
(第三实施方式)
以下描述本发明第三实施方式。
在视频编码***中,默认地定义一组量化矩阵,使得解码器实施量化方案和矩阵。当编码的位流使用量化加权方案时,它们将用于解码。用户可以定义他们自己的量化矩阵,并将它们发送到解码器。该创新将规定怎样将量化矩阵发送到解码器。
该创新也定义在各种编码模式选择中的变换选择。
在量化加权方案中,我们描述以下主要特征:
1.完全基于整数的无除法量化加权方案的规范,在解码器处只需要16位存储器操作,与均匀量化方案相比,这没有引入复杂性的增加。
2.所提议的非均匀量化方案是基于对亮度的8×8变换,因为我们认为这是更好地保护图像纹理的变换,图像纹理是影响高质量图像主观印象的最重要内容要素之一。
非均匀量化加权应用于帧内预测和帧间预测中的残差。该创新提供一组新的编码工具,并将均匀量化方案扩展到使用q矩阵的加权量化方案,同时维持整数操作,并将复杂性保持到最小限度。这使视频编码在高质量和高比特率编码应用中变得尤其有效。
AVC的专业扩展曲线(逼真度范围曲线)(Professional ExtensionProfiles)(Fidelity Range Profiles))旨在对高分辨率图像编码,包括高清晰(HD)图像。同样,在HD图像表示中,很大程度上意识到高视觉逼真度。当使用AVC专业扩展曲线(Professional Extension Profiles)时,自然希望允许AVC的优秀编码效率最大限度地直接有益于视觉质量。为了提高HD主观质量,在此我们建议一种使能对于块变换系数的非均匀量化加权的量化加权方案。由于以下原因,我们认为非均匀量化工具是关键性的:
1.提高编码图像的视觉逼真度。
2.非均匀量化使与人类视觉灵敏度成比例地执行量化调节成为可能,这提高了图像逼真度的编码效率。
3.提供控制最终图像质量的灵活选择,这是高质量内容生成工业所强烈要求的。
在此提议的量化加权方案包括以下主要特征:
1.完全基于整数的无除法量化加权方案的规范,在解码器处只需要16位存储器操作,与均匀量化方案相比,这没有引入复杂性的增加。
2.所提议的非均匀量化方案是基于对亮度的8×8变换,因为我们认为这是更好地保护图像纹理的变换,图像纹理是影响高质量图像主观印象的最重要内容要素之一。
3.非均匀量化加权应用于帧内预测和帧间预测中的残差。
我们在各种HD显示设备中的模拟和观看都显示出所有视频序列的主观质量提高以及许多测试视频的大大提高,包括我们从电影摄影棚获得的一些JVT序列和电影内容。
<8×8变换和量化加权矩阵的建议范围>
根据以前提交给JVT的许多JVT投稿都显示良好的编码效率,我们将建议包括8×8变换。更重要的是,已经显示出由使用8×8变换而得到的主观质量提供更好的图像纹理保护。因为我们具有以前许多投稿和以前AVC委员会草案所基于的、制定完善的8×8变换(参见Ref.2:S.Gordon,D.Marpe,T.Wiegand,“Simplified use of 8×8 transform(8×8变换的简化使用),”ISO/IEC JTC1/SC29/WG11 and ITU-TQ6/SG16,文档JVT-J029,December 2003..),所以我们在我们的建议中使用该变换。然而,如果使用其它的8×8整数变换矩阵选择,我们不认为结果有较大差异。
<8×8亮度帧内预测>
在此,除现有模式帧内16×16、帧内4×4以外,对于亮度8×8帧内预测建议一种新的宏块模式mb_type I_8×8。有9种帧内8×8预测模式。在Ref.2中对它们进行了规定。将低通滤波应用于参考像素,以便提高预测有效性。同样在Ref.2中的ABT 8×8帧内预测部分中规定了滤波。
<色度帧内预测>
取决于色度采样格式,应该使用不同的量化加权。对于4:2:0和4:2:2格式,使用4×4量化加权,其中在下面定义量化方案。对于4:4:4格式,对色度样本应用相同的变换和量化方案。
<8×8帧间预测>
8×8变换用于所有16×16、16×8和8×16的P和B宏块类型。另外,对于P片,8×8变换用于sub_mb_type等于P_L0_8×8的任何8×8子宏块,或者对于B片,用于B_Direct_8×8、B_L0_8×8、B_L1_8×8或B_Bi_8×8。
<量化加权矩阵的句法元素>
量化加权矩阵的附加句法元素包括在位流之初定义用户定义的加权矩阵。通过图像参数集中的矩阵标识符(ID)来引用量化加权矩阵。
<量化加权矩阵>
量化加权矩阵正好在解码器中的逆变换之前,应用于量化步长。每一个系数索引处的加权可以不同,以提供均匀量化。加权是附加到句法中定义的QP上的,从而所应用的量化实际上是量化加权和QP的组合(图36)。加权矩阵能够减小和增大相对于QP的量化量。
在AVC规范中,通过解量化缩放的乘法及随后的移位,来执行解量化,其中通过QP模6来计算解量化。每一解量化操作有一次整数乘法。当使用量化加权矩阵时,类似地定义量化。
在量化加权矩阵中,为了将权重维持在从大于1到小于1变化的范围,量化加权矩阵的值实际上是实际加权值乘16的舍入整数值。例如,量化权值1.2对应于量化加权矩阵值19。图37示出了量化加权矩阵的例子。
<8×8亮度的量化加权>
对于8×8亮度,dij表示量化的变换系数。W(i,j)表示量化加权矩阵。于是,我们得到如图38所示的解量化操作。
<4×4块变换的量化加权>
对于4:2:0和4:2:2色度格式,将色度变换到4×4DCT域。4×4量化加权矩阵只应用于交流系数。对于每一个8×8色度块,形成2×2DC块,并进一步应用其中系数被均匀量化的变换。这和当前规范一样。
Ref.3:ITU-T建议H.264和ISO/IEC国际标准14496-10AVC,文档JVT-J010d7,October 2003中的色度QP推导过程在此保持一样。然而,对于2×2色度DC部分的解量化定义如下,
dcCij=(fij*M(QPC%6,0,0)<<QPC/6-5,对于QPC/6≥5      (5)
dcCij=(fij*M(QPC%6,0,0)+1<<(4-QPC/6))>>5-QPC/6,对于QPC/6<5(6)
其中
M(QPC%6,0,0)=W(0,0)=W(0,0)*LevelScale(QPC%6,0,0) (7)
加权矩阵只应用于量化系数的交流部分。类似地,如图38中的方程式(1)和(2)来定义解量化,除了如图39和40所示的Ref.3中的8.5.8那样定义LevelScale函数。
解码过程的其余部分和Ref.3中的规范一样。在4:4:4色度采样情况下,用和亮度相同的方式来变换和量化每一个8×8色度块。
在场编码模式下,宏块对中的场宏块使用一样的量化矩阵组。在场编码方式下的B_Direct_8×8模式情况下,当运动搜索块模式小于8×8块时,我们也愿意建议允许对4×4变换块的残差使用4×4量化加权。
在应用量化加权方案中,必须注意,在与QP相结合来设计量化加权矩阵时必须特别谨慎。应该保证量化加权不扩展任何系数的位长。最希望的是维持矩阵系数之间的某一平衡,虽然这是编码器的责任。
<基于量化加权矩阵来推导解量化缩放表>
当用户定义的量化加权矩阵被发送到解码器时,解码器需要根据量化加权和QP%6来构造解量化缩放表。每一个QP%6都对应于一个缩放表。可以通过使当前AVC规范中的均匀解量化和缩放表的每一项和量化加权矩阵相乘,来计算表。它的一个例子是图41所示的基于Ref.2中所建议的变换的解量化表推导。如果我们得到具有图41所示值的量化矩阵,接着另外向左移位4次。
QP%6=0时的解量化系数表将如图42所示。
<复杂性>
一旦根据量化加权矩阵和QP/6产生了量化缩放表M(QP%6,0,0),则与当前的均匀量化相比,引入一个量化矩阵就没有附加的复杂性。每8×8量化有64次整数乘法,并且每4×4量化矩阵有16次整数乘法,来产生缩放表M(QP%6,0,0)。每8×8量化矩阵有最大768字节(64*2*6)的总存储量,并且每4×4量化矩阵有最大192字节的总存储量。
<量化加权矩阵的位流句法>
编码器应该能够选择是否使用量化加权。为允许这样做,需要在使用量化加权矩阵的序列参数集中设置use_weighting_matrix标志。
象在MPEG-2中一样,除默认的矩阵组外,用户可以定义量化加权矩阵。可以利用pic_parameter_ser将用户提供的量化加权矩阵加载到解码器中。随后,所加载的量化加权矩阵可以被其它pic_parameter_set引用。所加载的矩阵将用于产生将被保存在解码器中的解量化表。所加载的矩阵用ID来编号。可以将加权矩阵保存在当前图像内的存储器中(可用于当前帧中的片),或者长期保存。将只被保存在当前图像内的存储器中的加权矩阵是局部加权矩阵。可以通过加权矩阵ID=0-1来把它们和长期矩阵区分开。4×4和8×4大小的加权矩阵可以具有相同的ID。
对于没有用户定义的加权矩阵的情况,可以利用一组默认的量化加权矩阵。这组默认的量化加权矩阵为解码器所知。为这组默认加权矩阵预先定义所有量化缩放表,因此不需要预计算。这组默认量化加权矩阵包括两个亮度量化矩阵(帧内预测和帧间预测)和两个色度量化矩阵(4×4)。
随后可以用标识号来引用加权矩阵。我们建议,对于每一图像参数集,每帧间和每帧内预测方式最多有一个亮度量化矩阵。类似地,每帧间和每帧内预测方式最多有一个4×4量化矩阵。
<句法>
以下描述所建议的pic_parameter_set_rbsp,它具有用于定义8×8或4×4帧间预测、帧内预测宏块的量化矩阵的嵌入项。
pic_parameter_set_rbsp(){
    …
    new_quantization_matrices_defined
    if(new_quantization_matrices_defined)
         def_quant_weighting_matrix
    …
    intra_quant_mat8_update
    if(intra_quant_mat8_update)
          quant_mat8_id
    inter_quant_mat8_update
    if(inter_quant_mat8_update)
          quant_mat8_id
    intra_quant_mat4_update
    if(intra_quant_mat4_update)
          quant_mat4_id
    inter_quant_mat4_update
    if(inter_quant_mat4_update)
         quant_mat4_id
    …
}
def_quant_weighting_matrix(){
    load_quant_mat8
    if(load_quant_mat8){
          num_quant_mat8
          for(k=0;k<num_quant_mat8;k++){
              quant_mat8_id
                  for(i=0;i<8;++i)
                      for(j=0;<8;++j)
                          quant_mat8[i][j]
            }
     }
     load_quant_mat4
     if(load_quant_mat4)
          num_quant_mat4
          for(k=0;k<num_quant_mat4;k++){
             quant_mat4_id
                 for(i=0;i<4;++i)
                    for(j=0;<4;++j)
                        quant_mat4[i][j]
        }
     }
}
(第四实施方式)
以下描述本发明第四实施方式。
<对于Intra_16×16(帧内16×16)宏块类型亮度DC变换系数的缩放和变换处理>
注意,以下公式可用于解量化缩放函数操作。
如果QP’Y大于或等于36,则缩放结果将被推导为
dcYij=(fij*LevelScale4×4L,intra(QP’Y%6,0,0))<<(QP’Y/6-6),i,j=0...3
否则(QP’Y小于36),缩放结果将被推导为
dc Y ij = ( f ij * LevelScal e 4 &times; 4 C , intra ( QP , Y % 6,0,0 ) + 2 5 - QP , Y / 6 ) > > ( 6 - QP , Y / 6 ) , i , j = 0 . . . 3
<对于4:2:0色度格式色度DC变换系数的缩放和变换处理>
注意,以下公式可用于解量化缩放函数操作。
如果QP’C大于或等于30,则缩放结果将被推导为
dcCij=(fij*LevelScale4×4C,Intra(QP’C%6,0,0))<<(QP’C/6-5),i,j=0,1
否则(QP’C小于30),缩放结果将被推导为
dc C ij = ( ( f ij * LevelScal e 4 &times; 4 C , Intra ( QP , C % 6,0,0 ) + 2 4 - QP , C / 6 ) > > ( 5 - QP , C / 6 ) , i , j = 0,1
<对于4:2:2色度格式色度DC变换系数的缩放和变换处理>
该处理的输入是宏块一个色度分量的色度DC变换系数的变换系数电平值,作为具有元素Cij的2×4阵列C,其中i和j形成二维频率索引。
该处理的输出是作为具有元素dcCij的2×4阵列dcC的8个缩放DC值。
通过以下来规定2×4色度DC变换系数的逆变换:
位流应该不包含导致f的任何元素fij超过[-215,215-1]整数值范围的数据。
变量QP’C,DC=QP’C+3
在逆变换之后,执行缩放如下。
如果QP’C,DC大于或等于36,则缩放结果将被推导为
dcCij=(f*LevelScale4×4C,Intra(QP’C,DC%6,0,0,0))<<(QP’C,DC/6-6),i=0...3,j=0,1
否则(QP’C,DC小于36),缩放结果将被推导为
dc C ij = ( f * LevelScal e 4 &times; 4 C , Intra ( QP , C , DC % 6,0,0,0 ) + 2 5 - QP , C , DC / 6 ) > > ( 6 - QP , C , DC / 6 ) , i = 0 . . . 3 , j = 0,1
位流应该不包含导致dcC的任何元素dcCij超过[-215,215-1]整数值范围的数据。
<对于4:4:4色度格式色度DC变换系数的缩放和变换处理>
该处理的输入是宏块一个色度分量的色度DC变换系数的变换系数电平值,作为具有元素Cij的4×4阵列C,其中i和j形成二维频率索引。
该处理的输出是作为具有元素dcCij的4×4阵列dcC的16个缩放DC值。
如图43所示规定4×4色度DC变换系数的逆变换。
位流应该不包含导致f的任何元素fij超过[-215,215-1]整数值范围的数据。
在逆变换之后,执行缩放如下。
如果QP’C大于或等于36,则缩放结果将被推导为
dcCij=(f*LevelScale4×4C,Intra(QP’C%6,0,0,0))<<(QP’C/6-6),i=0...3,j=0,1
否则(QP’C小于36),缩放结果将被推导为
dc C ij = ( f * LevelScal e 4 &times; 4 C , Intra ( QP , C % 6,0,0,0 ) + 2 5 - QP , C , DC / 6 ) > > ( 6 - QP , C / 6 ) , i = 0 . . . 3 , j = 0,1
位流应该不包含导致dcC的任何元素dcCij超过[-215,215-1]整数值范围的数据。
<对于残差8×8块的缩放和变换处理>
该处理的输入是具有元素cij的8×8阵列c,它是关于亮度分量8×8残差块的阵列。
该过程的输出是作为具有元素rij的8×8阵列r的残差采样值。
函数LevelScale64推导如下:
-如果宏块预测模式为帧内预测模式,且输入为8×8亮度残差,则LevelScale64()=LevelScale8×8,Intra()。
-如果宏块预测模式为帧间预测模式,且输入为8×8亮度残差块,则LevelScale64()=LevelScale8×8,Inter()。
8×8块变换系数电平cij的缩放执行如下。
-如果QPY大于或等于36,则8×8块变换系数电平cij的缩放将被执行为
dij=(cij*LevelScale64(QPY%6,i,j))<<(QPY/6-6),i,j=0...7
-否则(QPY小于36),8×8块变换系数电平cij的缩放将被执行为
d ij = ( c ij * LevelScale 64 ( QP Y % 6 , i , j ) + 2 ( 5 - QP Y / 6 ) ) > > ( 6 - QP Y / 6 ) , i , j = 0 . . . 7
以上公式反映了为合并来自q矩阵的缩放系数所需的附加右移位,因为解量化/量化加权被定义为w(i,j)=QuantizationMatrix(i,j)/16。在把QuantizationMatrix(i,j)结合到LevelScale函数中之后,我们需要进行附加的4位右移位,以反映除以16。
变换处理将以一种在数学上等效于以下的方式,把缩放变换系数块转换成输出样本块。
首先,利用如下的一维逆变换来变换每一(水平)行缩放变换系数。
-通过以下来推导一组中间值eij
ei0=di0+di4,i=0...7
ei1=-di3+di5-di7-(di7>>1),i=0...7
ei2=di0-di4,i=0...7
ei3=di1+di7-di3-(di3>>1),i=0...7
ei4=(di2>>1)-di6,i=0...7
ei5=-di1+di7+di5+(di5>>1),i=0...7
ei6=di2+(di6>>1),i=0...7
ei7=di3+di5+di1-(di1>>1),i=0...7
-从中间值eij计算第二组中间结果fij
fi0=ei0+ei6,i=0...7
fi1=ei1+(ei7>>2),i=0...7
fi2=ei2+ei4,i=0...7
fi3=ei3+(ei5>>2),i=0...7
fi4=ei2-ei4,i=0...7
fi5=(ei3>>2)-ei5,i=0...7
fi6=ei0-ei6,i=0...7
fi7=ei7-(ei1>>2),i=0...7
然后,从这些中间值fij计算变换结果gij
gi0=fi0+fi7,i=0...7
gi1=fi2+fi5,i=0...7
gi2=fi4+fi3,i=0...7
gi3=fi6-fi1,i=0...7
gi4=fi6-fi1,i=0...7
gi5=fi4-fi3,i=0...7
gi6=fi2-fi5,i=0...7
gi7=fi0-fi7,i=0...7
然后,利用如下的相同一维逆变换来变换所得矩阵的每一(垂直)列。
-从水平变换值gij计算一组中间值hij
hi0=gi0+gi4,i=0...7
hi1=-gi3+gi5-gi7-(gi7>>1),i=0...7
hi2=gi0-di4,i=0...7
hi3=gi1+gi7-gi3-(gi3>>1),i=0...7
hi4=(gi2>>1)-gi6,i=0...7
hi5=-gi1+gi7+gi5+(gi5>>1),i=0...7
hi6=gi2+(gi6>>1),i=0...7
hi7=gi3+gi5+gi1+(gi1>>1),i=0...7
-从中间值hij计算第二组中间结果kij
ki0=hi0+hi6,i=0...7
ki1=hi1+(hi7>>2),i=0...7
ki2=hi2+hi4,i=0...7
ki3=hi3+(hi5>>2),i=0...7
ki4=hi2-hi4,i=0...7
ki5=(hi3>>2)-hi5,i=0...7
ki6=hi0-hi6,i=0...7
ki7=hi7-(hi1>>2),i=0...7
-从中间值kij计算变换结果mij
mi0=ki0+ki7,i=0...7
mi1=ki2+ki5,i=0...7
mi2=ki4+ki3,i=0...7
mi3=ki6+ki1,i=0...7
mi4=ki6-ki1,i=0...7
mi5=ki4-ki3,i=0...7
mi6=ki2-ki5,i=0...7
mi7=ki0-ki7,i=0...7
在执行一维水平和一维垂直逆变换以产生变换样本阵列之后,最终构造的残差样本值将被推导为
ri7=(mij+25)>>6,i,j=0...7
由这样描述的本发明,显然可以用多种方式来改变本发明的实施方式。这种变化不应被认为脱离本发明的精神和范围,对于本领域技术人员,显然所有这种更改都应该被包括在以下权利要求的范围内。
工业实用性
本发明适用于对图像编码或解码的编码设备,并且也适用于分发运动图像的网络服务器、接收运动图像的网络终端,乃至能够记录和重放运动图像的数码相机、装备有照相机的蜂窝电话、DVD记录器/播放器、PDA和个人计算机。

Claims (5)

1.一种逆量化方法,用于通过对已量化的正交变换系数进行逆量化来获得逆量化正交变换系数,所述方法包括:
获得加权矩阵;
获得量化参数;
通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;
将已量化的正交变换系数与所述等级尺度值相乘;以及
将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化正交变换系数。
2.根据权利要求1所述的逆量化方法,其中所述量化步长是根据所述加权矩阵中的分量的位置对于垂直和水平位置而确定的值。
3.一种图像解码方法,用于对已量化的正交变换系数进行逆量化和逆正交变换来获得块图像,所述方法包括:
获得加权矩阵;
获得量化参数;
通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;
将已量化的正交变换系数与所述等级尺度值相乘;
将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化的正交变换系数;以及
通过加法/减法运算和比特移位运算对所获得的逆量化正交变换系数进行逆正交变换来获得块图像。
4.一种图像解码装置,用于以块为基础对已编码的图像数据进行解码来获得块图像,所述装置包括:
获得单元,操作用于获得加权矩阵和量化参数,并通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;
乘法单元,操作用于将已量化的正交变换系数与所述等级尺度值相乘;
移位器,将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化的正交变换系数;以及
逆正交变换单元,操作用于通过加法/减法运算和比特移位运算对所获得的逆量化正交变换系数进行逆正交变换来获得块图像。
5.一种处理器,用在对运动图像进行解码的解码装置中,所述处理器包括:
集成电路;
其中所述处理器
i)使用所述集成电路获得加权矩阵和量化参数;
ii)通过将从所述加权矩阵中第i行第j列位置处的分量计算的值与量化步长相乘来计算等级尺度值,所述量化步长对应于所述加权矩阵中第i行第j列的分量的位置以及所述量化参数被一整数除得到的余数;
iii)将已量化的正交变换系数与所述等级尺度值相乘;
iv)将所述相乘所获得的乘积移位根据所述量化参数的比特数,以获得逆量化的正交变换系数;以及
v)对所述移位的结果进行逆正交变换。
CNB200580003035XA 2004-01-30 2005-01-26 逆量化方法图像解码方法和设备及处理器 Active CN100542262C (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US54063604P 2004-01-30 2004-01-30
US60/540,636 2004-01-30
US60/551,690 2004-03-09
US60/552,907 2004-03-12
US60/561,351 2004-04-12

Publications (2)

Publication Number Publication Date
CN1910921A CN1910921A (zh) 2007-02-07
CN100542262C true CN100542262C (zh) 2009-09-16

Family

ID=37700899

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200580003035XA Active CN100542262C (zh) 2004-01-30 2005-01-26 逆量化方法图像解码方法和设备及处理器

Country Status (1)

Country Link
CN (1) CN100542262C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769678A (zh) * 2011-11-07 2018-11-06 佳能株式会社 图像编码设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401073B2 (en) * 2007-03-28 2013-03-19 Panasonic Corporation Inverse quantization circuit, inverse quantization method and image reproducing apparatus
US7825835B2 (en) * 2008-12-15 2010-11-02 Nvidia Corporation Method and system for encoded video compression
US8588295B2 (en) 2009-03-09 2013-11-19 Mediatek Inc. Methods and electronic devices for quantization and de-quantization
CN101854535B (zh) * 2009-03-31 2011-10-05 郑州大学 嵌入式视频编码器量化方法
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR20200023501A (ko) * 2011-12-19 2020-03-04 소니 주식회사 화상 처리 장치 및 방법
CN109660803A (zh) * 2019-01-22 2019-04-19 西安电子科技大学 一种编码块的量化方法及用于hevc编码的量化方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769678A (zh) * 2011-11-07 2018-11-06 佳能株式会社 图像编码设备
US10750192B2 (en) 2011-11-07 2020-08-18 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN108769678B (zh) * 2011-11-07 2021-01-12 佳能株式会社 图像编码设备

Also Published As

Publication number Publication date
CN1910921A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
KR101136629B1 (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
JP5687787B2 (ja) 動画像復号化装置及びその方法
JP5674911B2 (ja) 画像符号化復号化装置
KR101169895B1 (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치 및 그 프로그램
KR101004208B1 (ko) 픽처 코딩 방법 및 디코딩 방법
CN100542262C (zh) 逆量化方法图像解码方法和设备及处理器
WO2004066633A1 (ja) 画像符号化方法
JP2004242286A (ja) 動画像符号化方法および動画像復号化方法
JP4481970B2 (ja) 画像符号化装置及びその方法
KR100943563B1 (ko) 동화상 부호화 장치 및 동화상 복호화 장치
JP2004147305A (ja) 画像符号化装置、画像復号化装置およびこれらの方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140717

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: Osaka Japan

Patentee after: Matsushita Electric Industrial Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20140717

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.