CN103891287A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN103891287A
CN103891287A CN201280052513.6A CN201280052513A CN103891287A CN 103891287 A CN103891287 A CN 103891287A CN 201280052513 A CN201280052513 A CN 201280052513A CN 103891287 A CN103891287 A CN 103891287A
Authority
CN
China
Prior art keywords
quantization parameter
unit
image processing
quantization
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280052513.6A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103891287A publication Critical patent/CN103891287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及可抑制编码效率的降低的图像处理装置和方法。该图像处理装置包括:变换单元,其把在图像数据的量化中使用的量化参数变换成多个参数;以及传送单元,其传送由变换单元变换量化参数生成的多个参数。例如,在图像数据的编码时,图像数据的量化参数被除以2,并且被变换成指示商的参数和指示余数的参数,并且这些参数被传送。本公开可应用到图像处理装置。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理装置和方法,并且涉及抑制编码效率的降低的图像处理装置和方法。
背景技术
近年来,为了将图像信息作为数字信息来处理并且在这个过程中实现高效率的信息传送和累积,遵从诸如利用图像信息内在的冗余性通过诸如离散余弦变换之类的正交变换和运动补偿来压缩图像信息的MPEG(Moving Picture Experts Group,运动图片专家组)之类的标准的装置在分发信息的广播台间和接收信息的一般家庭间已普及了。
特别地,MPEG2(ISO(国际标准化组织)/IEC(国际电工委员会)13818-2)被定义为一种通用图像编码标准,并且适用于隔行图像和非隔行图像,以及标准分辨率图像和高清晰度图像。当前,MPEG2用在用于专业和一般消费者的各种各样的应用中。根据MPEG2压缩方法,例如,向具有720×480像素的标准分辨率的隔行图像指派4至8Mbps的比特率,并且向具有1920×1088像素的高分辨率的隔行图像指派18至22Mbps的比特率。这样,可以实现高压缩率和优良的图像质量。
MPEG2主要是为适合于广播的高质量图像编码设计的,但与比MPEG1低的比特率或者涉及更高压缩率的编码方法不相容。随着移动终端变得普及,预期将来对这种编码方法的需求将会增加,并且为了满足该需求,MPEG4编码方法被标准化了。至于图像编码方法,ISO/IEC14496-2标准于1998年12月作为国际标准被认可。
另外,当前正在设定一种被称为H.26L(ITU-T(国际电信联盟电信标准化部)Q6/16VCEG(Video Coding Expert Group,视频编码专家组))的标准,其原本是打算用于对视频会议的图像编码的。与诸如MPEG2和MPEG4之类的传统编码技术相比,H.26L在编码和解码中要求更大量的计算,但已知其会实现更高的编码效率。另外,作为MPEG4活动的一部分,已建立了“增强压缩视频编码的联合模型”作为通过将H.26L不支持的功能结合到基于H.26L的功能中来实现更高编码效率的标准。
在标准化日程上,该标准在2003年3月以H.264和MPEG-4第10部分(高级视频编码,以下称为AVC)的名称作为一种国际标准得到认可。
在AVC中,由宏块和子宏块形成的层次结构被规定为编码中的处理单位(编码单位)。然而,16×16像素的这个宏块大小对于诸如下一代编码方法要编码的UHD(Ultra High Definition,超高清晰度:4000×2000像素)帧之类的大帧不是最优的。
鉴于此,取代宏块,编码单位(Coding Unit,CU)被规定为作为一种后AVC编码技术的HEVC(High Efficiency Video Coding,高效率视频编码)中的编码单位(例如参见非专利文献1)。
在AVC和HEVC中,从要编码的图像数据生成的系数数据在被编码之前被量化。近年来,对于量化精度的提高有需求。为了提高量化精度,例如,重定义了量化步长与量化参数之间的关系。
引文列表
非专利文献
非专利文献1:Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"Working Draft4ofHigh-Efficiency Video Coding",JCTVC-F803_d2,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting:Torino,IT,14-22July,2011
发明内容
本发明要解决的问题
然而,当简单地重定义量化参数与量化步长之间的关系以提高量化精度时,有如下风险:即,量化参数的值可变化的范围相对于同一范围变得更宽,并且比特率相应地变得更高。
例如,在HEVC的情况下,对于被称为编码单位的每个数据单位,量化参数(ΔQP)被通过哥伦布(Golomb)编码之类的来编码,然后被从编码方发送到解码方。然而,当量化参数的值可变化的范围变得更宽时,量化参数的比特率变得高很多,结果,整个比特流的编码效率可变得更低。
本公开是鉴于这些情况而作出的,并且目标在于抑制由量化精度的提高引起的比特率的增大,并抑制编码效率的降低。
解决问题的方案
本公开的一个方面是一种图像处理装置,包括:变换单元,其把在图像数据的量化中使用的量化参数变换成多个参数;以及传送单元,其传送由变换单元变换量化参数生成的多个参数。
变换单元可以把量化参数变换成第一量化参数和第二量化参数。
变换单元可以把通过将量化参数除以2获得的商设定为第一量化参数,并且把余数设定为第二量化参数。
变换单元可通过移位运算实现量化参数的除法。
变换单元还可计算差分第一量化参数,该差分第一量化参数是正处理的当前区域的第一量化参数与作为该当前区域的第一量化参数的预测值的预测第一量化参数之间的差分值。
变换单元可利用当前区域的周边区域的第一量化参数来计算预测第一量化参数。
当在当前区域左侧相邻的区域可用时,变换单元可以把在当前区域左侧相邻的区域设定为周边区域。当在当前区域左侧相邻的区域不可用时,变换单元可以把紧挨当前区域之前处理的区域设定为周边区域。
传送单元可对差分第一量化参数进行编码,并传送经编码的差分第一量化参数和第二量化参数。
图像处理装置还可包括量化单元,其对图像数据进行量化,并且变换单元可以把在由量化单元执行的图像数据的量化中使用的量化参数变换成多个参数。
图像处理装置还可包括编码单元,其对经量化的图像数据进行编码,并且传送单元可以把多个参数添加到由编码单元生成的图像数据的编码数据,并传送添加到编码数据的多个参数。
本公开的一个方面还是一种在图像处理装置中实现的图像处理方法。该图像处理方法包括:把在图像数据的量化中使用的量化参数变换成多个参数,该变换由变换单元执行;以及传送通过变换量化参数生成的多个参数,该传送由传送单元执行。
本公开的另一方面是一种图像处理装置,包括:获取单元,其获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数;以及重构单元,其利用由获取单元获取的多个参数来重构量化参数。
获取单元可获取差分第一量化参数和第二量化参数,差分第一量化参数是通过对正处理的当前区域的量化参数进行变换而生成的第一量化参数与作为该第一量化参数的预测值的预测第一量化参数之间的差分值,第二量化参数是通过对当前区域的量化参数进行变换而生成的。重构单元可利用由获取单元获取的当前区域的差分第一量化参数来重构当前区域的第一量化参数,并且还利用重构的当前区域的第一量化参数和当前区域的第二量化参数来重构当前区域的量化参数。
重构单元可利用当前区域的周边区域的第一量化参数来计算预测第一量化参数,并且通过把计算出的预测第一量化参数与当前区域的差分第一量化参数相加来重构当前区域的第一量化参数。
第一量化参数可以是通过将量化参数除以2获得的商,并且第二量化参数可以是通过将量化参数除以2获得的余数。
重构单元可通过把第一量化参数乘以2并加上第二量化参数来重构当前区域的第一量化参数。
重构单元可通过移位运算来实现量化参数的乘法。
获取单元可通过对经编码的差分第一量化参数解码来获取差分第一量化参数。
图像处理装置还可包括:逆量化单元,其利用由重构单元重构的量化参数来对量化的图像数据进行逆量化。
本公开的另一方面还是一种在图像处理装置中实现的图像处理方法。该图像处理方法包括:获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数,该获取是由获取单元执行的;以及利用所获取的多个参数来重构量化参数,该重构是由重构单元执行的。
在本公开的一个方面中,把在图像数据的量化中使用的量化参数变换成多个参数,并且传送通过变换量化参数生成的多个参数。
在本公开的另一方面中,获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数,并且利用所获取的多个参数来重构量化参数。
发明的效果
根据本公开,可以处理图像。特别地,可以抑制编码效率的降低。
附图说明
图1是示出图像编码装置的典型示例结构的框图。
图2是用于说明编码单位的示例结构的图。
图3是示出量化步长与量化参数之间的关系的示例的图。
图4是示出图片参数集合中的语法的示例的图。
图5是示出变换系数的语法的示例的表格。
图6是示出用于对量化参数编码的示例表格的图。
图7是示出量化参数编码单元的典型示例结构的框图。
图8是用于说明量化参数预测的图。
图9是用于说明编码处理的示例流程的流程图。
图10是用于说明量化参数编码处理的示例流程的流程图。
图11是示出图像解码装置的典型示例结构的框图。
图12是示出量化参数解码单元的典型示例结构的框图。
图13是用于说明解码处理的示例流程的流程图。
图14是用于说明量化参数解码处理的示例流程的流程图。
图15是示出计算机的典型示例结构的框图。
图16是示出电视装置的典型示例结构的框图。
图17是示出移动设备的典型示例结构的框图。
图18是示出记录/再现装置的典型示例结构的框图。
图19是示出成像装置的典型示例结构的框图。
具体实施方式
以下是对实现本公开的模式(以下称为实施例)的描述。将按以下顺序进行说明。
1.第一实施例(图像编码装置)
2.第二实施例(图像解码装置)
3.第三实施例(计算机)
4.第四实施例(电视接收机)
5.第五实施例(便携式电话设备)
6.第六实施例(记录/再现装置)
7.第七实施例(成像装置)
<1.第一实施例>
[图像编码装置]
图1是示出图像编码装置的典型示例结构的框图,该图像编码装置是应用了本技术的图像处理装置。
图1所示的图像编码装置100例如通过HEVC(高效率视频编码)技术或H.264/MPEG(运动图片专家组)4第10部分(AVC(高级视频编码))技术来对运动图像的图像数据编码。
如图1所示,图像编码装置100包括A/D转换器101、画面重排列缓冲器102、算术运算单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。图像编码装置100还包括逆量化单元108、逆正交变换单元109、算术运算单元110、环路滤波器111、帧存储器112、选择单元113、内预测单元114、运动预测/补偿单元115、预测图像选择单元116和率控制单元117。图像编码装置100还包括量化参数编码单元121。
A/D转换器101使输入的图像数据经历A/D转换,并将转换后的图像数据(数字数据)提供并存储到画面重排列缓冲器102中。画面重排列缓冲器102根据GOP(Group Of Picture,图片组)结构对以显示顺序存储帧的图像进行重排列,以使得帧被按用于编码的帧顺序来排列。重排列了帧的图像被提供给算术运算单元103。对于充当编码处理中的处理单位(编码单位)的每个预定的部分区域,画面重排列缓冲器102把每个帧图像提供给算术运算单元103。
画面重排列缓冲器102还对每个部分区域把具有重排列的帧顺序的图像提供给内预测单元114和运动预测/补偿单元115。
算术运算单元103从读取自画面重排列缓冲器102的图像中减去经由预测图像选择单元116从内预测单元114或运动预测/补偿单元115提供来的预测图像,并将差别信息输出给正交变换单元104。例如,当对图像执行内编码时,算术运算单元103从读取自画面重排列缓冲器102的图像中减去从内预测单元114提供来的预测图像。例如,当对图像执行间编码时,算术运算单元103从读取自画面重排列缓冲器102的图像中减去从运动预测/补偿单元115提供来的预测图像。
正交变换单元104对从算术运算单元103提供来的差别信息执行正交变换,例如离散余弦变换或卡洛(Karhunen-Loeve)变换。这个正交变换是通过任何适当的方法执行的。正交变换单元104把通过正交变换获得的变换系数提供给量化单元105。
量化单元105对从正交变换单元104提供来的变换系数进行量化。量化单元105把量化的变换系数提供给无损编码单元106。
量化单元105还把量化中使用的量化参数提供给量化参数编码单元121。
无损编码单元106通过适当的编码方法对经量化单元105量化的变换系数进行编码,并且生成编码数据(比特流)。由于系数数据已经在率控制单元117的控制下被量化,所以此编码数据的比特率等于由率控制单元117设定的目标值(或近似该目标值)。
无损编码单元106从内预测单元114获取指示内预测模式等的内预测信息,并且从运动预测/补偿单元115获取指示间预测模式、运动向量信息等的间预测信息。无损编码单元106还获取在环路滤波器111处使用的滤波器系数等等。
无损编码单元106还从量化参数编码单元121获取量化相关参数。例如,无损编码单元106获取由量化参数编码单元121作为量化相关参数生成的差分第一量化参数和第二量化参数。稍后将描述这些参数。
无损编码单元106通过适当的编码方法对这些各种信息进行编码,并且将这些信息包含到编码数据(比特流)中(或将这些信息与编码数据(比特流)进行复用)。例如,无损编码单元106对上述量化相关参数(例如,差分第一量化参数和第二量化参数)逐一地进行二值化和编码,并将量化相关参数存储在图像数据的编码数据的头部信息等中。
无损编码单元106把以上述方式生成的编码数据提供并存储到累积缓冲器107中。无损编码单元106使用的编码方法例如可以是可变长度编码或算术编码。可变长度编码例如可以是H.264/AVC中规定的CAVLC(Context-Adaptive Variable Length Coding,情境自适应可变长度编码)。算术编码例如可以是CABAC(Context-Adaptive BinaryArithmetic Coding,情境自适应二进制算术编码)。
累积缓冲器107临时保存从无损编码单元106提供来的编码数据。累积缓冲器107例如在预定的时间把保存在其中的编码数据以比特流的形式输出到后级的记录装置(记录介质)或传输路径等(未示出)。也就是说,各种编码信息被提供给对由对图像数据编码的图像编码装置100获得的编码数据解码的装置(以下也称为解码方装置)。
经量化单元105量化的变换系数也被提供给逆量化单元108。逆量化单元108通过与量化单元105执行的量化相容的方法对量化的变换系数进行逆量化。逆量化单元108把获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109通过与正交变换单元104执行的正交变换相容的方法对从逆量化单元108提供来的变换系数执行逆正交变换。经历了逆正交变换的输出(本地恢复的差别信息)被提供给算术运算单元110。
算术运算单元110通过把经由预测图像选择单元116从内预测单元114或运动预测/补偿单元115提供来的预测图像与从逆正交变换单元109提供来的逆正交变换结果或本地恢复的差别信息相加来获得本地重构的图像(以下称为重构图像)。重构图像被提供给环路滤波器111或帧存储器112。
环路滤波器111包括解块滤波器、自适应环路滤波器等等,并且在适当时对从算术运算单元110提供来的重构图像执行滤波处理。例如,环路滤波器111对重构图像执行解块滤波处理,以从重构图像中去除块失真。另外,例如,环路滤波器111通过利用维纳滤波器对解块滤波处理的结果(被去除了块失真的重构图像)执行环路滤波处理来改善图像质量。
环路滤波器111还可对重构图像执行其他适当的滤波处理。另外,如果必要,环路滤波器111可将诸如滤波处理中使用的滤波器系数之类的信息提供给无损编码单元106以对该信息编码。
环路滤波器111将滤波处理的结果(以下称为解码图像)提供给帧存储器112。
帧存储器112存储从算术运算单元110提供来的重构图像和从环路滤波器111提供来的解码图像两者。在预定的时间或根据来自外部例如来自内预测单元114的请求,帧存储器112把存储的重构图像经由选择单元113提供给内预测单元114。在预定的时间或根据来自外部例如来自运动预测/补偿单元115的请求,帧存储器112把存储的解码图像经由选择单元113提供给运动预测/补偿单元115。
选择单元113指示从帧存储器112输出的图像要被提供到的目的地。在内预测的情况下,例如,选择单元113从帧存储器112读取未经历滤波处理的图像(重构图像),并将该图像作为附近像素提供给内预测单元114。
在间预测的情况下,例如,选择单元113从帧存储器112读取经历了滤波处理的图像(解码图像),并将该图像作为参考图像提供给运动预测/补偿单元115。
在从帧存储器112获取了位于当前区域附近的周边区域的图像(附近图像),内预测单元114利用附近图像的像素值执行内预测(画面内预测)以生成预测图像,其中处理的单位基本上是预测单位(Prediction Unit,PU)。内预测单元114以预先准备的多于一种模式(内预测模式)执行内预测。
内预测单元114在所有候选内预测模式中生成预测图像,利用从画面重排列缓冲器102提供的输入图像评估各个预测图像的成本函数值,并选择最优模式。在选择最优内预测模式之后,内预测单元114把在最优内预测模式中生成的预测图像提供给预测图像选择单元116。
内预测单元114还把包括诸如最优内预测模式之类的内预测相关信息的内预测信息提供给无损编码单元106,无损编码单元106随后对该内预测信息编码。
利用从画面重排列缓冲器102提供来的输入图像,以及从帧存储器112提供来的参考图像,运动预测/补偿单元115执行运动预测(间预测),并且根据检测到的运动向量执行运动补偿处理,以生成预测图像(间预测图像信息)。在运动预测中,PU(inter PU,PU间)基本上被用作处理单位。运动预测/补偿单元115以预先准备的多于一种模式(间预测模式)执行这种间预测。
具体而言,运动预测/补偿单元115在所有候选间预测模式中生成预测图像,评估各个预测图像的成本函数值,并且选择最优模式。在选择最优间预测模式之后,运动预测/补偿单元115把在最优内预测模式中生成的预测图像提供给预测图像选择单元116。
运动预测/补偿单元115还把包括诸如最优间预测模式之类的间预测相关信息的间预测信息提供给无损编码单元106,无损编码单元106随后对该间预测信息进行编码。
预测图像选择单元116选择要提供给算术运算单元103和算术运算单元110的预测图像的提供者。例如,在内编码的情况下,预测图像选择单元116选择内预测单元114作为预测图像的提供者,并把从内预测单元114提供来的预测图像提供给算术运算单元103和算术运算单元110。例如,在间编码的情况下,预测图像选择单元116选择运动预测/补偿单元115作为预测图像的提供者,并把从运动预测/补偿单元115提供来的预测图像提供给算术运算单元103和算术运算单元110。
基于累积在累积缓冲器107中的编码数据的比特率,率控制单元117控制量化单元105的量化操作率,以免引起上溢或下溢。
量化参数编码单元121从量化单元105获取量化单元105在量化处理中使用的量化参数,并将该量化参数转换成多于一个参数。具体而言,量化参数编码单元121利用从量化单元105提供来的量化参数生成量化相关参数。例如,量化参数编码单元121生成差分第一量化参数和第二量化参数作为量化相关参数。稍后将描述这些参数。量化参数编码单元121把所生成的量化相关参数提供给无损编码单元106,无损编码单元106随后对量化相关参数进行编码并将编码后的量化相关参数发送给解码方的装置。
[编码单位]
现在描述HEVC编码技术规定的编码单位(CU)。
编码单位(CU)也被称为编码树块(Coding Tree Block,CTB),并且是与AVC中的宏块具有相同角色的以图片为单位的图像的部分区域。也就是说,CU是用于编码处理的单位(编码的单位)。宏块的大小限于16×16像素,而CU的大小不限于一定的大小,而可以由每个序列中的压缩图像信息来指定。
具体地,具有最大大小的CU被称为最大编码单位(LargestCoding Unit,LCU),并且具有最小大小的CU被称为最小编码单位(Smallest Coding Unit,SCU)。也就是说,LCU是编码的最大单位,并且SCU是编码的最小单位。例如,在压缩图像信息中包括的序列参数集合中,指定了这些区域的大小,但这些区域限于由2的幂表示的方形。也就是说,通过对一定层次级别的(方形)CU进行2×2分割即4分割来形成的各个区域是低一层次级别的(方形)CU。
图2示出了HEVC中定义的编码单位的示例。在图2所示的示例中,LCU的大小是128(2N(N=64)),并且最大层次深度是5(深度=4)。当split_flag的值是“1”时,大小为2N×2N的CU被分割成低一个层次级别的大小为N×N的CU。
每个CU进一步被分割成作为内预测或间预测的处理单位区域(以图片为单位的图像的部分区域)的预测单位(PU),或者被分割成作为正交变换的处理单位区域(以图片为单位的图像的部分区域)的变换单位(Transform Unit,TU)。
至于间预测单位(PU),在大小为2N×2N的CU中可设定四个大小,2N×2N、2N×N、N×2N和N×N。具体而言,在CU中,可以定义与CU相同大小的PU、通过对CU进行垂直或水平二分割而形成的两个PU、或者通过对CU进行垂直和水平二分割而形成的四个PU。
图像编码装置100执行编码相关处理,以这种以图片为单位的图像中的部分区域作为处理单位。在下文中,描述图像编码装置100使用HEVC中定义的CU作为编码的单位的情况。也就是说,LCU是编码的最大单位,并且SCU是编码的最小单位。然而,图像编码装置100要执行的各个编码处理中的处理单位不限于这些,而可以任意设定。例如,AVC中定义的宏块和子宏块可用作处理单位。
在以下描述中,“(部分)区域”包括上述区域的全部(或一些)(例如宏块、子宏块、LCU、CU、SCU、PU和TU)。(部分)区域当然可包括除了上述那些以外的其他单位,并且取决于说明的上下文将排除不合适的单位。
[量化参数]
接下来,描述量化。量化单元105执行量化,量化是把通过将系数数据除以量化步长获得的结果舍入到整数的处理。量化单元105可通过此量化来减少系数的值。因此,通过对作为量化的结果的系数(量化值)编码,图像编码装置100可使得比特率低于对量化前的正交变换系数编码的情况中的比特率。
换言之,可依据量化步长的大小来调整比特率。因此,比特流中的率控制可通过控制量化步长的大小来实现。
在逆量化时,要求与量化中使用的量化步长相同大小的量化步长。根据AVC或HEVC,量化参数而不是量化步长被传送到解码方的装置。在量化步长(QS)与量化参数(QP)之间预先定义预定的关系。例如,在AVC的情况下,定义由以下式(1)表述的关系。
[数学公式1]
QS ( QP + 6 ) QS ( QP ) = 2 &CenterDot; &CenterDot; &CenterDot; ( 1 )
图3是在曲线图中示出量化步长(QS)与量化参数(QP)之间的关系的示例的图。如图3中的曲线图中所示,当量化参数增大6时,量化步长加倍。
根据上述关系,依据量化步长的期望范围来预先定义量化步长的值可变化的范围。例如,在AVC的情况下,范围从0至51的值被定义为量化参数值,从而使得量化步长的最大值是最小值的256倍那么大。
如上所述,在编码方的装置中的量化中使用的量化参数(QP)被传送到解码方的装置。例如,在HEVC的情况下,可对每个CU传送量化参数QP。如上所述,CU形成层次结构,并且在LCU中可形成两个或更多个不同大小的CU。图像编码装置100可以仅传送关于一定大小以上的CU的量化参数。
要为其传送量化参数的CU的最小大小例如由max_cu_qp_delta_depth指定,其是图4所示的图片参数集合中的语法元素。
在HEVC的情况下,为了降低比特率,传送当前CU的量化参数与当前CU附近的CU的量化参数之间的差分值(差分量化参数),而不是作为正处理的CU的当前CU的量化参数。
图5是示出变换系数的语法的示例的表格。如图5所示,对于大小等于或大于由上述语法元素max_cu_qp_delta_depth指定的大小的每个CU传送表示当前CU的差分量化参数的参数cu_qp_delta。
这个差分量化参数cu_qp_delta是根据以下式(2)计算的。
If(left_available)
QP=cu_qp_delta+LeftQP
Else
QP=cu_qp_delta+PrevQP
…(2)
这里,LeftQP表示位于当前CU左侧的CU的量化参数,并且PrevQP表示紧挨在当前CU之前处理的CU的量化参数。也就是说,当前CU的量化参数与位于当前CU左侧的CU或紧挨在当前CU之前处理的CU的量化参数之间的差分值被传送。
[量化精度的提高和比特率的增大]
近年来,对于上述量化中的更高精度有着需求。具体而言,希望利用量化参数来更精细地控制量化步长的值。
为了提高量化精度,例如,如以下式(3)所示重定义量化参数与量化步长之间的关系。
[数学公式2]
QS ( QP + 12 ) QS ( QP ) = 2
. . . ( 3 )
在式(3)所示的示例中,当量化参数增大12时,量化步长加倍。
然而,通过此方法,与重定义量化参数与量化步长之间的关系之前相比,量化参数的值可变化的范围相对于相同量化步长的值的范围更宽。
例如,如果像例如AVC的情况中那样使量化步长的最大值是其最小值的256倍那么大,那么量化参数的值可变化的范围将是从0到103。
如果量化参数的值可变化的范围变得更宽,则差分量化参数的值可变化的范围也将变得更宽。如上所述,差分量化参数被编码,然后被传送。因此,如果差分量化参数的值可变化的范围变得更宽,则将有比特率增大的风险。
例如,在AVC的情况下,差分量化参数(deltaQP)可具有范围从-26到26的值。例如,在通过CABAC来执行编码的情况下,差分量化参数首先被变换成无符号数据,然后被二值化。因此,差分量化参数的值可变化的范围是从0到51。鉴于此,利用图6中的A所示的表格来对差分量化参数编码。
另一方面,在量化参数与量化步长具有以上式(3)所示的关系的情况下,差分量化参数的值可变化的范围是从0到103。鉴于此,利用图6中的B所示的表格来对差分量化参数编码。
因此,尤其是当在一画面上改变量化参数时,存在cu_qp_delta的比特率将会增大的风险。
[量化参数变换]
鉴于上述情况,图像编码装置100利用多于一个参数来变换量化参数,以便抑制由量化精度的提高引起的比特率的增大。
例如,量化参数编码单元121把从量化单元105提供来的量化参数QP变换成第一量化参数QP1和第二量化参数QP2,如以下式(4)和(5)所示。
QP1=QP/2…(4)
QP2=QP%2…(5)
在式(4)中,QP/2(或第一量化参数QP1)表示当量化参数QP除以2时获得的商。在式(5)中,QP%2(或第二量化参数QP2)表示当量化参数QP除以2时获得的余数。
量化参数编码单元121对于第一量化参数QP1计算与预测值的差分值(差分第一量化参数),并将差分值提供给无损编码单元106编码。
同时,第二量化参数QP2的值是“0”或“1”,或者是1比特二值数据。因此,量化参数编码单元121将第二量化参数QP2直接提供给无损编码单元106。
无损编码单元106对差分第一量化参数编码,将该编码结果和第二量化参数QP2与编码数据复用,并将编码数据传送到解码方的装置。
例如,如式(3)所示那样重定义如式(1)所示定义的与量化步长QS的关系。如果量化参数QP的值可变化的范围在重定义前是从0到51,则在重定义后量化参数QP的值可变化的范围加宽到0到103的范围,但第一量化参数QP1的值可变化的范围是从0到51。也就是说,差分第一量化参数的比特率与重定义前的差分量化参数的比特率相同。
因此,重定义后的比特率与重定义前的比特率相比只增大了与第二量化参数QP2或者说1比特相当的量。因此,与重定义后的量化参数QP被直接编码的情况中的比特率相比,图像编码装置100可以大幅抑制比特率的增大。
以上式(4)和(5)中的计算(QP/2和QP%2)可通过移位运算来实现。也就是说,图像编码装置100可以容易地将量化参数变换成多于一个参数(并且可抑制由此变换引起的计算负担的增大)。
[量化参数编码单元]
图7是示出图1所示的量化参数编码单元的典型示例结构的框图。如图7所示,量化参数编码单元121包括量化参数缓冲器151、第一量化参数计算单元152、第二量化参数计算单元153、第一量化参数缓冲器154、预测第一量化参数计算单元155和差分第一量化参数计算单元156。
量化参数缓冲器151存储从量化单元105提供来的量化参数QP。这个量化参数QP被用在由量化单元105执行的量化处理中,并且是正处理的当前CU(当前区域)的。在预定的时间或者根据来自外部的请求,量化参数缓冲器151把存储的当前CU的量化参数QP提供给第一量化参数计算单元152和第二量化参数计算单元153。
利用提供来的量化参数QP,例如,第一量化参数计算单元152如以上式(4)所示计算第一量化参数QP1。第一量化参数计算单元152把计算出的第一量化参数QP1提供给第一量化参数缓冲器154和差分第一量化参数计算单元156。
利用提供来的量化参数QP,例如,第二量化参数计算单元153如以上式(5)所示计算第二量化参数QP2。第二量化参数计算单元153把计算出的第二量化参数QP2提供给无损编码单元106,无损编码单元106随后将第二量化参数QP2与编码数据进行复用。
第一量化参数缓冲器154存储提供来的第一量化参数QP1。根据来自预测第一量化参数计算单元155的请求,第一量化参数缓冲器154把存储在其中的第一量化参数提供给预测第一量化参数计算单元155。
预测第一量化参数计算单元155预测当前CU的第一量化参数。利用位于当前CU附近的周边CU的第一量化参数(周边第一量化参数),预测第一量化参数计算单元155预测当前CU的第一量化参数。
首先,预测第一量化参数计算单元155选择周边CU。例如,根据式(2)所示的规则,预测第一量化参数计算单元155选择在当前CU左侧相邻的CU(左CU)作为周边CU,如果该左CU可用的话。例如,在当前CU位于有效像素区域或片的左边缘,并且因此不能参考左CU(不可用或不存在)的情况下,预测第一量化参数计算单元155选择紧挨在当前CU之前处理的CU(前一CU)作为周边CU。
如图8所示的示例中那样,CU可被排列在正处理的当前LCU中。在阴影CU20是当前CU的情况下,左CU是在当前LCU的左侧相邻的LCU的CU41。当CU41可用时,CU41被选择为周边CU。如果CU41不可用(或不存在),则作为前一CU的CU13被选择为周边CU。
预测第一量化参数计算单元155从第一量化参数缓冲器154中读取以上述方式选择的周边CU的第一量化参数(周边第一量化参数)。利用读取的周边第一量化参数,预测第一量化参数计算单元155预测当前CU的第一量化参数。具体而言,预测第一量化参数计算单元155把读取的周边第一量化参数作为当前CU的第一量化参数的预测值(预测第一量化参数)提供给差分第一量化参数计算单元156。
差分第一量化参数计算单元156计算从第一量化参数计算单元152提供来的当前CU的第一量化参数与从预测第一量化参数计算单元155提供来的预测第一量化参数之间的差分值(差分第一量化参数)。
具体而言,根据式(2)所示的规则,当左CU可用时,差分第一量化参数计算单元156计算当前CU与左CU之间的差分第一量化参数。当左CU不可用时,差分第一量化参数计算单元156计算当前CU与前一CU之间的差分第一量化参数。
差分第一量化参数计算单元156把计算出的差分第一量化参数提供给无损编码单元106,无损编码单元106随后对差分第一量化参数编码并将编码后的差分第一量化参数与编码数据相复用。
如上所述,量化参数编码单元121把量化参数变换成多个参数,然后对这些参数编码。因此,可以抑制比特率的增大。也就是说,图像编码装置100可抑制由量化精度的提高引起的编码效率的降低。
[编码处理的流程]
接下来,描述上述图像编码装置100要执行的每个处理的流程。首先参考图9所示的流程图,描述编码处理的示例流程。
在步骤S101中,A/D转换器101对输入图像执行A/D转换。在步骤S102中,画面重排列缓冲器102存储经历了A/D转换的图像,并取代显示顺序按编码顺序重排列各个图片。
在步骤S103中,内预测单元114在内预测模式中执行内预测处理。在步骤S104中,运动预测/补偿单元115在间预测模式中执行间运动预测处理以执行运动预测和运动补偿。
在步骤S105中,预测图像选择单元116基于从内预测单元114和运动预测/补偿单元115输出的各个成本函数值来确定最优预测模式。也就是说,预测图像选择单元116选择由内预测单元114生成的预测图像或由运动预测/补偿单元115生成的预测图像。
在步骤S106中,算术运算单元103计算由S102中的处理重排列的图像与由步骤S105中的处理选择的预测图像之间的差别。差别数据的数据量小于原始图像数据的数据量。因此,可以使数据量小于直接对图像编码的情况。
在步骤S107中,正交变换单元104对由步骤S106中的处理生成的差别信息执行正交变换。具体而言,执行诸如离散余弦变换或卡洛变换之类的正交变换,并且输出变换系数。在步骤S108中,量化单元105对由步骤S107中的处理获得的正交变换系数进行量化。
由步骤S108中的处理量化的差别信息被以如下方式进行本地解码。在步骤S109中,逆量化单元108通过与步骤S108中执行的量化相容的方法对由步骤S108中的处理量化的正交变换系数进行逆量化。在步骤S110中,逆正交变换单元109通过与步骤S107中的处理相容的方法对由步骤S109中的处理获得的正交变换系数执行逆正交变换。
在步骤S111中,算术运算单元110把预测图像与本地解码的差别信息相加,并且生成本地解码图像(与到算术运算单元103的输入相对应的图像)。在步骤S112中,环路滤波器111对由步骤S111中的处理生成的图像执行滤波。结果,去除了块失真等等。
在步骤S113中,帧存储器112存储经历了由步骤S112的处理进行的块失真去除等等的图像。应当注意,没有经历由环路滤波器111进行的滤波处理的图像也被从算术运算单元110提供来,并存储到帧存储器112中。
存储在帧存储器112中的这个图像用在步骤S103中的处理和步骤S104中的处理中。
在步骤S114中,量化参数编码单元121把在步骤S108中的量化处理中使用的量化参数变换成多个参数。
在步骤S115中,无损编码单元106对由步骤S108中的处理量化的变换系数进行编码,并生成编码数据。也就是说,对差分图像(在间预测的情况下是二阶差分图像)执行诸如可变长度编码或算术编码之类的无损编码。
无损编码单元106还对关于由步骤S105中的处理选择的预测图像的预测模式的信息进行编码,并且将编码后的信息添加到通过对差分图像编码获得的编码数据。例如,当选择内预测模式时,无损编码单元106对内预测模式信息编码。例如,当选择间预测模式时,无损编码单元106对间预测模式信息编码。该信息作为头部信息等被添加到编码数据(或与编码数据复用)。
无损编码单元106还根据需要对在步骤S114中生成的量化相关参数进行编码,并且把编码后的量化相关参数添加到编码数据(或者将编码后的量化相关参数与编码数据相复用)。
在步骤S116中,累积缓冲器107累积由步骤S115中的处理生成的编码数据。累积在累积缓冲器107中的编码数据在必要时被读出,并经由期望的传送路径(不仅包括通信信道,而且包括存储介质等)被传送到解码方的装置。
在步骤S117中,基于由步骤S116中的处理累积在累积缓冲器107中的压缩图像,率控制单元117控制量化单元105的量化操作率,以免引起上溢或下溢。
当步骤S117中的处理完成时,编码处理结束。
[量化参数编码处理的流程]
现在参考图10中的流程图,描述在图9中的步骤S114中要执行的量化参数编码处理的流程的示例。
当量化参数编码处理开始时,量化参数缓冲器151在步骤S151中获取并存储量化处理中使用的量化参数。
在步骤S152中,第一量化参数计算单元152例如利用式(4)根据在步骤S151中获取的量化参数来计算第一量化参数。
在步骤S153中,第二量化参数计算单元153例如利用式(5)根据在步骤S151中获取的量化参数来计算第二量化参数。
在步骤S154中,预测第一量化参数计算单元155例如根据式(2)所示的规则来选择周边CU,并且利用周边CU的第一量化参数来计算预测第一量化参数。
在步骤S155中,差分第一量化参数计算单元156利用在步骤S152中计算出的第一量化参数和在步骤S154中计算出的预测第一量化参数来计算差分第一量化参数。
在步骤S156中,差分第一量化参数计算单元156把在步骤S155中计算出的差分第一量化参数提供给无损编码单元106,无损编码单元106随后传送差分第一量化参数。
在步骤S157中,第一量化参数缓冲器154存储在步骤S152中计算出的第一量化参数。
在步骤S158中,第二量化参数计算单元153把由步骤S153中的处理计算出的第二量化参数提供给无损编码单元106,无损编码单元106随后传送第二量化参数。
当步骤S158中的处理完成时,第二量化参数计算单元153结束量化参数编码处理,并且处理返回图9。
通过执行如上所述的各个处理,图像编码装置100可抑制由量化精度的提高引起的编码效率的降低。
<2.第二实施例>
[图像解码装置]
图11是示出图像解码装置的典型示例结构的框图,该图像解码装置是应用了本技术的图像处理装置。图11所示的图像解码装置200与上述图像编码装置100相容,并且通过对由对图像数据编码的图像编码装置100生成的比特流(编码数据)正确地解码来生成解码图像。
如图11所示,图像解码装置200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、算术运算单元205、环路滤波器206、画面重排列缓冲器207和D/A转换器208。图像解码装置200还包括帧存储器209、选择单元210、内预测单元211、运动预测/补偿单元212和选择单元213。
图像解码装置200还包括量化参数解码单元221。
累积缓冲器201累积传送给它的编码数据,并在预定的时间将编码数据提供给无损解码单元202。无损解码单元202通过与图1所示的无损编码单元106使用的编码方法相容的方法对从累积缓冲器201提供来的由无损编码单元106编码的信息进行解码。无损解码单元202把作为解码结果获得的差分图像的量化系数数据提供给逆量化单元203。
无损解码单元202还参考通过对编码数据解码获得的关于最优预测模式的信息,并判定是内预测模式被选择为最优预测模式还是间预测模式被选择为最优预测模式。也就是说,无损解码单元202判定用于所传送的编码数据的预测模式是内预测模式还是该预测模式是间预测模式。
基于判定的结果,无损解码单元202把关于预测模式的信息提供给内预测单元211或运动预测/补偿单元212。例如,在内预测模式在图像编码装置100中被选择为最优预测模式的情况下,无损解码单元202把从编码方提供来的与所选内预测模式有关的内预测信息提供给内预测单元211。例如,在间预测模式在图像编码装置100中被选择为最优预测模式的情况下,无损解码单元202把从编码方提供来的与所选间预测模式有关的间预测信息提供给运动预测/补偿单元212。
无损解码单元202还提取添加到编码数据(与编码数据复用)的量化相关参数(例如差分第一量化参数和第二量化参数),并将量化相关参数提供给量化参数解码单元221。
逆量化单元203通过与图1所示的量化单元105使用的量化方法相容的方法(与逆量化单元108使用的相同的方法)对通过无损解码单元202的解码获得的量化系数数据进行逆量化。在此期间,逆量化单元203利用从量化参数解码单元221提供来的量化参数执行逆量化。逆量化单元203把经逆量化的系数数据提供给逆正交变换单元204。
逆正交变换单元204通过与图1所示的正交变换单元104使用的正交变换方法相容的方法对从逆量化单元203提供来的系数数据执行逆正交变换。通过此逆正交变换处理,逆正交变换单元204获得与图像编码装置100中的尚未经历正交变换的差分图像相对应的差分图像。
通过逆正交变换获得的差分图像被提供给算术运算单元205。预测图像也被从内预测单元211或运动预测/补偿单元212经由选择单元213提供给算术运算单元205。
算术运算单元205把差分图像与预测图像相加,并且获得重构图像,该重构图像对应于图像编码装置100的算术运算单元103尚未从中减去预测图像的图像。算术运算单元205把重构图像提供给环路滤波器206。
环路滤波器206通过对提供来的重构图像适当地执行包括解块滤波处理和自适应环路滤波处理在内的环路滤波处理来生成解码图像。例如,环路滤波器206对重构图像执行解块滤波处理,以去除块失真。另外,例如,环路滤波器206通过利用维纳滤波器对解块滤波处理的结果(被去除了块失真的重构图像)执行环路滤波处理来改善图像质量。
环路滤波器206可执行任何种类的滤波处理,并且可执行除上述那些以外的其他滤波处理。环路滤波器206还可利用从图1所示的图像编码装置100提供来的滤波系数来执行滤波处理。
环路滤波器206把作为滤波处理的结果的解码图像提供给画面重排列缓冲器207和帧存储器209。可跳过由环路滤波器206进行的滤波处理。也就是说,算术运算单元205的输出可不经历任何滤波处理,而是直接被存储到帧存储器209中。内预测单元211使用此图像中包括的像素的像素值作为附近像素的像素值。
画面重排列缓冲器207对提供来的解码图像执行重排列。具体而言,由图1所示的画面重排列缓冲器102按编码顺序重排列的帧序列被重排列成原始显示顺序。D/A转换器208对从画面重排列缓冲器207提供来的解码图像执行D/A转换,并将解码图像输出到显示器(未示出)以显示该图像。
帧存储器209存储提供来的重构图像和提供来的解码图像。在预定的时间或根据来自外部例如来自内预测单元211或运动预测/补偿单元212的请求,帧存储器209把存储的重构图像或存储的解码图像经由选择单元210提供给内预测单元211或运动预测/补偿单元212。
内预测单元211执行与图1所示的内预测单元114执行的那些基本相同的处理。然而,内预测单元211仅对在编码时通过内预测生成了预测图像的区域执行内预测。
运动预测/补偿单元212基于从无损解码单元202提供来的间预测信息执行间预测(包括运动预测和运动补偿),并生成预测图像。基于从无损解码单元202提供来的间预测信息,运动预测/补偿单元212仅对在编码时执行了间预测的区域执行间预测。
对于每个预测处理单位区域,内预测单元211或运动预测/补偿单元212将生成的预测图像经由选择单元213提供给算术运算单元205。
选择单元213把从内预测单元211提供来的预测图像或从运动预测/补偿单元212提供来的预测图像提供给算术运算单元205。
量化参数解码单元221获取从无损解码单元202提供来的量化相关参数。量化相关参数被添加到比特流并从编码方的装置提供来,并且是通过对在编码时执行的量化处理中使用的量化参数进行变换来生成的。利用量化相关参数,量化参数解码单元221重构量化处理中使用的量化参数。
例如,作为编码方装置的图像编码装置100将量化参数QP变换成了第一量化参数QP1和第二量化参数QP2,如上述式(4)和(5)中所示。图像编码装置100随后将添加了从第一量化参数QP1生成的差分第一量化参数和第二量化参数QP2的编码数据的比特流传送到图像解码装置200。
无损解码单元202从比特流中提取经编码的差分第一量化参数和第二量化参数QP2。无损解码单元202对差分第一量化参数解码,并将解码的结果和第二量化参数提供给量化参数解码单元221。
量化参数解码单元221根据差分第一量化参数计算第一量化参数QP1,并如以下式(6)所示利用第一量化参数QP1和第二量化参数QP2重构量化参数QP。
QP=2×QP1+QP2…(6)
这样,量化参数解码单元221可正确地重构量化处理中使用的量化参数。量化参数解码单元221将重构的量化参数提供给逆量化单元203。
结果,逆量化单元203可通过与量化单元105执行的量化处理相容的方法执行逆量化。因此,图像解码装置200可抑制编码效率的降低。
以上式(6)中的计算(2×QP1)可通过移位运算来实现。从而,图像解码装置200可容易地重构量化参数(并可抑制由此重构引起的计算负担的增大)。
[量化参数解码单元]
图12是示出量化参数解码单元221的典型示例结构的框图。如图12所示,量化参数解码单元221包括差分第一量化参数缓冲器251、第二量化参数缓冲器252、第一量化参数缓冲器253、预测第一量化参数计算单元254、第一量化参数重构单元255和量化参数重构单元256。
差分第一量化参数缓冲器251获取并存储从无损解码单元202提供来的差分第一量化参数。在预定的时间或根据来自另一处理器的请求,差分第一量化参数缓冲器251把存储的差分第一量化参数提供给第一量化参数重构单元255。
第二量化参数缓冲器252获取并存储从无损解码单元202提供来的第二量化参数QP2。在预定的时间或根据来自另一处理器的请求,第二量化参数缓冲器252把存储的第二量化参数QP2提供给第一量化参数重构单元255。
第一量化参数缓冲器253获取并存储从第一量化参数重构单元255提供来的第一量化参数QP1。在另一CU的处理中,在预定的时间或根据来自另一处理器的请求,第一量化参数缓冲器253把存储的第一量化参数QP1作为周边CU的第一量化参数(周边第一量化参数)提供给预测第一量化参数计算单元254。
预测第一量化参数计算单元254识别作为周边CU的CU,从第一量化参数缓冲器253获取周边CU的第一量化参数,并将获取的第一量化参数作为预测第一量化参数提供给第一量化参数重构单元255。
如以上在第一实施例中所述,差分第一量化参数是当前CU的第一量化参数与周边CU的第一量化参数之间的差分值。如式(2)所示,左CU或前一CU被选择为周边CU。
鉴于此,预测第一量化参数计算单元254判定左CU是否可用,如式(2)所示。当左CU可用时,预测第一量化参数计算单元254将左CU设定为周边CU,并且从第一量化参数缓冲器253读取左CU的第一量化参数QP1作为周边第一量化参数。
当左CU不可用时,预测第一量化参数计算单元254将前一CU设定为周边CU,并从第二量化参数缓冲器253读取前一CU的第一量化参数QP1作为周边第一量化参数。
预测第一量化参数计算单元254把以上述方式获取的周边第一量化参数作为当前CU的第一量化参数的预测值(预测第一量化参数)提供给第一量化参数重构单元255。
第一量化参数重构单元255从差分第一量化参数缓冲器251获取当前CU的差分第一量化参数,并且还从预测第一量化参数计算单元254获取当前CU的预测第一量化参数。利用这些参数,第一量化参数重构单元255通过根据式(2)的方法重构第一量化参数QP1。具体而言,第一量化参数重构单元255通过把预测第一量化参数与差分第一量化参数相加来重构第一量化参数QP1。第一量化参数重构单元255把重构的第一量化参数QP1提供给量化参数重构单元256。
量化参数重构单元256从第一量化参数重构单元255获取当前CU的第一量化参数QP1,并且还从第二量化参数缓冲器252获取当前CU的第二量化参数QP2。利用这些参数,量化参数重构单元256重构当前CU的量化参数QP,如上述式(6)中所示。量化参数重构单元256把重构的当前CU的量化参数QP提供给逆量化单元203。
利用量化参数QP,逆量化单元203对当前CU的系数数据进行逆量化。
如上所述,量化参数解码单元221从量化相关参数构造量化参数,然后执行逆量化,从而可以抑制要传送的参数的比特率的增大。因此,图像解码装置200可以抑制由量化精度的提高引起的编码效率的降低。
[解码处理的流程]
接下来,描述上述图像解码装置200执行的每个处理的流程。首先参考图13所示的流程图,描述解码处理的示例流程。
当解码操作开始时,累积缓冲器201在步骤S201中累积传送来的编码数据。在步骤S202中,无损解码单元202对从累积缓冲器201提供来的编码数据进行解码。具体而言,由图1所示的无损编码单元106编码的I图片、P图片和B图片被解码。
此时,运动向量信息、参考帧信息、预测模式信息(内预测模式或间预测模式)和关于量化相关参数的信息也被解码。
在步骤S203中,量化参数解码单元221利用量化相关参数来重构量化参数。
在步骤S204中,利用由步骤S203中的处理重构的量化参数,逆量化单元203对由步骤S202中的处理获得的量化正交变换系数进行逆量化。
在步骤S205中,逆正交变换单元204通过与图1所示的正交变换单元104使用的方法相容的方法,对通过由逆量化单元203执行的逆量化获得的正交变换系数执行逆正交变换。结果,与到图1所示的正交变换单元104的输入(或从算术运算单元103的输出)相对应的差别信息被解码。
在步骤S206中,内预测单元211或运动预测/补偿单元212根据从无损解码单元202提供来的预测模式信息执行图像预测处理。具体而言,在从无损解码单元202提供来的内预测模式信息的情况下,内预测单元211在内预测模式中执行内预测处理。在从无损解码单元202提供来的间预测模式信息的情况下,运动预测/补偿单元212利用由步骤S203中的处理获得的关于单位大小的各种信息来执行间预测处理(包括运动预测和运动补偿)。
在步骤S207中,算术运算单元205把通过步骤S206中的处理获得的预测图像与通过步骤S204中处理获得的差别信息相加。这样,解码了原始图像数据。
在步骤S208中,环路滤波器206酌情对通过步骤S207中的处理获得的重构图像执行包括解块滤波处理和自适应环路滤波处理在内的环路滤波处理。
在步骤S209中,画面重排列缓冲器207重排列解码图像数据的帧。具体而言,在解码图像数据中,被图像编码装置100(图1)的画面重排列缓冲器102为了编码而重排列的帧的顺序被重排列为原始显示顺序。
在步骤S210中,D/A转换器208对具有由画面重排列缓冲器207重排列的帧的解码图像数据执行D/A转换。解码图像数据被输出到显示器(未示出),并且图像被显示。
在步骤S211中,帧存储器209存储经历了通过步骤S208中的处理进行的滤波的解码图像。
[量化参数解码处理的流程]
现在参考图14所示的流程图,描述在图13的步骤S203中要执行的量化参数解码处理的示例流程。
当量化参数解码处理开始时,差分第一量化参数缓冲器251在步骤S251中获取并存储在步骤S202中解码的差分第一量化参数。
在步骤S252中,第二量化参数缓冲器252获取并存储在步骤S202中解码的第二量化参数。
在步骤S253中,预测第一量化参数计算单元254基于当前CU的位置等为当前CU识别周边CU,并且利用周边CU的第一量化参数来计算当前CU的预测第一量化参数。
在步骤S254中,第一量化参数重构单元255利用在步骤S251中获取的当前CU的差分第一量化参数和在步骤S253中计算出的预测第一量化参数来重构第一量化参数。重构的第一量化参数随后被提供并存储到第一量化参数缓冲器中。
在步骤S255中,量化参数重构单元256利用在步骤S252中获取的当前CU的第二量化参数和在步骤S254中重构的当前CU的第一量化参数来重构当前CU的量化参数。
在重构量化参数之后,量化参数重构单元256结束量化参数解码处理,并且处理返回到图13。
通过执行如上所述的各个处理,图像解码装置200可以抑制由量化精度的提高引起的编码效率的降低。
在上述实施例中,量化参数被变换成两个参数。然而,量化参数可被变换成任何参数,只要可以使比特率比重定义后的量化参数被直接编码的情况中的更低即可。也就是说,变换后的参数可以是除上述那些以外的其他参数,并且变换后的参数的数目可以是三个或更多个。
另外,周边CU的候选者不限于左CU和前一CU。除了当前CU以外的任何CU都可用作周边CU。然而,为了减少第一量化参数预测误差,周边CU优选为与其他CU相比位置更靠近当前CU的CU。候选CU的数目也可任意设定。另外,从候选者中选择一个CU的方法可以是任何适当的方法,而不限于上述示例。另外,预测第一量化参数可以不是如上所述的周边CU的第一量化参数,而可以是利用一个或多个CU的(一个或多个)第一量化参数通过预定的算术运算来计算出的。
<3.第三实施例>
[计算机]
上述一系列处理可以由硬件执行或者可以由软件执行。在此情况下,例如,这些处理可由如图15所示的计算机实现。
在图15中,计算机800的CPU(中央处理单元)801根据存储在ROM(只读存储器)802中的程序或从存储单元813加载到RAM(随机访问存储器)803中的程序来执行各种处理。RAM803根据需要还存储CPU801执行各种处理等所必要的数据。
CPU801、ROM802和RAM803经由总线804相互连接。输入/输出接口810也连接到总线804。
以下组件也连接到输入/输出接口810:由键盘、鼠标、触摸面板、输入终端等形成的输入单元811;由包括诸如CRT(阴极射线管)、LCD(液晶显示器)或OELD(有机电致发光显示器)之类的显示器和扬声器在内的输出装置或输出终端形成的输出单元812;由诸如硬盘或闪存之类的存储介质和控制存储介质的输入和输出的控制单元等形成的存储单元813;以及由诸如调制解调器、LAN接口、USB(通用串行总线)或蓝牙(注册商标名称)之类的有线或无线通信装置形成的通信单元814。例如,通信单元814经由包括因特网在内的网络与其他通信装置执行通信。
如果必要,驱动器815也连接到输入/输出接口810。诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质821被酌情安放在驱动器815上。例如,在CPU801的控制下,驱动器815从安放在其上的可移除介质821中读取计算机程序、数据等等。读取的数据和读取的计算机程序例如被提供给RAM803。从可移除介质821读取的计算机程序根据需要被安装到存储单元813中。
当由软件来执行上述一系列处理时,构成软件的程序是从网络或记录介质安装的。
如图15所示,记录介质的示例包括与装置分开发行来用于交付程序给用户的可移除介质821,例如磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘–只读存储器)或DVD(数字多功能盘))、磁光盘(包括MD(袖珍盘))和半导体存储器,其上记录有程序,或者,记录介质的示例包括其中记录有程序的ROM802和存储单元813中包括的硬盘,它们在交付给用户之前被预先包含到装置中。
计算机执行的程序可以是用于根据本说明书中描述的序列按时间先后顺序执行处理的程序,或者可以是用于并行执行处理或者在必要时——例如当存在调用时——执行处理的程序。
在本说明书中,描述记录在记录介质中的程序的步骤除了包括根据本文描述的序列按时间先后顺序执行的处理以外,如果不一定要按时间先后顺序执行则还包括并行执行或彼此独立执行的处理。
在本说明书中,“***”指的是由两个或更多个设备(装置)形成的整个装置。
另外,在上述示例中,描述为一个装置(或一个处理单元)的任何结构可被分割成两个或更多个装置(或处理单元)。相反,描述为两个或更多个装置(或处理单元)的任何结构可被组合以形成一个装置(或一个处理单元)。另外,当然可以向任何装置(或任何处理单元)的结构添加除上述那些以外的结构。此外,只要整个***的结构和功能保持相同,装置(或处理单元)的一部分结构就可被结合到另一装置(或另一处理单元)中。也就是说,本技术的实施例不限于上述实施例,在不脱离本技术的范围的情况下可对其进行各种修改。
根据上述实施例的图像编码装置100(图1)和图像解码装置200(图11)可应用到各种电子装置,包括:卫星广播、诸如有线电视之类的有线广播,经由因特网的输送、通过蜂窝通信输送到终端等等的发送机和接收机;在诸如光盘、磁盘或闪存之类的介质上记录图像的记录装置;或者从这些存储介质再现图像的再现装置。下面将描述四个应用例。
<4.第四实施例>
[电视装置]
图16示意性示出应用了上述实施例的电视装置的示例结构。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户界面911和总线912。
调谐器902从经由天线901接收的广播信号中提取期望频道的信号,并对提取的信号进行解调。调谐器902把通过解调获得的编码比特流输出给解复用器903。也就是说,调谐器902充当电视装置900中的传送单元,其接收编码图像的编码流。
解复用器903从编码比特流中分离出要观看的节目的视频流和音频流,并将各个分离出的流输出到解码器904。解复用器903还从编码比特流中提取诸如EPG(电子节目指南)之类的辅助数据,并将提取的数据提供给控制单元910。在编码比特流被加扰的情况下,解复用器903可执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904随后把通过解码生成的视频数据输出到视频信号处理单元905。解码器904还把通过解码生成的音频数据输出到音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据,并使得显示单元906显示视频图像。另外,视频信号处理单元905可以使得显示单元906显示经由网络提供的应用画面。另外,视频信号处理单元905可根据设定对视频数据执行诸如去噪之类的附加处理。此外,视频信号处理单元905可生成诸如菜单和按钮或光标之类的GUI(图形用户界面)的图像,并将所生成的图像重叠在输出图像上。
显示单元906被从视频信号处理单元905提供来的驱动信号所驱动,并在显示装置(例如,液晶显示器、等离子显示器、OELD(有机电致发光显示器))的视频画面上显示视频图像或图像。
音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大之类的再现处理,并从扬声器908输出声音。另外,音频信号处理单元907可对音频数据执行诸如去噪之类的附加处理。
外部接口909是用于将电视装置900连接到外部装置或网络的接口。例如,经由外部接口909接收的视频流或音频流可被解码器904解码。也就是说,外部接口909也充当电视装置900中的传送单元,其接收编码图像的编码流。
控制单元910包括诸如CPU之类的处理器,以及诸如RAM或ROM之类的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据,等等。存储在存储器中的程序例如在电视装置900激活时被CPU读取,然后被执行。通过执行程序,CPU例如根据从用户界面911输入的操作信号来控制电视装置900的操作。
用户界面911连接到控制单元910。用户界面911例如包括供用户操作电视装置900的按钮和开关,以及遥控信号的接收单元。用户界面911通过经由这些组件检测用户的操作来生成操作信号,并将所生成的操作信号输出到控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。
在具有上述结构的电视装置900中,解码器904具有根据上述实施例的图像解码装置200(图11)的功能。因此,解码器904可以正确地对已被变换成多个参数并编码的量化参数进行解码和重构,并且可以利用该量化参数来执行逆量化处理。从而,电视装置900可以抑制由量化精度的提高引起的编码效率的降低。
<5.第五实施例>
[便携式电话设备]
图17示意性示出应用了上述实施例的便携式电话设备的示例结构。便携式电话设备920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931相互连接。
便携式电话设备920在包括音频通信模式、数据通信模式、成像模式和视频电话模式在内的各种操作模式中执行诸如音频信号的发送与接收、电子邮件或图像数据的发送与接收、成像操作和数据记录之类的操作。
在音频通信模式中,由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据,并对转换后的音频数据执行压缩和A/D转换。音频编解码器923把压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制,以生成发送信号。通信单元922把生成的发送信号经由天线921发送到基站(未示出)。通信单元922还对经由天线921接收的无线电信号执行放大和频率转换,并获得接收信号。通信单元922通过对接收信号进行解调和解码来生成音频数据,并将生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据执行解压缩和D/A转换,以生成模拟音频信号。音频编解码器923随后把生成的音频信号提供给扬声器924以输出声音。
在数据通信模式中,控制单元931根据用户经由操作单元932的操作生成构成电子邮件的文本数据。控制单元931使得显示单元930显示文本。控制单元931还根据经由操作单元932来自用户的发送指令生成电子邮件数据,并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制,以生成发送信号。通信单元922把生成的发送信号经由天线921发送到基站(未示出)。通信单元922还对经由天线921接收的无线电信号执行放大和频率转换,并获得接收信号。通信单元922随后通过对接收信号进行解调和解码来恢复电子邮件数据,并将恢复的电子邮件数据输出到控制单元931。控制单元931使得显示单元930显示电子邮件的内容,并将电子邮件数据存储到记录/再现单元929中的存储介质中。
记录/再现单元929包括可读/可改写存储介质。例如,存储介质可以是诸如RAM或闪存之类的内部存储介质,或者可以是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡之类的外部安放型的存储介质。
在成像模式中,相机单元926通过拍摄被摄体的图像来生成图像数据,并将生成的图像数据输出到图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码,并将编码流存储到记录/再现单元929中的存储介质中。
在视频电话模式中,复用/分离单元928复用经图像处理单元927编码的视频流和从音频编解码器923输入的音频流,并将复用的流输出到通信单元922。通信单元922对该流进行编码和调制,以生成发送信号。通信单元922把生成的发送信号经由天线921发送到基站(未示出)。通信单元922还对经由天线921接收的无线电信号执行放大和频率转换,并获得接收信号。发送信号和接收信号可包括编码比特流。通信单元922通过对接收信号进行解调和解码来恢复流,并将恢复的流输出到复用/分离单元928。复用/分离单元928从输入流中分离出视频流和音频流,并且将视频流输出到图像处理单元927,并将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码,以生成视频数据。视频数据被提供给显示单元930,并且一系列图像被显示单元930显示。音频编解码器923对音频流执行解压缩和D/A转换,以生成模拟音频信号。音频编解码器923随后把生成的音频信号输出到扬声器924以输出声音。
在具有上述结构的便携式电话设备920中,图像处理单元927具有根据上述实施例的图像编码装置100(图1)的功能和图像解码装置200(图11)的功能。因此,对于要在便携式电话设备920中编码和解码的图像,图像处理单元927可以把量化中使用的量化参数变换成多个参数,对这些参数编码,通过对这些参数解码来正确地重构量化参数,并且利用量化参数来执行逆量化处理。从而,便携式电话设备920可抑制由量化精度的提高引起的编码效率的降低。
虽然以上描述了便携式电话设备920,但应用了本技术的图像编码装置和图像解码装置也可以与便携式电话设备920的情况相同的方式用在任何设备中,只要该设备具有与便携式电话920相同的图像拍摄功能和相同的通信功能即可。这种设备例如可以是PDA(个人数字助理)、智能电话、UMPC(超级移动个人计算机)、上网本或者笔记本个人计算机。
<6.第六实施例>
[记录/再现装置]
图18示意性示出应用了上述实施例的记录/再现装置的示例结构。记录/再现装置940例如对接收到的广播节目的音频数据和视频数据进行编码,并将音频数据和视频数据记录在记录介质上。记录/再现装置940例如可对从另一装置获取的音频数据和视频数据进行编码,并将音频数据和视频数据记录在记录介质上。记录/再现装置940还例如根据来自用户的指令通过监视器和扬声器对记录介质上记录的数据进行再现。在此期间,记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏上显示)948、控制单元949和用户界面950。
调谐器941从经由天线(未示出)接收的广播信号中提取期望频道的信号,并对提取的信号进行解调。调谐器941把通过解调获得的编码比特流输出到选择器946。也就是说,调谐器941充当记录/再现装置940中的传送单元。
外部接口942是用于将记录/再现装置940连接到外部装置或网络的接口。外部接口942例如可以是IEEE1394接口、网络接口、USB接口、或闪存接口。例如,经由外部接口942接收的视频数据和音频数据被输入到编码器943。也就是说,外部接口942充当记录/再现装置940中的传送单元。
在从外部接口942输入的视频数据和音频数据未被编码的情况下,编码器943对视频数据和音频数据进行编码。编码器943随后把编码比特流输出到选择器946。
HDD944在内部硬盘上记录由诸如视频图像和声音之类的压缩图像数据形成的编码比特流、各种程序和其他数据。在再现视频图像和声音时,HDD944从硬盘读取这些数据。
盘驱动器945在安放于其上的记录介质上记录数据并从该记录介质中读取数据。安放在盘驱动器945上的记录介质例如可以是DVD盘(例如,DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、或DVD+RW)、或者蓝光(注册商标名称)盘。
在记录视频图像和声音时,选择器946选择从调谐器941或编码器943输入的编码比特流,并将所选择的编码比特流输出到HDD944或盘驱动器945。在再现视频图像和声音时,选择器946把从HDD944或盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码,并生成视频数据和音频数据。解码器947把生成的视频数据输出到OSD948。解码器904还把生成的音频数据输出到外部扬声器。
OSD948再现从解码器947输入的视频数据,并显示视频图像。OSD948还可将诸如菜单和按钮或光标之类的GUI的图像重叠在视频图像上来显示。
控制单元949包括诸如CPU之类的处理器,和诸如RAM或ROM之类的存储器。存储器存储由CPU执行的程序、程序数据,等等。存储在存储器中的程序例如在激活记录/再现装置940时被CPU读取,然后被执行。通过执行程序,CPU例如根据从用户界面950输入的操作信号来控制记录/再现装置940的操作。
用户界面950连接到控制单元949。用户界面950例如包括供用户操作记录/再现装置940的按钮和开关,以及遥控信号的接收单元。用户界面950通过经由这些组件检测用户的操作来生成操作信号,并将所生成的操作信号输出到控制单元949。
在具有上述结构的记录/再现装置940中,编码器943具有根据上述实施例的图像编码装置100(图1)的功能。另外,解码器947具有根据上述实施例的图像解码装置200(图11)的功能。因此,对于要在记录/再现装置940中编码和解码的图像,编码器943和解码器947可以把量化中使用的量化参数变换成多个参数,对这些参数编码,通过对这些参数解码来正确地重构量化参数,并且利用量化参数来执行逆量化处理。从而,记录/再现装置940可抑制由量化精度的提高引起的编码效率的降低。
<7.第七实施例>
[成像装置]
图19示意性示出应用了上述实施例的成像装置的示例结构。成像装置960通过对被摄体成像来生成图像,对图像数据编码,并将图像数据记录在记录介质上。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户界面971和总线972。
光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户界面971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970相互连接。
光学块961包括聚焦透镜和光圈。光学块961在成像单元962的成像面上形成被摄体的光学图像。成像单元962包括诸如CCD或CMOS之类的图像传感器,并且通过光电转换把在成像面上形成的光学图像转换成作为电信号的图像信号。成像单元962把图像信号输出到信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理,例如拐点校正、伽马校正和颜色校正。信号处理单元963把经历了相机信号处理的图像数据输出到图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码,并生成编码数据。图像处理单元964把生成的编码数据输出到外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码,并生成图像数据。图像处理单元964把生成的图像数据输出到显示单元965。或者,图像处理单元964可以把从信号处理单元963输入的图像数据输出到显示单元965以显示图像。图像处理单元964还可把从OSD969获取的显示数据重叠在要输出到显示单元965的图像上。
OSD969例如生成诸如菜单和按钮或光标之类的GUI的图像,并将生成的图像输出到图像处理单元964。
外部接口966例如由USB输入/输出端子形成。例如,在打印图像时,外部接口966将成像装置960连接到打印机。如果必要,一驱动器也连接到外部接口966。诸如磁盘或光盘之类的可移除介质被安放在驱动器上,以使得从可移除介质读取的程序可被安装到成像装置960中。另外,外部接口966可被设计为连接到诸如LAN或因特网之类的网络的网络接口。也就是说,外部接口966充当成像装置960中的传送单元。
安放在介质驱动器968上的记录介质例如可以是诸如磁盘、磁光盘、光盘或半导体存储器之类的可读/可改写可移除介质。另外,记录介质可被固定到介质驱动器968,以形成诸如内部硬盘驱动器或SSD(固态驱动器)之类的非便携存储单元。
控制单元970包括诸如CPU之类的处理器,和诸如RAM或ROM之类的存储器。存储器存储由CPU执行的程序、程序数据,等等。存储在存储器中的程序例如在成像装置960激活时被CPU读取,然后被执行。通过执行程序,CPU例如根据从用户界面971输入的操作信号来控制成像装置960的操作。
用户界面971连接到控制单元970。用户界面971例如包括供用户操作成像装置960的按钮和开关。用户界面971通过经由这些组件检测用户的操作来生成操作信号,并将所生成的操作信号输出到控制单元970。
在具有上述结构的成像装置960中,图像处理单元964具有根据上述实施例的图像编码装置100(图1)的功能和图像解码装置200(图11)的功能。因此,对于要在成像装置960中编码和解码的图像,图像处理单元964可以把量化中使用的量化参数变换成多个参数,对这些参数编码,通过对这些参数解码来正确地重构量化参数,并且利用量化参数来执行逆量化处理。从而,成像装置960可抑制由量化精度的提高引起的编码效率的降低。
当然可以把根据本技术的图像编码装置和图像解码装置用在除了上述装置以外的任何其他装置和***中。
在本说明书中描述的示例中,量化参数是从编码方传送到解码方的。在传送量化矩阵参数时,量化矩阵参数可不与编码比特流复用,而是可作为与编码比特流相关联的独立数据来传送或记录。这里,术语“关联”指的是在解码时把比特流中包括的图像(或者图像的一部分,例如片或块)链接到与该图像相对应的信息。换言之,信息可通过与图像(或比特流)不同的传送路径来传送。另外,信息可记录在与图像(或比特流)不同的记录介质上(或同一记录介质中的不同记录区域中)。另外,每条信息可与图像(或比特流)的多个帧、一个帧或者一个帧的一部分相关联。
虽然已参考附图详细描述了本公开的优选实施例,但本公开的技术范围并不限于这些示例。很明显,本领域普通技术人员可以在这里要求保护的技术精神的范围内进行各种改变或修改,并且应当理解,这些改变或修改在本公开的技术范围内。
本技术也可采取以下形式。
(1)一种图像处理装置,包括:
变换单元,其把在图像数据的量化中使用的量化参数变换成多个参数;以及
传送单元,其传送由所述变换单元变换所述量化参数生成的所述多个参数。
(2)根据(1)所述的图像处理装置,其中,所述变换单元把所述量化参数变换成第一量化参数和第二量化参数。
(3)根据(2)所述的图像处理装置,其中,所述变换单元把通过将所述量化参数除以2获得的商设定为所述第一量化参数,并且把余数设定为所述第二量化参数。
(4)根据(3)所述的图像处理装置,其中,所述变换单元通过移位运算实现所述量化参数的除法。
(5)根据(2)至(4)的任何一项所述的图像处理装置,其中,所述变换单元还计算差分第一量化参数,该差分第一量化参数是正处理的当前区域的第一量化参数与作为该当前区域的第一量化参数的预测值的预测第一量化参数之间的差分值。
(6)根据(5)所述的图像处理装置,其中,所述变换单元利用所述当前区域的周边区域的第一量化参数来计算所述预测第一量化参数。
(7)根据(6)所述的图像处理装置,其中,
当在所述当前区域左侧相邻的区域可用时,所述变换单元把在所述当前区域左侧相邻的区域设定为所述周边区域,并且
当在所述当前区域左侧相邻的区域不可用时,所述变换单元把紧挨所述当前区域之前处理的区域设定为所述周边区域。
(8)根据(5)至(7)的任何一项所述的图像处理装置,其中,所述传送单元对所述差分第一量化参数进行编码,并传送经编码的差分第一量化参数和所述第二量化参数。
(9)根据(1)至(8)的任何一项所述的图像处理装置,还包括
量化单元,其对所述图像数据进行量化,
其中,所述变换单元把在由所述量化单元执行的所述图像数据的量化中使用的量化参数变换成多个参数。
(10)根据(1)至(9)的任何一项所述的图像处理装置,还包括
编码单元,其对经量化的图像数据进行编码,
其中,所述传送单元把所述多个参数添加到由所述编码单元生成的所述图像数据的编码数据,并传送添加到所述编码数据的所述多个参数。
(11)一种在图像处理装置中实现的图像处理方法,
所述图像处理方法包括:
把在图像数据的量化中使用的量化参数变换成多个参数,所述变换由变换单元执行;以及
传送通过变换所述量化参数生成的所述多个参数,所述传送由传送单元执行。
(12)一种图像处理装置,包括:
获取单元,其获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数;以及
重构单元,其利用由所述获取单元获取的所述多个参数来重构所述量化参数。
(13)根据(12)所述的图像处理装置,其中
所述获取单元获取差分第一量化参数和第二量化参数,所述差分第一量化参数是通过对正处理的当前区域的量化参数进行变换而生成的第一量化参数与作为该第一量化参数的预测值的预测第一量化参数之间的差分值,所述第二量化参数是通过对所述当前区域的量化参数进行变换而生成的,并且
所述重构单元利用由所述获取单元获取的所述当前区域的差分第一量化参数来重构所述当前区域的第一量化参数,并且还利用重构的所述当前区域的第一量化参数和所述当前区域的第二量化参数来重构所述当前区域的量化参数。
(14)根据(13)所述的图像处理装置,其中,所述重构单元利用所述当前区域的周边区域的第一量化参数来计算所述预测第一量化参数,并且通过把计算出的预测第一量化参数与所述当前区域的差分第一量化参数相加来重构所述当前区域的第一量化参数。
(15)根据(13)或(14)所述的图像处理装置,其中,所述第一量化参数是通过将所述量化参数除以2获得的商,并且所述第二量化参数是通过将所述量化参数除以2获得的余数。
(16)根据(15)所述的图像处理装置,其中,所述重构单元通过把所述第一量化参数乘以2并加上所述第二量化参数来重构所述当前区域的第一量化参数。
(17)根据(16)所述的图像处理装置,其中,所述重构单元通过移位运算来实现量化参数的乘法。
(18)根据(13)至(17)的任何一项所述的图像处理装置,其中,所述获取单元通过对经编码的差分第一量化参数解码来获取所述差分第一量化参数。
(19)根据(12)至(18)的任何一项所述的图像处理装置,还包括:
逆量化单元,其利用由所述重构单元重构的量化参数来对量化的图像数据进行逆量化。
(20)一种在图像处理装置中实现的图像处理方法,
所述图像处理方法包括:
获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数,所述获取是由获取单元执行的;以及
利用所获取的多个参数来重构所述量化参数,所述重构是由重构单元执行的。
附图标记列表
100  图像编码装置
121  量化参数编码单元
151  量化参数缓冲器
152  第一量化参数计算单元
153  第二量化参数计算单元
154  第一量化参数缓冲器
155  预测第一量化参数计算单元
156  差分第一量化参数计算单元
200  图像解码装置
221  量化参数解码单元
251  差分第一量化参数缓冲器
252  第二量化参数缓冲器
253  第一量化参数缓冲器
254  预测第一量化参数计算单元
255  第一量化参数重构单元
256  量化参数重构单元

Claims (20)

1.一种图像处理装置,包括:
变换单元,被配置为把在图像数据的量化中使用的量化参数变换成多个参数;以及
传送单元,被配置为传送由所述变换单元变换所述量化参数而生成的所述多个参数。
2.根据权利要求1所述的图像处理装置,其中,所述变换单元把所述量化参数变换成第一量化参数和第二量化参数。
3.根据权利要求2所述的图像处理装置,其中,所述变换单元把通过将所述量化参数除以2而获得的商设定为所述第一量化参数,并且把通过该除法获得的余数设定为所述第二量化参数。
4.根据权利要求3所述的图像处理装置,其中,所述变换单元通过移位运算实现对所述量化参数的除法。
5.根据权利要求2所述的图像处理装置,其中,所述变换单元还计算差分第一量化参数,该差分第一量化参数是正被处理的当前区域的第一量化参数与作为该当前区域的第一量化参数的预测值的预测第一量化参数之间的差分值。
6.根据权利要求5所述的图像处理装置,其中,所述变换单元利用所述当前区域的周边区域的第一量化参数来计算所述预测第一量化参数。
7.根据权利要求6所述的图像处理装置,其中,
当能够利用在所述当前区域左侧相邻的区域时,所述变换单元把在所述当前区域左侧相邻的区域设定为所述周边区域,并且
当不能利用在所述当前区域左侧相邻的区域时,所述变换单元把紧挨在所述当前区域之前处理的区域设定为所述周边区域。
8.根据权利要求5所述的图像处理装置,其中,所述传送单元对所述差分第一量化参数进行编码,并传送经编码的差分第一量化参数和所述第二量化参数。
9.根据权利要求1所述的图像处理装置,还包括
量化单元,被配置为对所述图像数据进行量化,
其中,所述变换单元把在由所述量化单元执行的所述图像数据的量化中使用的量化参数变换成多个参数。
10.根据权利要求1所述的图像处理装置,还包括
编码单元,被配置为对经量化的图像数据进行编码,
其中,所述传送单元把所述多个参数添加到由所述编码单元生成的所述图像数据的编码数据,并传送添加到所述编码数据的所述多个参数。
11.一种在图像处理装置中实现的图像处理方法,
所述图像处理方法包括:
把在图像数据的量化中使用的量化参数变换成多个参数,所述变换由变换单元执行;以及
传送通过变换所述量化参数而生成的所述多个参数,所述传送由传送单元执行。
12.一种图像处理装置,包括:
获取单元,被配置为获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数;以及
重构单元,被配置为利用由所述获取单元获取的所述多个参数来重构所述量化参数。
13.根据权利要求12所述的图像处理装置,其中
所述获取单元获取差分第一量化参数和第二量化参数,所述差分第一量化参数是通过对正被处理的当前区域的量化参数进行变换而生成的第一量化参数与作为该第一量化参数的预测值的预测第一量化参数之间的差分值,所述第二量化参数是通过对所述当前区域的量化参数进行变换而生成的,并且
所述重构单元利用由所述获取单元获取的所述当前区域的差分第一量化参数来重构所述当前区域的第一量化参数,并且还利用重构的所述当前区域的第一量化参数和所述当前区域的第二量化参数来重构所述当前区域的量化参数。
14.根据权利要求13所述的图像处理装置,其中,所述重构单元利用所述当前区域的周边区域的第一量化参数来计算所述预测第一量化参数,并且通过把计算出的预测第一量化参数与所述当前区域的差分第一量化参数相加来重构所述当前区域的第一量化参数。
15.根据权利要求13所述的图像处理装置,其中,所述第一量化参数是通过将所述量化参数除以2而获得的商,并且所述第二量化参数是通过将所述量化参数除以2而获得的余数。
16.根据权利要求15所述的图像处理装置,其中,所述重构单元通过把所述第一量化参数乘以2并加上所述第二量化参数来重构所述当前区域的第一量化参数。
17.根据权利要求16所述的图像处理装置,其中,所述重构单元通过移位运算来实现对量化参数的乘法。
18.根据权利要求13所述的图像处理装置,其中,所述获取单元通过对经编码的差分第一量化参数解码来获取所述差分第一量化参数。
19.根据权利要求12所述的图像处理装置,还包括:
逆量化单元,被配置为利用由所述重构单元重构的量化参数来对量化的图像数据进行逆量化。
20.一种在图像处理装置中实现的图像处理方法,
所述图像处理方法包括:
获取通过对在图像数据的量化中使用的量化参数进行变换而生成的多个参数,所述获取是由获取单元执行的;以及
利用所获取的多个参数来重构所述量化参数,所述重构是由重构单元执行的。
CN201280052513.6A 2011-11-02 2012-10-25 图像处理装置和方法 Pending CN103891287A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-241692 2011-11-02
JP2011241692A JP2013098874A (ja) 2011-11-02 2011-11-02 画像処理装置および方法
PCT/JP2012/077578 WO2013065567A1 (ja) 2011-11-02 2012-10-25 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN103891287A true CN103891287A (zh) 2014-06-25

Family

ID=48191916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280052513.6A Pending CN103891287A (zh) 2011-11-02 2012-10-25 图像处理装置和方法

Country Status (4)

Country Link
US (1) US20140193089A1 (zh)
JP (1) JP2013098874A (zh)
CN (1) CN103891287A (zh)
WO (1) WO2013065567A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173312A (ja) * 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
JP6417815B2 (ja) * 2014-09-19 2018-11-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7180255B2 (ja) * 2018-10-01 2022-11-30 カシオ計算機株式会社 ゴロムパラメータを算出する算出装置、その算出装置を備えるゴロム符号化装置、そのゴロム符号化装置を備える電子機器、ゴロムパラメータの算出方法、及び、ゴロムパラメータを算出する算出装置のプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131789A (ja) * 1993-10-29 1995-05-19 Sanyo Electric Co Ltd 画像符号化方式
JP4560694B2 (ja) * 2000-04-05 2010-10-13 ソニー株式会社 符号化装置及びその方法

Also Published As

Publication number Publication date
US20140193089A1 (en) 2014-07-10
WO2013065567A1 (ja) 2013-05-10
JP2013098874A (ja) 2013-05-20

Similar Documents

Publication Publication Date Title
TWI703858B (zh) 圖像處理裝置、圖像處理方法、電腦程式及記錄媒體
CN103220512A (zh) 图像处理器和图像处理方法
CN102577390A (zh) 图像处理设备和方法
CN103546746A (zh) 图像解码装置、图像解码方法、电视接收机和便携式电话
CN101990099A (zh) 图像处理设备和方法
CN102934430A (zh) 图像处理装置和方法
CN102396228A (zh) 图像处理设备和方法
CN102812708A (zh) 图像处理设备和方法
RU2663359C1 (ru) Устройство и способ обработки изображений
CN102939759A (zh) 图像处理设备和方法
CN102972026A (zh) 图像处理装置和图像处理方法
CN104054346A (zh) 图像处理装置和方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102714718A (zh) 图像处理装置、方法和程序
CN103597833A (zh) 图像处理装置以及方法
CN102939757A (zh) 图像处理装置和方法
CN103548355A (zh) 图像处理装置及方法
CN103907353A (zh) 图像处理设备和方法
CN103444173A (zh) 图像处理设备和方法
CN102884791A (zh) 图像处理设备和方法
CN102301718A (zh) 图像处理设备、图像处理方法和程序
CN103535041A (zh) 图像处理装置和方法
CN104205847A (zh) 图像处理装置和图像处理方法
CN103636211A (zh) 图像处理设备以及图像处理方法
CN102696227A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140625