CN101578880A - 视频解码方法以及视频编码方法 - Google Patents

视频解码方法以及视频编码方法 Download PDF

Info

Publication number
CN101578880A
CN101578880A CNA2008800013748A CN200880001374A CN101578880A CN 101578880 A CN101578880 A CN 101578880A CN A2008800013748 A CNA2008800013748 A CN A2008800013748A CN 200880001374 A CN200880001374 A CN 200880001374A CN 101578880 A CN101578880 A CN 101578880A
Authority
CN
China
Prior art keywords
image
predicated error
weight coefficient
decoded
decoded picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008800013748A
Other languages
English (en)
Inventor
F·尼克
T·韦丁
A·雷蒙德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101578880A publication Critical patent/CN101578880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于抑制在将图像增强技术适用于编码并解码后的图片的情况下导致的编码失真的发生。视频解码装置(200)，对编码流进行解码，该编码流是通过对作为原图像和预测图像的差分的预测误差进行编码而生成的，视频解码装置(200)，包括：熵解码部(231)，对编码流中包含的预测误差进行解码；加法器(224)，对所解码的预测误差和预先生成了的解码图像进行加法运算，从而生成解码图像；图像处理部(260)，对所生成的解码图像执行用于提高画质的处理，从而生成处理图像；以及遮罩构成部(240)，根据所解码的预测误差，按规定的每个区域决定加权系数；在图像处理部(260)，根据所决定的加权系数，对所生成的解码图像和所处理的处理图像进行加权加法运算，从而生成输出图像。

Description

视频解码方法以及视频编码方法
技术领域
本发明涉及基于预测的视频解码方法、视频编码方法以及与各个方法相对应的装置，尤其涉及为了提高主观画质而对解码图像执行后处理的方法以及对应的装置。
背景技术
H.264AVC标准等的最先进的视频编码技术，通过允许因量化而引起的信息的失去，从而压缩图像或视频数据。这些技术被最佳化，以便尽可能使编码图片接近原图像，且对视听人掩盖编码失真(编码噪音(codingartifacts))。
但是，将图片压缩为低比特率的目的和掩盖编码失真的目的是显然相反的。一个重要之处是，在较多的情况下，即使难以看到失真，也留下失去了锐度(sharpness)的影响。因此，为了实质保护原图像的锐度，而应该花费大量的比特。由于较多的应用程序对能够利用的比特率的限制很严格，因此，为了多少也复原锐度的印象，适用非锐度遮罩(unsharp mask)、或局部性的对比的增强等的后处理技术，而不将比特用于保护锐度。
但是，在用于锐化的这些后处理技术中存在的共同问题是，有可能编码失真也同样被放大。
图11是示出以往的视频编码装置500的结构的一个例子的方框图。在该图示出的视频编码装置500中，根据H.264/AVC标准，输入图像被分割为多个宏块。视频编码装置500，使用只发送差分(以下，也记载为预测误差)的差分脉冲编码调制(DPCM：Differential Pulse Code Modulation)方法，该差分是从输入图像的块、和预先编码以及解码后的块计算的差分。
图11的视频编码装置500包括差分器321，该差分器321决定视频序列中包含的输入图像的对象块(输入信号)、和预测块(预测信号)的差分，该预测块(预测信号)与基于存储器326所存储的预先编码以及解码后的块的对象块相对应。差分器321，接受编码的对象块，并从接受的对象块减去预测块，从而计算差分(预测误差)。
变换/量化部332，将差分器321所计算的预测误差，从空间区域变换为频率区域。进而，变换/量化部332，对通过变换得到的变换系数进行量化。
熵编码部331，对变换/量化部332所变换以及量化的量化系数进行熵编码。
局部解码图像，由安装在视频编码装置500的解码部(反量化/反变换部523、加法器324以及解块滤波器525)提供。该解码部，按照相反的顺序执行编码步骤。也就是，反量化/反变换部523，对量化系数进行反量化，为了复原预测误差而将反变换适用于反量化系数。加法器324，为了形成局部解码图像，而对预测误差和预测信号进行加法运算，从而生成局部解码图像。进而，解块滤波器525，降低局部解码图像中的块失真(块效应(blocking artifacts))。
视频编码装置500所使用的预测的类型，取决于以“帧内(intra)”模式以及“帧间(inter)”模式中的哪一方来对宏块进行编码。在“帧内”模式中，作为视频编码标准的H.264/AVC标准，为了预测下一个宏块，而使用基于在同一图像内已经编码以及解码的宏块的预测方式。在“帧间”模式中，使用在连续的几个图片的对应的块间进行了运动补偿的预测。
只是帧内编码图像(I型图像)，不参考预先编码以及解码后的任何图像而被解码。I型图像，持有对编码视频序列的抗错性(误差的恢复力)。进而，为了在编码视频序列中包含的图像中访问I型图像，而规定向编码数据的比特流的入口点。帧内模式(即，帧内预测部327的处理)、和帧间模式(即，运动补偿预测部328的处理)的切换，由帧内/帧间切换开关330控制。
在“帧间”模式中，通过使用运动补偿，从而根据上个图片的对应的块预测宏块。由运动检测部329实现运动检测，该运动检测部329接受对象输入信号和局部解码图像。通过运动检测生成二维运动矢量，该二维运动矢量示出对象块和上个图片的对应的块之间的像素位置的差距(运动)。根据检测出的运动，运动补偿预测部328提供预测信号。
“帧内”以及“帧间”编码模式都是，对象信号和预测信号之间的差分，由变换/量化部332变换为变换系数。通常，使用二维离散余弦变换(DCT：Discrete Cosine Transformation)等的正交变换或其整数版本。
为了减少应该编码的数据量，变换/量化部332对变换系数进行量化。用于量化的量化步骤由量化表控制，该量化表确定精度、和用于编码各个频率系数的比特数。通常，对于画质，低频率成分比细微的内容更重要，因此，低频率成分的编码与高频率成分相比需要更多的比特。
量化后，变换系数的二维排列，为了通到熵编码部331，而被变换为一维的列。以预先规定的序列来扫描排列，从而进行该变换。如此得到的量化变换系数的一维序列，被压缩为由称为运行级别(runlevel)的数字的组构成的列。而且，运行级别序列被编码为可变长度的二值的代码字(VLC：Variable Length Code)。该代码被最佳化，以使更短的代码字被分配到在典型的视频中经常出现的运行级别的组。根据该结果产生的比特流，与运动信息被多路复用，被保存到记录介质、或被传输到视频解码装置侧。
视频解码装置，为了根据从视频编码装置侧传输来的比特流，重构编码图像，而按照相反的顺序适用编码过程。
图12是以往的视频解码装置600的结构框图。该同示出的视频解码装置600包括视频解码部620和图像增强部660。
在图12的视频解码装置600中，首先，熵解码部231，对熵编码后的量化系数和运动数据进行熵解码。为了反变换而需要该步骤，因此，该步骤中还包含用于将解码后的量化系数变换为二维的数据块的反扫描。而且，量化系数的解码块被提供到反量化/反变换部623，解码后的运动数据被传输到运动补偿预测部228。
反量化以及反变换的结果中包含预测误差，加法器224，对预测信号、和预测误差进行加法运算，在“帧间”模式中由运动补偿预测部228生成该预测信号，在“帧内”模式中由帧内预测部227生成该预测信号。因此，重构后的图像被通过解块滤波器225，解块滤波器225所处理的解码图像(解码信号)被存储到存储器226，该存储器226用于帧内预测部227或运动补偿预测部228。最后，图像增强部660，为了提高主观画质，而将图像后处理适用于解码信号。
特别是，在低比特率且高压缩率中存在以下的倾向，即，解码图像的画质因高频成分的失去和其它的编码失真而导致劣化。因此，如上所述，以往的视频解码装置600的目的是，通过对解码图像适用各种各样的后处理技术，从而改善(主观)画质。
在这些技术中，有作为基本技术的图像增强滤波处理，该图像增强滤波，通过选择并放大解码图像的高频成分，从而试图改善解码图像的“锐度”。非锐度遮罩是这些技术的一个例子。具体而言，产生以下的错觉，即，从所述图像中减去“非锐度”的图像的复制、即低通滤波处理后的图像的复制而生成的图像，比原图像尖锐
用于提高主观画质的、更高度的技术有，基于将要重构的图像成分的统计特性的技术。从原图像或预先规定的参考图像中抽出统计特性。该想法是，将受到因编码而引起的失去的影响最强的解码图像内的细部，置换为根据统计特性发生的合成纹理。因此，虽然所生成的图像不是忠实地重构原图像的图像，但也可以提供非常改善后的主观画质。
以下，说明利用以往的统计特性来提高解码图像的画质的方法。
图13是示出使用以往的附加的统计参数的图像和视频编码方法、以及图像和视频解码方法的流程图。
将输入图像分离为第一以及第二子带成分(例如，高频成分和低频成分)(S301)。而且，解析高频成分，计算代表性的纹理参数(S302)。进而，对计算的纹理参数进行编码。另一方面，通过根据以往的预测的视频编码方法，对低频成分进行编码(S304)。而且，以往的图像和视频编码装置执行以上的处理(S301～S304)。
如上所述，高频成分和低频成分都被编码，即，输入图像整体被编码。编码并生成后的编码图像数据，也可以被记录到记录介质，或可以通过通信路被发送。
在对编码图像数据进行解码时，通过根据以往的预测的视频解码方法，对低频成分进行解码(S305)。另一方面，纹理参数被解码(S306)，根据解码后的纹理参数合成纹理，发生高频成分(S307)。最后，根据低频成分以及高频成分构成输出图像(S308)。而且，以往的图像和视频解码装置执行以上的处理(S305～S308)。
明确的是，统计图像特性的抽出、和根据通过抽出得到的统计参数的合成纹理的生成是，基于附加的统计参数的所有的图像增强技术的决定性的要素。基本上，也可以使用以往周知的任何纹理解析以及合成方法。例如，可以使用图14的流程图所示的、基于复数小波变换的接合统计量的参数的纹理模型等。
图14是示出以往的纹理解析以及合成方法的流程图。
首先，通过将输入信号归纳地分解为一系列的定向子带和低通剩余带，从而构成可动型金字塔(S401)。而且，利用该分解来计算周边统计描述符、自相关以及互相关等的统计纹理参数。特别是，在金字塔的各个阶层，计算方差、歪斜度以及峭度等的周边统计描述符、以及图像的像素的最小值和最大值，以便包含描述图像整体的周边统计的参数(S402)。进而，在金字塔的各个阶层计算低通图像的自相关(S403)。而且，在金字塔的同一阶层以及各个阶层间，计算相邻的位置、方向以及尺度等的系数的互相关(S404)。
根据如上所计算的纹理参数，能够生成看起来一模一样的、任意的量的纹理。具体而言，生成白噪声图像(S405)，根据输入图像的分解(S401)，通过可动型金字塔的方法，将所生成的白噪声图像分解为定向子带(S406)。白噪声图像的各个子带进一步被调整，以便满足所计算的纹理参数所描述的统计限制(S407)。最后，金字塔被分解为合成后的纹理图像(S408)，图像数据的周边统计被调整(S409)，以便以图像整体来符合由计算处理(S402)得到的统计参数。
而且，也可以反复进行从金字塔的构造(S406)到统计特性的调整(S409)的处理。也就是，所生成的纹理，以预先规定的反复次数被使用、或直到所生成的纹理足够稳定为止被使用，以作为用于分解以及调整处理的初始值，而取代白噪声图像。
以下，说明利用统计特性的其它的图像增强方法。
图15是示出使用以往的统计参数的图像增强装置700的结构的方框图。例如，在原图像I和低通图像Il被给予的情况下，通过调整几个图像统计，并重构失去了的频率成分，从而能够提高低通图像Il的画质。为了实现此内容，在第一步骤解析原图像I和差分图像Id＝I-Il的高阶统计和自相关。在第二步骤，利用解析结果重构低通图像Il内的失去了的频率成分。
在图15中，输入图像Il相当于原图像I的低通滤波处理后(或者，编码后)的图像，并被输入到第一图像处理部720，该第一图像处理部720适用用于使输入图像的空间统计特性与参考图像Id的空间统计特性一致的滤波处理。并且，第一图像处理部720输入第一参考图像。第一参考图像相当于原图像和低通滤波处理后的图像的差分Id＝I-Il。在此情况下，基本上，滤波处理相当于精密设计了的高通滤波处理。
如此滤波处理后的图像被输入到第二图像处理部730，该第二图像处理部730使高阶统计特性与第一参考图像Id的高阶统计特性一致。第二图像处理部730的输出，由加法器740与输入图像Il加在一起，为了使高阶统计特性与原图像等的第二参考图像I的高阶统计特性一致，而被输入到第三图像处理部750。
由第一图像处理部720、第二图像处理部730以及第三图像处理部750的统计特性的调整不能相互独立地执行，因此，为了进一步改进结果，可以反复执行。因此，第三图像处理部750的输出，被减去输入图像，为了将所述的处理步骤适用于如此计算的差分图像，而被返回到差分器710。已经知道，通过大致反复七次，从而能够得到最佳结果。而且，在初次(第0次)的反复中，还未获得第三图像处理部750的输出，因此，例如，也可以差分器710由开关(图中未示出)跳过，将输入图像直接输入到第一图像处理部720。或是，例如，也可以最佳输入图像(图中未示出)，由其他的以往的锐化算法，被输入到差分器710，而取代第三图像处理部750的还不能利用的输出。
优选的是，第一图像处理部720，为了将图像的自相关函数(的一部分)调整为为了第一参考图像而计算的自相关函数，而执行自相关滤波处理。为了实现此目的，第一图像处理部720，根据形成空间统计特性的一部分的输入图像的自相关函数的值、和第一参考图像的自相关函数的值，决定滤波系数。也可以使用用于决定滤波处理的以往的技术的周知的任何方法，例如，可以使用非专利文献1所述的方法。
在图像的锐化的情况下，尤其是0近旁的自相关函数的值有关联。因此，第一图像处理部720，根据输入图像和第一参考图像的自相关函数的N×N的0近旁的值，决定N×N抽头滤波器的滤波系数。可以同样使用其它的任何抽头数，但已经知道，若N＝7，则能够得到最佳结果。具有如此决定的滤波系数的滤波器，被适用于输入图像，生成第一图像处理部720的输出。
第二图像处理部730以及第三图像处理部750被应用，以便调整各个输入信号的高阶统计特性。高阶统计特性包含像素值的平均、方差、歪斜度以及峭度等的周边统计描述符。例如，也可以将平均和方差视为分别用于将图像的明度和对比平均化的手段。通过调整包含第四矩(Moment)的周边分布，即，通过调整平均、方差、歪斜度以及峭度的全部，从而能够得到最佳结果。统计特性只包含所述的特性、周边分布的偶数高阶矩、像素的空间性的相关等的其他的统计特性、图像的不同的子带间的相关等的子集。
第二图像处理部730以及第三图像处理部750，决定将各个像素值映射到目标的像素值的变换，以便满足理想的周边统计限制。例如，从各个像素值减去输入信号的平均，对此结果以目标标准偏差(即，方差的平方根)和输入信号的标准偏差的比例来进行比例缩放，并加上目标平均，从而能够使平均和方差一致。同样，通过将(六次)多项式适用于像素值，从而能够调整歪斜度和峭度。也可以使用像包含梯度投影算法或非专利文献1中公开的方法那样的、决定用于这些变换的系数的技术的周知的任何方法。
如上所述、在以往的技术中，通过将利用统计参数等的图像增强处理适用于解码图像，从而能够提高解码图像的画质。
非特许文献1：J.Portilla and E.P.Simoncelli，A parametrictexture model based on joint statistics of complex wavelet coefficients，Int.J.Comput.Vis.，vol.40，2000
然而，在将所述以往的图像增强技术适用于解码图像的情况下，存在的问题是，有可能导致编码失真放大、且画质劣化。
一般而言，所述以往的图像增强技术是增强图像的锐度的技术。这些技术具有的影响是，有可能使图片的非自然性明显。特别是，在非可逆的编码方式中，有产生该问题的倾向。所述以往的图像增强技术，在被适用于根据非可逆的编码方式编码后的压缩图像的情况下，导致块失真等的编码失真放大、或非自然性明显。
发明内容
于是，本发明的目的在于提供一种视频解码方法以及视频编码方法，能够生成抑制了编码失真的发生的图像，该编码失真是因将图像增强技术适用于编码并解码后的图像而导致的。
为了解决所述问题，本发明的视频解码方法，对编码流进行解码，该编码流是通过对作为原图像和预测图像的差分的预测误差进行编码而生成的，所述视频解码方法，包括：解码步骤，对所述编码流中包含的预测误差进行解码；加法步骤，对在所述解码步骤所解码的预测误差和预先生成了的解码图像进行加法运算，从而生成解码图像；图像增强步骤，对在所述加法步骤所生成的解码图像执行用于提高画质的处理，从而生成处理图像；加权系数决定步骤，根据在所述解码步骤所解码的预测误差，按规定的每个区域决定加权系数；以及加权加法步骤，根据在所述加权系数决定步骤所决定的加权系数，对所述解码图像和所述处理图像进行加权加法运算，从而生成输出图像。
据此，能够按块或像素等的规定的每个区域确定，增强适用了图像增强处理的处理图像，还是增强未处理的解码图像。并且，按规定的每个区域决定加权系数，根据决定的加权系数对处理图像和解码图像进行加权加法运算，因此，针对处理图像，不变更按每个区域变更图像增强处理的强度，也以整体来适用一定的强度的图像增强处理即可，就不需要进行复杂的处理。
并且，也可以是，在所述加权系数决定步骤决定所述加权系数，以便对所述解码步骤所解码的预测误差的绝对值小的区域的所述处理图像施加与所述解码步骤所解码的预测误差的绝对值大的区域相比更强的权重。
据此，一般而言预测误差大的区域是预测的可靠度低且容易发生编码失真的区域，因此，在预测误差大的区域，能够对处理图像施加更弱的权重，也能够抑制编码失真的发生。进而，一般而言预测误差小的区域是预测的可靠度高且不容易发生编码失真的区域，因此，在预测误差小的区域，能够对处理图像施加更强的权重，也能够提高画质。
并且，也可以是，所述加权系数决定步骤，包括：遮罩值计算步骤，将所述预测误差的绝对值映射到0以上1以下的值的范围，从而按所述规定的每个区域计算遮罩值；以及加权系数计算步骤，将在所述遮罩值计算步骤所计算的遮罩值决定为所述解码图像的加权系数，将从1减去所述遮罩值的值决定为所述处理图像的加权系数。
据此，能够将预测误差的绝对值的大小关系反映到加权系数，也能够决定更适当的加权系数。
并且，也可以是，在所述遮罩值计算步骤，进一步，根据所述预测误差的标准偏差，将所述预测误差的绝对值映射到0以上1以下的值的范围。
并且，也可以是，在所述遮罩值计算步骤，进一步，将形态处理适用于所映射的所述预测误差的绝对值，从而按所述规定的每个区域计算遮罩值。
并且，也可以是，在所述遮罩值计算步骤，进一步，将所计算的遮罩值的平均值调整为规定的目标值。
据此，能够计算更适当的遮罩值以及加权系数。
并且，也可以是，所述编码流，还包含示出所述原图像的统计特性的参数数据，在所述图像增强步骤，根据所述参数数据，对在所述加法步骤所生成的解码图像进行处理，从而生成所述处理图像。
据此，由于利用原图像的统计特性，因此，能够适当地复原因编码而失去了的成分，也能够提高画质。
并且，也可以是，在所述图像增强步骤，按照利用所述参数数据的纹理生成算法，对所述解码图像进行处理，从而生成所述处理图像。
并且，也可以是，在所述图像增强步骤，将锐化滤波处理适用于所述解码图像。
并且，也可以是，在所述图像增强步骤，将高通滤波处理或低通滤波处理适用于所述解码图像。
据此，能够提解码图像的高画质。
并且，也可以是，在所述加权系数决定步骤，按每个像素决定所述加权系数。
据此，能够以非常高的精度来确定容易发生编码失真的区域，因此，能够更抑制编码失真的发生，并且，能够生成画质更佳的图像。
并且，本发明的视频编码方法，对作为原图像和预测图像的差分的预测误差进行编码，并且，计算所述原图像的统计参数，所述视频编码方法，包括：预测误差计算步骤，计算所述预测误差；加权系数决定步骤，根据在所述预测误差计算步骤所计算的预测误差，按规定的每个区域决定加权系数；以及参数计算步骤，解析所述原图像的统计特性，利用所述加权系数，按所述规定的每个区域对所述统计特性进行加权，从而计算统计参数。
据此，由于根据预测误差施加通过解析得到的统计特性的权重，因此，通过利用所得到的统计参数来将后处理适用于解码图像，从而能够生成画质更佳的图像。
并且，也可以是，在加权系数决定步骤决定所述加权系数，以便对所述预测误差计算步骤所计算的预测误差的绝对值大的区域施加与所述预测误差计算步骤所计算的预测误差的绝对值小的区域相比更强的权重。
据此，由于在预测误差大的区域预测的可靠度低，因此，在解析统计特性时，能够抑制预测误差大的区域的影响。因此，通过利用所得到的统计参数来将后处理适用于解码图像，从而能够生成画质更佳的图像。
并且，也可以是，所述加权系数决定步骤，包括：遮罩值计算步骤，将所述预测误差的绝对值映射到0以上1以下的值的范围，从而按所述规定的每个区域计算遮罩值。
据此，能够将预测误差的绝对值的大小关系反映到加权系数，也能够决定更适当的加权系数。
而且，本发明，除了可以以视频解码方法以及视频编码方法来实现以外，还可以以将视频解码方法以及视频编码方法中包含的步骤作为处理部的装置来实现。
并且，也可以以使计算机执行本发明的视频解码方法以及视频编码方法中包含的步骤的程序来实现。进而，也可以以记录有该程序的、计算机可读的CD-ROM(Compact Disc-Read Only Memory)等的记录介质、以及示出该程序的信息、数据或信号来实现。而且，也可以通过互联网等的通信网络来分发这些程序、信息、数据以及信号。
并且，也可以构成所述视频解码装置以及视频编码装置的构成要素的一部分或全部由一个***LSI(Large Scale Integration：大规模集成电路)构成。***LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，由微处理器、ROM以及RAM(Random Access Memory)等构成的计算机***。
根据本发明，能够生成抑制了编码失真的发生的图像，该编码失真是因将图像增强技术适用于编码并解码后的图片而导致的。
附图说明
图1是示出利用实施例1中的遮罩控制后的图像增强技术的编解码***的结构的一个例子的方框图。
图2是示出实施例1的视频解码装置的结构的一个例子的方框图。
图3是示出实施例1的遮罩构成部的结构的一个例子的方框图。
图4是示出实施例1的图像处理部的详细结构的一个例子的方框图。
图5是实施例1的图像增强处理的模式图。
图6是示出实施例1的视频解码装置的处理的流程图。
图7是示出利用实施例2中的遮罩控制后的图像增强技术的编解码***的结构的一个例子的方框图。
图8是示出实施例2的视频编码装置的结构的一个例子的方框图。
图9是示出实施例2的视频解码装置的结构的一个例子的方框图。
图10是示出实施例2的视频编码装置的处理的流程图。
图11是示出以往的视频编码装置的结构的方框图。
图12是示出以往的视频解码装置的结构的方框图。
图13是示出使用以往的附加的统计参数的图像和视频编码方法、以及图像和视频解码方法的流程图。
图14是示出以往的纹理解析以及合成方法的流程图。
图15是示出使用以往的统计参数的图像增强装置的结构的方框图。
符号说明
100、300、500视频编码装置
120、320视频编码部
200、400、600视频解码装置
220、620视频解码部
223、323、523、623反量化/反变换部
224、324、740加法器
225、325、525解块滤波器
226、326存储器
227、327帧内预测部
228、328运动补偿预测部
230、330帧内/帧间切换开关
231熵解码部
240、340遮罩构成部
241映射处理部
242反处理部
243形态运算部
244平均值调整部
260、460图像处理部
261、660图像增强部
262加权加法部
321、710差分器
322变换/量化部
329运动检测部
331熵编码部
360图像解析部
700统计性图像增强装置
720第一图像处理部
730第二图像处理部
750第三图像处理部
具体实施方式
本发明的视频编码方法或视频解码方法的目的在于，减少编码失真(编码噪音)的放大，该编码失真是因将以往的图像增强技术适用于编码并解码后的图片而导致的。
为了实现该目的，本发明的视频解码装置，为了构成遮罩，利用从视频编码装置发送的编码视频序列的(量化后的)预测误差。遮罩，示出有可能产生编码失真的图像区域，并用于控制图像增强处理。更具体而言，本发明的视频解码装置，为了将图像增强处理的大部分确实地适用于有可能不产生编码失真的图像区域，而使用遮罩。
一般而言，例如，有可能产生编码失真的编码图像的区域是以下的区域，即，由于运动大、或出现了以前隐蔽了的背景的详细，因此预测失败了的区域。因此，在这些有可能产生编码失真的区域，预测误差变大。
在非可逆编码的情况下，在视频解码装置侧不利用预测误差本身。只是量化后的预测误差被发送到解码装置，以作为残差。但是，在残差的值大时，即使量化后的残差，也示出预测不正确。一般认为，如上所述，预测不正确的区域对编码失真的出现的影响大。
如上所述，在存在有可能产生特定的编码失真的区域的情况下，为了控制图像增强技术的适用，而构成遮罩，以便示出这些区域。据此，能够限制在有可能产生编码失真的区域适用图像增强技术，防止编码失真的放大。
(实施例1)
图1是示出利用本实施例中的遮罩控制后的图像增强技术的编解码***的结构的一个例子的方框图。该图示出的编解码***包括视频编码装置100和视频解码装置200。
视频编码装置100包括视频编码部120，对视频序列进行编码。
视频编码部120，接收包含原图像的视频序列，将视频编码方法适用于接收了的视频序列，生成比特流(编码流)，该比特流(编码流)示出对视频序列进行编码的、编码后的视频序列。视频编码部120，将生成的比特流发送到视频解码装置200。而且，视频编码方法，也可以是包括MPEG-2以及H.264/AVC的、基于以往的预测的任何编码方法。
例如，视频编码部120，由与图11示出的视频编码装置500相同的构成要素构成。视频编码部120，从视频序列中包含的输入图像，以宏块等块为单位，根据“帧内”模式或“帧间”模式，计算预测误差。而且，对计算的预测误差进行频率变换以及量化，并对得到的量化系数进行熵编码。将如此由熵编码生成的比特流，发送到视频解码装置200。
视频解码装置200，接收从视频编码装置100发送来的比特流。而且，对接收的比特流进行解码，对解码后的视频序列中包含的解码图像执行图像增强处理。此时，根据预测误差构成示出执行图像增强处理的区域的遮罩，并根据构成的遮罩执行图像增强处理。为了实现以上的处理，视频解码装置200包括视频解码部220、遮罩构成部240以及图像处理部260。
视频解码部220，将与视频编码部120所适用的视频编码方法相对应的视频解码方法适用于比特流，从而生成解码后的视频序列。视频解码部220，将由解码生成的解码图像提供到图像处理部260。并且，将由解码生成的预测误差提供到遮罩构成部240。
遮罩构成部240，利用用于生成解码图像的预测误差构成遮罩。并且，遮罩构成部240，还可以接收用于调整遮罩的平均值的目标值。也可以由用户任意设定该目标值，或可以自动设定该目标值。而且，为了控制图像增强处理整体的影响，而使用遮罩的平均值的目标值。对于遮罩构成部240执行的详细处理，在后面利用附图进行说明。
图像处理部260，利用遮罩构成部240所构成的遮罩，控制图像增强技术。例如，以以下的两个步骤来执行图像增强技术。在第一步骤，将以往的增强处理适用于解码图像，从而计算处理图像。在第二步骤，为了生成最后的输出图像，而计算处理图像和解码图像的加权加法总和。在此，以像素为单位计算加权加法总和，各个像素的权重被利用，以便与对应的遮罩值一致。
图2是示出本实施例的视频解码装置200的结构的一个例子的图。如图1也示出，该图示出的视频解码装置200包括视频解码部220、遮罩构成部240以及图像处理部260。以下，首先，对视频解码部220进行详细说明。
视频解码部220包括熵解码部231、反量化/反变换部223、加法器224、解块滤波器225、存储器226、帧内预测部227、运动补偿预测部228、以及帧内/帧间切换开关230。而且，图2示出的视频解码部220与图12示出的视频解码部620相比不同之处是，取代反量化/反变换部623而包括反量化/反变换部223。而且，对于相同的构成要素，附上相同的参照符号。
熵解码部231，通过对输入信号进行解码，例如对从视频编码装置100发送的比特流进行解码，从而将该比特流分离为运动数据和量化系数。熵解码部231，将解码后的运动数据提供到运动补偿预测部228。并且，熵解码部231，由于对反变换需要，因此，将量化系数的一维的序列变换为二维排列的量化系数。变换为二维排列的量化系数被提供到反量化/反变换部223。
反量化/反变换部223，对熵解码部231所解码的量化系数进行反量化。进而，对由反变换得到的反变换量化系数进行反变换。据此，能够将变换为频率区域的、且量化后的预测误差，复原为变换为空间区域的预测误差。反量化/反变换部223，将复原后的预测误差提供到遮罩构成部240和加法器224。
加法器224，对反量化/反变换部223所复原的预测误差、和帧内预测部227或运动补偿预测部228所生成的预测信号(预测图像)进行加法运算，从而生成解码信号(解码图像)。
解块滤波器225，对加法器224所生成的解码图像执行解块滤波处理。据此，降低解码图像重包含的块失真。而且，解块滤波器225进行的处理是任意的，也可以不适用于解码图像。
存储器226是帧存储器，保持由解块滤波器225执行了解块滤波处理的解码图像。
帧内预测部227，从存储器226读出解码图像，根据读出的解码图像，以“帧内”模式来进行预测，从而生成预测图像。帧内预测部227，不参考先解码后的图片，而只参考自己图片，从而能够解码对象块。
运动补偿预测部228，从存储器226读出解码图像，根据读出的解码图像、和熵解码部231所解码的运动数据进行运动补偿，从而生成预测图像。
帧内/帧间切换开关230，切换帧内预测部227和运动补偿预测部228中的哪一方所生成的、示出预测块的预测信号提供到加法器235。
如上所述，本实施例的视频解码部220，对编码后的比特流中包含的预测误差进行解码，并对以“帧内”或“帧间”模式来进行运动补偿而生成后的预测图像、和解码后的预测误差进行加法运算，从而重构解码图像。进而，将解码后的预测误差提供到遮罩构成部240，以便用于构成遮罩。
其次，对遮罩构成部240进行详细说明。
遮罩构成部240，利用反量化/反变换部223所反量化的预测误差，构成遮罩。遮罩由遮罩值构成，该遮罩值示出在对处理图像和解码图像进行加权加法运算时的处理图像的加权系数。遮罩构成部240，按规定的每个区域计算遮罩值，例如按每个像素计算遮罩值。或者，遮罩构成部240，也可以按由一个以上的宏块构成的块等的、规定的每个区域，计算遮罩值。
图3是示出本实施例的遮罩构成部240的结构的一个例子的方框图。该图示出的遮罩构成部240包括映射处理部241、反处理部242、形态运算(Morphological Operations)部243以及平均值调整部244。
映射处理部241，将反量化/反变换部223所反量化的预测误差的值，映射到0至1之间的范围(0以上1以下的值的范围)。该映射可以包含计算预测误差的绝对值。并且，该映射也可以包含用于保证遮罩的时间上的一贯性的规范化(normalization)。
在编码序列中，特别是，在利用不同的量化参数(QP)的情况下，残差的结构，有可能按照每个图片发生大变化。一般而言，例如B图片，由于以QP偏移被编码，因此残差发生大变化。因此，规范化对遮罩的时间上的一贯性重要。该映射还可以包含将残差限幅(clipping)到0至1的范围。
反处理部242，对映射到0至1之间的范围的预测误差执行反处理。反处理是从1减去所映射的值的处理。由于遮罩构成部240构成的遮罩的遮罩值是处理图像的加权系数，因此，所述处理是用于在预测误差为小的值时将遮罩值变为大的值、在预测误差为大的值时将遮罩值变为小的值的处理。因此，在将遮罩构成部240构成的遮罩的遮罩值作为解码图像的加权系数利用的情况下，反处理部242被省略。
形态运算部243，为了使遮罩的空间上的结构更均匀，而适用形态运算(例如，开处理)。
平均值调整部244调整遮罩的平均值。进行调整，以使适用了形态运算的遮罩值的平均值成为规定的平均值(目标平均值)。此时，也可以根据用户的嗜好等来自外部的指示来设定目标平均值。或者，平均值调整部244也可以，根据预测误差的值，按照自动平均计算次序来计算目标平均值。例如，考虑像量化参数(QP)那样的参数，从而计算最佳目标平均值。
而且，平均值调整部244进行的平均值的调整处理是任意的，并不需要适用。
以下，更具体而言，对于每个像素的遮罩值的计算方法，利用公式进行说明。
本实施例中，遮罩构成部240，只根据亮度值(Y)构成遮罩。这是因为，由于人的视觉***的锐度的影响，主要依赖于亮度，因此在图像增强处理中一般只增强亮度要素的缘故。然而，遮罩方式，不限制为亮度值，而可以扩展到彩度要素或其它的色空间。
首先，映射处理部241，如(公式1)示出，根据预测误差的标准偏差，将作为预测误差的亮度残差(Yres)的绝对值规范化。而且，(i，j)示出像素的位置。
(公式1)
(式1) Y re s 1 ( i , j ) = | Y res ( i , j ) 5 Var Y res |
所述规范化只不过是例子，在本发明的范围内也可以使用其它的任何规范化处理。
映射处理部241，此后，执行限幅，将得到的结果映射到0至1之间的范围。以能够直接乘以像素值的形式，为了施加遮罩的权重而进行该映射。值1示出100％的增强，0示出没有增强。
接着，反处理部242，如(公式2)示出执行反处理。也就是，通过从1减去(公式1)所计算的Yres1，从而计算处理图像的遮罩值(加权系数)。
(公式2)
(式2) Y res 2 ( i , j ) = 1 - min ( Y re s 1 ( i , j ) , 1 )
其次，形态运算部243，将形态运算适用于(公式2)所计算的遮罩值。
在此，适用如(公式3)示出的开处理(○)。
(公式3)
(式3)
在此，S为所选择的结构要素。优选利用具有17像素的直径的圆盘形状(盘)，以作为结构要素，但也可以同样利用任何盘直径。而且，在形态处理中，也可以使用高帽(top-hat)滤波、开始处理、或只扩展处理等的其它的形态运算符，闭处理后续于该开处理。
最后，平均值调整部244，任意调整遮罩的平均值。例如，如(公式4)示出，通过利用所期望的平均值(M)的自动计算，从而能够得到较佳结果。
(公式4)
(式4) M = min [ 0.98 , max ( 0.2 + 12 QP , Σ i , j | Y res ( i , j ) | 10 · width · height ) ]
而且，在(公式4)中，QP为用于编码的量化参数，YRes为未处理的残差，width和height为序列的分辨率。也可以以每个点的运算以及所述的限幅来调整平均值。
如上所述，遮罩构成部240，决定加权系数，以便对预测误差的绝对值小的区域的处理图像施加与预测误差的绝对值大的区域相比更强的权重。而且，遮罩构成部240按每个像素计算遮罩值而构成的遮罩，为了施加增强处理的适用程度的权重，而被图像处理部260直接利用。
接着，对图像处理部260进行详细说明。
图4是示出本实施例的图像处理部260的详细结构的一个例子的方框图。该图示出的图像处理部260包括图像增强部261和加权加法部262。
图像增强部261，通过将用于提高画质的处理适用于解块滤波器225所提供的解码图像，从而生成处理图像。具体而言，适用如利用图13～图15来说明的、利用图像的统计特性的图像增强处理。例如，适用利用从编码侧发送来的参数的、按照纹理生成算法的图像增强处理。并且，也可以适用像高通滤波处理、锐化滤波处理、以及非锐度遮罩处理那样的局部对比增强处理等的任何处理。并且，也可以适用低通滤波处理。而且，在此，处理图像，由于以整体来适用图像增强处理，因此，在预测误差大的区域有可能发生了编码失真。
加权加法部262，根据遮罩构成部240所决定的加权系数，通过对处理图像和解码图像进行加权加法运算，从而生成输出图像。
利用公式具体说明，加权加法部262，利用所述遮罩，如(公式5)示出，计算(未处理的)解码图像Ydec、和适用了增强技术的(处理后的)译解码图像Yenh的加权加法总和。
(公式5)
(式5)Yout(i，j)＝Yenh(i，j)·Ymask(i，j)+Ydec(i，j)·[1-Ymask(i，j)]
如上所述，由于在预测误差大的区域能够对解码图像施加强的权重，在预测误差小的区域能够对处理图像施加强的权重，因此，能够抑制发生编码失真、且能够生成高画质的输出图像Yout。
以下，利用图5示出的图像的一个例子，对图像处理部260执行的图像增强处理进行具体说明。图5是本实施例的图像增强处理的模式图。
图5(a)是示出解码图像的一个例子的图。该图示出的解码图像是，加法器224所生成的、且解块滤波器225所滤波处理的图片。图5(a)示出，假设在解码图像中包含预测误差大的区域、和预测误差小的区域。例如，运动大的区域，由于难以预测，因此成为预测误差小的区域。
图5(b)是示出处理图像的一个例子的图。该图的处理图像是，图像增强部261与区域的预测误差的值无关，而将图像增强处理适用于图5(a)示出的解码图像整体来生成的图片。据此，图5(b)示出的处理图像，在预测误差大的区域有可能发生编码失真，因此，不是画质够佳的图像。
遮罩构成部240决定加权系数，以便图5(a)示出的解码图像中预测误差大的区域的加权系数大、预测误差小的区域的加权系数小。进而，决定加权系数，以便图5(b)示出的处理图像中预测误差大的区域的加权系数小、预测误差小的区域的加权系数大。
加权加法部262，利用如上所决定的加权系数、和对应的区域的像素值来进行加权加法运算，从而生成如图5(c)示出的输出图像。据此，图5(c)的输出图像是，在预测误差大的区域出现了图5(a)的解码图像强的影响、在预测误差小的区域出现了图5(b)的处理图像强的影响的图像。
如上所述，在本实施例的图画质增强处理中，根据预测误差的值，确定通过图像增强处理容易发生编码失真的区域、和不容易发生的区域。而且，在容易发生编码失真的区域，对没有适用图像增强处理的解码图像施加大的权重，在不容易发生的区域，对适用了图像增强处理的处理图像施加大的权重，并对两个图像进行加权加法运算，从而生成输出图像。据此，能够生成编码失真的发生少的、且画质佳的输出图像。
接着，说明本实施例的视频解码装置200的处理，尤其说明提高解码图像的画质的处理。
图6是示出本实施例的视频解码装置200的处理的流程图。
首先，从编码后的比特流，以块为单位生成解码图像(S101)。具体而言，熵解码部231对比特流进行解码，将通过解码得到的量化系数提供到反量化/反变换部223。反量化/反变换部223，对量化系数进行反量化，并对通过反量化得到的反量化系数进行反变换，从而复原预测误差。而且，加法器224，对预测误差、和帧内预测部227或运动补偿预测部228所生成的预测图像进行加法运算，从而生成解码图像。而且，根据需要，解块滤波器225适用解块滤波处理。
其次，图像增强部261，通过将用于提高画质的图像增强处理适用于所生成的解码图像，从而生成处理图像(S102)。
其次，遮罩构成部240，按每个像素计算遮罩值，从而构成遮罩，并决定用于处理图像和解码图像的加权加法运算的加权系数(S103)。而且，可以先执行处理图像的生成(S102)，也可以先执行加权系数的决定(S103)。
最后，加权加法部262，通过利用所决定的加权系数对处理图像和解码图像进行加权加法运算，从而生成输出图像(S104)。
如上所述，本实施例的视频解码装置200，根据编码后的比特流中包含的预测误差，决定对适用了增强处理的图像(处理图像)、和没有适用增强处理的图像(解码图像)进行加权加法运算时的加权系数。具体而言，在预测误差大的区域对解码图像施加大的权重，在预测误差小的区域对处理图像施加大的权重。据此，由于预测误差大的区域是通过增强处理容易发生编码失真的区域，预测误差小的区域是通过增强处理不容易发生编码失真的区域，因此能够抑制发生编码失真。
而且，如上所述，为了控制图像增强技术的影响，而只在解码装置侧利用遮罩。因此，本实施例的图像增强是纯粹的后处理，因此，整体而言，独立于编码装置。
(实施例2)
本实施例的视频编码方法以及视频解码方法是，利用原图像的统计特性来更提高解码图像的画质的方法。在编码时，也根据预测误差的值构成遮罩。解析原图像的统计特性，将遮罩适用于通过解析得到的统计特性，从而计算统计参数。在解码时，利用通过解析计算的统计特性，将后处理适用于解码图像。据此，更能够提高解码图像的画质。
图7是示出利用本实施例中的遮罩控制后的图像增强技术的编解码***的结构的一个例子的方框图。该图示出的编解码***包括视频编码装置300和视频解码装置400。以下，对于与实施例1的图像编解码***相同的构成要素，附上相同的参照符号，有时省略说明。
图7示出的视频编码装置300，将通过对包含原图像的视频序列进行编码而生成的编码数据、和示出原图像的统计特性的参数，发送到视频解码装置400。为了实现此处理，视频编码装置300包括视频编码部320、遮罩构成部340以及图像解析部360。
视频编码部320、接收包含原图像的视频序列，对接收的视频序列适用H.264/AVC等的图像编码方法，从而按构成图像的每个块对视频序列进行编码。具体而言，视频编码部320，对作为原图像和预测图像的差分的预测误差进行编码。进而，视频编码部320，将在编码时计算的预测误差提供到遮罩构成部340。并且，将视频编码部320内部所解码的局部解码图像提供到图像解析部360。
图8是示出本实施例的视频编码装置300的结构的一个例子的方框图。如图7也示出，该图示出的视频编码装置300包括视频编码部320、遮罩构成部340以及图像解析部360。以下，首先，对视频编码部320进行详细说明。
视频编码部320包括差分器321、变换/量化部322、反量化/反变换部323、加法器324、解块滤波器325、存储器326、帧内预测部327、运动补偿预测部328、运动检测部329、帧内/帧间切换开关330、以及熵编码部331。而且，视频编码部320与图11示出的视频编码装置500相比不同之处是，取代反量化/反变换部523而包括反量化/反变换部323，取代解块滤波器525而包括解块滤波器325。而且，对于相同的构成要素，附上相同的参照符号。
差分器321，计算输入信号(输入图像)和预测信号(预测图像)的差分(预测误差)。具体而言，差分器321，通过从输入信号中包含的输入图像的对象块减去帧内预测部327或运动补偿预测部328所生成的预测块，从而计算预测误差。
变换/量化部322，将差分器321所计算的预测误差，从空间区域变换为频率区域。例如，对预测误差执行二维离散余弦变换(DCT)或其整数版本等的正交变换处理。变换/量化部322，还对通过变换得到的变换系数进行量化。需要将通过量化得到的二维的变换系数变换为一维。因此，根据预先规定的序列对二维排列进行扫描，从而将一维的量化变换系数提供到熵编码部331。通过如此进行量化，从而能够减少需要编码的数据量。
反量化/反变换部323，对变换/量化部322所量化的量化系数进行反量化。进而，对由反变换得到的反变换量化系数进行反变换。据此，能够将变换为频率区域的、且量化后的预测误差，复原为变换为空间区域的预测误差。反量化/反变换部323，还将复原后的预测误差提供到遮罩构成部340。
加法器324，对反量化/反变换部323所复原的预测误差、和帧内预测部327或运动补偿预测部328所生成的预测信号(预测块)进行加法运算，从而生成局部解码图像。
解块滤波器325，对加法器324所生成的局部解码图像适用解块滤波处理。据此，能够降低局部解码图像中包含的块失真(块效应)。进而，解块滤波器325，将适用了解块滤波处理的局部解码图像提供到图像解析部360。而且，解块滤波器325也可以不适用于局部解码图像。
存储器326是帧存储器，保持由解块滤波器325执行了解块滤波处理的局部解码图像。
帧内预测部327，从存储器326读出局部解码图像，根据读出的局部解码图像，以“帧内”模式来进行预测，从而生成预测块。在“帧内”模式中，为了生成预测块，进行利用相同的图像的已编码的块的预测处理。也就是，在“帧内”模式中，不参考先解码后的图片，而只参考自己图片，从而能够进行编码对象块的编码。
如此所编码的帧内编码图像(I型图像)，持有对编码视频序列的抗错性。并且，I型图像，为了能够随机访问，即，为了在编码视频序列中包含的图像中访问I型图像，而规定向编码数据的比特流的入口点。
运动补偿预测部328，从存储器326读出局部解码图像，根据读出的局部解码图像、和运动检测329所决定的运动矢量来运动补偿，从而生成预测块。
移动检测部329，从存储器326读出局部解码图像，利用读出的局部解码图像、和输入信号中包含的输入图像来进行运动检测，从而决定运动矢量。运动矢量是，示出编码对象块、和局部解码图像中包含的块的像素的变位的二维矢量。而且，示出所决定的运动矢量的运动数据，被传输到熵编码部331，并通过熵编码部331***到输出比特流。
帧内/帧间切换开关330，切换帧内预测部327和运动补偿预测部328中的哪一方所生成的、示出预测块的预测信号提供到差分器321和加法器324。也就是，切换执行帧内预测部327和运动补偿预测部328中的哪一方处理，即，切换以“帧内”模式来对编码对象块进行编码、还是以“帧间”模式来对编码对象块进行编码。
熵编码部331，对变换/量化部322所量化的量化系数、和移动检测部329所生成的运动数据进行编码，并将得到的编码信号作为输出比特流输出。具体而言，熵编码部331，将一维的量化系数的序列，压缩为称为运行级别的一系列的数字的组。而且，将运行级别序列编码为可变长度的二值的代码字。对典型的视频中包含的图像中最经常出现的运行级别的组分配更短的代码字，从而代码被最佳化。将如此得到的比特流和编码后的运动数据多路复用以作为输出比特流，并传输到视频解码装置400等、或存储到记录介质。
如上所述，本实施例的视频编码部320，计算预测误差，对预测误差进行变换和量化，对量化后的预测误差进行编码，并且，将对变换和量化后的预测误差进行反量化和反变换而复原的预测误差，提供到遮罩构成部340。
遮罩构成部340，利用反量化/反变换部323所反量化的预测误差，构成遮罩。具体而言，通过进行与实施例1的遮罩构成部240(参照图3)相同的处理，按每个像素计算遮罩值，从而构成遮罩。遮罩构成部340，将构成的遮罩提供到图像解析部360。而且，也可以按由一个以上的宏块构成的块等的、规定的每个区域，计算遮罩值。
而且，此时，也可以将与构成的遮罩有关的信息，发送到视频解码装置400包括的遮罩构成部240。并且，遮罩构成部340也可以接收遮罩的平均值的目标值。
图像解析部360，通过解析原图像，或解析原图像和局部解码图像的差分图像的统计特性，从而计算统计参数。视频解码装置400，为了控制图像增强处理，而使用统计参数。例如，如图13～图15的说明示出图像增强技术。
例如，图像解析部360所解析的统计特性，可以与利用图15所述的统计特性一致，也可以包含图像的空间特性(相关)和强度直方图的特性(周边统计)。具体而言，也可以与颜色分布同样决定0近旁的自相关函数的值，该颜色分布包含强度矩以及(或)强度分布的平均、方差、歪斜度以及峭度。为了实现此，也可以使用用于估计概率变量的周知技术。
图像解析部360，首先解析原图像、或差分图像的统计特性。而且，在根据通过解析得到的统计特性决定统计参数时，利用遮罩构成部340所构成的遮罩，对统计特性进行加权。遮罩值，预测误差越小就示出大的值，预测误差越大就示出小的值。据此，能够使预测误差小的区域的影响大，使预测误差大的区域的影响小。据此，能够重视预测误差小的区域的统计特性，来决定统计参数。而且，统计参数，例如，由以GOP(Group OfPictures：图片群)、图片或切片为单位等的规定的处理单位决定。
例如，图像解析部360，在计算像素直方图等的周边图像统计的描述符时，以对应的遮罩值来对图像的所有的像素进行加权。例如，施加权重后的一次矩(像素值的平均)以及二次矩(像素值的方差)，也可以分别如(公式6)以及(公式7)计算。
(公式6)
(式6) EY = Σ i , j Y mask ( i , j ) Y ( i , j ) Σ i , j Y mask ( i , j )
(公式7)
(式7) VarY = Σ i , j Y mask ( i , j ) [ Y ( i , j ) 2 - ( EY ) 2 ] Σ i , j Y mask ( i , j )
而且，也可以解析原图像和差分图像的两者的统计特性。
如上所述，本实施例的视频编码装置300，解析原图像或差分图像的统计特性，与按每个像素计算的预测误差的值相对应，按每个像素对得到的统计特性进行加权，从而决定统计参数。预测误差大的区域是，预测的可靠度低的区域，因此从该区域决定的统计特性的可靠度也低。于是，如上所述，对通过解析得到的统计特性进行加权，从而能够不出现在统计参数。据此，利用如此得到的统计参数，在解码侧适用后处理，从而能够生成高画质的解码图像。
接着，对于图7示出的视频解码装置400的详细结构，利用附图进行说明。视频解码装置400，如上所述，利用视频编码装置300所计算的统计参数，将后处理适用于解码图像，从而能够生成高画质的解码图像。
图9是示出本实施例的视频解码装置400的结构的一个例子的方框图。如图7也示出，该图示出的视频解码装置400包括视频解码部220、遮罩构成部240以及图像处理部460。视频解码装置400，除了适用根据视频编码装置300所提供的附加的参数的图像后处理以外，与实施例1的视频解码装置200类似。也就是，视频解码装置400与实施例1的视频解码装置200相比不同之处是，取代图像处理部260而包括图像处理部460。因此，在图7以及图9中，对于相同的构成要素附上相同的参照符号，省略详细说明的重复。
图7以及图9示出的图像处理部460与图1以及图2示出的图像处理部260相比不同之处是，从编码侧输入参数。图像处理部460，适用利用图13～图15所述的图像增强技术等的、根据从编码侧提供的附加的统计参数的图像增强技术。例如，图像处理部460，通过使用统计参数，从而重构因高频成分等非可逆压缩(编码错误)而解码图像失去了的像素成分。
如上所述，本实施例的视频解码装置400，利用统计参数进行图像增强处理，因此能够生成更高画质的解码图像。
接着，说明本实施例的视频编码装置300的处理，尤其说明与图像的统计特性的解析有关的处理。
图10是示出本实施例的视频编码装置300的处理的流程图。
首先，视频编码部320生成预测误差(S201)。具体而言，差分器321，通过计算视频序列中包含的原图像(输入图像)、和帧内预测部327或运动补偿预测部328所生成的预测图像的差分，从而生成预测误差。进而，变换/量化部322，对差分器321所计算的预测误差进行变换以及量化。而且，反量化/反变换部323，通过对变换/量化部322所生成的量化系数进行反量化以及反变换，从而生成预测误差。如此，视频编码部320，将通过对量化后的预测误差进行反量化而生成的预测误差，提供到遮罩构成部340。
其次，遮罩构成部340，通过利用视频编码部320所生成的预测误差计算遮罩值，从而决定每个像素的加权系数(S202)。具体而言，遮罩构成部340，如(公式1)示出，将每个像素的预测误差的绝对值规范化，并映射到0至1之间的范围。进而，如(公式2)示出，对映射的预测误差执行反处理。通过反处理得到的每个像素的遮罩值，在预测误差大的像素的情况下成为小的值，在预测误差小的像素的情况下成为大的值。而且，遮罩构成部340，适用形态运算，进一步，任意调整遮罩的平均值。而且，遮罩构成部340，如上计算的遮罩值除以全遮罩值的合计，从而决定每个像素的加权系数。
其次，图像解析部360，解析原图像的统计特性(S203)。而且，图像解析部360，通过利用加权系数按每个像素对统计特性进行加权，从而计算统计参数(S204)。通过解析，计算用于利用图13～图15说明的图像增强技术的统计参数。
如上所述，本实施例的视频编码方法以及视频解码方法，解析原图像或差分图像的统计特性，根据按规定的每个区域计算的预测误差，按规定的每个区域对通过解析得到的统计特性进行加权。能够抑制容易发生编码失真的区域的影响。如此，利用通过解析得到的统计参数，将图像增强处理等的后处理适用于解码图像，从而不使编码失真放大，而能够提高解码图像的主观画质。
以上，根据实施例说明了本发明的视频解码方法、视频编码方法以及其装置，但是，本发明不仅限于这些实施例。只要不脱离本发明的宗旨，对各个实施例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例中的构成要素而构成的形态，也包含在本发明的范围内。
例如，映射处理部241，利用(公式1)等将预测误差的绝对值映射，除此以外，也可以例如将运算预测误差的值的绝对值后得到的预测误差的绝对值，映射到0至225的值的范围等的规定的范围。而且，也可以通过所映射的预测误差的绝对值除以255、或下移8位，从而将预测误差的绝对值映射到0至1之间的范围的预测误差。
而且，本发明，可以以如上所述的视频解码方法、视频编码方法以及其装置来实现，也可以以用于使计算机执行各个实施例的视频解码方法以及视频编码方法的程序来实现。并且，也可以以记录该程序的、计算机可读的CD-ROM等记录介质来实现。进而，也可以以示出该程序的信息、数据或信号来实现。而且，当然可以将这些程序、信息、数据以及信号互联网等通信网络分发。
并且，本发明也可以使构成视频解码装置以及视频编码装置的构成要素的一部分或全部由一个***LSI构成。***LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，由微处理器、ROM以及RAM等构成的计算机***。
本发明的视频解码方法以及视频编码方法，具有生成抑制了编码失真的发生的、高画质的图像的效果，例如，可以适用于视频解码装置、视频编码装置、摄像机或相机手机等。

Claims (18)

1、一种视频解码方法，对编码流进行解码，该编码流是通过对作为原图像和预测图像的差分的预测误差进行编码而生成的，所述视频解码方法，包括：
解码步骤，对所述编码流中包含的预测误差进行解码；
加法步骤，对在所述解码步骤所解码的预测误差和预先生成了的解码图像进行加法运算，从而生成解码图像；
图像增强步骤，对在所述加法步骤所生成的解码图像执行用于提高画质的处理，从而生成处理图像；
加权系数决定步骤，根据在所述解码步骤所解码的预测误差，按规定的每个区域决定加权系数；以及
加权加法步骤，根据在所述加权系数决定步骤所决定的加权系数，对所述解码图像和所述处理图像进行加权加法运算，从而生成输出图像。
2、如权利要求1所述的视频解码方法，
在所述加权系数决定步骤决定所述加权系数，以便对所述解码步骤所解码的预测误差的绝对值小的区域的所述处理图像施加与所述解码步骤所解码的预测误差的绝对值大的区域相比更强的权重。
3、如权利要求2所述的视频解码方法，
所述加权系数决定步骤，包括：
遮罩值计算步骤，将所述预测误差的绝对值映射到0以上1以下的值的范围，从而按所述规定的每个区域计算遮罩值；以及
加权系数计算步骤，将在所述遮罩值计算步骤所计算的遮罩值决定为所述解码图像的加权系数，将从1减去所述遮罩值的值决定为所述处理图像的加权系数。
4、如权利要求3所述的视频解码方法，
在所述遮罩值计算步骤，进一步，根据所述预测误差的标准偏差，将所述预测误差的绝对值映射到0以上1以下的值的范围。
5、如权利要求3所述的视频解码方法，
在所述遮罩值计算步骤，进一步，将形态处理适用于所映射的所述预测误差的绝对值，从而按所述规定的每个区域计算遮罩值。
6、如权利要求3所述的视频解码方法，
在所述遮罩值计算步骤，进一步，将所计算的遮罩值的平均值调整为规定的目标值。
7、如权利要求2所述的视频解码方法，
所述编码流，还包含示出所述原图像的统计特性的参数数据，
在所述图像增强步骤，根据所述参数数据，对在所述加法步骤所生成的解码图像进行处理，从而生成所述处理图像。
8、如权利要求7所述的视频解码方法，
在所述图像增强步骤，按照利用所述参数数据的纹理生成算法，对所述解码图像进行处理，从而生成所述处理图像。
9、如权利要求2所述的视频解码方法，
在所述图像增强步骤，将锐化滤波处理适用于所述解码图像。
10、如权利要求2所述的视频解码方法，
在所述图像增强步骤，将高通滤波处理或低通滤波处理适用于所述解码图像。
11、如权利要求2所述的视频解码方法，
在所述加权系数决定步骤，按每个像素决定所述加权系数。
12、一种视频编码方法，对作为原图像和预测图像的差分的预测误差进行编码，并且，计算所述原图像的统计参数，所述视频编码方法，包括：
预测误差计算步骤，计算所述预测误差；
加权系数决定步骤，根据在所述预测误差计算步骤所计算的预测误差，按规定的每个区域决定加权系数；以及
参数计算步骤，解析所述原图像的统计特性，利用所述加权系数，按所述规定的每个区域对所述统计特性进行加权，从而计算统计参数。
13、如权利要求12所述的视频编码方法，
在所述加权系数决定步骤决定所述加权系数，以便对所述预测误差计算步骤所计算的预测误差的绝对值小的区域施加与所述预测误差计算步骤所计算的预测误差的绝对值大的区域相比更强的权重。
14、如权利要求13所述的视频编码方法，
所述加权系数决定步骤，包括：
遮罩值计算步骤，将所述预测误差的绝对值映射到0以上1以下的值的范围，从而按所述规定的每个区域计算遮罩值。
15、一种视频解码装置，对编码流进行解码，该编码流是通过对作为原图像和预测图像的差分的预测误差进行编码而生成的，所述视频解码装置，包括：
解码部，对所述编码流中包含的预测误差进行解码；
加法部，对所述解码部所解码的预测误差和预先生成了的解码图像进行加法运算，从而生成解码图像；
图像增强部，对所述加法部所生成的解码图像执行用于提高画质的处理，从而生成处理图像；
加权系数决定部，根据所述解码部所解码的预测误差，按规定的每个区域决定加权系数；以及
加权加法部，根据所述加权系数决定部所决定的加权系数，对所述加法部所生成的解码图像和所述图像增强部所处理的处理图像进行加权加法运算，从而生成输出图像。
16、一种视频编码装置，对作为原图像和预测图像的差分的预测误差进行编码，并且，计算所述原图像的统计参数，所述视频编码装置，包括：
预测误差计算部，计算所述预测误差；
加权系数决定部，根据所述预测误差计算部所计算的预测误差，按规定的每个区域决定加权系数；以及
参数计算部，解析所述原图像的统计特性，利用所述加权系数，按所述规定的每个区域对所述统计特性进行加权，从而计算统计参数。
17、一种程序，用于使计算机执行视频解码方法，该视频解码方法，对编码流进行解码，该编码流是通过对作为原图像和预测图像的差分的预测误差进行编码而生成的，所述程序，包括：
解码步骤，对所述编码流中包含的预测误差进行解码；
加法步骤，对在所述解码步骤所解码的预测误差和预先生成了的解码图像进行加法运算，从而生成解码图像；
图像增强步骤，对在所述加法步骤所生成的解码图像执行用于提高画质的处理，从而生成处理图像；
加权系数决定步骤，根据在所述解码步骤所解码的预测误差，按规定的每个区域决定加权系数；以及
加权加法步骤，根据在所述加权系数决定步骤所决定的加权系数，对所述解码图像和所述处理图像进行加权加法运算，从而生成输出图像。
18、一种集成电路，对编码流进行解码，该编码流是通过对作为原图像和预测图像的差分的预测误差进行编码而生成的，所述集成电路，包括：
解码部，对所述编码流中包含的预测误差进行解码；
加法部，对所述解码部所解码的预测误差和预先生成了的解码图像进行加法运算，从而生成解码图像；
图像增强部，对所述加法部所生成的解码图像执行用于提高画质的处理，从而生成处理图像；
加权系数决定部，根据所述解码部所解码的预测误差，按规定的每个区域决定加权系数；以及
加权加法部，根据所述加权系数决定部所决定的加权系数，对所述加法部所生成的解码图像和所述图像增强部所处理的处理图像进行加权加法运算，从而生成输出图像。
CNA2008800013748A 2007-10-15 2008-10-15 视频解码方法以及视频编码方法 Pending CN101578880A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07020168.6 2007-10-15
EP07020168A EP2051524A1 (en) 2007-10-15 2007-10-15 Image enhancement considering the prediction error

Publications (1)

Publication Number Publication Date
CN101578880A true CN101578880A (zh) 2009-11-11

Family

ID=39661466

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008800013748A Pending CN101578880A (zh) 2007-10-15 2008-10-15 视频解码方法以及视频编码方法

Country Status (5)

Country Link
US (1) US20100067574A1 (zh)
EP (2) EP2051524A1 (zh)
JP (1) JP5283628B2 (zh)
CN (1) CN101578880A (zh)
WO (1) WO2009050889A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918271A (zh) * 2011-06-01 2014-07-09 王舟 基于结构相似度的感知视频编码方法和***
CN104429068A (zh) * 2012-06-29 2015-03-18 索尼公司 图像处理装置及方法
CN111386703A (zh) * 2017-12-01 2020-07-07 索尼公司 编码装置、编码方法、解码装置和解码方法
CN114025161A (zh) * 2020-10-20 2022-02-08 平头哥(上海)半导体技术有限公司 图像处理中的频率特定压缩与补偿技术

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2003896A1 (en) * 2007-06-12 2008-12-17 Panasonic Corporation Statistical image enhancement
US8705627B2 (en) * 2008-07-25 2014-04-22 Sony Corporation Image processing apparatus and method
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
RU2540846C2 (ru) * 2010-01-11 2015-02-10 Телефонактиеболагет Л М Эрикссон (Пабл) Технология для оценки качества видео
JP4762352B1 (ja) * 2010-03-17 2011-08-31 株式会社東芝 画像処理装置及び画像処理方法
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101492930B1 (ko) * 2010-09-14 2015-02-23 블랙베리 리미티드 변환 도메인 내의 어댑티브 필터링을 이용한 데이터 압축 방법 및 장치
EP3541076B1 (en) 2010-10-20 2021-03-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Error resilient rate distortion optimization for image and video encoding
CN101980521B (zh) * 2010-11-23 2013-02-13 华亚微电子（上海）有限公司 一种图像锐化方法以及相关装置
JP5800362B2 (ja) * 2011-12-27 2015-10-28 Kddi株式会社 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム
US20130301949A1 (en) * 2012-05-11 2013-11-14 Sony Corporation Image enhancement apparatus and method
CN104104958B (zh) * 2013-04-08 2017-08-25 联发科技（新加坡）私人有限公司 图像解码方法及其图像解码装置
KR102104403B1 (ko) * 2013-05-28 2020-04-28 한화테크윈 주식회사 단일영상 내의 안개 제거 방법 및 장치
US10013625B1 (en) * 2014-04-16 2018-07-03 Instart Logic, Inc. QoE-driven unsupervised image categorization for optimized web delivery
WO2016123001A1 (en) * 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
WO2016138513A1 (en) * 2015-02-27 2016-09-01 Arris Enterprises, Inc. Modification of unification of intra block copy and inter signaling related syntax and semantics
US10015503B1 (en) 2015-09-24 2018-07-03 Instart Logic, Inc. Fast, real-time, estimation of content-sensitive encoding quality for optimized web delivery of images
GB2557622A (en) 2016-12-12 2018-06-27 V Nova Int Ltd Motion compensation techniques for video
CN110895789B (zh) * 2018-09-13 2023-05-02 杭州海康威视数字技术股份有限公司 一种人脸美颜方法及装置
CN113545049B (zh) 2019-03-08 2024-04-19 北京字节跳动网络技术有限公司 视频处理中对基于模型的整形的约束
WO2020211869A1 (en) 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
CN117579841A (zh) 2019-04-23 2024-02-20 北京字节跳动网络技术有限公司 降低跨分量依赖性的方法
WO2020224629A1 (en) 2019-05-08 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
KR102660738B1 (ko) * 2019-07-07 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링의 시그널링
US20230028736A1 (en) * 2021-07-22 2023-01-26 Qualcomm Incorporated Configurable image enhancement
CN114630129A (zh) * 2022-02-07 2022-06-14 浙江智慧视频安防创新中心有限公司 一种基于智能数字视网膜的视频编解码方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
US5271064A (en) * 1991-06-14 1993-12-14 University Of Cincinnati Apparatus and method for smoothing regions and enhancing edges in gray scale images
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
JP3508281B2 (ja) * 1995-04-03 2004-03-22 松下電器産業株式会社 画像処理装置
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
WO2000042778A1 (en) * 1999-01-15 2000-07-20 Koninklijke Philips Electronics N.V. Sharpness enhancement
JP2002058039A (ja) * 2000-08-09 2002-02-22 Eastman Kodak Japan Ltd 撮像装置
US6950561B2 (en) * 2001-01-10 2005-09-27 Koninklijke Philips Electronics N.V. Method and system for sharpness enhancement for coded video
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置
US6873657B2 (en) * 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
JP2004172944A (ja) * 2002-11-20 2004-06-17 Victor Co Of Japan Ltd 画像処理方法、画像処理装置、及び画像処理用プログラム
US20040131117A1 (en) * 2003-01-07 2004-07-08 Sheraizin Vitaly S. Method and apparatus for improving MPEG picture compression
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP2007027980A (ja) * 2005-07-13 2007-02-01 Mitsubishi Electric Corp 復号装置および符号化装置
WO2007010446A2 (en) * 2005-07-15 2007-01-25 Koninklijke Philips Electronics N.V. Image coder for regions of texture
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918271A (zh) * 2011-06-01 2014-07-09 王舟 基于结构相似度的感知视频编码方法和***
CN103918271B (zh) * 2011-06-01 2018-04-24 王舟 基于结构相似度的感知视频编码方法和***
US10021383B2 (en) 2011-06-01 2018-07-10 Ssimwave Inc. Method and system for structural similarity based perceptual video coding
CN104429068A (zh) * 2012-06-29 2015-03-18 索尼公司 图像处理装置及方法
CN104429068B (zh) * 2012-06-29 2019-01-18 索尼公司 图像处理装置及方法
CN111386703A (zh) * 2017-12-01 2020-07-07 索尼公司 编码装置、编码方法、解码装置和解码方法
US11451833B2 (en) 2017-12-01 2022-09-20 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
CN114025161A (zh) * 2020-10-20 2022-02-08 平头哥(上海)半导体技术有限公司 图像处理中的频率特定压缩与补偿技术
CN114025161B (zh) * 2020-10-20 2023-10-10 平头哥(上海)半导体技术有限公司 图像处理中的频率特定压缩与补偿技术

Also Published As

Publication number Publication date
JP5283628B2 (ja) 2013-09-04
EP2207358A1 (en) 2010-07-14
WO2009050889A1 (ja) 2009-04-23
JPWO2009050889A1 (ja) 2011-02-24
US20100067574A1 (en) 2010-03-18
EP2051524A1 (en) 2009-04-22
EP2207358A4 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
CN101578880A (zh) 视频解码方法以及视频编码方法
Han et al. Jointly optimized spatial prediction and block transform for video and image coding
US8340173B2 (en) Method and apparatus for encoding and/or decoding moving pictures
Chen et al. Dynamic measurement rate allocation for distributed compressive video sensing
US20150043630A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
US8369417B2 (en) Optimal denoising for video coding
WO2007111292A1 (ja) 画像符号化装置および画像復号化装置
EP2036351A1 (en) Image encoding/decoding method and apparatus
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
EP1845729A1 (en) Transmission of post-filter hints
KR101713250B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
Barrios et al. Adaptation of the CCSDS 123.0-B-2 Standard for RGB Video Compression
KR20180017659A (ko) 디지털 홀로그램 데이터를 압축하는 방법 및 장치
JP2004266794A (ja) マルチ・リゾルーション・ビデオ符号化および復号化
Afsana et al. Efficient low bit-rate intra-frame coding using common information for 360-degree video
Bhojani et al. Hybrid video compression standard
Nicoulin et al. Image sequence coding using motion compensated subband decomposition
Kumar et al. An optimized block estimation based image compression and decompression algorithm
KR102209835B1 (ko) 주파수 영역의 움직임 예측을 이용한 부호화 장치 및 방법
Kulthe et al. Survey of Color Image Compression using Block Partition and DWT
CN105049846A (zh) 图像和视频编解码的方法和设备
US20200329232A1 (en) Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block
Bhardwaj Generalized Digital Pulse Code Modulation and its comparison with other compression schemes
aan de Wiel Virtual Codec for Video4Linux

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20091111