CN101500167A - 图像编码方法 - Google Patents

图像编码方法 Download PDF

Info

Publication number
CN101500167A
CN101500167A CNA2008101751568A CN200810175156A CN101500167A CN 101500167 A CN101500167 A CN 101500167A CN A2008101751568 A CNA2008101751568 A CN A2008101751568A CN 200810175156 A CN200810175156 A CN 200810175156A CN 101500167 A CN101500167 A CN 101500167A
Authority
CN
China
Prior art keywords
mentioned
difference
piece
difference information
coded object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101751568A
Other languages
English (en)
Inventor
日下部敏彦
北村臣二
田中康晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101500167A publication Critical patent/CN101500167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种对运动图像进行编码的图像编码方法,该图像编码方法通过算出编码对象块的第一差分信息和周边块的第二差分信息,算出第一差分信息与第二差分信息的差分,当该差分大于规定的阈值时,选择帧内模式,而当该差分小于规定的阈值时,选择帧间模式,来将帧内模式仅适用于产生余像噪声的块中。

Description

图像编码方法
技术领域
本发明涉及一种对运动图像进行编码的图像编码方法,特别是涉及一种适当地切换帧内编码和帧间编码,来对运动图像进行编码的图像编码方法。
背景技术
作为对运动图像数据进行编码的方法,具有仅用对象帧的信息来进行编码的帧内编码、和对当前的帧与过去的帧的差分及/或运动信息进行编码的帧间编码。帧内编码是通过除去1个帧内的数据的空间冗余,来进行动画压缩的编码,也被称为INTRA编码。帧间编码是通过除去两个或多个帧之间的时间冗余,来进行动画压缩的编码,也被称为INTER编码。
在运动图像编码方式的MPEG—2、MPEG—4AVC(Advanced VideoCoding)中,能够在作为处理单位的每个宏模块,适当地切换帧内编码和帧间编码。此时,必须要判断使用哪种编码方式效率更高。此判断被称为帧内/帧间判断(intra/inter determination)。
关于帧内/帧间判断,提出了各种各样的方法。作为具有代表性的判断方法,在“小野文孝、渡边裕共著的<国际标准图像编码的基本技术>,CORONA PUBLISHING CO.,LTD.,p.223—224”(以下,称为小野文孝等著)中说明了求出编码对象块中的输入图像的方差(dispersion)、和编码对象块中的运动补偿后的帧间的差分图像的方差,对这些值进行比较的方法。图8为在以往技术中的帧内/帧间判断的流程图。
首先,图8中的帧内/帧间判断方法在步骤S801中,算出编码对象块中的输入图像的方差。其次,在步骤S802中,算出编码对象块中的运动补偿后的帧间的差分图像的方差。在此,当使在步骤S801中算出的输入图像的方差为y,在步骤S802中算出的差分图像的方差为x时,如下面的(式1)那样,算出x和y。
x = 1 256 &Sigma; i = 1 16 &Sigma; j = 1 16 | d i , j - D | 2
di,j=fi,j(N)-fi+MVx,j+MVy(N-1)
D = 1 256 &Sigma; i = 1 16 &Sigma; j = 1 16 d i , j                …(式1)
y = 1 256 &Sigma; i = 1 16 &Sigma; j = 1 16 | f i , j ( N ) - F | 2
F = 1 256 &Sigma; i = 1 16 &Sigma; j = 1 16 f i , j
在步骤S803中,通过对用(式1)算出来的x,y的大小进行比较,来进行帧内/帧间判断。在差分图像的方差x大于输入图像的方差y时,将帧内模式适用于该编码对象块的编码模式(步骤S804,MBType=INTRA),而在差分图像的方差x小于输入图像的方差y时,将帧间模式适用于该编码对象块的编码模式(步骤S805,MBType=INTER)。但是,在x、y的差较小时,将帧间模式适用于该编码对象块的编码模式的方式所发生的代码量相对较小,因此不管x、y大小的比较结果如何,都适用帧间模式。图9为表示基于x和y的关系的帧内模式和帧间模式的适用范围的图。在x>y时,适用帧内模式(MBType=INTRA),在x≤y时,适用帧间模式(MBType=INTER)。但是,假设使x≤64的情况为上述x和y的差较小的情况,不管x和y的大小关系如何,都适用帧间模式(MBType=INTER)。在此,将x≤64的情况设定为了x、y的差较小时的一个例子,但是并不局限于此。
并且,在日本专利文献特开2004—266720号公报中公开有为了削减帧内/帧间判断中的运算量,而利用运动补偿后的帧间的差分绝对值的和(difference absolute value sum)的方法。该方法是除了上述帧内模式及帧间模式之外,还根据差分绝对值的和的值来选择不对差分图像进行编码的跳跃模式(skip mode)的方法。图10为在日本专利文献特开2004—266720号公报中的帧内/帧间判断的流程图。
在图10中的帧内/帧间判断方法中,首先,在步骤S1001中,算出编码对象块中的运动补偿后的帧间的差分绝对值的和(CurrSAD)。其次,在步骤S1002及步骤S1003中,通过对CurrSAD和规定的第一阈值Thr1及第二阈值Thr2进行比较,来判断为差分大、差分中及差分小(其中,0<Thr2<Thr1)。当判断为是差分大时,即CurrSAD大于规定的第一阈值Thr1时,适用帧内模式(步骤S1006,MBType=INTRA)。当判断为是差分中时,即CurrSAD在规定的第一阈值Thr1以下、并大于规定的第二阈值Thr2时,适用帧间模式(步骤S1005,MBType=INTER)。当判断为是差分小时,即CurrSAD在规定的第二阈值Thr2以下时,适用跳跃模式(步骤S1004,MBType=SKIP)。图11为表示基于CurrSAD与规定的第一阈值Thr1及第二阈值Thr2的关系的帧内模式、帧间模式及跳跃模式的适用范围的图。当CurrSAD大于规定的第一阈值Thr1时,适用帧内模式(MBType=INTRA),当CurrSAD在规定的第一阈值Thr1以下,并大于规定的第二阈值Thr2时,适用帧间模式(MBType=INTER),当CurrSAD在规定的第二阈值Thr2以下时,适用跳跃模式(MBType=SKIP)。
像这样,由于在日本专利文献特开2004—266720号公报中公开的帧内/帧间判断方法中,仅将差分绝对值的和使用在帧内/帧间判断中,因此能够谋求减少运算量。
此外,上述那样的小野文孝等著及日本专利文献特开2004—266720号公报中的运动图像编码方式也被适用于要求低比特率的网络摄像机中。然而,由于在低比特率中,分配到每块的差分图像的比特量有限,因此在运动的区域中选择帧间模式时,有时会产生余像那样的画质恶化(以下,称为余像噪声)。图12为表示产生余像噪声的帧的图。在图12中,在帧1201内,用虚线表示的移动前图像1202移动到用实线表示的移动后图像1203的位置。在此,由于当余像噪声产生在没有运动的静止区域中(图12的移动前图像1202的左侧部分)时,会主观地感到较严重的画质恶化,因此有必要防止产生余像噪声。为了防止产生余像噪声,例如在日本专利文献特开2004—266720号公报中的帧内/帧间判断中,以很容易选择帧内模式的方式来设定第一阈值Thr1及第二阈值Thr2。这样,能够通过将帧内模式适用于产生余像噪声的块中,来防止产生余像噪声。
然而,在小野文孝等著的方法中,若设定为很容易选择帧内模式,则对于不因余像噪声而是因运动而使方差扩大的块选择了帧内模式,从而造成代码量增加的问题。图13为表示对于方差扩大了的块的编码选择了帧内模式时的图。在图13中,将帧1201分割为8列5行的块,即第A列~第H列及第1行~第5行。用圆点图案表示的D2~D4、E2~E4及F2~F4为适用帧内模式的帧内块,其它部分为适用帧间模式的帧间块。此外,在日本专利文献特开2004—266720号公报中的方法中,也有这样的问题:当为了防止余像噪声,而以很容易选择帧内模式的方式来设定第一阈值及第二阈值时,连对于由于存在运动中的物体本身而实际上由余像噪声引起的图像恶化不显著的区域(E2~E4及F2~F4),也选择了帧内模式,从而造成了代码量的增加。
发明内容
因此,本发明的目的在于:提供一种能够通过在低比特率时的运动图像编码方式的帧内/帧间判断中,将帧内模式仅适用于产生余像噪声的块中,来抑制运动图像编码中的代码量的增加,同时,防止画质恶化的运动图像编码方法。
为了达到上述目的,本发明的第一图像编码方法适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码,该图像编码方法的特征在于,执行以下的步骤:编码对象块差分信息计算步骤,根据编码对象块和参照图像,算出第一差分信息,周边块差分信息计算步骤,根据与编码对象块邻接的8个周边块中的至少1个以上的周边块和参照图像,算出至少1个以上的第二差分信息,帧内/帧间判断步骤,算出第一差分信息与第二差分信息的至少1个以上的差分,来对该差分和规定的阈值进行比较,帧内模式适用步骤,当差分中的任意一个大于规定的阈值时,将帧内模式适用于编码对象块的编码模式,以及帧间模式适用步骤,当所有差分小于规定的阈值时,将帧间模式适用于编码对象块的编码模式。
并且,优选本发明的第一图像编码方法还执行将第一差分信息保存在存储器中的差分信息保存步骤;周边块差分信息计算步骤在周边块成为编码对象块时,将保存在存储器中的第一差分信息用作第二差分信息。
优选第一差分信息为编码对象块与参照图像之间的差分绝对值的和,第二差分信息为周边块与参照图像之间的差分绝对值的和。
优选周边块为邻接在编码对象块的左侧的左邻接块、和邻接在上面的上邻接块。
为了达到上述目的,本发明的第二图像编码方法是适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码的图像编码方法,执行以下的步骤:编码对象块差分信息计算步骤,根据编码对象块和参照图像,来算出第一差分信息;周边块差分信息计算步骤,根据邻接在编码对象块的8个周边块中的至少1个以上的周边块、和参照图像,来算出至少1个以上的第二差分信息;帧内/帧间判断步骤,算出第一差分信息与第二差分信息的至少1个以上的差分,来对该差分和规定的阈值进行比较;活动性信息判断步骤,在所有差分小于规定的阈值时,算出表示编码对象块的复杂度的活动性信息,来对活动性信息和第一差分信息进行比较;帧内模式适用步骤,在差分中的任意一个大于规定的阈值时,或所有差分小于规定的阈值且活动性信息小于第一差分信息时,将帧内模式适用于编码对象块的编码模式;以及帧间模式适用步骤,在所有差分小于规定的阈值时且活动性信息大于第一差分信息时,将帧间模式适用于编码对象块的编码模式。
优选活动性信息是根据编码对象块的方差求出的;第一差分信息是根据编码对象块和参照图像的差分图像的方差求出的。
为了达到上述目的,本发明的第三图像编码方法是适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码的图像编码方法,执行以下的步骤:编码对象块运动向量计算步骤,算出编码对象块的运动向量;编码对象块差分信息计算步骤,根据编码对象块和参照图像来算出第一差分信息;周边块差分信息计算步骤,根据邻接在编码对象块的8个周边块中的至少1个以上的周边块、和参照图像,算出至少1个以上的第二差分信息;帧内/帧间判断步骤,算出第一差分信息与第二差分信息的至少1个以上的差分,来对该差分和规定的阈值进行比较,并对运动向量和规定的运动向量阈值进行比较;帧内模式适用步骤,在产生余像噪声的条件是差分中的任意1个大于规定的阈值、运动向量的大小大于规定的运动向量阈值、且运动向量的方向为在参照图像中的周边块所位于的方向时,将帧内模式适用于编码对象块的编码模式;以及帧间模式适用步骤,在产生余像噪声的条件以外时,将帧间模式适用于编码对象块的编码模式。
并且,本发明的优选第三图像编码方法还执行将第一差分信息保存在存储器中的差分信息保存步骤;周边块差分信息计算步骤在周边块成为编码对象块时,将保存在存储器中的第一差分信息用作第二差分信息。
优选规定的阈值是根据量化参数大小来适当地变化的。
此外,优选规定的阈值是根据运动向量的大小来适当地变化的。
为了达到上述目的,本发明的图像编码装置是适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码,其特征在于:该图像编码装置包括:编码对象块差分信息计算单元,根据编码对象块和参照图像,算出第一差分信息,周边块差分信息计算单元,根据与编码对象块邻接的8个周边块中的至少1个以上的周边块和参照图像,算出至少1个以上的第二差分信息,帧内/帧间判断单元,算出第一差分信息与第二差分信息的至少1个以上的差分,来对该差分和规定的阈值进行比较,帧内模式适用单元,在差分中的任意1个大于规定的阈值时,将帧内模式适用于编码对象块的编码模式,以及帧间模式适用单元,在所有差分小于规定的阈值时,将帧间模式适用于编码对象块的编码模式。
并且,优选本发明图像编码装置还包括将第一差分信息保存在存储器中的差分信息保存单元;周边块差分信息计算单元在周边块成为编码对象块时,将保存在存储器中的第一差分信息用作第二差分信息。
优选第一差分信息为编码对象块与参照图像的差分绝对值的和;第二差分信息为周边块与参照图像的差分绝对值的和。
优选周边块为邻接在编码对象块的左侧的左邻接块、和邻接在上面的上邻接块。
优选规定的阈值是根据量化参数的大小来适当地变化的。
为了达到上述目的,用于本发明的图像编码装置的集成电路是适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码的图像编码装置的集成电路,其特征在于:在该集成电路中集成有作为编码对象块差分信息计算单元、周边块差分信息计算单元、帧内/帧间判断单元、帧内模式适用单元、及帧间模式适用单元发挥作用的电路,该编码对象块差分信息计算单元,根据编码对象块和参照图像,算出第一差分信息,该周边块差分信息计算单元,根据与编码对象块邻接的8个周边块中的至少1个以上的周边块、和参照图像,算出至少1个以上的第二差分信息,该帧内/帧间判断单元,算出第一差分信息与第二差分信息的至少1个以上的差分,并对该差分和规定的阈值进行比较,该帧内模式适用单元,在差分中的任意1个大于规定的阈值时,将帧内模式适用于编码对象块的编码模式,以及该帧间模式适用单元,在所有差分小于规定的阈值时,将帧间模式适用于编码对象块的编码模式。
为了达到上述目的,本发明的摄像***是利用适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码的图像编码方法的摄像***,其特征在于:包括:光学***,对入射的图像光进行成像,传感器,将成像后的图像光转换为图像信号,图像处理电路,对图像信号进行图像处理;图像处理电路执行上述的本发明的图像编码方法。
如上所述,根据本发明,能够实现通过在低比特率时的运动图像编码方式的帧内/帧间判断中,将帧内模式仅适用于产生余像噪声的块中,来抑制运动图像的编码中的代码量的增加,同时防止画质恶化的运动图像编码方法。
本发明中的图像编码方法,由于通过将帧内模式仅适用于产生余像噪声的块中,来将运动图像的编码中的代码量的增加抑制到最小限度的同时防止余像噪声,因此作为面向要求低比特率时的画质性能的网络摄像机、监视摄像机的图像编码装置等尤其有用。
在参照附图的情况下,进行下述详细说明之后,本发明的上述说明及其他目的、特征、方面、效果将会更加明确。
附图说明
图1为在本发明的第一实施方式中的帧内/帧间判断的流程图。
图2为表示在本发明的第一实施方式中的编码对象块和周边块的位置的图。
图3为表示通过本发明的第一实施方式中的帧内/帧间判断来选择块的编码模式的图。
图4为在本发明的第二实施方式中的帧内/帧间判断的流程图。
图5为表示在本发明的第二实施方式中的编码对象块和周边块的位置的图。
图6为表示本发明的第三实施方式中的图像编码装置600的结构的图。
图7为表示本发明的第四实施方式中的摄像***700的结构的图。
图8为以往技术中的帧内/帧间判断的流程图。
图9为表示帧内模式和帧间模式的适用范围的图。
图10为在以往技术中的帧内/帧间判断的流程图。
图11为表示帧内模式、帧间模式及跳跃模式的适用范围的图。
图12为表示产生有余像噪声的帧的图。
图13为表示对于方差扩大了的块的编码选择了帧内模式时的图。
具体实施方式
以下,参照附图,对本发明的实施方式进行说明。
(第一实施方式)
图1为本发明的第一实施方式中的帧内/帧间判断的流程图。本发明的第一实施方式中的帧内/帧间判断方法由编码对象块差分绝对值的和计算步骤S101、周边块差分绝对值的和取得步骤S102、帧内/帧间判断步骤S103、帧内模式适用步骤S104、帧间模式适用步骤S105及差分绝对值的和保存步骤S106构成。
在编码对象块差分绝对值的和计算步骤S101中,算出通过运动补偿而获得的预测图像与编码对象块的差分图像的差分绝对值的和(CurrSAD)。
在周边块差分绝对值的和取得步骤S102中,从差分信息存储器100中取得编码对象块的周边块的差分绝对值的和(SAD)。此时,使邻接在编码对象块的上面的块和邻接在左侧的块为周边块。图2为表示编码对象块和周边块的位置的图。左邻接块201邻接在编码对象块200的左侧,上邻接块202邻接在上面。此外,使左邻接块201的SAD为S1,上邻接块202的SAD为S2。
在帧内/帧间判断步骤S103中,将编码对象块的差分绝对值的和(CurrSAD)及周边块的差分绝对值的和(SAD)的差分绝对值,与规定的阈值进行比较。余像噪声在主观上很显著的情况是在图像静止的区域中产生有余像噪声的情况。由于在图像静止的区域中,该图像和参照图像的预测误差较少,因此差分绝对值的和较小。另一方面,由于在产生余像噪声的块中,该图像和参照图像的预测误差较多,因此差分绝对值的和较大。因此,能够通过对编码对象块的差分绝对值的和(CurrSAD)与周边块的差分绝对值的和(SAD)进行比较,来判断是否为产生余像噪声的块。例如,如下面的(式2)所示,对CurrSAD与S1及S2的差分绝对值、和规定的阈值Thr3进行比较。
(CurrSAD—S1)>Thr3或者(CurrSAD—S2)>Thr3…(式2)
在帧内模式适用步骤S104,当差分绝对值大于规定的阈值时,将帧内模式适用于编码对象块的编码模式(MBType=INTRA)。具体而言,在帧内模式适用步骤S104中,当满足在帧内/帧间判断步骤S103中所示的(式2)的条件时,将帧内模式适用于编码对象块的编码模式。
在帧间模式适用步骤S105,当差分绝对值小于规定的阈值时,将帧间模式适用于编码对象块的编码模式(MBType=INTER)。具体而言,在帧间模式适用步骤S105中,当不满足在帧内/帧间判断步骤S103中所示的(式2)的条件时,将帧间模式适用于编码对象块的编码模式。
在差分绝对值的和保存步骤S106中,将编码对象块的差分绝对值的和(CurrSAD)保存在差分信息存储器100中。这是为了在对后来成为编码对象块的块进行帧内/帧间判断时,将该编码对象块的差分绝对值的和(CurrSAD)用作后来成为编码对象块的块的周边块的差分绝对值的和(SAD)。
像这样,如上所述,能够通过进行帧内/帧间判断,来将帧内模式仅适用于产生余像噪声的块中。图3为表示通过本发明的第一实施方式中的帧内/帧间判断来选择块的编码模式的图。在图3中,在帧301内,用虚线表示的移动前图像302移动到用实线表示的移动后图像303的位置。将帧301分割为8列5行的块,即第A列~第H列及第1行~第5行。用圆点图案表示的D2~D4为适用帧内模式的帧内块,其它部分为适用帧间模式的帧间块。在本发明的第一实施方式中的帧内/帧间判断中,与图13所示的以往技术中的帧内/帧间判断相比,对于由于存在运动中的物体本身而实际上余像噪声引起的图像恶化不显著的区域(E2~E4及F2~F4),不适用帧内模式,而适用帧间模式。
如上所述,根据本发明的第一实施方式中的帧内/帧间判断,能够实现通过在低比特率时的运动图像编码方式的帧内/帧间判断中,将帧内模式仅适用于产生余像噪声的块中,来抑制运动图像编码中的代码量的增加,同时,防止画质恶化的运动图像编码方法。
此外,在本实施方式中,在周边块差分绝对值的和取得步骤S102中,从差分信息存储器100中取得SAD,作为算出编码对象块的周边块的差分绝对值的和(SAD)的方法,但是并不局限于此。例如,也可以不具备差分绝对值的和保存步骤S106及差分信息存储器100,而在周边块差分绝对值的和取得步骤S102中,也与编码对象块差分绝对值的和计算步骤S101一样,根据参照图像和周边块,来算出差分绝对值的和(SAD)。
此外,在本实施方式中,对使左邻接块和上邻接块为编码对象块的周边块的情况进行了说明,但是并不局限于此。例如,也可以将邻接在编码对象块的左上方和/或右上方的块作为编码对象块的周边块。
此外,当在图1所示的帧内/帧间判断步骤S103中,判断出差分绝对值小于规定的阈值时,再对编码对象块的差分绝对值的和(CurrSAD)、与表示输入图像的复杂度的活动性信息进行比较。具体而言,根据输入图像的方差等来求出活动性信息。当活动性信息小于CurrSAD时,由于能够认为该块较为简单、利用帧内模式的编码效率较高,因此适用帧内模式。而当活动性信息大于CurrSAD时,由于能够认为该块较为复杂,利用帧间模式的编码效率较高,因此适用帧间模式。
(第二实施方式)
图4为在本发明的第二实施方式中的帧内/帧间判断的流程图。本发明的第二实施方式中帧内/帧间判断方法由编码对象块运动向量计算步骤S401、编码对象块差分绝对值的和计算步骤S101、周边块差分绝对值的和取得步骤S402、帧内/帧间判断步骤S403、帧内模式适用步骤S104、帧间模式适用步骤S105及差分绝对值的和保存步骤S106构成。在此,帧内/帧间判断步骤S403由第一~第三差分绝对值的和比较步骤S4011~S4013及第一~第三运动向量比较步骤S4021~S4023构成。此外,在图4中,对于与图1所示的步骤一样的步骤,标注相同的参照符号来省略其说明。
在编码对象块运动向量计算步骤S401,通过运动搜索,根据参照图像,来算出编码对象块的运动向量(CurrMV)。例如,运动搜索方法可以是一般利用的块匹配方法等。
在周边块差分绝对值的和取得步骤S402中,从差分信息存储器100取得周边块的差分绝对值的和(SAD)。此时,除了本发明的第一实施方式所示的邻接在编码对象块的左侧的块和邻接在上面的块之外,将邻接在编码对象块的右上方的块设为周边块。图5为表示编码对象块和周边块的位置的图。在编码对象块500的左侧邻接左邻接块501,在上面邻接上邻接块502,并且在右上方邻接右上邻接块503。此外,将左邻接块501的差分绝对值的和(SAD)设为S1,上邻接块502的差分绝对值的和(SAD)为S2,并且右上邻接块503的差分绝对值的和(SAD)为S3。
在帧内/帧间判断步骤S403中,对编码对象块的差分绝对值的和(CurrSAD)与周边块的差分绝对值的和(SAD)的差分绝对值、和规定的阈值进行比较。并且,在帧内/帧间判断步骤S403中,对编码对象块的运动向量(CurrMV)和规定的运动向量阈值进行比较。帧内/帧间判断步骤S403由第一~第三差分绝对值的和比较步骤S4011~S4013及第一~第三运动向量比较步骤S4021~S4023构成,下面对其详细情况进行说明。
在第一差分绝对值的和比较步骤S4011中,求出已在编码对象块差分绝对值的和计算步骤S101算出的编码对象块的差分绝对值的和(CurrSAD)、与已在周边块差分绝对值的和取得步骤S402中取得的左邻接块501的差分绝对值的和S1的差分绝对值,来对该差分绝对值与规定的阈值Thr3进行比较。当该差分绝对值大于规定的阈值Thr3时,即((CurrSAD—S1)>Thr3)时,进入第一运动向量比较步骤S4021,而在其它情况下,进入第二差分绝对值的和比较步骤S4012。
在第一运动向量比较步骤S4021,通过对编码对象块的运动向量(CurrMV)的水平成分(horizontal component)MVx和规定的运动向量阈值(—MVThr)进行比较,来判断编码对象块和物体的移动方向。当MVx小于—MVThr时,即(MVx<—MVThr)时,认为物体向右方向移动。在此,通过在第一差分绝对值的和比较步骤S4011判断出(CurrSAD—S1)>Thr3,可知在编码对象块中,CurrSAD比左邻接块的S1更大。因此,当MVx小于—MVThr时,即(MVx<—MVThr)时,判断为在物体向右方向移动的情况下在物体的左侧产生余像噪声。此时,进入帧内模式适用步骤S104,将帧内模式适用于编码对象块的编码模式(MBType=INTRA)。
另一方面,当MVx在—MVThr以上时,由于左邻接块501的S1及CurrSAD的变化方向与物体的移动方向不同,因此判断为没有产生余像噪声。此时,进入帧间模式适用步骤S105,将帧间模式适用于编码对象块的编码模式(MBType=INTER)。
在第二差分绝对值的和比较步骤S4012中,求出已在编码对象块差分绝对值的和计算步骤S101中算出的编码对象块的差分绝对值的和(CurrSAD)、与已在周边块差分绝对值的和取得步骤S402中取得的右上邻接块503的差分绝对值的和S3的差分绝对值,并对该差分绝对值与规定的阈值Thr3进行比较。当该差分绝对值大于规定的阈值Thr3时,即((CurrSAD—S3)>Thr3)时,进入第二运动向量比较步骤S4022,而在其它情况下,进入第三差分绝对值的和比较步骤S4013。
在第二运动向量比较步骤S4022,通过对编码对象块的运动向量(CurrMV)的水平成分MVx和规定的运动向量阈值(MVThr)进行比较,来判断编码对象块和物体的移动方向。当MVx大于MVThr时,即(MVx>MVThr)时,认为物体向左方向移动。在此,通过在第二差分绝对值的和比较步骤S4012判断出(CurrSAD—S3)>Thr3,可知在编码对象块中,CurrSAD比右上邻接块的S3更大。因此,当MVx大于MVThr时,即(MVx>MVThr)时,判断为在物体向左方向移动的情况下在物体的右侧产生余像噪声。此时,进入帧内模式适用步骤S104,将帧内模式适用于编码对象块的编码模式(MBType=INTRA)。
此外,在第二运动向量比较步骤S4022中,通过对编码对象块的运动向量(CurrMV)的铅直成分(vertical component)MVy和规定的运动向量阈值(—MVThr)进行比较,来判断编码对象块和物体的移动方向。当MVy小于—MVThr时,即(MVy<—MVThr)时,认为物体向下方向移动。在此,通过在二差分绝对值的和比较步骤S4012判断出(CurrSAD—S3)>Thr3,可知在编码对象块中,CurrSAD比右上邻接块的S3更大。因此,当MVy小于—MVThr时,即(MVy<—MVThr)时,在物体向下方向移动的情况下,判断为在物体的上侧产生余像噪声。此时,进入帧内模式适用步骤S104,将帧内模式适用于编码对象块的编码模式(MBType=INTRA)。
另一方面,当MVx在MVThr以下时,由于对于水平方向,右上邻接块503的S3及CurrSAD的变化方向与物体的移动方向不同,因此判断为没有产生余像噪声。此外,当MVy在—MVThr以上时,由于对于铅直方向,右上邻接块503的S3及CurrSAD的变化方向与物体的移动方向不同,因此判断为没有产生余像噪声。像这样,当对于水平方向及铅直方向两者,判断为没有产生余像噪声时,进入帧间模式适用步骤S105,将帧间模式适用于编码对象块的编码模式(MBType=INTER)。
在第三差分绝对值的和比较步骤S4013中,求出已在编码对象块差分绝对值的和计算步骤S101中算出的编码对象块的差分绝对值的和(CurrSAD)、与已在周边块差分绝对值的和取得步骤S402中取得的上邻接块502的差分绝对值的和S2的差分绝对值,来对该差分绝对值与规定的阈值Thr3进行比较。当该差分绝对值大于规定的阈值Thr3时,即((CurrSAD—S2)>Thr3)时,进入第三运动向量比较步骤S4023,而在其它情况下,判断为没有产生余像噪声,进入帧间模式适用步骤S105,并将帧间模式适用于编码对象块的编码模式(MBType=INTER)。
在第三运动向量比较步骤S4023中,通过对编码对象块的运动向量(CurrMV)的铅直成分(vertical component)MVy和规定的运动向量阈值(—MVThr)进行比较,来判断编码对象块和物体的移动方向。当MVy小于—MVThr时,即(MVy<—MVThr)时,认为物体向下方向移动。在此,通过在第三差分绝对值的和比较步骤S4013中判断出(CurrSAD—S2)>Thr3,可知在编码对象块中,CurrSAD比上邻接块的S2更大。因此,当MVy小于—MVThr时,即(MVy<—MVThr)时,判断为在物体向下方向移动的情况下在物体的上侧产生余像噪声。此时,进入帧内模式适用步骤S104,将帧内模式适用于编码对象块的编码模式(MBType=INTRA)。
另一方面,当MVy在—MVThr以上时,由于上邻接块502的S2及CurrSAD的变化方向与物体的移动方向不同,因此判断出没有产生余像噪声。此时,进入帧间模式适用步骤S105,将帧间模式适用于编码对象块的编码模式(MBType=INTER)。
在本发明的第一实施方式中,将编码对象块的差分绝对值的和(CurrSAD)、与邻接在编码对象块的上面的块及邻接在左侧的块各自的差分绝对值的和S1、S2的差分绝对值用在帧内/帧间判断中。然而,此时,虽然对于当运动中的物体的移动方向是右或下方向时所产生的余像噪声有效,但是当运动中的物体的移动方向是左、上方向时,由于在物体的右侧或下侧产生余像噪声,因此不能够恰当地进行判断。因此,在本发明的第二实施方式中设定成这样:通过按照运动向量的方向改变用在帧内/帧间判断中的周边块的位置,即使在运动中的物体的移动方向是左和/或上方向时,仍然能够防止由余像噪声的产生而引起的画质恶化。
像这样,通过进行上述帧内/帧间判断,即使在物体的移动方向是右、下方向以外时,也能够恰当地仅使产生余像噪声的块为帧内模式。
如上所述,根据本发明的第二实施方式中的帧内/帧间判断,通过在低比特率时的运动图像编码方式的帧内/帧间判断中,按照运动向量的方向改变用在帧内/帧间判断中的周边块的位置,来使运动中的物体的移动方向不限定于一定的方向,任何移动方向都能够防止产生余像噪声。因此,根据本发明的第二实施方式中的帧内/帧间判断,与本发明的第一实施方式中的帧内/帧间判断相比,能够实现在进一步抑制增加运动图像编码中的代码量的同时防止画质恶化的运动图像编码方法。
此外,作为在本实施方式中算出编码对象块的周边块的差分绝对值的和(SAD)的方法,例如,即使不具备差分绝对值的和保存步骤S106及差分信息存储器100,而是在周边块差分绝对值的和取得步骤S102中,根据参照图像和周边块算出差分绝对值的和(SAD),当然也能够获得一样的效果。
此外,在本实施方式中,对使左邻接块、上邻接块及右上邻接块为周边块的情况进行了说明,但是并不局限于此。例如,也可以使用邻接在编码对象块的左上方、右侧及下侧的块的差分绝对值的和(SAD)。能够通过将编码对象块的8个方向的所有周边块和运动向量的方向用在帧内/帧间判断中,在物体的移动方向为任一方向时,都能防止产生余像噪声。此时,由于需要编码对象块的右侧、下侧的SAD,因此在编码对象块的帧内/帧间判断之前,必须求出右侧、下侧的块的SAD。
此外,在本发明的第一及第二实施方式的说明中,将与差分绝对值的和的差分进行比较的阈值作为规定的值进行了说明,但是并不局限于此。例如,也可以根据量化参数、运动向量的值,来改变阈值。当量化参数的值较小,进行细微的量化时,由于即使在选择帧间模式的情况下也能够通过差分图像消除余像噪声,因此即使增大阈值,帧内模式难以被选择,也没有问题。例如,考虑这样的方法:利用表(table)等,当量化参数的值较小时选择较大的阈值,而当量化参数较大时选择较小的阈值。此外,也可以用函数来求出与差分绝对值的和的差分进行比较的阈值。
并且,由于认为当运动向量的大小较大时移动量较大,较容易产生余像噪声,因此也可以将与差分绝对值的和的差分进行比较的阈值较小,使的容易选择帧内模式。例如,考虑这样的方法:利用表等,当运动向量的大小较小时使与差分绝对值的和的差分进行比较的阈值较大,而当运动向量的大小较大时使与差分绝对值的和的差分进行比较的阈值较小。此外,也可以用函数来求出与差分绝对值的和的差分进行比较的阈值。
此外,在本发明的第一及第二实施方式的说明中,通过编码对象块的差分绝对值的和(CurrSAD)与周边块的差分绝对值的和(SAD)的差分的比较,或者通过与运动向量(CurrMV)的比较的组合,来进行了帧内/帧间判断,但是帧内/帧间判断并不局限于此。例如,也可以组合本发明的第一及第二实施方式中的帧内/帧间判断、和以往的帧内/帧间判断。在本发明的第一及第二实施方式中的帧内/帧间判断中,将帧内模式适用于产生余像噪声的块中,而将帧间模式适用于其它块中。另一方面,以往帧内/帧间判断是在考虑编码效率的情况下,进行帧内/帧间判断的。在本发明的第一及第二实施方式中的帧内/帧间判断中,考虑即使在判断为帧间模式的块中适用帧内模式,编码效率仍会较高的情况。此时,在该块中适用帧内模式。像这样,能够通过在本发明的第一及第二实施方式中的帧内/帧间判断时追加以往的帧内/帧间判断,来谋求提高编码效率。
(第三实施方式)
图6为表示本发明的第三实施方式中的图像编码装置600的结构的图。图像编码装置600由块分割单元601、正交转换单元602、量化单元603、熵编码单元604、逆量化单元605、逆正交转换单元606、环路滤波器607、第一帧存储器608、帧内预测单元609、第二帧存储器610、帧间预测单元611、选择器612、帧内/帧间判断单元613及差分信息存储器614构成。
下面,对图像编码装置600中的图像处理加以说明。块分割单元601对输入给图像编码装置600的输入图像按照每块进行分割。已由块分割单元601分割之后的输入图像和后述的预测图像的差分图像通过正交转换单元602进行正交转换,再由量化单元603进行量化。已由量化单元603获得的量化系数由熵编码单元604进行编码,作为比特流输出,另一方面,由逆量化单元605进行逆量化,再由逆正交转换单元606进行逆正交转换。
在已由逆正交转换单元606获得的图像与后述的预测图像相加之后,该所生成的图像被输入到第一帧存储器608及环路滤波器607。存储在第一帧存储器608中的帧内的图像在由帧内预测单元609进行帧内预测之后,被输入到帧内/帧间判断单元。
另一方面,环路滤波器607对所输入的帧内的图像进行分块滤波(deblocking filtering)。已由环路滤波器607进行分块滤波的图像由第二帧存储器610存储下来之后,再由帧间预测单元611进行帧间予测,被输入到帧内/帧间判断单元613。此外,由于已由帧间预测单元611获得的差分信息被用作依次进行处理的处理块的周边块的差分信息,因此由差分信息存储器614存储下来。
帧内/帧间判断单元613根据已由帧内预测单元609获得的活动性信息、已由帧间预测单元611获得的差分信息及从差分信息存储器614获得的周边块的差分信息,来进行帧内/帧间判断。在此,帧内/帧间判断单元613通过本发明的第一实施方式、第二实施方式的帧内/帧间判断方法,来进行帧内/帧间判断。
选择器612根据已由帧内/帧间判断单元613获得的判断结果,来选择已由帧内预测单元609获得的预测图像和已由帧间预测单元611获得的预测图像中的任意一个,将其加在从块分割单元601输出的输入图像和从逆正交转换单元606输出的图像上。
如上所述,根据本发明的第三实施方式中的图像编码装置,能够通过在帧内/帧间判断单元中,利用本发明的第一及第二实施方式所示的运动图像编码方法,来将帧内模式仅适用于产生余像噪声的块中,能够实现抑制在低比特率时运动图像编码中的代码量的增加,同时,防止画质恶化的图像编码装置。
此外,典型的图像编码装置600是作为集成电路LSI来实现的。既可以使它们分别为1个芯片,也可以使它们为包含一部分或全部的1个芯片。在此使它为LSI,根据集成度的不同,有时会被称为IC、***LSI、超级LSI及特大LSI。
此外,集成电路化的方法并不局限于LSI,也可以利用专用电路或通用处理器来实现。也可以在制造LSI之后,利用可编程序的FPGA(FieldProgrammable Gate Array:元件可编程逻辑闸阵列)、能够对LSI内部的单元电路(circuit cell)的连接、设定进行再构成的可重构处理器。
并且,如果因半导体技术的进步或派生出来的其它技术而出现代替LSI的集成电路化技术,则当然可以利用该技术来进行功能块的集成化。会有适用生物工程技术等的可能性。
(第四实施方式)
在本发明的第四实施方式中,对利用了在本发明的第一及第二实施方式中说明的运动图像编码方法的摄像***(影像***),如数码静止相机、网络摄像机等中的一个例子加以说明。图7为表示本发明的第四实施方式中的摄像***700的结构的图。摄像***700由光学***701、传感器702、A/D转换电路703、图像处理电路704、记录***/传送***705、再生***706、时间控制电路707及***控制电路708构成。
下面对摄像***700中的图像处理加以说明。通过光学***701入射的图像光在传感器702成像而被光电转换。通过光电转换而获得的电信号在由A/D转换电路703转换成数字信号之后,被输入到图像处理电路704。例如,图像处理电路704具备执行本发明的第一实施方式所示的图像编码方法的图像编码单元709。在图像处理电路704中,进行Y/C处理、边缘处理及图像的放大缩小等处理。在图像处理电路704中,还进行JPEG、MPEG等图像压缩/扩张处理及针对图像压缩之后的流(stream)的控制等。已由图像处理电路704进行图像处理之后的信号在记录***/传送***705中被存储在媒介,或者经由因特网等而被传输。已由记录***/传送***705记录或传送之后的信号由再生***706再生。在此,传感器702及图像处理电路704由时间控制电路707控制,光学***701、记录***/传送***705、再生***706及时间控制电路707由***控制电路708控制。
如上所述,根据本发明的第四实施方式中的摄像***,能够实现通过在图像处理电路中,利用本发明的第一及第二实施方式所示的运动图像编码方法,来将帧内模式仅适用于产生余像噪声的块中,能够抑制在低比特率中增加运动图像编码中的代码量,同时防止画质恶化的摄像***。
此外,在图7所示的摄像***700中,对由传感器702对来自光学***701的图像光进行光电转换,并将其输入给A/D转换电路703的摄像设备等进行了说明,但是本发明中的摄像***并不局限于此。除此之外,不用说,也可以将电视机等AV设备的模拟影像输入直接输入到A/D转换电路703。
以上,虽然对本发明进行了详细的说明,但是上述说明只不过是本发明的例示,本发明对其范围并不进行任何限制。不用说只要不脱离本发明的宗旨的话,能够进行各种改良和变形。

Claims (18)

1.一种图像编码方法,适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码,其特征在于,
该图像编码方法执行以下的步骤:
编码对象块差分信息计算步骤,根据编码对象块和参照图像,算出第一差分信息,
周边块差分信息计算步骤,根据与上述编码对象块邻接的8个周边块中的至少1个以上的周边块和上述参照图像,算出至少1个以上的第二差分信息,
帧内/帧间判断步骤,算出上述第一差分信息与上述第二差分信息的至少1个以上的差分,来对该差分和规定的阈值进行比较,以及
帧内/帧间模式适用步骤,根据上述帧内/帧间判断步骤的比较结果,将上述帧内模式或上述帧间模式适用于上述编码对象块的编码模式。
2.根据权利要求1所述的图像编码方法,其特征在于:
在上述帧内/帧间模式适用步骤,在上述差分中的任意1个大于上述规定的阈值时,将上述帧内模式适用于上述编码对象块的编码模式,在所有上述差分小于上述规定的阈值时,将上述帧间模式适用于上述编码对象块的编码模式。
3.根据权利要求2所述的图像编码方法,其特征在于:
该图像编码方法还执行将上述第一差分信息保存在存储器中的差分信息保存步骤;
上述周边块差分信息计算步骤在上述周边块成为编码对象块时,将保存在上述存储器中的上述第一差分信息用作上述第二差分信息。
4.根据权利要求2所述的图像编码方法,其特征在于:
上述第一差分信息为上述编码对象块与上述参照图像之间的差分绝对值的和;
上述第二差分信息为上述周边块与上述参照图像之间的差分绝对值的和。
5.根据权利要求2所述的图像编码方法,其特征在于:
上述周边块为邻接在上述编码对象块的左侧的左邻接块、和邻接在上面的上邻接块。
6.根据权利要求1所述的图像编码方法,其特征在于:
该图像编码方法还执行活动性信息判断步骤,该活动性信息判断步骤在所有上述差分小于上述规定的阈值时,算出表示上述编码对象块的复杂度的活动性信息,对上述活动性信息和上述第一差分信息进行比较;
在上述帧内/帧间模式适用步骤,在上述差分中的任意1个大于上述规定的阈值时,或在所有上述差分小于上述规定的阈值,且上述活动性信息小于上述第一差分信息时,将上述帧内模式适用于上述编码对象块的编码模式,在所有上述差分小于上述规定的阈值且上述活动性信息大于上述第一差分信息时,将上述帧间模式适用于上述编码对象块的编码模式。
7.根据权利要求6所述的图像编码方法,其特征在于:
上述活动性信息是根据上述编码对象块的方差求出的;
上述第一差分信息是根据上述编码对象块和上述参照图像之间的差分图像的方差求出的。
8.根据权利要求1所述的图像编码方法,其特征在于:
该图像编码方法还执行算出上述编码对象块的运动向量的编码对象块运动向量计算步骤;
在上述帧内/帧间模式适用步骤,在产生余像噪声的条件是上述差分中的任意1个大于上述规定的阈值、上述运动向量的大小大于规定的运动向量阈值、且上述运动向量的方向为在上述参照图像中的上述周边块所在的方向时,将上述帧内模式适用于上述编码对象块的编码模式,在上述产生余像噪声的条件以外时,将上述帧间模式适用于上述编码对象块的编码模式。
9、根据权利要求8所述的图像编码方法,其特征在于:
该图像编码方法还执行将上述第一差分信息保存在存储器中的差分信息保存步骤;
上述周边块差分信息计算步骤在上述周边块成为编码对象块时,将保存在上述存储器中的上述第一差分信息用作上述第二差分信息。
10.根据权利要求8所述的图像编码方法,其特征在于:
上述规定的阈值是根据量化参数的大小来适当地变化的。
11.根据权利要求8所述的图像编码方法,其特征在于:
上述规定的阈值是根据上述运动向量的大小来适当地变化的。
12.一种图像编码装置,适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码,其特征在于:
该图像编码装置包括:
编码对象块差分信息计算单元,根据编码对象块和参照图像,算出第一差分信息,
周边块差分信息计算单元,根据与上述编码对象块邻接的8个周边块中的至少1个以上的周边块、和上述参照图像,来算出至少1个以上的第二差分信息,
帧内/帧间判断单元,算出上述第一差分信息与上述第二差分信息的至少1个以上的差分,来对该差分和规定的阈值进行比较,
帧内模式适用单元,在上述差分中的任意1个大于上述规定的阈值时,将上述帧内模式适用于上述编码对象块的编码模式,以及
帧间模式适用单元,在所有上述差分小于上述规定的阈值时,将上述帧间模式适用于上述编码对象块的编码模式。
13.根据权利要求12所述的图像编码装置,其特征在于:
该图像编码装置还包括将上述第一差分信息保存在存储器中的差分信息保存单元;
上述周边块差分信息计算单元在上述周边块成为编码对象块时,将保存在上述存储器中的上述第一差分信息用作上述第二差分信息。
14.根据权利要求12所述的图像编码装置,其特征在于:
上述第一差分信息为上述编码对象块与上述参照图像之间的差分绝对值的和;
上述第二差分信息为上述周边块与上述参照图像之间的差分绝对值的和。
15.根据权利要求12所述的图像编码装置,其特征在于:
上述周边块为邻接在上述编码对象块的左侧的左邻接块、和邻接在上述编码对象块的上面的上邻接块。
16.根据权利要求12所述的图像编码装置,其特征在于:
上述规定的阈值是根据量化参数的大小来适当地变化的。
17.一种用于图像编码装置的集成电路,该图像编码装置是适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码的图像编码装置,其特征在于:
在该集成电路中集成有作为编码对象块差分信息计算单元、周边块差分信息计算单元、帧内/帧间判断单元、帧内模式适用单元、及帧间模式适用单元发挥作用的电路,
该编码对象块差分信息计算单元,根据编码对象块和参照图像,来算出第一差分信息,
该周边块差分信息计算单元,根据与上述编码对象块邻接的8个周边块中的至少1个以上的周边块、和上述参照图像,算出至少1个以上的第二差分信息,
该帧内/帧间判断单元,算出上述第一差分信息与上述第二差分信息的至少1个以上的差分,并对该差分和规定的阈值进行比较,
该帧内模式适用单元,在上述差分中的任意1个大于上述规定的阈值时,将上述帧内模式适用于上述编码对象块的编码模式,以及
该帧间模式适用单元,在所有上述差分小于上述规定的阈值时,将上述帧间模式适用于上述编码对象块的编码模式。
18.一种摄像***,该摄像***利用图像编码方法,该图像编码方法是适当地选择作为帧内编码的帧内模式和作为帧间编码的帧间模式,来对规定的块图像依次进行编码的图像编码方法,其特征在于,
该摄像***包括:
光学***,对入射来的图像光进行成像,
传感器,将上述成像后的图像光转换为图像信号,以及
图像处理电路,对上述图像信号进行图像处理;
上述图像处理电路执行图像编码方法,该图像编码方法执行以下的步骤:
编码对象块差分信息计算步骤,根据编码对象块和参照图像,来算出第一差分信息,
周边块差分信息计算步骤,根据与上述编码对象块邻接的8个周边块中的至少1个以上的周边块和上述参照图像,算出至少1个以上的第二差分信息,
帧内/帧间判断步骤,算出上述第一差分信息与上述第二差分信息的至少1个以上的差分,对该差分和规定的阈值进行比较,
帧内模式适用步骤,在上述差分中的任意一个大于上述规定的阈值时,将上述帧内模式适用于上述编码对象块的编码模式,以及
帧间模式适用步骤,在所有上述差分小于上述规定的阈值时,将上述帧间模式适用于上述编码对象块的编码模式。
CNA2008101751568A 2008-01-30 2008-10-30 图像编码方法 Pending CN101500167A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008019467A JP2009182623A (ja) 2008-01-30 2008-01-30 画像符号化方法
JP019467/2008 2008-01-30

Publications (1)

Publication Number Publication Date
CN101500167A true CN101500167A (zh) 2009-08-05

Family

ID=40899197

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101751568A Pending CN101500167A (zh) 2008-01-30 2008-10-30 图像编码方法

Country Status (3)

Country Link
US (1) US20090190660A1 (zh)
JP (1) JP2009182623A (zh)
CN (1) CN101500167A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143128A (zh) * 2010-06-30 2011-08-03 华为技术有限公司 移动终端桌面快捷方式更新方法、装置与***
CN102907100A (zh) * 2010-05-17 2013-01-30 Sk电信有限公司 使用帧内块和帧间块相混合的编码块的视频编码/解码设备及其方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560350B2 (en) * 2009-03-31 2017-01-31 Texas Instruments Incorporated Intra/inter mode decision for predictive frame encoding
US8908984B2 (en) * 2009-10-05 2014-12-09 I.C.V.T. Ltd. Apparatus and methods for recompression of digital images
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
KR101825768B1 (ko) 2010-11-24 2018-02-05 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
CN106878742B (zh) * 2011-01-12 2020-01-07 太阳专利托管公司 动态图像编解码装置
WO2012114694A1 (ja) 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP2012175548A (ja) * 2011-02-23 2012-09-10 Hitachi Kokusai Electric Inc 動画像符号化装置及び動画像符号化方法
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP5988577B2 (ja) 2011-12-28 2016-09-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
CN103765903B (zh) * 2012-01-18 2017-09-01 松下知识产权经营株式会社 图像解码装置、图像编码装置、图像解码方法及图像编码方法
US20130208992A1 (en) * 2012-02-13 2013-08-15 Shu Lin System and method for difference frame threshold encoding and decoding
US9131073B1 (en) * 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
JP2013247651A (ja) * 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9210432B2 (en) * 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US10003792B2 (en) 2013-05-27 2018-06-19 Microsoft Technology Licensing, Llc Video encoder for images
JP6468703B2 (ja) * 2013-12-20 2019-02-13 キヤノン株式会社 動き検出装置、動き検出方法及びプログラム
US10136140B2 (en) 2014-03-17 2018-11-20 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
JP6052319B2 (ja) 2015-03-25 2016-12-27 Nttエレクトロニクス株式会社 動画像符号化装置
US10038917B2 (en) 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US20160373739A1 (en) * 2015-06-16 2016-12-22 Microsoft Technology Licensing, Llc Intra/inter decisions using stillness criteria and information from previous pictures
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
EP3648059B1 (en) * 2018-10-29 2021-02-24 Axis AB Video processing device and method for determining motion metadata for an encoded video
US11259035B2 (en) * 2019-03-15 2022-02-22 Ati Technologies Ulc Macroblock coding type prediction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54114920A (en) * 1978-02-28 1979-09-07 Kokusai Denshin Denwa Co Ltd Television signal adaptive forecasting encoding system
JP3002019B2 (ja) * 1991-07-04 2000-01-24 富士通株式会社 セル廃棄補償機能を有する画像符号化伝送方式
JP2502862B2 (ja) * 1991-12-02 1996-05-29 松下電器産業株式会社 画像符号化方法及び画像符号化装置
JP3356516B2 (ja) * 1993-12-28 2002-12-16 シャープ株式会社 動画像符号化装置
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
WO2004039083A1 (ja) * 2002-04-26 2004-05-06 Ntt Docomo, Inc. 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US8155189B2 (en) * 2005-10-19 2012-04-10 Freescale Semiconductor, Inc. System and method of coding mode decision for video encoding
JP4804423B2 (ja) * 2006-08-08 2011-11-02 キヤノン株式会社 動きベクトル検出装置及び動きベクトル検出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102907100A (zh) * 2010-05-17 2013-01-30 Sk电信有限公司 使用帧内块和帧间块相混合的编码块的视频编码/解码设备及其方法
US9420293B2 (en) 2010-05-17 2016-08-16 Sk Telecom Co., Ltd. Image coding/decoding device using coding block in which intra block and inter block are mixed, and method thereof
CN102907100B (zh) * 2010-05-17 2016-09-28 Sk电信有限公司 使用帧内块和帧间块相混合的编码块的视频编码/解码设备及其方法
CN102143128A (zh) * 2010-06-30 2011-08-03 华为技术有限公司 移动终端桌面快捷方式更新方法、装置与***
CN102143128B (zh) * 2010-06-30 2014-05-07 华为技术有限公司 移动终端桌面快捷方式更新方法、装置与***

Also Published As

Publication number Publication date
JP2009182623A (ja) 2009-08-13
US20090190660A1 (en) 2009-07-30

Similar Documents

Publication Publication Date Title
CN101500167A (zh) 图像编码方法
CN103118252B (zh) 运动图像编码装置以及运动图像译码装置
CN101273638B (zh) 图像处理装置以及图像处理方法
EP1465432B1 (en) Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
CN103152579B (zh) 用于视频编码及解码的环内自适应维纳滤波器
CN100579224C (zh) 用于无损视频编码和解码的方法及设备
CN100574448C (zh) 图像信息编码装置和方法、图像信息解码装置和方法
EP2234404A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN102369730B (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
US20060109905A1 (en) Fast block mode determining method for motion estimation, and apparatus thereof
CN104363457A (zh) 图像处理设备和方法
CN102057680A (zh) 运动图像编码/解码方法和装置
CN101543074A (zh) 去块滤波装置和方法
KR20070093781A (ko) 동화상 부호화 장치 및 기록 매체
CN101888546B (zh) 一种运动估计的方法及装置
CN104284199A (zh) 用降低复杂度的去块效应操作进行视频解码
JP2007013298A (ja) 画像符号化装置
CN104754337A (zh) 视频编码方法
CN102026002B (zh) 帧率下采样转码方法和装置以及矢量重建方法和装置
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
JP5670226B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JP2010081498A (ja) 画像圧縮符号化方法、及び装置
EP1819173B1 (en) Motion vector predictive encoding apparatus and decoding apparatus
JP3674535B2 (ja) 動画像符号化方法および装置
JP2006180195A (ja) 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090805