CN102271257B - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN102271257B
CN102271257B CN201110202917.6A CN201110202917A CN102271257B CN 102271257 B CN102271257 B CN 102271257B CN 201110202917 A CN201110202917 A CN 201110202917A CN 102271257 B CN102271257 B CN 102271257B
Authority
CN
China
Prior art keywords
code
mode
prediction
image processing
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110202917.6A
Other languages
English (en)
Other versions
CN102271257A (zh
Inventor
佐藤数史
田中润一
矢崎阳一
竺逸雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102271257A publication Critical patent/CN102271257A/zh
Application granted granted Critical
Publication of CN102271257B publication Critical patent/CN102271257B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及能可靠地把代码量抑制到低于期望值的图像处理设备和方法及程序和计算机可读介质。所述图像处理设备,包括:预测装置,预测对图像进行编码时所产生的产生代码量;预测模式控制装置,进行控制使得在所预测的所述产生代码量超过规定值的情况下,针对所述图像内的使用内预测而编码的各块,应用相同预测方向的内预测模式;和编码装置,根据所应用的内预测模式对所述各块进行编码。本发明可应用于编码设备。

Description

图像处理设备
本申请是同一申请人的申请日为2007年7月13日的、申请号为200780026804.7(PCT/JP2007/063950)、发明名称为“图像处理设备和方法及程序”的中国发明专利申请的分案申请。 
技术领域
本发明涉及图像处理设备和方法及程序和计算机可读介质,并且特别涉及能够更可靠地将代码量抑制到期望值以下的图像处理设备和方法以及程序和计算机可读介质。 
背景技术
在根据H.264/AVC(高级视频编码)***来编码图像的***中,根据若干条件来设置每幅画面的代码量的上限,例如HRD(假定参考解码器)缓冲器容量、网络带宽、***层约束和盘驱动器的读出性能。如果代码量超过上限,则***的操作可能会发生故障。因此,传统上提出了各种方法,用于控制按照H.264/AVC***来编码图像的编码设备中的代码量(例如,参见专利文档1)。 
专利文档1:日本专利申请发明延迟公开No.2004165894 
技术问题 
然而,例如,在输出包括白噪声的图像的情况下,通过基于MPEG-2测试模型5(TM5)中定义的速率控制方法的传统控制,存在代码量超过上限的可能。 
本发明正是考虑到上述条件而作出的,并且能可靠地把代码量抑制到期望值以下。 
发明内容
根据本发明一个方面的图像处理设备,在用于按照MPEG(运动图像编码专家组)4***或H.264/AVC(高级视频编码)***对图像进行编码的图像处理设备中,包括确定装置,用于确定由用于控制比特率的第一代码量控制装置控制的每幅画面的代码量是否可能超过预定的上限;和第二代码量控制装置,用于如果确定每幅画面的代码量可能超过所述上限,则按照不同于所述第一代码量控制装置的方法来控制编码以抑制代码量。 
确定装置可基于所述第一代码量控制装置分配给每个画面的代码量来确定每幅画面的代码量是否可能超过所述预定的上限。 
第二代码量控制装置可执行控制以使用零来替换通过在作为原始图像和预测图像之差的差分图像中的宏块上执行正交变换而获得的变换系数中的预定频率成分的变换系数。 
第二代码量控制装置可执行控制以使用零来替换除直流成分以外的频率成分的变换系数。 
第二代码量控制装置可执行控制以使用零来替换包括直流成分在内的全部频率成分的变换系数。 
第二代码量控制装置可执行控制以改变频率成分范围,其中基于第一代码量控制装置分配给每个画面的代码量而使用零来替换变换系数。 
第二代码量控制装置执行控制以改变频率成分的范围,其中基于宏块所属的片段(slice)的类型而使用零来替换变换系数。 
第二代码量控制装置可控制用于产生预测图像的预测模式。 
第二代码量控制装置可执行控制,用于把相同的预测方向应用到作为执行内预测的单位的每个块。 
第二代码量控制装置可执行控制以将DC模式应用于每个块。 
第二代码量控制装置可执行控制以在亮度信号的内预测中应用内部16×16模式。 
第二代码量控制装置可基于宏块所属的片段的类型而控制用于执行内预测的单位的块的大小。 
第二代码量控制装置执行控制,用于应用跳过模式,其作为属于P片段的宏块的预测模式。 
第二代码量控制装置执行控制,用于应用跳过模式或直接模式,其作为属于B片段的宏块的预测模式。 
根据本发明一个方面的图像处理方法,在用于按照MPEG(运动图像编码专家组)4***或H.264/AVC(高级视频编码)***对图像进行编码的图像处理方法中,包括以下步骤:确定用于控制比特率的代码量控制装置控制的每幅画面的代码量是否可能超过预定的上限;以及如果确定每幅画面的代码量可能超过所述上限,则按照不同于所述代码量控制装置的方法来控制编码以抑制代码量。 
根据本发明一个方面的程序,在用于允许计算机执行用于按照MPEG(运动图像编码专家组)4***或H.264/AVC(高级视频编码)***对图像进行编码的图像处理的程序中,包括以下步骤:确定用于控制比特率的代码量控制装置控制的每幅画面的代码量是否可能超过预定的上限;以及如果确定每幅画面的代码量可能超过所述上限,则按照不同于所述代码量控制装置的方法来控制编码以抑制代码量。 
根据本发明的一个方面,确定用于控制比特率的代码量控制装置控制的每幅画面的代码量是否可能超过预定的上限,并且如果确定每幅画面的代码量可能超过该上限,则根据不同于该代码量控制装置的方法来控制编码以抑制代码量。 
有益效果 
根据本发明的一个方面,抑制了代码量。此外,根据本发明的一个方面,更可靠地把代码量抑制到期望值以下。 
附图说明
图1是示出应用本发明的图像处理设备的实施例的方块图。 
图2是用于解释图1的图像处理设备执行的编码处理的流程图。 
图3是用于解释图1的图像处理设备执行紧急模式应对(dealing)处理的流程图。 
图4是示出个人计算机的配置例子的方块图。 
附图标记 
101-图像处理设备,114-正交转换部件,115-量化部件,118-速率控制部件,119-紧急模式控制部件,125-内预测部件,126-运动预测/补偿部件,127-模式确定部件,141-紧急模式确定部件,142-代码量控制部件 
具体实施方式
下面,将参照附图描述本发明的实施例。 
图1是示出了应用本发明的图像处理设备的实施例的方块图。 
图像处理设备101是按照H.264/AVC(高级视频编码)来编码输入图像并且输出编码图像到例如记录设备、传输线路等布置在后续级(未示出)的设备。 
图像处理设备101被配置为包括A/D(模拟/数字)转换部件111、屏幕图像重新布置缓冲器112、加法器113、正交转换部件114、量化部件115、无损编码部件116、存储缓冲器117、速率控制部件118、紧急模式控制部件119、反量化部件120、反正交转换部件121、加法器122、去块化滤波器123、帧存储器124、内预测部件125、运动预测/补偿部件126、以及模式确定部件127。此外,紧急模式控制部件119被配置为包括紧急模式确定部件141和代码量控制部件142。 
A/D转换部件111把来自输出侧的模拟图像输入A/D转换成数字图像,并把转换后的数字图像(此后视情况而定也称作原始图像)提供给屏幕图像重新布置缓冲器112。 
屏幕图像重新布置缓冲器112基于GOP(Group of Pictures,画面组)结构而重新布置由A/D转换部件111提供的原始图像,并且将它们依次提供给加法器113、内预测部件125和运动预测/补偿部件126。 
加法器113从模式确定部件127获得利用原始图像中每个宏块上的内预测(帧内预测)来预测的内预测图像,或者利用间预测(inter  prediction)(帧间预测,运动补偿预测)来预测的间预测图像。加法器113找到原始图像和内预测图像或间预测图像之间的每个宏块的差异,并将通过查找差异而得到的预测误差构成的差分图像提供给正交转换部件114。 
在差分图像中预定尺寸的每个块上,正交转换部件114执行正交变换,例如离散余弦变换或卡洛变换(Karhunen-Loeve transform),并且从而将得到的变换系数提供给量化部件115。此外,就像将要参照图3所描述的那样,在每幅画面的代码量可能超过预定的上限的紧急模式中,在紧急模式部件126的控制下,正交转换部件114把预定频率成分的变换系数替换成零。 
量化部件115使用由速率控制部件118控制的量化比例来量化由正交转换部件114提供的变换系数,并且把量化的变换系数提供给无损编码部件116和反量化部件120。 
无损编码部件116从内预测部件125获得有关内预测的信息,并且从运动预测/补偿部件126获得有关间预测的信息。无损编码部件117以预定的次序排列量化的变换系数、有关内预测的信息和有关间预测的信息等,并且在排列过的数据上执行无损编码处理,包括诸如基于上下文的自适应可变长度编码(Context-Adaptive Variable Length Coding,CAVLC)的可变长度编码,诸如基于上下文的自适应二进制算术编码(Context-Adaptive Binary Arithmetic Coding,CABAC)的算术编码等。无损编码部件116把经过编码的数据提供给存储缓冲器117以存储。 
存储缓冲器117把无损编码部件116提供的数据作为使用H.264/AVC***编码的图像而输出到布置在后续级的记录设备、传输线路等(图中未示出)。 
基于存储在存储缓冲器117中的图像代码量,速率控制部件118控制比特率,所述比特率是单位时间分配给待编码图像的代码量。 
例如,速率控制部件118通过控制量化比率的值来控制比特率,所述量化比率的值是在量化中,量化部件115使用MPEG-2测试模型 5(TM5)中定义的速率控制方法来除变换系数的值。此外,速率控制部件118计算目标比特,其是分配给下一个将要编码的图像(画面)的代码量的估计值,并且提供指示所计算的目标比特的信息给紧急模式控制部分119。 
紧急模式控制部件119执行有关紧急模式的处理。 
基于从比率控制部件118获得的目标比特,构成紧急模式控制部件119的元件中的紧急模式确定部件141确定下一个将要编码的图像(画面)的每幅画面的代码量是否可能超过预定的上限。紧急模式确定部件141提供表明确定结果的信息给代码量控制部件142。 
注意到基于诸如HRD缓冲器容量、网络带宽、***层限制和盘驱动器的读出性能等条件来设置每幅画面的代码量上限。此外,该上限可以是可变化的,并且可以随条件的变化而变化。 
如果紧急模式确定部件141确定每幅画面的代码量可能会超过预定的上限,代码量控制部件142控制编码以根据不同于比率控制部件118的方法,通过控制由正交转换部件114、内预测部件125或模式确定部件127执行的处理来抑制代码量,就像稍后将参照图3描述的那样。 
反量化部件120反量化由所述量化部件115提供的变换系数,并将其提供给反正交转换部件121。 
根据反量化部件120提供的变换系数,反正交转换部件121执行反正交变换,例如反离散余弦变换和反卡洛变换(inverse Karhumen-Loeve transform)。因此,差分图像被解码。反正交转换部件121提供解码的差分图像给加法器122。 
加法器122从模式确定部件127获得用于产生差分图像的内预测图像或间预测图像,并且把差分图像加到所获取的内预测图像或间预测图像上。因此,原始图像被解码。加法器122提供解码的图像(此后适当称作解码图像)给去块化滤波器123。 
去块化滤波器123根据解码图像来执行去块化处理,用于消除块失真(block distortion)。去块化滤波器123提供其中执行过去块化 处理的图像给帧存储器124。此外,去块化滤波器123把未经去块化处理的解码图像作为用于内预测的图像提供给帧存储器124。 
帧存储器124存储由去块化滤波器123提供的图像,作为执行内预测或间预测时参考的图像(此后适当称为参考图像)。 
内预测部件125使用相邻于存储在帧存储器124的相同帧中的宏块的编码像素,在每个宏块上执行内预测,用于产生原始图像的内预测图像。注意到如上所述,执行去块化处理前的解码图像的像素在内预测中使用。 
运动预测/补偿部件126使用存储在帧存储器124中另一帧的参考图像,为原始图像中的每个宏块检测相对于参考图像的运动矢量,并且使用所检测的运动矢量对参考图像执行运动补偿,从而执行间预测以产生原始图像的间预测图像。 
模式确定部件127使用例如低复杂度模式(高速模式)来确定将应用于每个宏块的预测模式。 
现在,将对内预测部件125、运动预测/补偿部件126和模式确定部件127的处理进行更具体的描述。 
在H.264/AVC标准中,若干预测模式被定义为内预测方法和间预测方法。 
具体地说,就亮度信号的内预测而言,定义了4×4像素(内4×4模式)、8×8像素(内8×8模式,仅在应用高端的情况下)和16×16像素(内16×16模式)三种作为内预测的单位块。此外,在内4×4模式和内8×8模式中,定义了九种预测模式0-8作为像素值预测方向。在16×16模式中,定义了四种预测模式0-3作为像素值预测方向。 
此外,就色差信号的内预测而言,8×8像素这一种定义为内预测的单位块,并且四种预测模式0-3被定义为像素值预测方向。 
此外,就间预测而言,16×16像素、16×8像素、8×16像素、8×8像素、8×4像素、4×8像素和4×4像素七种定义为间预测的单位块。此外,就属于B(双向预测)片段(slice)的块的间预测而言,定义其中在时间轴上仅参考在先(过去的)画面的在先预测模式、其中在 时间轴上仅参考后续(未来的)画面的后继预测模式、其中在时间轴上参考在先画面和后继画面二者的双向预测模式等等。 
此外,就属于P(预测的)片段或B片段的块的间预测而言,定义有跳过(skip)模式,用于通过使用运动矢量所参考的参考图像的块的像素值本身来抑制宏块上的信息的代码量。此外,就属于B片段的块的间预测而言,定义有直接模式,用于使用编码块的运动矢量来预测运动矢量。 
考虑到可应用于每个宏块的内预测的所有预测模式(此后也称作内预测模式),内预测部件125通过下面公式(1)为每个宏块计算成本值Cost(Mode)。 
Cost(Mode)=SA(T)D+SA(T)DO    (1) 
这里,SA(T)D表示预测误差之和的绝对值,所述预测误差是原始图像和预测图像之间的差。并且,SA(T)DO是到SA(T)D的偏移值并且是用于传输添加到宏块的首部信息(诸如运动矢量)而使用的数据量。 
内预测部件125提供所有计算出的成本值Cost(Mode),即,表明可应用于宏块的所有内预测模式的成本值Cost(Mode)的信息,给模式确定部件127。 
此外,就像稍后将参照图3所描述的那样,在紧急模式中,在代码量控制部件119的控制下,内预测部件125限制为其计算成本值Cost(Mode)的预测模式,从而限制了应用到每个宏块的内预测模式。 
像内预测部件125那样,运动预测/补偿部件126考虑到可应用于每个宏块的间预测的所有预测模式(此后也称作间预测模式),通过上面公式(1)为每个宏块计算成本值Cost(Mode)。运动预测/补偿部件126提供所有计算出的成本值Cost(Mode),即,表明可应用于宏块的所有间预测模式的成本值Cost(Mode)的信息,给模式确定部件127。 
模式确定部件127,基于从内预测部件125或运动预测/补偿部件126获得的成本值Cost(Mode),从图像质量和代码量的角度选择将 应用于每个宏块的预测模式。 
此外,就像稍后将参照图3描述的那样,在紧急模式中,在代码量控制部件119的控制下,模式确定部件127限制将应用于每个宏块的预测模式。 
如果模式确定部件127选择所述内预测模式之一,则模式确定部件127提供表明所选内预测模式的信息给内预测部件125。内预测部件125基于所选内预测模式而生成内预测图像,并且提供所生成的内预测图像至模式确定部件127。此外,内预测部件125把诸如所选预测模式的信息,作为关于内预测的宏块的内预测信息,提供给无损编码部件116。 
此外,如果模式确定部件127选择所述间预测模式之一,则模式确定部件127把表明所选的间预测模式的信息提供给运动预测/补偿部件126。运动预测/补偿部件126检测运动矢量并且基于所选的间预测模式生成间预测图像,并且提供所生成的间预测图像给模式确定部件127。此外,模式预测/补偿部件126把诸如所选预测模式、所检测的运动矢量和参考图像(画面)数量的信息,作为有关间预测的宏块的间预测的信息,提供给无损编码部件116。 
模式确定部件127将基于所选的预测模式而生成的内预测图像或间预测图像提供给加法器113和加法器122。 
接下来,参照图2的流程图,将对图1中图像处理设备101所执行的编码处理进行描述。注意到,当例如从外面的图像到图像处理设备101的图像输入开始时,开始该处理。 
在步骤S1,图像处理设备101开始图像编码。即,图像处理设备101的诸部件开始参照图1所述的操作,从而按照H.264/AVC***开始对图像进行编码。此外,开始进行稍候将参照图3描述的紧急模式应对处理。 
在步骤S2,图像处理设备101确定是否已经对全部图像进行编码。在步骤S2,执行图像编码,直到确定来自外部的全部图像输入都已经被编码为止。如果确定来自外部的全部图像输入都已经被编码, 则编码处理结束。 
接下来,参照图3的流程图,将描述在上面参照图2描述的编码处理过程中,图像处理设备101执行的紧急模式应对处理。 
在步骤S21,比率控制部件118计算下一个画面的目标比特。具体地说,比率控制部件118基于存储在存储缓冲器117中的图像的代码量来计算下一个画面的目标比特,例如,使用在TM5中定义的比率控制方法。比率控制部件118提供表明所计算的目标比特的信息给紧急模式确定部件141。 
在步骤S22,紧急模式确定部件141确定下一画面的代码量是否可能超过上限。如果从比率控制部件118获得的目标比特超过预定的上限,则紧急模式确定部件141确定下一画面的代码量可能会超过上限,并且处理进行到步骤S23。 
在步骤S23,代码量控制部件142提供有关紧急模式操作的指令。具体地说,紧急模式确定部件141把表明下一画面的代码量可能会超过上限的信息提供给代码量控制部件142。代码量控制部件142把有关紧急模式操作的指令提供给正交转换部件114、内预测部件125和模式确定部件127。 
在步骤S24,在代码量控制部件142的控制下,正交转换部件114开始用零替换预定频率成分的变换系数。 
例如,在T表示下一帧的目标比特、Θ表示每幅画面的代码量上限,并且Th1、Th2和Th3(这里,Th1<Th2<Th3)表示关于每幅画面的代码量的预定阈值的情况下,在代码量控制部件142的控制下,如果Th1<T-Θ<Th2,则正交转换部件114使用零替换除了直流(DC)成分之外的预定频率成分和与其不同的另一特定频率成分的变换系数值。如果Th2≤T-Θ<Th3,则正交转换部件114使用零替换除了DC成分以外的频率成分的变换系数值。如果Th3≥T-Θ,则正交转换部件114使用零替换包括DC成分在内的全部频率成分的变换系数值。也就是说,使用零替换变换系数的频率成分范围基于目标比特T而变化。更具体地说,当目标比特T增大时,使用零替换变换系数的频率成分范 围增加,使得代码量抑制的更多。 
此外,使用零替换变换系数的频率成分范围可以改变,例如,基于宏块所属的片段类型。例如,就属于I(内)片段的宏块而言,可使用零替换包括DC成分在内的全部频率成分的变换系数值,并且就属于P片段或B片段的宏块而言,可使用零替换除了DC成分以外的频率成分的变换系数值。也就是说,使用零替换变换系数的频率成分范围增加,使得在具有趋于大于P或B片段的代码量的属于I片段的宏块中,比在属于P或B片段的宏块中,代码量抑制的更多。 
因此,预定频率成分的变换系数被零替换,从而抑制了代码量。 
注意到正交转换部件114继续使用零替换变换系数,直到在稍后描述的步骤S28中紧急模式被取消为止。 
在步骤S25,在代码量控制部件142的控制下,内预测部件125限制内预测模式的应用。例如,在代码量控制部件142的控制下,内预测部件125分别将亮度信号和色差信号的内4×4模式、内8×8模式(仅在应用高端的情况下)和内16×16模式的像素值预测方向限制到一种。内预测部件125仅计算所限制的预测方向的成本值Cost(Mode),并不计算其它预测方向的成本值Cost(Mode)。因此,在内预测模式中,采用了所有相同预测方向的预测模式。结果,没有必要编码每个块的预测模式,从而使得抑制代码量成为可能。 
注意到在该情况下,与预测方向统一为另一预测模式相比,预测方向统一成DC模式(亮度信号中的预测模式2和色差信号中的预测模式0),从而图像中不出现非自然的方向性。因此可以减少图像退化(degradation)。 
此外,例如,就亮度信号而言,可仅为存在更小量代码的内16×16模式计算成本值Cost(Mode)。 
此外,将采用的预测模式可受到限制,例如,基于宏块所属的片段的类型。例如,就属于I片段的宏块的亮度信号而言,可仅为内16×16模式计算成本值Cost(Mode),并且就属于P片段或B片段的宏块的亮度信号而言,可分别为内4×4模式、内8×8模式(仅在应用高端 的情况下)和内16×16模式计算成本值Cost(Mode)。也就是说,作为执行内预测的单位的块被设置的更大,使得在具有趋于大于P或B片段的代码量的属于I片段的宏块中,比在属于P或B片段的宏块中,代码量抑制的更多。 
因此,将应用到每个宏块的内预测模式受到限制,使得内预测中的代码量被抑制。 
注意到内预测部件125继续限制内预测模式,直到在稍后描述的步骤S28中取消紧急模式为止。 
在步骤S26,在代码量控制部件142的控制下,模式确定部件127限制将要应用的间预测模式。 
例如,就属于B片段的宏块而言,在代码量控制部件142的控制下,模式确定部件127把间预测模式的选择限制在跳过模式和直接模式。也就是说,把将要应用到属于B片段的宏块的预测模式限制到步骤S25中所限制的任一内预测模式,直接模式和跳过模式。 
此外,例如,就属于P片段的宏块而言,在代码量控制部件142的控制下,模式确定部件127把间预测模式的选择限制到跳过模式。也就是说,将应用于属于P片段的宏块的预测模式被限制到跳过模式和步骤S25中限定的内预测模式之一。 
此外,就属于I片段的宏块而言,由于没有执行间预测,所以将要应用的预测模式被限制到步骤S25中限定的内预测模式。 
基于成本值Cost(Mode),模式确定部件127从限制的预测模式中选择待应用于宏块的预测模式。 
因此,在选择间预测的情况下,由于预测模式为跳过模式或直接模式,代码量被抑制。 
此外,就属于P或B片段的宏块而言,内预测模式可以从选择中移除。因此,间预测的跳过模式被应用于属于P片段的宏块,并且间预测的直接模式或跳过模式被应用于属于B片段的宏块,使得代码量可被抑制得更多。 
注意到模式确定部件127继续限制间预测模式,直到在稍后描述 的步骤S28中取消紧急模式为止。 
此后,处理返回步骤S21以执行步骤S21和后续步骤。 
在步骤S22,如果确定下一画面的代码量不可能超过上限,则处理进行到步骤S27。 
在步骤S27,代码量控制部件142确定是否处于紧急模式。如果确定处于紧急模式,则处理进行到步骤S28。 
在步骤S28,代码量控制部件142取消紧急模式。具体地说,代码量控制部件142命令正交转换部件114、内预测部件125和模式确定部件127取消紧急模式。因此,正交转换部件114、内预测部件125和模式确定部件27停止紧急模式操作并且恢复正常操作。 
此后,处理返回步骤S21以执行步骤S21和后续步骤。 
在步骤S27,如果确定不处于紧急模式,则处理返回步骤S21以执行步骤S21和后续步骤。 
如上所述,如果确定每幅画面的代码量可能超过预定的上限,则使用零替换预定频率成分的变换系数,要应用的内预测模式受到限制,或者要应用的间预测模式受到限制,从而可能更可靠的把代码量抑制到所述上限之下。 
此外,仅在紧急模式中,使用零来替换预定频率成分的变换系数,限制将要应用的内预测模式,并且限制将要应用的间预测模式。因此,防止不必要的图像退化。 
注意到在上述解释中,举例设置为步骤S24至S26的所有处理都是在紧急模式中执行。然而,只有一或两个步骤的处理可以被执行。 
此外,当基于目标比特值、宏块所属的片段类型或上述类似条件而选择将要在步骤S24至S26的各步骤中执行的处理时,可从步骤S24至S26中选择将要实际执行的步骤。例如,在Th11、Th12和Th13(这里,Th11<Th12<Th13)表示关于每幅画面的代码量的预定阈值的情况中,如果Th11<T-Θ<Th12,则在步骤S25内预测模式可限制在DC模式。如果Th12≤T-Θ<Th13,则在步骤S25内预测模式可被限制在内16×16模式。如果Th13≥T-Θ,则在步骤24使用零来替换预定 频率成分的变换系数。 
此外,图3中步骤S22的确定处理不限于上述例子,并且可基于不同于目标比特的值来执行。 
此外,在上述解释中,按照H.264/AVC***执行编码,然而,本发明还可应用于按照例如MPEG-4(第4阶运动图像专家组,Moving Picture Coding Experts Group phase 4)的任意其它编码方法执行编码的情况。 
不但由硬件,还可以由软件执行上述连续处理。在使用软件执行连续处理的情况下,把形成软件的程序从程序记录介质安装到包含有计算机的专用硬件中,或者例如通过在其上安装各种程序而可执行各种功能的通用目的个人计算机。 
图4是示出按照程序执行上述连续处理的个人计算机的配置例子的方块图。CPU(中央处理单元)301按照存储在ROM(只读存储器)302或记录部件308中的程序执行各种处理。在RAM(随机存取存储器)303中,适当存储有CPU 301执行的程序、数据等。CPU 301、ROM 302和RAM 303通过总线304相互连接。 
输入-输出接口305通过总线304连接到CPU 301。由键盘、鼠标、麦克风等构成的输入部件306和由显示器、扬声器等构成的输出部件307连接到输入-输出接口305。CPU 301按照从输入部件306输入的指令执行各种处理。然后,CPU 301输出处理结果至输出部件307。 
连接到输入-输出接口305的记录部件308由例如硬盘构成,并且存储由CPU 301执行的程序和各种数据。通信部件309通过诸如因特网或局域网与外部设备通信。 
可替换地,可通过通信部件309获得程序并存储在记录部件308中。 
当例如磁盘、光盘、磁光盘或半导体存储器的可移除介质311安装到连接至输入-输出接口305的驱动器310时,驱动器310驱动它们并获得存储于其中的程序和数据。所获得的程序和数据视需要而被转 移并存储到记录部件308。 
如图4所示,用于存储安装在计算机中并可由计算机执行的程序的程序记录介质包括可移除介质311,其为由磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘只读存储器)和DVD(数字多功能盘))、磁光盘或半导体存储器等构成的封装介质;或者其中临时或永久地存储程序的ROM 302;以及构成记录部件308的硬盘。通过使用有线或无线通信介质,例如局域网、因特网或通过适当作为诸如路由器或调制解调器的接口的通信部件309的数字卫星广播,将程序存储在程序存储介质中。 
此外,本说明书中,用于描述存储在程序记录介质中的程序的各步骤不但表示按时间序列方式以它们被说明的次序执行的处理,而且还表示不必以时间序列方式,并发或单独执行的处理。 
此外,本发明的实施例不限于上述实施例,并且在不脱离本发明的范围和精神的情况下,可进行各种更改。 

Claims (9)

1.一种图像处理设备,包括:
预测装置,预测对图像进行编码时所产生的产生代码量;
预测模式控制装置,进行控制使得在所预测的所述产生代码量超过规定值的情况下,针对所述图像内的使用内预测而编码的各块,应用相同预测方向的内预测模式;和
编码装置,根据所应用的内预测模式对所述各块进行编码。
2.根据权利要求1所述的图像处理设备,其中
所述预测模式控制装置进行控制,使得针对使用内预测而编码的所述各块,应用DC模式。
3.根据权利要求1所述的图像处理设备,其中
所述预测模式控制装置进行控制,使得针对使用内预测而编码的所述各块,应用内16×16模式。
4.根据权利要求1所述的图像处理设备,其中
所述预测模式控制装置基于所述各块所属的片段的类型,来控制使用内预测而编码的所述各块的大小。
5.根据权利要求4所述的图像处理设备,其中
所述预测模式控制装置进行控制,使得属于I片段的所属块的内预测以16×16的块大小进行,属于P片段或者B片段的所属块的内预测以4×4、8×8或者16×16的块大小进行。
6.根据权利要求1所述的图像处理设备,其中
所述预测模式控制装置基于所述块所属的片段的类型,来控制对所述块所应用的预测模式。
7.根据权利要求6所述的图像处理设备,其中
所述预测模式控制装置进行控制,使得针对属于I片段的所述块,应用相同预测方向的内预测模式。
8.根据权利要求7所述的图像处理设备,其中
所述预测模式控制装置,进一步从内预测模式、直接模式或者跳过模式中选择某一个作为对属于B片段的所述块所应用的预测模式,从内预测模式或者跳过模式中选择某一个作为对属于P片段的所述块所应用的预测模式。
9.一种图像处理方法,包括进行图像编码的图像处理装置所进行的如下步骤:
预测对图像进行编码时所产生的产生代码量;
进行控制使得在所预测的所述产生代码量超过规定值的情况下,针对所述图像内的使用内预测而编码的各块,应用相同预测方向的内预测模式;和
根据所应用的内预测模式对所述各块进行编码。
CN201110202917.6A 2006-07-14 2007-07-13 图像处理设备 Expired - Fee Related CN102271257B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-193672 2006-07-14
JP2006193672A JP2008022405A (ja) 2006-07-14 2006-07-14 画像処理装置および方法、並びに、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2007800268047A Division CN101491106B (zh) 2006-07-14 2007-07-13 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN102271257A CN102271257A (zh) 2011-12-07
CN102271257B true CN102271257B (zh) 2014-01-08

Family

ID=38923315

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800268047A Expired - Fee Related CN101491106B (zh) 2006-07-14 2007-07-13 图像处理设备和方法
CN201110202917.6A Expired - Fee Related CN102271257B (zh) 2006-07-14 2007-07-13 图像处理设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2007800268047A Expired - Fee Related CN101491106B (zh) 2006-07-14 2007-07-13 图像处理设备和方法

Country Status (7)

Country Link
US (2) US8432964B2 (zh)
EP (1) EP2043371A1 (zh)
JP (1) JP2008022405A (zh)
KR (1) KR101362590B1 (zh)
CN (2) CN101491106B (zh)
TW (1) TW200820789A (zh)
WO (1) WO2008007759A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419798B2 (ja) * 2004-10-27 2010-02-24 豊田合成株式会社 固定ガラス用ウエザストリップの製造方法
US8488672B2 (en) * 2007-04-17 2013-07-16 Qualcomm Incorporated Mode uniformity signaling for intra-coding
JP4886747B2 (ja) * 2008-08-28 2012-02-29 ルネサスエレクトロニクス株式会社 画像符号化装置および画像符号化方法並びにプログラム
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
JP5197428B2 (ja) * 2009-02-20 2013-05-15 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP2011029954A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置と画像符号化方法
WO2011080925A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
JP5396302B2 (ja) * 2010-02-08 2014-01-22 パナソニック株式会社 映像信号符号化装置及び映像信号符号化方法
US20130083856A1 (en) * 2011-06-29 2013-04-04 Qualcomm Incorporated Contexts for coefficient level coding in video compression
JP5768565B2 (ja) * 2011-07-28 2015-08-26 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN103916665B (zh) * 2013-01-07 2018-05-29 华为技术有限公司 一种图像的解码、编码方法及装置
JP6373033B2 (ja) * 2014-03-28 2018-08-15 キヤノン株式会社 符号化装置及び符号化方法
WO2016116984A1 (ja) * 2015-01-19 2016-07-28 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP5943118B2 (ja) * 2015-04-13 2016-06-29 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348588A (ja) * 2002-05-30 2003-12-05 Matsushita Electric Ind Co Ltd 動画像符号化装置と映像伝送システム
CN1612614A (zh) * 2003-10-28 2005-05-04 松下电器产业株式会社 帧内预测编码方法
JP2005151017A (ja) * 2003-11-13 2005-06-09 Sharp Corp 画像符号化装置
JP2005175903A (ja) * 2003-12-11 2005-06-30 Sharp Corp 画像符号化装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583560A (ja) * 1991-04-30 1993-04-02 Kyocera Corp 画像データ符号化装置
JP3447771B2 (ja) * 1993-09-02 2003-09-16 富士通株式会社 画像データの符号化方法及び復元方法並びに装置
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
US6961375B1 (en) * 1997-02-06 2005-11-01 Sony Corporation Picture coding device and method, picture transmitting device and method and recording medium
JPH10234033A (ja) * 1997-02-21 1998-09-02 Matsushita Electric Ind Co Ltd 動画像信号の復号方法および動画像信号の復号装置
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
TW501022B (en) * 1998-03-16 2002-09-01 Mitsubishi Electric Corp Moving picture coding system
JP2000013802A (ja) * 1998-06-19 2000-01-14 Matsushita Electric Ind Co Ltd フレーム間予測を用いた映像信号符号化装置
JP2000152251A (ja) * 1998-11-13 2000-05-30 Victor Co Of Japan Ltd 動画像再生装置
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
TW527832B (en) * 2000-04-20 2003-04-11 Matsushita Electric Ind Co Ltd Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP2002010271A (ja) 2000-04-20 2002-01-11 Matsushita Electric Ind Co Ltd ビデオ符号化装置
JP2002010260A (ja) * 2000-06-27 2002-01-11 Mitsubishi Electric Corp 動きベクトル検出方法及び動画像符号化装置
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
US7082163B2 (en) * 2000-11-20 2006-07-25 Matsushita Electric Industrial Co., Ltd. Picture coding method, picture coding apparatus and image relaying apparatus
US6694060B2 (en) * 2000-12-21 2004-02-17 General Instrument Corporation Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals
JP2003284075A (ja) 2002-01-18 2003-10-03 Toshiba Corp 動画像符号化方法と装置及び復号化方法と装置
US7151856B2 (en) * 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
JP2004165894A (ja) * 2002-11-12 2004-06-10 Kddi Corp 符号化器のビットレート制御方法
JP2004320437A (ja) 2003-04-16 2004-11-11 Sony Corp データ処理装置、符号化装置およびそれらの方法
WO2005004335A2 (en) * 2003-06-25 2005-01-13 Georgia Tech Research Corporation Cauchy-distribution based coding system and method
JP4130617B2 (ja) * 2003-09-04 2008-08-06 株式会社東芝 動画像符号化方法および動画像符号化装置
JP4135617B2 (ja) * 2003-09-08 2008-08-20 ソニー株式会社 画像符号化装置及び方法
JP4515886B2 (ja) 2003-10-28 2010-08-04 パナソニック株式会社 面内予測符号化方法
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
JP2005311502A (ja) * 2004-04-19 2005-11-04 Sony Corp 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
JP3846489B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
JP4532980B2 (ja) * 2004-05-12 2010-08-25 キヤノン株式会社 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
PL2357814T3 (pl) * 2004-08-17 2012-10-31 Panasonic Corp Urządzenie i sposób kodowania obrazu
JP4763422B2 (ja) 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
WO2006082690A1 (ja) * 2005-02-01 2006-08-10 Matsushita Electric Industrial Co., Ltd. 画像符号化方法および画像符号化装置
JP3948025B2 (ja) * 2005-08-23 2007-07-25 日本電気株式会社 画像符号のトランスコーダ及び画像符号のトランスコーディング方法
CN100448297C (zh) * 2005-11-08 2008-12-31 上海广电(集团)有限公司中央研究院 一种码率控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348588A (ja) * 2002-05-30 2003-12-05 Matsushita Electric Ind Co Ltd 動画像符号化装置と映像伝送システム
CN1612614A (zh) * 2003-10-28 2005-05-04 松下电器产业株式会社 帧内预测编码方法
JP2005151017A (ja) * 2003-11-13 2005-06-09 Sharp Corp 画像符号化装置
JP2005175903A (ja) * 2003-12-11 2005-06-30 Sharp Corp 画像符号化装置

Also Published As

Publication number Publication date
US20130272397A1 (en) 2013-10-17
TW200820789A (en) 2008-05-01
US20090207907A1 (en) 2009-08-20
CN101491106B (zh) 2013-01-02
CN101491106A (zh) 2009-07-22
JP2008022405A (ja) 2008-01-31
EP2043371A1 (en) 2009-04-01
KR101362590B1 (ko) 2014-02-13
US9077968B2 (en) 2015-07-07
US8432964B2 (en) 2013-04-30
WO2008007759A1 (en) 2008-01-17
CN102271257A (zh) 2011-12-07
KR20090042235A (ko) 2009-04-29

Similar Documents

Publication Publication Date Title
CN102271257B (zh) 图像处理设备
US9699459B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US8345767B2 (en) Video encoding method, video encoding device, and video encoding program
US7925108B2 (en) Encoding device and dynamic image recording system having the encoding device
JP3369573B2 (ja) 画像予測復号化方法及び装置
JP4973871B2 (ja) 画像符号化方法及び、これを用いた装置とコンピュータプログラム
US8165411B2 (en) Method of and apparatus for encoding/decoding data
JP2006157881A (ja) 可変長符号化装置及びその方法
US10432961B2 (en) Video encoding optimization of extended spaces including last stage processes
JP2006025077A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR20050089838A (ko) 선택된 매크로블록에 대한 스킵 모션 추정으로 비디오인코딩하는 방법
JP5007761B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US20070147515A1 (en) Information processing apparatus
JP2022070176A (ja) 符号化装置及びプログラム
KR20040095399A (ko) 가중 예측에서의 가중요소 결정방법
JP2002218464A (ja) 動画像符号化データのトランスコーディングを実行するための方法、装置、プログラムおよび記録媒体
JP2005176237A (ja) 画像符号化装置、画像符号化方法及びそのプログラム
JP2007529921A (ja) 画像エンコード・システムおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140108

Termination date: 20150713

EXPY Termination of patent right or utility model