JP3630565B2 - 動画像の符号化方法及び装置 - Google Patents
動画像の符号化方法及び装置 Download PDFInfo
- Publication number
- JP3630565B2 JP3630565B2 JP23993798A JP23993798A JP3630565B2 JP 3630565 B2 JP3630565 B2 JP 3630565B2 JP 23993798 A JP23993798 A JP 23993798A JP 23993798 A JP23993798 A JP 23993798A JP 3630565 B2 JP3630565 B2 JP 3630565B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- encoding
- moving image
- intra
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、動画像の符号化方法及び装置に関し、たとえばMPEG2などで符号化処理を行うにあたり、フレーム間符号化とフレーム内符号化の双方を用意している場合に適用し得るものである。
【0002】
【従来の技術】
近年のディジタル通信において、膨大な情報量をもつ動画像データを送信しようとするさいには、そのデータは高度に圧縮される。
【0003】
一般的で標準的な動画像符号化方式において、空間方向の冗長度を低減するにはひとつのフレーム内で画像に直交変換を施して符号化することによりフレーム内符号化、すなわちINTRAモード符号化が行われ、時間方向の冗長度を低減するには、時間的にまえのフレームとの差分を符号化してフレーム間符号化(フレーム間予測符号化)、すなわちINTERモード符号化が行われる。
【0004】
このようにして符号化された動画像圧縮データは高度に圧縮されているため、伝送誤りなどでデータが損なわれると、その影響は時間的、空間的に広範囲に波及する。すなわち、当該1フレーム内では画像が大きく歪み、前記差分操作を介して以後に伝送されてくるフレームに歪みがそのまま伝搬されてゆく。
【0005】
現在標準化になっているITU−T/H.261やMPEG2などの動画像符号化方式では、画像をマクロブロック(16画素×16画素)単位に区切り、各マクロブロックを符号化する。
【0006】
符号化されたこのマクロブロックをいくつかまとめて、たとえば図2(A)に示す1画面(フレーム)P1内で、FS1などのスライスをつくる。MPEG2におけるスライスとは、可変長符号の同期をとるための同期符号語(すなわち開始コード)をもつ一連のデータ列のなかの最小単位である。
【0007】
当該スライスに相当する単位は、前記H.261ではGOB(Group of Block)であるが、以下ではこのGOBも前記スライスもまとめてスライスとよぶ。
【0008】
データの欠落や誤りがあると、当該データ欠落や誤りの生じたスライスでは正常に復号することができないが、前記同期符号語により次のスライスからは正常に復号されることが期待される。
【0009】
ところが実際には、圧縮率を高めるために時間的にまえのフレームを参照するフレーム間符号化(INTERモード)を用いているので、あるフレームで復号誤りが生じると、以後のフレームにもその影響が波及してしまう。
【0010】
すなわち正常な復号が行われると図2(A)のP1→P2→P3と連続するフレームが、復号誤りがあると同図(B)に示すように、PE1→PE2→PE3に変わる。
【0011】
図2(B)では、フレームPE2の第4スライスFS4に誤りが生じたために、フレームPE2の第4スライスFS4については直前のフレームPE1の第4スライスFS4をそのまま表示している。この操作のためにフレームPE2では、本来ひとつである被写体OB1がOB2とOB1’の2つの被写体に別れたかのような劣化した画像表示になっている。さらに、正しいフレームP2とフレームP3の差分と動き情報に相当する情報を、すでに劣化しているフレームPE2に加算することによって、劣化したフレームPE3が生成される。すなわちフレームPE2の第4スライスFS4で生じた誤りがそのあとのフレームPE3の第3、第4スライスFS3およびFS4に波及している。
【0012】
このような誤り伝搬を防止するために行われる操作がリフレッシュである。リフレッシュでは、まえのフレームを参照しないINTRAモード符号化を強制的に一定周期で行う。まえのフレーム、すなわち誤りが波及しているフレームを参照しないので、INTRAモード符号化の対象となったフレームで当該誤りの波及が阻止できる。
【0013】
スライス単位でリフレッシュすることをINTRAスライスと呼び、フレーム単位でリフレッシュすることをINTRAフレームと呼ぶ。INTRAスライスおよびINTRAフレームについては、次の文献1に記載されている。
【0014】
文献1 「セル廃棄耐性を有するATM画像符号化方式」
著者 町田 豊 行武 剛
出典 1992年画像符号化シンポジウム(PSCJ92)(pp.205−208)
文献1の3.3節 a)の定期的なINTRAフレームの挿入と、 b)の巡回的なINTRAスライスがそれに当たる。
【0015】
文献1の計算機シミュレーションにおいて、INTRAフレームは15フレームおきに挿入されており、INTRAスライスは図3に示すように2スライス連接して挿入される。
【0016】
図3において、PN〜PN+2は時間的に連続するフレームで、フレームPNでは第1および第2スライスが、フレームPN+1では第3および第4スライスが、フレームPN+2では第5および第6スライスがそれぞれINTRAスライスを行う2スライスである。
【0017】
またこのほかの方法としては、マクロブロック単位でリフレッシュする方法も一般に行われている。
【0018】
このような従来のリフレッシュ方法を実行する動画像符号化器10を図4に示す。この動画像符号化器10では動画像データを符号化するにあたって、1フレームを前記スライス(GOB)、マクロブロックに分割する。
【0019】
図4において、符号化するビデオ信号の供給を受けた情報源符号器11は、このビデオ信号に対し情報源符号化を施す回路である。この情報源符号化では、符号化制御18からの出力にしたがってマクロブロックごとに動き補償フレーム間予測の予測誤差あるいは原データの直交変換を行い、量子化する。量子化パラメータである量子化ステップサイズは、符号化制御18の量子化ステップサイズ決定器17から情報源符号器11にもたらされる。
【0020】
一方で情報源符号器11は、当該ビデオ信号から予測誤差データと原データの分散値を得て、これらをINTRA/INTERモード判定器16に送出する。
【0021】
この予測誤差データは、フレーム内の同一位置だけでなく、ある限定された画素範囲内(たとえば±15画素)でずらしてみて、最も差分が小さくなる位置の最小予測誤差データである。
【0022】
最小予測誤差データと原データの分散値の供給を受けたINTRA/INTERモード判定器16は、当該最小予測誤差データと原データの分散値を比較することによって、INTRAモードまたはINTERモードの判定を行い、その判定結果を制御信号として出力する。
【0023】
また情報源符号器11で量子化されたデータは、ヘッダ情報などとともに出力信号として、情報源符号器11からビデオ信号多重化符号器12に供給される。
【0024】
そしてビデオ信号多重化符号器12は、当該量子化データに可変長符号化を施し、ヘッダ情報を多重化する。
【0025】
さらに、INTRA/INTERモード判定器16が出力する前記判定結果と、量子化ステップサイズ決定器17からの量子化ステップサイズも、ビデオ信号多重化符号器12によって多重化される。
【0026】
ビデオ信号多重化符号器12で多重化されたデータは、送信バッファ13にいったん蓄積されたあとで、伝送路符号器14で伝送路符号による符号化を施されて伝送路へ送出される。伝送路符号としては、たとえばBCH(Bose−Chaudhuri−Hocquenghem)符号などの誤り訂正符号が用いられる。
【0027】
送信バッファ13に蓄積されているデータ量を認識している前記量子化ステップサイズ決定器17は、情報源符号器11およびビデオ信号多重化符号器12に対し、量子化ステップサイズを制御信号として供給することで、送信符号量を制御する。
【0028】
リフレッシュする機能をもっているのは、情報源符号器11、ビデオ信号多重化符号器12であるが、そのタイミングを決めるために巡回的数発生器19と、一致判定器15とが必要になる。
【0029】
巡回的数発生器19はリフレッシュするフレーム(あるいはスライス、あるいはマクロブロック)を指定する巡回する値(番号)を出力する回路である。
【0030】
巡回的数発生器19の出力する巡回値はたとえば、
0,1,2,3,…,N−1,0,1,2,3,…,N−1,0,1,…
や
0,3,6,9,…,3N,0,3,6,9,…,3N,0,3,…
などである。
【0031】
また巡回的数発生器19は、同時に複数の値を出力してもよく。たとえば同時に3つの巡回値を出力する場合には、
(0,1,2),(3,4,5),…,(3N,3N+1,3N+2),(0,1,2),…
のような値を発生する。
【0032】
巡回的数発生器19からこのような巡回値を受け取った一致判定器15は、情報源符号器11などが処理しようとしているフレーム、スライス、マクロブロックが、前記巡回値が指定するタイミングに一致しているかどうかを判定し、その判定結果をINTRA/INTERモード判定器16に供給する。
【0033】
当該判定結果が一致判定の場合にはINTRA/INTERモード判定器16が出力する前記制御信号はINTRAモードを示す。
【0034】
したがってこの制御信号を受け取った情報源符号器11およびビデオ信号多重化符号器12は、該当するタイミングで入力されたフレーム、スライス、マクロブロックに対してリフレッシュを行うことができる。
【0035】
たとえばこの動画像符号化器10を用いてマクロブロック単位でリフレッシュする場合の動作の一例を図5に示す。このフローチャートは、MBKS個のマクロブロックを有している1フレームについて3個のマクロブロックUPD1、UPD2、UPD3をリフレッシュする例を示している。各マクロブロックには0〜MBKS−1の番号が付されているものとする。
【0036】
図5において、まず初期状態のステップA1では3個のマクロブロックUPD1〜3に対し、連続する3つのマクロブロック番号0,1,2を設定する。
【0037】
マクロブロック番号0,1,2は、フレームをマクロブロック単位に分割して示した図6において、第2フレームF2の最初の(すなわち左上端の)3つの連続するマクロブロック0,1,2に対応する。図6に示された4つのフレームは、ビデオ信号として動画像符号化器10に入力される時系列のフレームのうち、任意の連続する4つのフレームを示している。
【0038】
次いでステップA2では、符号化しようとするマクロブロックのマクロブロック番号であるMBKを0に設定する。
【0039】
そして、当該マクロブロックを含むフレームが最初のフレームであるかどうかを判定し、判定結果に応じて分岐する(A3)。最初のフレームであればマクロブロック番号MBKの当該マクロブロックをINTRAモードで符号化し(A5)、ステップ7に進む。
【0040】
ステップA3で最初のフレームでないと判定された場合には、当該MBKがリフレッシュすべきマクロブロック番号であるかどうか、すなわち各UPDに設定された番号と当該MBKが一致するかどうかがさらに判定される(A4)。一致する場合には、当該MBKをマクロブロック番号とするマクロブロックがINTRAモードで符号化される(A5)。
【0041】
ステップA1で連続する3つのマクロブロックに番号が設定されているので、このステップ4では当該3つのマクロブロックについて判定される。3つのマクロブロックのうちひとつでも判定がYESならステップ4の判定結果はYESで、ステップA5へ進む。
【0042】
ステップA1およびA2の設定によって繰り返しの1回目では、MBK=UPD1(=0)なので、UPD1だけがステップ5でINTRAモード符号化されることになる。
【0043】
ステップA4で3つのマクロブロックすべてについて判定がNOの場合に判定結果がNOとなり、ステップA6に進む。
【0044】
ステップA6では、マクロブロック内の輝度値の分散によりINTRA/INTERモード判定を行う。
【0045】
前記ステップA5からも当該ステップA6からもステップA7に進む。このステップA7では当該MBKがそのフレームの最後の(図6の各フレームで右下端の)マクロブロックを指定しているかどうかを判定する。判定がNOの場合には当該MBKをインクリメントして(A8)、前記ステップA3にもどる内側のループが繰り返される。
【0046】
当該MBKがそのフレームで最後のマクロブロックを指定している場合には、ステップA9へ進む。ステップA9では前記ビデオ信号の入力画像が終わりかどうかが調べられ、終わりでなければ(ステップA9のNO)、外側のループが繰り返されてUPD1、UPD2、UPD3の番号がそれぞれ“3”だけ増加される(A10)。
【0047】
これにより図6の第2フレームF2で(UPD1,UPD2,UPD3)=(0,1,2)であったものがその直後の第3フレームF3では、(UPD1,UPD2,UPD3)=(3,4,5)に変化する。そして図6に示すように、次回繰り返しの第4フレームF4では(UPD1,UPD2,UPD3)=(6,7,8)に変化する。
【0048】
すなわちリフレッシュするマクロブロックは、横に連続した3つのマクロブロックであり、これがフレームごとに3マクロブロックずつずれてゆく。したがってステップA10の処理は、
UPDi=UPDi+3(mod MBKS) (i=1,2,3)
と書くことができる。
【0049】
このステップA10からは前記ステップA2へと進み、新たな1フレームについての最初のマクロブロックの処理が開始される。
【0050】
そしてステップA9で入力画像が終わりと判定されると、このフローチャートによる処理は終了する。
【0051】
【発明が解決しようとする課題】
一般に、INTERモード符号化に比べてINTRAモードの符号化は、符号化による符号量の増加が著しいため、INTRAリフレッシュを行い符号化するデータ量を限定し、効率的な処理を実行することが求められる。
【0052】
一方で、データの欠落や誤りがあっても、画像のなかの動かない部分は、まえのフレーム中の同じ部分をそのまま表示することで歪みなどの影響を感じさせず、リフレッシュを必要としない。
【0053】
反対に、たとえば図2(B)の第2フレームPE2の第4スライスFS4のように画像が大きく歪んでしまった場合には、そのあとのできるだけ早期のフレームでリフレッシュする必要がある。
【0054】
ところが以上のような従来のリフレッシュ方法では、当該画像の内容にかかわりなく一定周期でINTRAモード符号化を行っている。したがって前記の動かない部分までリフレッシュして不必要に符号量を増加する一方で、大きく歪んだ部分が以後に伝送されてくるフレームにそのまま伝搬されてゆのを、一定周期がまわってくるまで表示しつづけなければならなかった。
【0055】
すなわち従来の符号化方法は、符号化性能に不足な面と過剰な面があって、効率の悪い符号化を行っていた。
【0056】
【課題を解決するための手段】
かかる課題を解決するために第1の発明では、動画像を構成する時系列なフレームを符号化するにあたって、複数フレーム間のデータの相関関係に基づいて処理対象となっている対象フレームを符号化するフレーム間符号化と、前記対象フレーム内のデータに基づいて当該対象フレームを符号化するフレーム内符号化とを併用する動画像の符号化方法において、符号化装置が、(1)前記フレームを所定の複数区画に分割しておき、(2)時系列な連続する2フレーム上の画像間における変化の度合いを示す所定の画像変化量を、フレーム上の前記区画ごとに検出し、(3)前記各区画について、前記画像変化量を時系列なフレームごとに順次加算したうえで、その加算結果の値が大きいものほど優先的に選択し、前記対象フレーム上の少なくとも選択した区画については、前記フレーム内符号化を行い、(4)前記加算結果の値は、前記区画ごとに、その区画について当該フレーム内符号化を行った時点で所定の初期値に戻し、当該初期値から再度、前記加算を行って増大させることを特徴とする。
【0057】
また、第2の発明では、動画像を構成する時系列なフレームを符号化するにあたって、複数フレーム間のデータの相関関係に基づいて処理対象となっている対象フレームを符号化するフレーム間符号化と、前記対象フレーム内のデータに基づいて当該対象フレームを符号化するフレーム内符号化とを併用する動画像の符号化装置において、(1)前記フレームを所定の複数区画に分割するフレーム分割手段と、(2)時系列な連続する2フレーム上の画像間における変化の度合いを示す所定の画像変化量を、フレーム上の前記区画ごとに検出する画像変化量検出手段と、(3)前記各区画について、前記画像変化量を時系列なフレームごとに順次加算したうえで、その加算結果の値が大きいものほど優先的に選択し、前記対象フレーム上の少なくとも選択した区画については、前記フレーム内符号化を行わせると共に、前記加算結果の値は、前記区画ごとに、その区画について当該フレーム内符号化を行った時点で所定の初期値に戻し、当該初期値から再度、前記加算を行って増大させる符号化モード選択手段を備えることを特徴とする。
【0058】
【発明の実施の形態】
(A)実施形態
以下、本発明にかかる動画像の符号化方法及び装置の一実施形態について説明する。
【0059】
本実施形態の動画像符号化器は、従来の動画像符号化器10が画像内容にかかわりなく巡回的に決めていたリフレッシュするフレーム(あるいはスライス、あるいはマクロブロック)の番号を、画像内容すなわち画像の変化量の累積に基づいて決定することを特徴とする。
【0060】
(A−1)実施形態の構成
本実施形態の動画像符号化器20を図1に示す。動画像符号化器20の構成部分のうち大部分は図4に示した従来の動画像符号化器10の各部分に対応しているので、対応する部分については詳しい説明を省略する。
【0061】
すなわち図1において、情報源符号器21は前記情報源符号器11に対応し、ビデオ信号多重化符号器22は前記ビデオ信号多重化符号器12に対応し、送信バッファ23は前記送信バッファ13に対応し、伝送路符号器24は前記伝送路符号器14に対応し、一致判定器26は前記一致判定器15に対応し、INTRA/INTERモード判定器27は前記INTRA/INTERモード判定器16に対応し、量子化ステップサイズ決定器28は前記量子化ステップサイズ決定器17に対応し、符号化制御29は前記符号化制御18に対応する。
【0062】
ただし動画像符号化器20のINTRA/INTERモード判定器27が情報源符号器21から受け取るデータには、上述した最小予測誤差データと原データの分散値に加えて、同一位置の予測誤差データの分散値(SAD)も含まれる。
【0063】
このSADは、値が大きいほどその部分の画像の変化が激しいことを意味する数値で、たとえば輝度値に基づいてマクロブロック、スライスまたはフレーム単位で計算される。予測誤差データは連続する2つのフレーム間の画像変化に基づいて決まるので、その絶対値誤差を足しあわせて得た分散値であるSADは、連続する2つのフレーム間の画像変化の大きさを示すことになる。各マクロブロック番号MBK(またはi)のSADを、SAD[MBK](またはSAD[i])と書く。
【0064】
ここで、マクロブロック番号は、フレーム上の空間的な位置を示す番号で、異なるマクロブロック番号はフレーム上の異なるマクロブロックを指定し、連続するマクロブロック番号は基本的にフレーム上の連続するマクロブロックを指定する。マクロブロックに限らずフレーム上の番号の概念は、これに準ずるものとする。
【0065】
前記巡回的数発生器19にかわって動画像符号化器20には、SADソーティング30およびSAD保持部31が設けられている。
【0066】
本実施形態では前記SADがマクロブロック単位で計算されるものとし、SAD保持部31は、画像1フレーム内に設定されるマクロブロックの数と同数の整数値を保持できるだけのアドレス空間をもつメモリを備えた装置であり、各アドレスに各マクロブロックのSADの累積値を保持する。
【0067】
SADの累積値とは、連続する2つのフレーム間の画像変化に応じて決まる各マクロブロックのSADを、同一マクロブロック番号のマクロブロックについて順次に加算してゆくことによって得られる。したがって時間経過とともに前記メモリの各アドレスでは、各マクロブロックのSADの累積値が、画像変化に対応した異なる速度で大きくなってゆく。フレーム内で画像変化が激しい領域ほどSADが大きくなるので、画像変化が激しい領域ほどSADの累積値が増加するペースがはやい。
【0068】
なお、前記SADがスライス単位で計算される場合には、当該メモリの各アドレスは各スライスのSADの累積値を保持することになる。
【0069】
新たなフレームを符号化するたびに前記SAD保持部31は、前記INTRA/INTERモード判定器27からSADを受け取り、保持している各マクロブロックごとのSADの累積値にこれを加算したものを新たな累積値として保持する。
【0070】
SADソーティング30はSAD保持部31が保持しているSADの累積値が大きい順にソーティングするソータである。
【0071】
ソーティングされた累積値データ列を受け取る符号化制御29内の上位n選択器25は、累積値データ列のなかで累積値が大きい方からn個(上位n個)のデータを選択し、選択した累積値に対応するマクロブロックの番号を一致判定器25に出力する回路である。
【0072】
本実施形態では、前記nとして、n=3を用いるものとする。
【0073】
また上位n選択器25は当該マクロブロック番号を受け取ったあとで、SAD保持部31が内蔵する前記メモリのアドレス空間のうち、選択された3つの累積値が格納されていたアドレスを指定し、その記憶データをリセットして“0”にする機能を備えている。
【0074】
これにより前記3つにもれた、4番目以下の累積値のマクロブロックが次フレーム以降の処理でリフレッシュ対象となり、リセットされた累積値は当該マクロブロック部分の画像変化に応じたペースで“0”から累積されてゆく。
【0075】
前記上位n個のマクロブロック番号を、UPDi(i=0〜n−1)と書くと、本実施形態では上位3個のマクロブロック番号はUPD1〜UPD3となる。
【0076】
UPD1〜UPD3を受け取った一致判定器26は、あわせて情報源符号器21の符号化しようとするマクロブロックの番号(LOC)を当該情報源符号器21から受け取って、これら2種類のマクロブロック番号UPDiとLOCを比較する。比較の結果ひとつでも一致するものがあれば、一致判定器26はINTRA/INTERモード判定器27に対し、「一致」信号を出力する。
【0077】
上述したように、情報源符号器21から最小予測誤差データ、原データの分散値およびSADを受け取るINTRA/INTERモード判定器27は、符号化モード、すなわちINTRA/INTERモードの判定を行う。そしてこの判定結果を、情報源符号器21とビデオ信号多重化符号器22に出力するとともに、SADをSADソーティング30に供給する。
【0078】
ここで、INTRA/INTERのモード判定がINTRAになった場合は、SAD保持部31が保持する該当マクロブロックの累積値をリセットするようにしてもよい。
【0079】
ただしINTRA/INTERモード判定器27は、一致判定器26から「一致」信号を受信した場合には、この判定の結果にかかわらず、優先的かつ強制的にINTRAモードであるとの強制判定結果を出力する。当該強制判定結果は前記判定結果と同様に、前記情報源符号器21とビデオ信号多重化符号器22に供給される。
【0080】
以下、上記のような構成を有する本実施形態の動作について説明する。
【0081】
(A−2)実施形態の動作
前記動画像符号化器20のリフレッシュ動作を図7のフローチャートに示す。このフローチャートは、上述の図5と同様に1フレーム当たり3つのマクロブロックをリフレッシュする例である。
【0082】
図7において、まず最初のステップB1では、連続するUPD1、UPD2、UPD3をすべて“−1”に設定するとともに、マクロブロック番号iのアドレスに格納されているSADの累積値データ、SADSUM[i]を“0”に設定する。このiは1フレーム内のマクロブロック番号なので、0≦i≦MBKS−1の範囲をもつ。
【0083】
そしてMBKをMBK=0に設定する(B2)ことで、前記最初のマクロブロックから処理をはじめる。
【0084】
いま処理しようとしているフレームが最初のフレームであれば(B3のYES)、マクロブロック番号MBKのフレームをINTRAモードで符号化するとともに、SADSUM[MBK]を0に設定する(B7)。
【0085】
はじめはMBK=0なので、最初のフレームでは無条件で最初のマクロブロックがINTRAモード符号化(リフレッシュ)されることになる。ひとたびリフレッシュされたマクロブロックについては、次のフレームから新たなSADを累積するために当該累積値データをリセットして初期値“0”にもどす。
【0086】
ステップB7の次はステップB9へ進む。
【0087】
一方、いま処理しようとしているフレームが最初のフレームでない場合(B3のNO)には、当該MBKのマクロブロックについて前記SAD[MBK]を計算する(B4)。
【0088】
SAD[MBK]すなわちSAD[i]は、いま符号化しようとしているフレームの直前の(1つまえの)フレームにおけるマクロブロック番号iのマクロブロックと、2つまえのフレームにおけるマクロブロック番号iのマクロブロックとのあいだで求められたSAD[MBK]をSADSUM[MBK]に加算する(B5)。
【0089】
そしてUPD1〜3のうちどれか一つでもMBKに一致すれば(B6のYES)、当該MBKのマクロブロックをINTRAモードで符号化してSADSUM[MBK]を“0”に設定する(B7)。
【0090】
UPD1〜3のうちどれ一つとしてMBKに一致しなければ(B6のNO)、輝度値などの分散によるモード判定を行い当該MBKのマクロブロックを判定モードで符号化する(B8)。このあと処理は前記ステップB9へ進む。
【0091】
ステップB9では、当該MBKが前記最後のマクロブロック番号を指定しているかどうかが調べられる。MBKが最後のマクロブロック番号でなければ(B9のNO)、当該MBKをインクリメントして(B10)、同一フレーム内の次のマクロブロック番号のマクロブロックを処理するために、前記ステップB3にもどる内側のループが繰り返される。
【0092】
当該MBKがそのフレーム内で最後のマクロブロックを指定している場合には(B9のYES)、前記ビデオ信号の入力画像が終わりかどうかが調べられる(B11)。
【0093】
終わりでなければ(ステップB11のNO)、次のフレームを処理するために外側のループが繰り返されて、ステップB12、B13、B2が繰り返される。
【0094】
ステップB12では、SADSUM[i]を大きい順に並べ替え、当該並べ替えられたSADSUMに対応するマクロブロック番号をSADSUM’[j]に代入する。
【0095】
そしてステップB13では、(UPD1,UPD2,UPD3)=(SADSUM’[0],SADSUM’[1],SADSUM’[2])に設定する。すなわち次のフレームでリフレッシュされるマクロブロックのマクロブロック番号は、いまの繰り返し処理で符号化を終えたフレームでSADが大きいものから3つまでである。
【0096】
なお、ステップB11で入力画像が終わりであると判定されると、図7のフローチャートによる処理は終了する。
【0097】
このフローチャートによれば、FC1→FC2→FC3→FC4の順番で時系列に処理されるフレームを示した図8において、リフレッシュされるマクロブロックの位置は、画像内容によって変化するので、図示のように(巡回的ではなく)不規則に変化し、移動する。
【0098】
かさねて具体例を示した図9では、本実施形態と同様にリフレッシュ対象となるマクロブロックの数が3つに限定されている場合を示している。
【0099】
図9において、時系列に処理されるフレームの順番はFD1→FD2→FD3(FD3−1またはFD3−2)→FD4(FD4−1またはFD4−2)であるとする。FD2まではゆっくりと右方向に移動していた被写体OB3がFD3以降は右上方向に高速で移動しはじめると、この高速移動は従来の動画像の符号化方法に対応するFD3、FD4では、上述した図2(B)のフレームPE2とフレームPE3で起きた現象と同様な現象が起きて、誤りが波及している。
【0100】
ところが本実施形態にかかるFD3−2、FD4−2では、被写体OB3の高速移動は、被写体OB3に対応する部分のマクロブロックで、SAD保持部31内のメモリに格納されているSADを急激に増加させ、SADの累積値を急増させる。これによりINTRA/INTERモード判定器27は当該マクロブロックのリフレッシュを要求するので、当該リフレッシュで前記誤りの波及が抑制され、FD3−2につづくFD4−2でも正常な画像を生成している。
【0101】
そしてFD3−1で前記3つからもれたSADの比較的大きい4番目以下のマクロブロックは、FD4−2以降のフレームで順次リフレッシュされるので、当該マクロブロックで誤りが生じている場合にも、有効に誤りの波及を抑制することができる。
【0102】
なお、FD1とFD2は上記の従来の方法と本実施形態および次の例で共通である。
【0103】
SADを計算するものの、本実施形態のようにSAD保持部31をもたずSADの累積値を蓄積することができない場合は、FD3−1、FD4−1のようになる。この例では、FD1、FD2まで被写体OB3が移動していたので、FD3−1、FD4−1は本実施形態のFD3−2、FD4−2とほとんど差がないが、第4フレームFD4−1とFD4−2とではリフレッシュされるマクロブロックのパターンが異なっている。
【0104】
累積値データをもたないということは、SADが比較的大きいマクロブロック、たとえば4番目に大きくて前記3つの制限にもれたマクロブロックは、以降の処理でもリフレッシュされないままとなってしまう可能性がある。したがって誤りがこの4番目以下のマクロブロックにまでおよんだ場合、前記3つのマクロブロックの位置情報が反映されないので、誤りが残ってしまい、残った誤りが波及する可能性がある。
【0105】
上述した従来の符号化器10にくらべると、ここで述べたSAD保持部をもたない符号化器は高い符号化性能を備えているといえるが、本実施形態の符号化器20の符号化性能はこれよりもさらに高い。
【0106】
すなわち、SAD保持部31で累積値データを保有する本実施形態の動画像符号化器20は、過去にSADが比較的大きい場所でリフレッシュの対象から外れたマクロブロックであっても、そのマクロブロックの位置情報を得ることができる。したがって、あとのフレームを符号化しようとするときに、リフレッシュの対象に含めることができ、さらに取りこぼしなく誤り部分をリフレッシュすることができる。
【0107】
(A−3)実施形態の効果
以上のように、本実施形態によれば、画像内容に基づいてリフレッシュするマクロブロックが決められるので、フレーム内で画像のよく動くマクロブロック(すなわちSADの大きいマクロブロック)ほどリフレッシュする頻度を高くすることができる。画像のよく動くマクロブロックとは、誤りによってデータが欠落した場合などの波及効果が大きいマクロブロックなので、このマクロブロックを重点的にリフレッシュすることで、誤りの波及を抑圧することが可能になる。
【0108】
一方で、動く被写体の背景などのように動きの少ない画像に対応したマクロブロックはSADが小さいため、リフレッシュの頻度が低く、リフレッシュによる符号量の増加はフレーム全体でみると低減され、データ量はそれほど増加しない。動画像の形態などの諸条件によってはむしろ、データ量は従来よりも低減するので、本実施形態をデータ量の低減のために使用することもできる。
【0109】
またこのように動きの少ない画像に対応するマクロブロックは、誤りでデータが欠落しても、まえのフレームの同じMBKのマクロブロックを表示すれば歪みのない画像を生成することができる。
【0110】
(B)他の実施形態
以上の説明では、符号化方式として動き補償、直交変換、量子化をベースとするようなMPEG2を用いたが、本発明の適用範囲は、画像フレームの分割形態や動きベクトルの範囲を含めてこれに限定するものではない。
【0111】
さらに、上記のSADは、符号化しようとするフレームの直前の(1つまえの)フレームと2つまえのフレームとの予測誤差データすなわち誤差の絶対値としたが、符号化しようとするフレームと直前のフレームとの誤差の絶対値としてもよい。
【0112】
また本実施形態では、1フレーム当たりのリフレッシュするマクロブロックの数nを3つに固定したが、この数は3つより多くてもよく少なくてもよい。さらにこの数nは固定せずに可変とすることもできる。たとえばしきい値を設定しておき、SADがこのしきい値を超えたときに当該SADに対応するマクロブロックをリフレッシュするという方法を用いることにより、リフレッシュするマクロブロックの数を可変にすることができる。
【0113】
さらに本実施形態と従来の方法を組み合わせて用いることもできる。すなわち図10に示すように、FR1→FR2→FR3→FR4の順番で時系列に処理されるフレームにおいて、従来の方法で巡回的、周期的にたとえば2つずつリフレッシュされるマクロブロックMB1〜MB6と、上記実施形態の方法で画像内容の変化量の累積に基づいて3つずつリフレッシュされるマクロブロックMBA1〜3、MBB1〜3、MBC1〜3の双方をリフレッシュするのである。
【0114】
また上記実施形態では、フレームをマクロブロックまたはスライスに分割する場合について説明したが、フレームを単位としてSADを計算することもでき、1つのフレーム全体を1単位として処理することも可能である。
【0115】
すなわち本発明は、動画像を構成する時系列なフレームを符号化するにあたって、複数フレーム間のデータの相関関係に基づいて処理対象となっている対象フレームを符号化するフレーム間符号化と、前記対象フレーム内のデータに基づいて当該対象フレームを符号化するフレーム内符号化とを併用して動画像を符号化する場合に、広く適用することができる。
【0116】
【発明の効果】
以上詳細に説明したように、本発明によれば、画像内容に即応した符号化、すなわち過不足がなく、効率の良い符号化を行うことが可能になる。
【図面の簡単な説明】
【図1】実施形態に係る動画像符号化器の構成を示すブロック図である。
【図2】従来の動画像符号化方法を示す概略図である。
【図3】従来の動画像符号化方法を示す概略図である。
【図4】従来の動画像符号化器の構成を示すブロック図である。
【図5】従来の動画像符号化器の動作を示すフローチャートである。
【図6】従来の動画像符号化方法を示す概略図である。
【図7】実施形態に係る動画像符号化方法を示す概略図である。
【図8】実施形態に係る動画像符号化方法を示す概略図である。
【図9】従来の動画像符号化方法と実施形態の動画像符号化方法を示す概略図である。
【図10】実施形態に係る動画像符号化方法を示す概略図である。
【符号の説明】
20…動画像符号化器、21…情報源符号器、22…ビデオ信号多重化符号器、26…一致判定器、27…上位n選択器、28…量子化ステップサイズ決定器、29…符号化制御、30…SADソーティング、31…SAD保持部。
Claims (10)
- 動画像を構成する時系列なフレームを符号化するにあたって、複数フレーム間のデータの相関関係に基づいて処理対象となっている対象フレームを符号化するフレーム間符号化と、前記対象フレーム内のデータに基づいて当該対象フレームを符号化するフレーム内符号化とを併用する動画像の符号化方法において、
符号化装置が、
前記フレームを所定の複数区画に分割しておき、
時系列な連続する2フレーム上の画像間における変化の度合いを示す所定の画像変化量を、フレーム上の前記区画ごとに検出し、
前記各区画について、前記画像変化量を時系列なフレームごとに順次加算したうえで、その加算結果の値が大きいものほど優先的に選択し、前記対象フレーム上の少なくとも選択した区画については、前記フレーム内符号化を行い、
前記加算結果の値は、前記区画ごとに、その区画について当該フレーム内符号化を行った時点で所定の初期値に戻し、当該初期値から再度、前記加算を行って増大させることを特徴とする動画像の符号化方法。 - 請求項1の動画像の符号化方法において、
符号化装置が、
前記加算結果の値が大きい区画ほど優先して所定数の区画について、前記フレーム内符号化を行うことを特徴とする動画像の符号化方法。 - 請求項1の動画像の符号化方法において、
符号化装置が、
前記加算結果について予め所定の閾値を設定しておき、前記加算結果の値が当該閾値を超えるすべての区画について、前記フレーム内符号化を行うことを特徴とする動画像の符号化方法。 - 請求項1の動画像の符号化方法において、
符号化装置が、
前記画像変化量のうち対象フレームを符号化する時点における最新のものは、対象フレームの直前のフレームと当該対象フレームの2つ前のフレームに基づき検出することを特徴とする動画像の符号化方法。 - 請求項1の動画像の符号化方法において、
符号化装置が、
前記画像変化量のうち対象フレームを符号化する時点における最新のものは、対象フレームと当該対象フレームの直前のフレームに基づき検出することを特徴とする動画像の符号化方法。 - 動画像を構成する時系列なフレームを符号化するにあたって、複数フレーム間のデータの相関関係に基づいて処理対象となっている対象フレームを符号化するフレーム間符号化と、前記対象フレーム内のデータに基づいて当該対象フレームを符号化するフレーム内符号化とを併用する動画像の符号化装置において、
前記フレームを所定の複数区画に分割するフレーム分割手段と、
時系列な連続する2フレーム上の画像間における変化の度合いを示す所定の画像変化量を、フレーム上の前記区画ごとに検出する画像変化量検出手段と、
前記各区画について、前記画像変化量を時系列なフレームごとに順次加算したうえで、その加算結果の値が大きいものほど優先的に選択し、前記対象フレーム上の少なくとも選択した区画については、前記フレーム内符号化を行わせると共に、前記加算結果の値は、前記区画ごとに、その区画について当該フレーム内符号化を行った時点で所定の初期値に戻し、当該初期値から再度、前記加算を行って増大させる符号化モード選択手段を備えることを特徴とする動画像の符号化装置。 - 請求項6の動画像の符号化装置において、
前記加算結果の値が大きい区画ほど優先して所定数の区画について、前記フレーム内符号化を行うことを特徴とする動画像の符号化装置。 - 請求項6の動画像の符号化装置において、
前記加算結果について予め所定の閾値を設定しておき、前記加算結果の値が当該閾値を超えるすべての区画について、前記フレーム内符号化を行うことを特徴とする動画像の符号化装置。 - 請求項6の動画像の符号化装置において、
前記画像変化量のうち対象フレームを符号化する時点における最新のものは、対象フレームの直前のフレームと当該対象フレームの2つ前のフレームに基づき検出することを特徴とする動画像の符号化装置。 - 請求項6の動画像の符号化装置において、
前記画像変化量のうち対象フレームを符号化する時点における最新のものは、対象フレームと当該対象フレームの直前のフレームに基づき検出することを特徴とする動画像の符号化装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23993798A JP3630565B2 (ja) | 1998-08-26 | 1998-08-26 | 動画像の符号化方法及び装置 |
US09/272,209 US6456664B1 (en) | 1998-08-26 | 1999-03-19 | Motion image encoder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23993798A JP3630565B2 (ja) | 1998-08-26 | 1998-08-26 | 動画像の符号化方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000069482A JP2000069482A (ja) | 2000-03-03 |
JP3630565B2 true JP3630565B2 (ja) | 2005-03-16 |
Family
ID=17052047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23993798A Expired - Fee Related JP3630565B2 (ja) | 1998-08-26 | 1998-08-26 | 動画像の符号化方法及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6456664B1 (ja) |
JP (1) | JP3630565B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3606306B2 (ja) * | 1998-10-08 | 2005-01-05 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
JP3703337B2 (ja) * | 1999-06-30 | 2005-10-05 | キヤノン株式会社 | 画像通信装置及び画像通信方法 |
TW574802B (en) * | 2002-10-24 | 2004-02-01 | Icp Electronics Inc | Real-time monitoring and control image transmission system and method |
TWI220846B (en) * | 2003-02-25 | 2004-09-01 | Icp Electronics Inc | Real-time transmission method and system of monitored video image |
EP1513350A1 (en) * | 2003-09-03 | 2005-03-09 | Thomson Licensing S.A. | Process and arrangement for encoding video pictures |
US8311127B2 (en) * | 2004-03-04 | 2012-11-13 | Nvidia Corporation | Method and apparatus to check for wrongly decoded macroblocks in streaming multimedia applications |
CN100409690C (zh) * | 2006-05-19 | 2008-08-06 | 北京工业大学 | 基于时空相关性的视频帧间压缩方法 |
KR100856223B1 (ko) | 2006-10-19 | 2008-09-03 | 삼성전자주식회사 | H.264 인코더의 적응적 인코딩 모드 결정 장치 및결정 방법 |
CN103124346B (zh) * | 2011-11-18 | 2016-01-20 | 北京大学 | 一种残差预测的确定方法及*** |
JP6381855B2 (ja) * | 2016-04-19 | 2018-08-29 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3159309B2 (ja) * | 1989-09-27 | 2001-04-23 | ソニー株式会社 | 映像信号符号化方法及び映像信号符号化装置 |
JPH0595540A (ja) * | 1991-09-30 | 1993-04-16 | Sony Corp | 動画像符号化装置 |
US5561529A (en) * | 1992-12-22 | 1996-10-01 | Canon Kabushiki Kaisha | Image signal reproducing apparatus |
US5737537A (en) * | 1995-09-29 | 1998-04-07 | Intel Corporation | Two-measure block classification scheme for encoding video images |
US6002802A (en) * | 1995-10-27 | 1999-12-14 | Kabushiki Kaisha Toshiba | Video encoding and decoding apparatus |
JP3157101B2 (ja) * | 1996-03-08 | 2001-04-16 | 沖電気工業株式会社 | 画像符号化方法及び画像符号化装置 |
-
1998
- 1998-08-26 JP JP23993798A patent/JP3630565B2/ja not_active Expired - Fee Related
-
1999
- 1999-03-19 US US09/272,209 patent/US6456664B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20020122487A1 (en) | 2002-09-05 |
JP2000069482A (ja) | 2000-03-03 |
US6456664B1 (en) | 2002-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6125144A (en) | Picture coding method and picture coder | |
US6339616B1 (en) | Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding | |
US5737022A (en) | Motion picture error concealment using simplified motion compensation | |
US6415055B1 (en) | Moving image encoding method and apparatus, and moving image decoding method and apparatus | |
JP2002543713A (ja) | デジタルビデオ用動き推定 | |
KR20000023279A (ko) | 비디오 압축을 위한 영역 기반 리프레시 방법 | |
JP3630565B2 (ja) | 動画像の符号化方法及び装置 | |
US5835146A (en) | Video data compression | |
JP2000270332A (ja) | 動画像符号化方法および装置 | |
KR19990074806A (ko) | 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 | |
US5736944A (en) | Image decoding apparatus | |
US8594192B2 (en) | Image processing apparatus | |
US20060109909A1 (en) | Decision mechanism for partition types of macro block | |
JP2007507128A (ja) | 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 | |
JP5172874B2 (ja) | 映像同期装置、映像表示装置、映像同期方法及びプログラム | |
JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
JP2002325259A (ja) | 誤り補正に基づいてデジタル画像を符号化する方法 | |
KR101102393B1 (ko) | 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치 | |
JP2001309388A (ja) | 画像復号装置におけるエラー画像補完方法 | |
JP2002300600A (ja) | 立体像符号化装置および立体像復号装置 | |
KR100249829B1 (ko) | 엠펙-2 비트열 상에서 계층적 구조를 갖는 장면전환 검출 방법 | |
Lam et al. | Parallel genetic search algorithm for motion estimation | |
JPH08289289A (ja) | 動画像圧縮装置 | |
CN1257378A (zh) | 图像信号自适应编码的方法和装置 | |
KR100198943B1 (ko) | 동영상의 부호화시 움직임 특성에 적응적인 픽쳐구조 선택장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041214 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |