JP2007535221A - ビデオ画像のスキップマクロブロックの符号化方法 - Google Patents

ビデオ画像のスキップマクロブロックの符号化方法 Download PDF

Info

Publication number
JP2007535221A
JP2007535221A JP2006545883A JP2006545883A JP2007535221A JP 2007535221 A JP2007535221 A JP 2007535221A JP 2006545883 A JP2006545883 A JP 2006545883A JP 2006545883 A JP2006545883 A JP 2006545883A JP 2007535221 A JP2007535221 A JP 2007535221A
Authority
JP
Japan
Prior art keywords
encoding
macroblock
skip
image
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006545883A
Other languages
English (en)
Other versions
JP5128820B2 (ja
Inventor
文 高
俊浩 鄭
思偉 馬
向陽 季
鵬 張
岩 呂
Original Assignee
中国科学院計算技▲づ▼研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院計算技▲づ▼研究所 filed Critical 中国科学院計算技▲づ▼研究所
Publication of JP2007535221A publication Critical patent/JP2007535221A/ja
Application granted granted Critical
Publication of JP5128820B2 publication Critical patent/JP5128820B2/ja
Anticipated expiration legal-status Critical
Active legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明は、ビデオ画像のスキップマクロブロックの符号化方法を提出し、目前画像のスキップマクロブロックの符号化方式を標識するように、ピクチャヘッダに一つの標識ビットを増加する;スキップマクロブロックの多少に従って、目前画像中のマクロブロックタイプに対する符号化方式を選択し、ランレングス符号化である場合、ピクチャヘッダの標識ビットを、対応する標識値に設定し、且つランレングス符号化方式を採用して、画像のマクロブロックタイプを符号化し;スキップマクロブロック数とマクロブロックタイプの連合性符号化である場合、ピクチャヘッダの標識ビットを、対応する標識値に設定し、且つスキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用して、画像のマクロブロックのタイプを符号化し;最後に、目前マクロブロックの他のデータを符号化して、コードストリームを入力するステップを含む。本発明は、適応的にビデオ画像のスキップマクロブロックの符号化方式を選択したので、画像の符号化効率を高め、伝送及び記憶の代価を減少することができるので、簡単で、実用性のある技術案である。本発明は、フレーム符号化或いは体符号化(field coding)において有効的に実施することができる。

Description

本発明は、ビデオ画像のマクロブロックタイプに対して符号化する方法に関し、特に、符号化する画像にスキップマクロブロックが含まれたとき、ビデオ画像のスキップマクロブロックに対して符号化する方法に関し、ビデオ符号化分野に属する。
デジタルテレビ、新世代の携帯通信、広帯域通信、家庭消費電子のようなハイテク産業組の共通技術は、ビデオ/オーディオを主な内容とするマルチメディア情報処理技術に集中されており、特に、データ圧縮技術に集中されている。高効率のビデオCODEC技術は、高い質量、低いコストのマルチメディアデータの記憶と伝送を実現するキーポイントである。
既存のビデオ標準(例えばMPEGシリーズとH.26xシリーズ)において、何れもスキップマクロブロックモード(Skipped Macroblock)が存在する。所謂スキップマクロブロックは、当該タイプのマクロブロックに対して符号化するとき、符号化するための附加情報(例えば動きベクトル或は残存)が必要しないことを意味し、それは、Pフレーム画像とBフレーム画像だけに存在する。即ち、フレーム間符号化のビデオ画像中に存在し、フレーム内符号化のビデオ画像である例えばIフレーム中には存在しない。スキップマクロブロックの動きベクトルは、前で処理した隣接するマクロブロック(時間領域或は空間領域)の動きベクトルから導出されたものであり、且つ、残存データ(量子化後の残存が0である)が無い。スキップマクロブロックの処理が他のマクロブロックの処理と異なるため、ビデオに対して符号化するとき、それを標識する必要がある。
MPEG2標準においては、「マクロブロックのアドレスインクリメント」(macroblock_address_increment)を採用して処理したものである。「マクロブロックのアドレスインクリメント」が1より大きい場合、中間に若干のスキップマクロブロックが存在していることを示している。
H.263標準において、専門的な一つのビットである「符号化マクロブロックの標識」(coded macroblock indication)により、符号化データがあるかどうかを標識する。1は、データが無くてスキップマクロブロックであることを表示し、0は、後に符号化したマクロブロックデータがあることを示している。
H.264標準において、スキップマクロブロックに対して、「ランレングス符号化」(run length)を採用して処理し、スキップの数に対して符号化する。そんな処理方式は、MPEG2の「マクロブロックのアドレスインクリメント」方法の構造と同じ、何れも、スキップしたマクロブロックの数に対して符号化する。
従来技術において、単一の方式を採用してスキップマクロブロックタイプを符号化するので、符号化の効率が低い。スムースなシリアルに対して、量子化パラメータが大きい場合、スキップマクロブロックも多い。その場合、「マクロブロックの標識方式」は、スキップマクロブロックであるかを標識するために、マクロブロック毎に一つのビットが必要になり、効率が低い。しかし、「マクロブロックのアドレスインクリメント」方式を採用する場合、可変長符号(variable - length code)だけを用いて、連続するスキップマクロブロックの数を符号化すればよい。同じように、動きが大きいシリアルに対して、量子化パラメータが小さい場合、スキップマクロブロックも少なく、繰り返されるスキップマクロブロックの数も少なく、頻繁に現れる小さい数値は可変長符号で符号化するに不利である。例えば、可変長符号で数値3を符号化する場合、三つのビット(bit)が必要になる可能性があり、このような小さい数値が多く且つ大きい数値(スキップマクロブロックが繰り返される)が無い場合,固定長符号(fixed-length code)が最も良い符号化効果に達することができる。それと共に、非スキップマクロブロックを標識する単一な0値に対して、「マクロブロックのアドレスインクリメント」方式と「符号化マクロブロック標識」方式の実際の符号化ビットは同じである。その場合、マクロブロックのアドレスインクリメント方式は、可変長符号のメリットを十分に発揮することができなく、符号化の効率も大幅に低下する。
画像を符号化するとき、どのような方式を選択して、スキップマクロブロックを符号化すれば、最も良い符号化効率を取得できるのかは、ビデオ符号化分野でその符号化効率を更に高めることにおいての難題である。
本発明は、スキップマクロブロックの多少に従って、異なる符号化方式を選択してスキップマクロブロックを符号化することにより、符号化効率を高めることができるスキップマクロブロックの符号化方法を提出することにその技術課題がある。
ビデオ画像のスキップマクロブロックの符号化方法であって、下記のステップを含む。
ステップ1、目前画像のスキップマクロブロックの符号化方式を標識するように、ピクチャヘッダに一つの標識ビットを増加する;
ステップ2、スキップマクロブロックの多少に従って、目前画像中のマクロブロックタイプに対する符号化方式を選択し、ランレングス符号化である場合、ステップ3を実行し;スキップマクロブロック数とマクロブロックタイプの連合性符号化である場合、ステップ4を実行する;
ステップ3、ランレングス符号化方式を採用して、画像のマクロブロックタイプを符号化して;ステップ5を実行する;
ステップ4、スキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用して、画像のマクロブロックタイプを符号化して;ステップ5を実行する;
ステップ5、目前画像を符号化して、コードストリームを入力する。
本発明は、二回の符号化或いは経験しきい値により、ビデオ画像のスキップマクロブロックの符号化方式を選択して、画像の符号化効率を高め、伝送及び記憶の代価を減少して、従来のビデオ画像のスキップマクロブロックを符号化するとき、効率が下げる問題点を解決することができ、且つ可用性が強くて、フレーム符号化と体符号化(field coding)の場合にも有効的に使用され、簡単で、実用的な技術案である。
ビデオ画像は複数のマクロブロックからなったので、ビデオ画像に対して符号化するとき、先ず、マクロブロックのタイプを符号化してから、マクロブロック自身を符号化する。全てのマクロブロックを符号化すれば、画像の符号化を完成する。
本発明は、フレーム間符号化のビデオ画像マクロブロックのタイプに対する符号化に関し、スキップマクロブロックをある特殊的なマクロブロックのタイプと考え、マクロブロック自身である例えば動きベクトル、残存(残差)等のデータの符号化に対しては、いずれ一種のマクロブロックの符号化方式を採用することができる。
本発明は、ビットレートと画像質量の要求及びビデオシリアルの特徴に従って、スキップマクロブロックの多い符号化画像は、ランレングス符号化を採用することができ、スキップマクロブロックが少ない符号化画像は、スキップマクロブロック個数とマクロブロックタイプの連合性符号化方式を採用することができるので、異なる応用の要求に良く適応することができる。異なる状況に従って、最適なスキップマクロブロックの符号化方式を採用すれば、符号化効率を高めることができる。
図1に示したように、本発明に係る技術案の符号化する過程には、下記のステップを含む。
ステップ1、目前画像のスキップマクロブロックの符号化方式を標識するように、ピクチャヘッダに一つの標識ビットを増加する;
ステップ2、スキップマクロブロックの多少に従って、目前画像中のマクロブロックタイプに対する符号化方式を選択し、ランレングス符号化である場合、ステップ3を実行し;スキップマクロブロック数とマクロブロックタイプの連合性符号化である場合、ステップ4を実行する;
ステップ3、ピクチャヘッダの標識ビットを、ランレングス符号化状態に設定し、且つランレングス符号化方式を採用して、画像のマクロブロックタイプを符号化して;ステップ5を実行する;
ステップ4、ピクチャヘッダの標識ビットを、連合性符号化状態に設定し、且つスキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用して、画像のマクロブロックのタイプを符号化して;ステップ5を実行する;
ステップ5、目前画像を符号化して、コードストリームを入力する。
本発明は、ビデオ画像のスキップマクロブロックに対して異なる符号化方式を採用したので、先ず標記する方式を変化する必要があり、標記を減少するために、単一なフレームの全てのスキップマクロブロックは同じ方式を採用して符号化を行う。ピクチャヘッダにたくさんの画像の情報を含んで、ピクチャヘッダに一つのビット(0或いは1)を増加することにより、目前画像のスキップマクロブロックの符号化方式を標識することができ、例えば、予めに設定した当該ビットが1であるとき、ランレングス符号化を示し、0であるとき、スキップマクロブロック数とマクロブロックタイプの連合性符号化を示す。
以下は、本発明がプログラミング言語を採用して書いたプログラムの一つの具体的な実施例である。
pb_picture_header() //ピクチャヘッダ

…………………
skip_code_flag //その値がスキップマクロブロックの符号化方式を表明する
…………………
next_start_code() //コードストリームの次のピクチャヘッダを探す}
その中で、pb_picture_header()は、ピクチャヘッダに一つのビットのデータを増加するために用い、目前画像のスキップマクロブロックの符号化方式を標識するために用いる。具体的に、下記のように実現する:skip_code_flagの長さが一つのビットである場合、1であるとき、符号化標識がランレングス符号化であることを示し、0であるとき、符号化方式がスキップマクロブロック数とマクロブロックタイプの連合性符号化であることを示す。
マクロブロックのタイプを符号化した後、マクロブロック自身のデータを符号化することに係り、即ち、動きベクトルと残存等のデータを符号化してから、データをコードストリームに入力して、目前マクロブロックの符号化を完成する;目前画像の全てのマクロブロックに対して順序的に符号化して、目前画像の符号化を完成する;上記方式を採用して全てのフレーム間符号化のビデオ画像に対して符号化する。
図2で示したように、復号化端は、まず、コードストリームのピクチャヘッダ中からスキップマクロブロックの符号化標識を読み込んで、当該標識の値を判定し、1であるときは、ランレングス符号化を示し、0であるときは、連合性符号化を示す;その後は、対応する方式を採用して、マクロブロックに対する復号化を完成する。
以上の説明から分かるように、本発明のステップ2においての目前画像中のマクロブロックのタイプに対する符号化方式の選択が、本発明の重点であり、二種の方法を採用することができ、その一つは、二回の符号化を採用して、符号化性能を比較して、優れたものを選択し;他の一つは、統計方式により符号化しようとする画像のスキップマクロブロックの多少を推算して、これによりどの符号化方式を採用するかを決める。
図3に示しているものは、スキップマクロブロックを含むフレーム間符号化のビデオ画像の一部分であり、本発明の技術案を詳しく説明する例である。
図4に示しているものは、単一なフレーム画像のスキップマクロブロックの符号化方式が、二回の符号化過程を通じて優れの方案を選択した技術案であり、そのステップは下記の通りである。
ステップ200、目前の符号化画像の全てのマクロブロックに対して、ランレングス符号化方式を採用して、処理を行った後、対応する符号化性能パラメータを得る;
ステップ201、目前の符号化画像に対して二回の符号化を行い、その全てのマクロブロックに対して、スキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用して、処理を行った後、対応する符号化性能パラメータを得る;
ステップ202、符号化を二回行って得られた性能パラメータを総合的に比較して、目前の画像が一番優れなスキップマクロブロックの符号化方式を選択する。
比較する性能パラメータには、符号化率とS/N比(信号/雑音比)が含まれる。上記符号化率は符号化効率である圧縮の比例を意味し、上記S/N比葉、圧縮後のディストーション状況を意味する。符号化の要求に従って、どのパラメータを判定の根拠にするかを決め、画像の圧縮率に対する要求が高くて、画像のディストーション状況に対する要求があまり高くない場合、S/N比が同一で符号化率が高い符号化方式を採用することができ;画像のディストーション状況に対する要求が高くて、圧縮率に対する要求があまり高くない場合、圧縮率が同一でディストーションが小さい符号化方式を採用することができる。スキップマクロブロックの符号化が符号化画像の質量に対する影響が小さいので、即ち、S/N比に対する影響が小さいので、そのときの符号化方式は主に符号化のビットレートに影響を及ぼす。
以下は、二種の符号化方式に対して紹介する。
ランレングス符号化方式は、連続するスキップマクロブロックに対して、可変長符号(Variable-length coding、VLCと略称する)を用いてスキップした数を符号化する;連続する非スキップマクロブロックの間には、一つのビットである「0」値を増加して標識して、スキップマクロブロックがないことを示さなければならない。このように、コードストリーム中の非スキップマクロブロック毎に対して、表1に示した構成に従って符号化を行う。マクロブロックヘッダ毎に対して、先ずスキップマクロブロックの記数値(skipped macroblock counter)を符号化してから、次の非スキップマクロブロックのマクロブロックのタイプであるmb_type(macroblock type)を符号化する。そんな方式は、マクロブロックタイプの元の符号化に対して影響を及ばない。スキップマクロブロックの個数は可変長符号(例えばExp-Golomb)により符号化する方式を採用する。
表1、スキップマクロブロックのランレングス符号化方式
Figure 2007535221
例えば、図3に示したものは、符号化しようとする画像のマクロブロックのタイプであり、毎枠は一つのマクロブロックを示し、色が深いものはスキップマクロブロックである。ランレングス符号化処理方式を採用し:(mbxは、x個目のマクロブロックの符号化データを示す)、結果は下記の通りである:
(0,mb) (1,mb) (0,mb) (4,mb) (0,mb) (0,mb10) (0,mb11) (1,mb13) (0,mb14) (2,mb17
スキップマクロブロック数とマクロブロックタイプの連合性符号化方式は、Pフレーム画像に対して下記の方法ように処理する。Pフレーム画像であれば、マクロブロックのタイプにスキップモード(skip mode)を増加し、その平均な出現確率に従って、それがマクロブロックタイプの表中に位置する位置を決め、全てのマクロブロックのタイプ表は、それに従って調整する必要がある。スキップマクロブロックのタイプが出現される確率は、画像によって異なる、あるタイプの画像に対して予め統計することにより、出現される確率を判定することができ、それにより、スキップマクロブロックのタイプがマクロブロックタイプの表中に位置する位置を決めることができる。一般的に、Bフレーム画像とPフレーム画像について、スキップマクロブロックのタイプが出現される確率が高いので、そのmb_typeを0に設定することができる。
例えば、表2に示しているものは、元のPフレーム画像のマクロブロックのタイプ表である。
表2、Pフレーム画像中のマクロブロックのタイプ:
Figure 2007535221
表3に示しているものは、P_Skipモードを増加したPフレーム画像のマクロブロックのタイプ表である。P_Skipモードを表の第一項に挿入して、元のほかの項目は順番的に後に延ばす。マクロブロックタイプは、Exp_Golomb符号化方式を採用する。
表3、P_Skipモードを加入したPフレーム画像中のマクロブロックのタイプ
Figure 2007535221
連続するスキップマクロブロックに対して、そのスキップ記数値に従って、スキップタイプを使用して、一つ一つ符号化して、一つ一つ標識する。非スキップマクロブロックに対して、それに対応するマクロブロックのタイプ符号化を採用して標識することができる。このように、マクロブロックタイプにより、スキップマクロブロックと非スキップマクロブロックを明瞭に区分することができる。
連合性符号化方式を採用して、図3に示した画像に対して符号化を行った結果は下記の通りである:
(TYPE−mb,mb)(0)(TYPE−mb,mb)(TYPE−mb,mb)(0)(0)(0)(0)(TYPE−mb,mb)(TYPE−mb,mb)(TYPE−mb10,mb10)(TYPE−mb11,mb11)(0)(TYPE−mb1,mb13)(TYPE−mb14,mb14)(0)(0)(TYPE−mb17,mb17)。
その中で、mbは、x個目のマクロブロック符号化のデータユニットを示し、TYPE−mbは、x個目のマクロブロックのタイプを示す。
スキップマクロブロック数とマクロブロックタイプの連合性符号化方式が、Bフレーム画像に対する処理には二種の方式を採用することができ、その一つは、Pフレーム画像と同じ処理方式を採用して、元のマクロブロックのタイプ表に加入するものであって、ここで説明を省略する;その他の一つは、元のBフレーム画像の直接モード(B_Direct16x16 mode)符号化を調整して同じ効果に達するものである。
Bフレーム画像のマクロブロックタイプが多いので、元のマクロブロックのタイプ表を変化することは、非スキップマクロブロックの符号化に対する影響が大きいであることを考える。ここで、直接(Direct)とスキップ(Skipped)である二種のマクロブロックタイプに対して、元のBフレーム画像の直接モードにより標識し、マクロブロックパターン(Coded Block Pattern、CBPと略称する)によりそれらを更に区分する。直接モードは、動きベクトル情報に対して符号化する必要がなく、その動きベクトルは導出されたものであり、その点はスキップ(Skip)モードと同じである。しかし,それに残存データを有することができる。スキップモードは、直接モードの特殊な状況と見ることができ、即ち、残存データの全てが0である直接モードである。CBPは、どの8×8ブロックに残存データが有するかを標識して、目前マクロブロックの残存データの全てが0であれば、そのCBPは0になる。
スキップマクロブロック毎の符号化方式は、直接モードの符号化値が、CBPが0である符号化値に隣接するものであり(スキップマクロブロックは、残存データがなくて、CBPが0である)、直接マクロブロックの符号化方式は、直接モードの符号化値が、CBPが0ではない符号化値に隣接するものであり、他の非スキップマクロブロックは、対応するマクロブロックタイプに従って符号化すればいい。このようにCBPの協力により、直接とスキップとの二種の符号化モードを区分することができるとともに、元のマクロブロックのタイプ表を修訂する必要がないので、他のマクロブロックの符号化モードには影響が無い。具体的な符号化は表4に示している。
表4: Direct+CBP 方式
Figure 2007535221
復号化処理を行うとき、読み込んだマクロブロックタイプが、直接モードである場合、その後のCBP数値を読み込む必要がある。例えば、CBPが0である場合、目前のマクロブロックがスキップマクロブロックであり、その後のデータは、次のマクロブロックであり;CBPが0ではない場合、目前のマクロブロックは、本当のDirectマクロブロックであり、その後のデータは、目前ブロックの残存データである。
二回の符号化により、最適なスキップマクロブロックを選択する符号化方式は、その速度が遅いので、自己適応性モードを採用して符号化方式を早く選択することができる。
図5に示したように、符号化する毎に、目前のフレームのスキップマクロブロックの比例であるRskipを統計する。次のフレームを符号化する前に、前のフレームの統計情報を参考して、ビデオシリアルの内容相関性により、次のフレームのスキップマクロブロックの比例を予測することができる。経験しきい値(Threshold)より大きい場合、次のフレームのスキップマクロブロックの数も多く、その場合、ランレングス符号化方式を採用し;経験しきい値(Threshold)より小さい場合、スキップマクロブロックの数も少なく、スキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用する。
しきい値の選択は、量子化パラメータ(QP)と関係があり、異なるQP値は異なるしきい値を採用する。量子化パラメータ(QP)により、符号化画像の質量を大概に制御することができ、量子化パラメータが大きいほど、画像の質量が悪くなり、ビットレートも低い、圧縮率も高める、その場合、スキップマクロブロックが出現される比例が増大する。
異なる画像に含まれているマクロブロックの数も異なるので(例えば、解像度の高い画像のマクロブロックの数は多い)、しきい値の変化がとても大きく、一般的には35−55%間にある;最もよい符号化効率を得るために、統計する方式を採用して、二種の符号化方式の効果を比べることができ、本発明のしきい値は、統計の結果により得られる。大多数の場合は、符号化に用いられる資源が多いので、実際の応用要求に従って、幾つかの代表的なコードストリームを予め選択して、前記した二回の符号化方法により、そんな応用要求においての典型なコードストリームのスキップマクロブロックの分布特徴を統計して、目前の応用に適応する最適な経験しきい値を獲得する。ソフトウェアにより、符号化を始まるとき、先ず二回の符号化方式で複数フレーム間の符号化画像を符号化すると共に、対応するスキップマクロブロックの分布特徴を統計して、目前シリアルの経験しきい値を得り、その後のシリアルの符号化は、全部高速なモード選択方式に従って行う。
例えば、自己適応の高速算法を採用するとき、QPが37であれば、解像度の高いシリアル(1280×720)は、画像毎に3600個のマクロブロックを有し、前のフレーム画像のスキップマクロブロックの総数が1440個より大きいと、目前フレームのスキップマクロブロック符号化は、ランレングス符号化方式を採用し;そうではないと、連合性符号化方式を採用する。CIFシリアル(352×288)は、画像毎に396個のマクロブロックを有し、前のフレームのスキップマクロブロックの数が198個より大きい場合、ランレングス符号化方式を採用し、そうではないと、連合性符号化方式を採用する。
統計に基づいた自己適応性符号化方法を採用することは、空間複雑度を増加しなく、時間複雑度の面で増加された計算量も非常に小さい、且つ画像の時間領域相関性のため、大多数の場合、そんな推測は非常に良い符号化効果が得られる。
本発明の技術案を分析することにより、当該方法は伝統的なビデオCODECの流れに対する変化が小さく、フレーム符号化或いは体符号化(field coding)でも、有効的に採用でき、伝統的なフレーム体符号化(field coding)の流れに組み合わせることができる。
最後に説明すべきことは、以上の実施例は本発明を説明するためであり、限定する意味ではない。好ましい実施例を参照して、本発明に対して詳しく説明しましたが、本発明に対して修正或いは変更を行うことは、当業者対して理解できることであり、本発明の旨と範囲を超えなく、本発明の特許請求の範囲に含まれている。
本発明のスキップマクロブロックの符号化を組み込んだユニバーサルな符号化のフロー図である。 本発明のスキップマクロブロックの復号化を組み込んだユニバーサルな復号化のフロー図である。 スキップマクロブロックを含む画像マクロブロックの実施例を示す図面である。 本発明の二回の符号化を採用して符号化方式を選択したフロー図である。 本発明の統計情報に基づいて符号化方式を選択したフレー図である。

Claims (10)

  1. ビデオ画像のスキップマクロブロックの符号化方法であって、
    ステップ1、目前画像のスキップマクロブロックの符号化方式を標識するように、ピクチャヘッダに一つの標識ビットを増加する;
    ステップ2、スキップマクロブロックの多少に従って、目前画像中のマクロブロックタイプに対する符号化方式を選択し、ランレングス符号化である場合、ステップ3を実行し、スキップマクロブロック数とマクロブロックタイプの連合性符号化である場合、ステップ4を実行する;
    ステップ3、ピクチャヘッダの標識ビットを、ランレングス符号化状態値に設定し、且つランレングス符号化方式を採用して、画像のマクロブロックタイプを符号化して;ステップ5を実行する;
    ステップ4、ピクチャヘッダの標識ビットを、連合性符号化状態値に設定し、且つスキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用して、画像のマクロブロックのタイプを符号化して;ステップ5を実行する;
    ステップ5、目前画像を符号化して、コードストリームを入力する、
    ステップを含むビデオ画像のスキップマクロブロックの符号化方法。
  2. ステップ1で増加された標識ビットは、全ての符号化される画像のピクチャヘッダに対することを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
  3. 上記ステップ2は、二回の符号化過程により目前画像中のマクロブロックタイプに対する符号化方式を選択するものであり;具体的に、
    ステップ200、目前の符号化画像の全てのマクロブロックに対して、ランレングス符号化方式を採用して、処理を行った後、対応する符号化性能パラメータを得る;
    ステップ201、目前の符号化画像に対して二回の符号化を行い、その全てのマクロブロックに対して、スキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用して、処理を行った後、対応する符号化性能パラメータを得る;
    ステップ202、符号化を二回行って得られた性能パラメータを総合的に比較して、目前の画像が一番優れなスキップマクロブロックの符号化方式を選択する、
    ステップを含むことを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
  4. 上記比較する性能パラメータには、S/N比と符号化率が含まれることを特徴とする、請求項3に記載のビデオ画像のスキップマクロブロックの符号化方法。
  5. 上記ステップ2は、統計に基づいた自己適応性モードを採用して、目前画像中のマクロブロックタイプに対する符号化方式を選択して、高速符号化を実現するものであり、具体的に、
    ステップ210、符号化する毎に、目前画像のスキップマクロブロックの数と比例に対して統計し;
    ステップ211、次のフレームを符号化する前に、前の画像中のスキップマクロブロックの比例が経験しきい値より大きいかを判定し;
    ステップ212、経験しきい値より大きい場合、ステップ3を実行して、ランレングス符号化方式を採用する;
    ステップ213、経験しきい値より小さい場合、ステップ4を実行して、スキップマクロブロック数とマクロブロックタイプの連合性符号化方式を採用する、
    ステップを含むことを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
  6. 上記経験しきい値は統計方式により得られることを特徴とする、請求項5に記載のビデオ画像のスキップマクロブロックの符号化方法。
  7. ステップ3に係るランレングス符号化方式は、連続するスキップマクロブロックに対して、可変長符号を採用してスキップしたマクロブロックの数を符号化し;標識するように連続する非スキップマクロブロック間に標識ビットを増加して、スキップマクロブロックの数が0であることを示すことを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
  8. ステップ4に係るスキップマクロブロック数とマクロブロックタイプの連合性符号化方式は、Pフレーム画像とBフレーム画像に対して統一的に処理し、マクロブロックタイプにスキップタイプを増加して、平均な出現確率に従って、それがマクロブロックのタイプ表中に位置する位置を決定して、それにより全てのマクロブロックのタイプ表を調整する;
    スキップしたマクロブロックに対して、そのスキップ記数値により、スキップタイプを使用して一つ一つ符号化して、一つ一つ標識する;非スキップマクロブロックに対して、その対応するマクロブロックタイプを使用して符号化することを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
  9. 上記ステップ4において、スキップマクロブロック数とマクロブロックタイプの連合性符号化方式は、Pフレーム画像とBフレーム画像に対して別々に処理し、Pフレーム画像である場合、元のマクロブロックのタイプ表にスキップタイプを増加して、符号化し;
    Bフレーム画像である場合、元の直接モードの符号化を修訂して、スキップマクロブロック毎の符号化方式は、直接モードの符号化値がCBPが0である符号化値に隣接するものであり、非スキップマクロブロックの符号化方式は、直接モードの符号化値がCBPが0ではない符号化値に隣接するものであることを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
  10. 上記スキップマクロブロックの符号化方法は、フレーム符号化にも適応し、体符号化にも適応できることを特徴とする、請求項1に記載のビデオ画像のスキップマクロブロックの符号化方法。
JP2006545883A 2003-12-31 2004-07-08 ビデオ画像のスキップマクロブロックの符号化方法 Active JP5128820B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200310116088.5 2003-12-31
CNB2003101160885A CN1332563C (zh) 2003-12-31 2003-12-31 一种视频图像跳过宏块的编码方法
PCT/CN2004/000771 WO2005067304A1 (en) 2003-12-31 2004-07-08 Encoding method for skipped macroblocks in video image

Publications (2)

Publication Number Publication Date
JP2007535221A true JP2007535221A (ja) 2007-11-29
JP5128820B2 JP5128820B2 (ja) 2013-01-23

Family

ID=34304832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006545883A Active JP5128820B2 (ja) 2003-12-31 2004-07-08 ビデオ画像のスキップマクロブロックの符号化方法

Country Status (4)

Country Link
US (1) US8306124B2 (ja)
JP (1) JP5128820B2 (ja)
CN (1) CN1332563C (ja)
WO (1) WO2005067304A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121894A1 (ja) * 2010-03-31 2011-10-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2012504925A (ja) * 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
CN100399828C (zh) * 2005-02-02 2008-07-02 腾讯科技(深圳)有限公司 一种视频数据的编码方法
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的***和方法
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
JP5666293B2 (ja) * 2007-04-12 2015-02-12 トムソン ライセンシングThomson Licensing ビデオ・エンコーディング、およびデコーディングのためのスキップ/ダイレクトモードのコンテクストに依存するマージのための方法と装置
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US8077772B2 (en) * 2007-11-09 2011-12-13 Cisco Technology, Inc. Coding background blocks in video coding that includes coding as skipped
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP5294767B2 (ja) * 2008-09-16 2013-09-18 キヤノン株式会社 動画再生装置、動画再生方法、プログラム及び記録媒体
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
JP4592805B1 (ja) * 2009-06-11 2010-12-08 株式会社東芝 動画像復号装置、プログラムおよび復号処理簡略化方法
US20110013700A1 (en) * 2009-07-20 2011-01-20 Samsung Electronics Co., Ltd. Method and apparatus for coding and decoding color channels in layered video coding and decoding
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
JP5842357B2 (ja) * 2011-03-25 2016-01-13 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN104737542B (zh) * 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US10074014B2 (en) 2015-04-22 2018-09-11 Battelle Memorial Institute Feature identification or classification using task-specific metadata
CN105630733B (zh) * 2015-12-24 2017-05-03 中国科学院计算技术研究所 分形树中向量数据回传处理单元的装置、方法、控制装置及智能芯片
WO2021121418A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047268A2 (en) * 2001-11-30 2003-06-05 Telefonaktiebolaget Lm Ericsson (Publ) Global motion compensation for video pictures
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031937A (en) * 1994-05-19 2000-02-29 Next Software, Inc. Method and apparatus for video compression using block and wavelet techniques
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
US6192148B1 (en) * 1998-11-05 2001-02-20 Winbond Electronics Corp. Method for determining to skip macroblocks in encoding video
CN1322759C (zh) * 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
US6859500B2 (en) * 2001-03-20 2005-02-22 Telefonaktiebolaget Lm Ericsson Run-length coding of non-coded macroblocks
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047268A2 (en) * 2001-11-30 2003-06-05 Telefonaktiebolaget Lm Ericsson (Publ) Global motion compensation for video pictures
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012504925A (ja) * 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
WO2011121894A1 (ja) * 2010-03-31 2011-10-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2011121894A1 (ja) * 2010-03-31 2013-07-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8948243B2 (en) 2010-03-31 2015-02-03 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method

Also Published As

Publication number Publication date
WO2005067304A1 (en) 2005-07-21
JP5128820B2 (ja) 2013-01-23
US20070217500A1 (en) 2007-09-20
CN1535018A (zh) 2004-10-06
CN1332563C (zh) 2007-08-15
US8306124B2 (en) 2012-11-06

Similar Documents

Publication Publication Date Title
JP5128820B2 (ja) ビデオ画像のスキップマクロブロックの符号化方法
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
US10616583B2 (en) Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
JP4981927B2 (ja) Svccgs拡張層コーディングに関するcavlc拡張
US20050114093A1 (en) Method and apparatus for motion estimation using variable block size of hierarchy structure
KR20040068257A (ko) 스킵 매크로블록 코딩
JPWO2005041420A1 (ja) 算術符号の復号器または符号化器と逆2値化変換器または2値化変換器との間に中間バッファが挿入された復号装置または符号化装置
JP2004520770A (ja) Fgsエンハンスメント層に対しアクティビティをベースとする周波数重み付けをする方法及びシステム
JP5675719B2 (ja) マルチメディアデータを処理する方法および装置
KR20030029961A (ko) 스케일불가능한 코딩된 비디오 신호로부터 스케일가능한코딩된 비디오 신호를 생성하기 위한 방법 및 장치
US6961377B2 (en) Transcoder system for compressed digital video bitstreams
JP2006507745A (ja) 可変長コード化されたデータ・ストリーム用のトランスコーダ
US7826529B2 (en) H.263/MPEG video encoder for efficiently controlling bit rates and method of controlling the same
CN110351552B (zh) 视频编码中一种快速编码方法
CN110933430A (zh) 二次编码优化方法
US7079578B2 (en) Partial bitstream transcoder system for compressed digital video bitstreams
US20190356911A1 (en) Region-based processing of predicted pixels
US6771825B1 (en) Coding video dissolves using predictive encoders
JP5016561B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
US20030118099A1 (en) Fine-grain scalable video encoder with conditional replacement
JP3600487B2 (ja) 可変長復号器及びこれを用いた動画像復号装置
JP2010508750A (ja) ビットストリームを操作する方法および装置
CN101056409B (zh) 一种视频图像跳过宏块的解码方法
JP2004129206A (ja) 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム
US20030118113A1 (en) Fine-grain scalable video decoder with conditional replacement

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091208

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111102

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5128820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250