JP3593944B2 - 画像データ処理装置及びそれに用いる動き補償処理方法 - Google Patents

画像データ処理装置及びそれに用いる動き補償処理方法 Download PDF

Info

Publication number
JP3593944B2
JP3593944B2 JP2000063066A JP2000063066A JP3593944B2 JP 3593944 B2 JP3593944 B2 JP 3593944B2 JP 2000063066 A JP2000063066 A JP 2000063066A JP 2000063066 A JP2000063066 A JP 2000063066A JP 3593944 B2 JP3593944 B2 JP 3593944B2
Authority
JP
Japan
Prior art keywords
data
motion compensation
processing
image data
cosine transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000063066A
Other languages
English (en)
Other versions
JP2001251620A (ja
Inventor
徹 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000063066A priority Critical patent/JP3593944B2/ja
Priority to US09/796,466 priority patent/US6831951B2/en
Priority to CA 2339511 priority patent/CA2339511C/en
Publication of JP2001251620A publication Critical patent/JP2001251620A/ja
Application granted granted Critical
Publication of JP3593944B2 publication Critical patent/JP3593944B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像データ処理装置及びそれに用いる動き補償処理方法に関し、特にMPEG2(Moving Picture Experts Group phase 2)復号処理のうちの動き補償処理に関する。
【0002】
【従来の技術】
近年、カラー動画像蓄積用符号化方式としては、MPEGで標準化作業が行われている。このMPEGの符号化方式にはMPEG1やMPEG2等があり、MPEG1は転送速度が1.5Mbps程度で、主にCD−ROM(Compact Disk−Read Only Memory)等の蓄積メディアを適用対象とし、その符号化アルゴリズムに、周期的なフレーム内符号化を取り入れた動き補償予測/DCT(Discrete Cosine Transform:離散コサイン変換)方式が用いられている。
【0003】
MPEG2は転送速度が数Mbps〜数十Mbpsという広い範囲を対象とし、MPEG1と同様に蓄積メディアを適用対象とするほか、次世代テレビ放送や広帯域ISDN(Integrated Service Digital Network)を利用した映像伝送等も対象としており、MPEG1との互換性を持つ。
【0004】
ここで、動き補償予測/DCT方式では、動き補償フレーム間予測によって得られる予測誤差を、DCTを用いて符号化する方式であるが、動画像シーケンスの最初やシーン・チェンジ等、予測が困難な時には動き補償フレーム間予測を用いず、DCTによるフレーム内符号化が行われる。
【0005】
MPEG方式で圧縮された画像は可変長復号(VLD:Variable Length Decoded)、逆スキャン(Inverse Scan)、逆量子化(IQ:Inverse Quantization)、離散逆コサイン変換(IDCT:Inverse Discrete Cosine Transform)、動き補償(MC:Motion Compensation)という処理を経て復号される。
【0006】
復号されたデータは画素あたり輝度8bit、色差8bitで表される値の組として表現される。しかしながら、各処理の終了時点では必ずしも画素あたりのデータ長が8bitで表されるとは限らない。離散逆コサイン変換処理が終った後のデータは画素あたり9bitで表される。
【0007】
【発明が解決しようとする課題】
上述したMPEG2の復号処理のうち、動き補償処理は画素データを画素あたり9bitで扱うため、8bitでデータを扱うことを前提とした装置ではオーバフローが発生し、正しく復号することができない。そこで、このような装置では画素データを二つの8bitに分けて扱う等の工夫をしている。
【0008】
しかしながら、このような方法ではデータを二つの8bitに分けるための処理やデータを動き補償処理部に転送する量が増えること等から、復号に要する処理量が増えてしまう。
【0009】
そこで、本発明の目的は上記の問題点を解消し、より簡単な装置で動き補償処理を実現することができ、離散逆コサイン変換後のデータを動き補償処理部へより高速にデータ転送することができる画像データ処理装置及びそれに用いる動き補償処理方法を提供することにある。
【0010】
【課題を解決するための手段】
本発明による画像データ処理装置は、可変長復号処理と逆スキャン処理と逆量子化処理と離散逆コサイン変換処理と動き補償処理とを経て圧縮画像データの復号を行う画像データ処理装置であって、前記離散逆コサイン変換処理終了後のデータを1/2にする手段と、その1/2になったデータに対して動き補償処理における画素値の加算処理を2回繰り返し行う動き補償処理手段とを備えている。
【0011】
本発明による動き補償処理方法は、可変長復号処理と逆スキャン処理と逆量子化処理と離散逆コサイン変換処理と動き補償処理とを経て圧縮画像データの復号を行う画像データ処理における動き補償処理方法であって、前記離散逆コサイン変換処理終了後のデータを1/2にするステップと、その1/2になったデータに対して動き補償処理における画素値の加算処理を2回繰り返し行うステップとを備えている。
【0012】
すなわち、本発明の画像データ処理装置の動き補償処理部は、MPEG2方式で圧縮された画像復号する際に、復号手順の一つである動き補償処理を簡略化する手段を提供するものである。
【0013】
より具体的に、本発明の画像データ処理装置は、記憶装置に格納されかつMPEG2方式で圧縮された原画像をロードし、その画像データを復号してディスプレイ装置に送る。
【0014】
MPEG方式で圧縮された画像は、上述したように、可変長復号(VLD)、逆スキャン(I Scan)、逆量子化(IQ)、離散逆コサイン変換(IDCT)、動き補償(MC)という処理を経て復号される。復号されたデータは画素あたり輝度8bit、色差8bitで表される値の組として表現される。
【0015】
しかしながら、各処理の終了時点では必ずしも画素あたりのデータ長が8bitで表されるとは限らない。離散逆コサイン変換処理が終った後のデータは画素あたり9bitで表される。そのため、一つのデータを8bitで扱うことを前提とした装置ではオーバフローが発生し、正しく復号することができない。
【0016】
そこで、画素あたり9bitで表される離散逆コサイン変換処理後のデータを半分にして動き補償処理部に送り、動き補償処理部内では通常の動き補償処理を2度行うことによって、オーバフローによる問題を回避するようにしている。
【0017】
つまり、本発明の画像データ処理装置では、9bitで表される画素データを右に1bitシフトさせ、その値を2分の1にして動き補償処理部に転送し、動き補償処理部で動き補償処理を2回繰り返し行うことによって、転送処理量を減らしている。また、画素あたり8bitのバッファを二つ用いている従来の方法よりもバッファ量を半減することも可能となる。
【0018】
【発明の実施の形態】
次に、本発明の一実施例について図面を参照して説明する。図1は本発明の一実施例による画像データ処理装置の構成を示すブロック図である。図1において、画像データ処理装置2はプログラム制御によって動作し、記憶装置1に記憶された圧縮画像データを処理し、その画像データをディスプレイ装置3に表示している。
【0019】
記憶装置1はMPEG2方式で圧縮された原画像11を記憶している。ディスプレイ装置3は画像データ処理装置2で復号された画像データをその表示部に表示する。
【0020】
画像データ処理装置2は圧縮データバッファ21と、復号処理部22と、画素データシフト処理部23と、動き補償処理部24と、フレームデータバッファ25とから構成され、動き補償処理部24は参照データ算出処理部24aと、参照データ加算処理部24bと、参照データ保存処理部24cとから構成されている。
【0021】
圧縮データバッファ21は記憶装置1からロードした画像データを確保し、復号処理部22は可変長復号(VLD)と、逆量子化(IQ)と、離散逆コサイン変換(IDCT)とを行う。画素データシフト処理部23は画素データの各値を右に1bit分シフトさせ、動き補償処理部24は動き補償処理を行い、フレームデータバッファ25は表示する画像データを格納する。
【0022】
動き補償処理部24の参照データ算出処理部24aは動きベクトルを基に参照バッファ(図示せず)から動き補償フレーム間予測に用いられる参照データを求め、参照データ加算処理部24bは参照データと復号処理を行ったデータとを加算する。参照データ保存処理部24cは動き補償処理が完了したデータを参照バッファに残しておく。
【0023】
図2は図1の動き補償処理部24の処理動作を示す図であり、図3は図1の画像データ処理装置2の処理動作を示すフローチャートである。これら図1〜図3を参照して本発明の一実施例の動作について説明する。
【0024】
記憶装置1はMPEG2方式で圧縮された原画像11を格納している。画像データ処理装置2はまず圧縮画像を復元するにあたり、画像データを記憶装置1から圧縮データバッファ21にロードする(図3ステップS1)。
【0025】
次に、画像データ処理装置2は復号処理部22によって圧縮画像データの復号を開始する(図3ステップS2)。この復号処理部22では動き補償処理以外のMPEG復号処理を行う。この処理の出力には画素あたり9bitで表される画像データのほかに、動きベクトル等の動き補償に必要なデータが含まれる。
【0026】
画素データシフト処理部23では動き補償処理が行われる画像がPピクチャ(Predictive−coded picture:フレーム間符号化フレーム)及びBピクチャ(Bidirectionally predictive−coded picture:フレーム内挿符号化フレーム)の時に(図3ステップS3)、各画素データを右に1bitシフトさせる(図3ステップS4)。この処理によって、画素データが8bit幅に収まるようになる。
【0027】
動き補償処理が行われる画像がIピクチャ(Intra−coded picture:フレーム内符号化フレーム)の場合には動き補償処理がないので、上記の処理は行わない。
【0028】
動き補償処理部24では通常のMPEG復号における動き補償処理が行われるが、参照バッファのデータを加算する回数が異なる。図2に示すように、画素データシフト処理部23では各データが右に1bitシフトされている(つまり、データの値が2分の1されている)ので、通常の動き補償処理とは異なり、同じ値を2回加算する処理が行われる(図2の処理31〜36参照)。
【0029】
この動き補償処理部24における処理方法によって、8bit幅でデータを扱うことを前提とした装置においてもオーバフローを発生させることなく、復号処理を行うことができる。
【0030】
すなわち、参照データ算出処理部24aは動きベクトルの値を基に参照バッファのデータから動き補償フレーム間予測に用いられる参照データを算出する(図3ステップS5)。参照データ加算処理部24bは右1bitシフトした画素データと参照データとを2回加算する(図3ステップS6,S7)。
【0031】
復号した画像データがIピクチャまたはPピクチャの場合(図3ステップS8)、後に続く画像データの参照データとなるので、参照データ保存処理部24cにて参照バッファにそのデータを残す(図3ステップS9)。復号した画像データがBピクチャの場合(図3ステップS8)、復号した画像データが参照されることはないので、参照バッファにデータを残すことはない。
【0032】
復号が完了した画像データはフレームデータバッファ25に格納されてから(図3ステップS10)、ディスプレイ装置3に表示される(図3ステップS11)。ディスプレイ装置3への表示が全て終了していなければ(図3ステップS12)、ステップS1に戻り、次の画像データを復号する。また、ディスプレイ装置3への表示が全て終了していれば(図3ステップS12)、上記の復号処理を終了する。
【0033】
このように、9bitで表される画素データを右に1bitシフトさせ、その値を2分の1にして動き補償処理部24に転送し、動き補償処理部24で動き補償処理を2回繰り返すことによって、画素あたり9bitのデータを扱うのに16bitを要していた従来の方法に比べて、半分のバッファ量で動き補償処理を実現することができるため、より簡単な装置で動き補償処理を実現することができる。
【0034】
また、画素あたり9bitのデータを転送する従来の方法に比べて、より少ないデータ量(8bit)のデータ転送を行うため、離散逆コサイン変換後のデータを動き補償処理部24へより高速にデータ転送することができる。
【0035】
【発明の効果】
以上説明したように本発明によれば、可変長復号処理と逆スキャン処理と逆量子化処理と離散逆コサイン変換処理と動き補償処理とを経て圧縮画像データの復号を行う画像データ処理装置において、離散逆コサイン変換処理終了後のデータを1/2にし、その1/2になったデータに対して動き補償処理を2回繰り返し行うことによって、より簡単な装置で動き補償処理を実現することができ、離散逆コサイン変換後のデータを動き補償処理部へより高速にデータ転送することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例による画像データ処理装置の構成を示すブロック図である。
【図2】図1の動き補償処理部の処理動作を示す図である。
【図3】図1の画像データ処理装置の処理動作を示すフローチャートである。
【符号の説明】
1 記憶装置
2 画像データ処理装置
3 ディスプレイ装置
11 原画像
21 圧縮データバッファ
22 復号処理部
23 画素データシフト処理部
24 動き補償処理部
24a 参照データ算出処理部
24b 参照データ加算処理部
24c 参照データ保存処理部
25 フレームデータバッファ

Claims (6)

  1. 可変長復号処理と逆スキャン処理と逆量子化処理と離散逆コサイン変換処理と動き補償処理とを経て圧縮画像データの復号を行う画像データ処理装置であって、前記離散逆コサイン変換処理終了後のデータを1/2にする手段と、その1/2になったデータに対して前記動き補償処理における画素値の加算処理を2回繰り返し行う動き補償処理手段とを有することを特徴とする画像データ処理装置。
  2. 前記データを1/2にする手段は、9ビットで表される前記離散逆コサイン変換処理後のデータを右に1ビットシフトさせ、その値を1/2にすることを特徴とする請求項1記載の画像データ処理装置。
  3. 前記動き補償処理手段は、動き補償フレーム間予測によって得られる予測誤差を離散コサイン変換処理を用いて符号化された圧縮データの復号を行う際に、前記動き補償フレーム間予測に用いられる参照データに前記右に1ビットシフトされた画素データを2回加算することを特徴とする請求項2記載の画像データ処理装置。
  4. 可変長復号処理と逆スキャン処理と逆量子化処理と離散逆コサイン変換処理と動き補償処理とを経て圧縮画像データの復号を行う画像データ処理における動き補償処理方法であって、前記離散逆コサイン変換処理終了後のデータを1/2にするステップと、その1/2になったデータに対して前記動き補償処理における画素値の加算処理を2回繰り返し行うステップとを有することを特徴とする動き補償処理方法。
  5. 前記データを1/2にするステップは、9ビットで表される前記離散逆コサイン変換処理後のデータを右に1ビットシフトさせ、その値を1/2にすることを特徴とする請求項4記載の動き補償処理方法。
  6. 前記動き補償処理を行うステップは、動き補償フレーム間予測によって得られる予測誤差を離散コサイン変換処理を用いて符号化された圧縮データの復号を行う際に、前記動き補償フレーム間予測に用いられる参照データに前記右に1ビットシフトされた画素データを2回加算することを特徴とする請求項5記載の動き補償処理方法。
JP2000063066A 2000-03-08 2000-03-08 画像データ処理装置及びそれに用いる動き補償処理方法 Expired - Fee Related JP3593944B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000063066A JP3593944B2 (ja) 2000-03-08 2000-03-08 画像データ処理装置及びそれに用いる動き補償処理方法
US09/796,466 US6831951B2 (en) 2000-03-08 2001-03-02 Image data processing apparatus and motion compensation processing method used therefor, and recording medium
CA 2339511 CA2339511C (en) 2000-03-08 2001-03-07 Image data processing apparatus and motion compensation processing method used therefor, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000063066A JP3593944B2 (ja) 2000-03-08 2000-03-08 画像データ処理装置及びそれに用いる動き補償処理方法

Publications (2)

Publication Number Publication Date
JP2001251620A JP2001251620A (ja) 2001-09-14
JP3593944B2 true JP3593944B2 (ja) 2004-11-24

Family

ID=18582986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000063066A Expired - Fee Related JP3593944B2 (ja) 2000-03-08 2000-03-08 画像データ処理装置及びそれに用いる動き補償処理方法

Country Status (3)

Country Link
US (1) US6831951B2 (ja)
JP (1) JP3593944B2 (ja)
CA (1) CA2339511C (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7502415B2 (en) * 2003-07-18 2009-03-10 Microsoft Corporation Range reduction
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US7487193B2 (en) * 2004-05-14 2009-02-03 Microsoft Corporation Fast video codec transform implementations
KR20070104515A (ko) * 2004-10-08 2007-10-26 토소우 에스엠디, 인크 저 누출 o-링 밀봉
CN100442851C (zh) * 2004-10-28 2008-12-10 扬智科技股份有限公司 一种图像处理的运动补偿的参考地址计算装置及方法
US7689052B2 (en) * 2005-10-07 2010-03-30 Microsoft Corporation Multimedia signal processing using fixed-point approximations of linear transforms
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647049A (en) * 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
JP4035789B2 (ja) * 1994-10-13 2008-01-23 富士通株式会社 逆離散コサイン変換装置
US6266374B1 (en) * 1994-10-28 2001-07-24 Lg Electronics Inc. Low level digital video decoder for HDTV having backward compatibility
EP0714212A3 (en) * 1994-11-21 1999-03-31 SICAN, GESELLSCHAFT FÜR SILIZIUM-ANWENDUNGEN UND CAD/CAT NIEDERSACHSEN mbH Video decoder using concurrent processing and resource sharing
US5671169A (en) * 1995-06-23 1997-09-23 United Microelectronics Corporation Apparatus for two-dimensional inverse discrete cosine transform
US6067322A (en) * 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
EP1048174A4 (en) 1997-12-23 2004-04-07 Sarnoff Corp PARTIAL DECODING OF COMPRESSED VIDEO SEQUENCES
US6839728B2 (en) * 1998-10-09 2005-01-04 Pts Corporation Efficient complex multiplication and fast fourier transform (FFT) implementation on the manarray architecture
US20030043918A1 (en) * 1999-12-20 2003-03-06 Jiang Hong H. Method and apparatus for performing video image decoding

Also Published As

Publication number Publication date
US20010022817A1 (en) 2001-09-20
CA2339511C (en) 2005-01-04
JP2001251620A (ja) 2001-09-14
US6831951B2 (en) 2004-12-14
CA2339511A1 (en) 2001-09-08

Similar Documents

Publication Publication Date Title
US9338457B2 (en) Method and apparatus for encoding image information, and method and apparatus for decoding image information
JP3593944B2 (ja) 画像データ処理装置及びそれに用いる動き補償処理方法
JP4245576B2 (ja) 画像圧縮伸張法、画像圧縮装置及び画像伸張装置
JP2933561B2 (ja) 動画符号変換装置
JPH11136686A (ja) 復号画像変換回路および復号画像変換装置
JP2002344973A (ja) 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
JP3862479B2 (ja) ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法
JPH09238345A (ja) 画像信号符号化方法及び装置、画像信号伝送方法、画像信号復号方法及び装置並びに記録媒体
JPH10136384A (ja) 動画像の高能率符号化方式
Westwater et al. The MPEG Video Compression Standard
JP2000299867A (ja) 動画像復号装置
STANDARD THE MPEG VroEO COMPRESSION STANDARD
JP2005117680A (ja) 画像信号符号化方法及び装置、画像信号伝送方法、並びに画像信号復号方法及び装置
JPH05111009A (ja) 動画像の高能率符号化方式
JPH104498A (ja) 画像符号化/画像復号化装置及びその方法
JPH11136687A (ja) 動画像再生装置及びその方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040823

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080910

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080910

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090910

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090910

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100910

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110910

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120910

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120910

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120910

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120910

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120910

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120910

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees