JP3067404B2 - 画像符号化装置及び復号化装置 - Google Patents

画像符号化装置及び復号化装置

Info

Publication number
JP3067404B2
JP3067404B2 JP19596592A JP19596592A JP3067404B2 JP 3067404 B2 JP3067404 B2 JP 3067404B2 JP 19596592 A JP19596592 A JP 19596592A JP 19596592 A JP19596592 A JP 19596592A JP 3067404 B2 JP3067404 B2 JP 3067404B2
Authority
JP
Japan
Prior art keywords
image
field
decoding
signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP19596592A
Other languages
English (en)
Other versions
JPH0622299A (ja
Inventor
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP19596592A priority Critical patent/JP3067404B2/ja
Publication of JPH0622299A publication Critical patent/JPH0622299A/ja
Application granted granted Critical
Publication of JP3067404B2 publication Critical patent/JP3067404B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル信号の処理
を行なう記録,伝送,表示のために、信号をより少ない
符号量で効率的に符号化する高能率符号化に係り、フィ
ルム画像を符号化し通常のテレビ受像機で表示する場合
などのように、特に信号源画像と表示画像との画像レー
トが異なる画像装置間における符号化装置及び復号化装
置に関するものである。。
【0002】
【従来の技術】<2−3プルダウン>映画などフィルム
の画像を通常のテレビで見る場合、画像のレートが異な
るのでそれを変換する必要がある。1秒間に24駒のフ
ィルムを1秒間に60フィールドのテレビ信号に変換す
るには、フィルムの2駒をテレビ信号の5フィールドに
変換すればよい。また、テレビ信号はインターレースに
なっているが、フィルムは本来走査されていないので、
当然ノンインターレースである。したがって、2駒を5
フィールドに変換する際、1駒は1フレームに相当する
2フィールドに、もう1駒は3フィールドに変換され、
重複したフィールドが存在する。この様子を図6に示す
が、図でoはインターレースの奇数フィールド、eは偶
数フィールドである。この方式は「2−3プルダウン」
と呼ばれ、5フィールドに1フィールドが同じフィール
ドの繰り返しになる。このような処理はフィルム画像を
電気信号に変換する際に、単純に走査した後で半導体メ
モリを用いて変換しても、また、フィルムの駒送りをテ
レビ信号の同期に合わせて行っても実現できる。
【0003】<双方向フレーム間予測>動画像の高能率
符号化において、画像信号のフレーム間の相関を利用
し、符号化されるフレームを符号化の済んだフレームで
予測して、予測誤差のみを符号化するフレーム間予測符
号化がある。近年はさらに、画像を動きに合わせて移動
させて予測する動き補償フレーム間予測が一般的になっ
てきている。そこで、双方方向予測を用いてさらに効率
を改善する方法がある。これは図7の様に予測構造を2
段階にし、数フレームにひとつのフレーム(Pフレー
ム)は片側方向(順方向)からだけの予測にして、その
間のフレーム(Bフレーム)はPフレームからの両方向
(順方向と逆方向)からの予測にする方法がある。この
方法では、Bフレームは予測効率が高く、非巡回予測で
誤差が他に波及しないので量子化を粗めに設定できる。
結果として効率がかなり高くでき、ISO/IECで標
準化が進んでいるMPEG方式で使われている。なおフ
レームはインターレース信号のフィールドとなっても同
様である。
【0004】<符号化装置の構成>フィルム画像をテレ
ビ信号として符号化するシステムで、双方向予測を行う
場合の符号化装置の構成例を図4に示す。ここで、画像
信号はフィルム画像を単純に順次(ノンインターレー
ス)走査し、電気信号に変換したものとする。画像入力
1より入力された画像信号は画像レート変換器31で、
2−3プルダウンの処理が行われる。この処理は符号化
装置とは別にテレシネ装置に内蔵され、符号化装置は毎
秒60フィールドのテレビ信号として信号を受けること
も考えられる。毎秒60フィールドのテレビ信号に変換
された信号は、双方向予測で符号化の順番を入れ替える
ために、一端フィールドメモリ3に蓄えられる。P(片
方向予測)フィールドは直ぐ出力され、B(双方向予
測)フィールドは次のPの後に出力される。
【0005】フィールドメモリ3の出力は予測減算器4
に導かれ、予測器9より入力される予測信号が減算され
る。予測残差である予測減算器4の出力は、フィールド
内符号化器5で符号化され圧縮されたデータとなる。そ
のデータはデータバッファ6でレートが固定化され、デ
ータ出力7から出力されると共に、Pフィールドではフ
ィールド内復号器12に導かれる。フィールド内復号器
12では圧縮データは再生された予測残差となり、加算
器11で予測信号が加算され、再生された画像信号とな
る。再生された画像信号はフィールドメモリ10に蓄え
られ遅延させられた後、予測器9に導かれる。なおフィ
ールドメモリ10に蓄えられるのは予測に使われるPフ
ィールドのみで、2フィールド分が蓄えられる。予測器
9は被予測フィールドのタイプ(P/B)と画像順に合
わせて予測信号を作り、予測減算器4に与える。画像カ
ウンタ8はテレビ信号の垂直同期信号をPフィールドの
周期でカウントし、フィールドのタイプ(P/B)や画
像順の情報を出力する。この情報によりフィールドメモ
リ3や予測器9が制御される。
【0006】<復号化装置の構成>復号化装置の構成を
図5に示す。データ入力30より入力された圧縮データ
は、データバッファ31を通ってフィールド内復号器1
2で復号され、加算器11で予測信号が加算され、再生
画像信号となる。その信号はBフィールドではスイッチ
33を通って画像出力34より出力される。Pフィール
ドではスイッチ33はたすき掛け状態になり、再生画像
信号はフィールドメモリ10に蓄えられ、フィールドメ
モリ10に蓄えられていたひとつ前のPフィールド画像
がスイッチ33を通って画像出力34より出力される。
【0007】フィールドメモリ10に蓄えられている再
生画像信号は予測器9に与えられ、予測器9は被予測フ
ィールドのタイプ(P/B)と画像順に合わせて予測信
号を作り、加算器11に与える。画像順入力35より画
像順の情報が入力され、これにより予測器9や切り替え
スイッチ33が制御される。このような符号化復号化シ
ステムでフィルム画像を符号化することができるが、2
−3プルダウンで生じる重複フィールドは、重複してデ
ータが発生することになる。
【0008】
【発明が解決しようとする課題】フィルム画像を通常の
テレビ受像機で見る場合など、信号源の画像と伝送表示
装置で画像レートが異なる場合、画像レートを標準テレ
ビ信号に変換してから伝送表示する場合と、そのまま伝
送して表示前に画像レートを変換する場合とがある。伝
送に高能率符号化を適用すると、符号化前に画像レート
を変換して標準テレビ信号に変換した場合、画像レート
の違いから重複するフィールドが存在し、同じ画像を2
度符号化することになるので無駄な情報が生じる。一
方、画像レートを変換せずに符号化し、復号後に画像レ
ートを変換する場合は、情報の無駄は生じないが、復号
側で画像レートを変換するために画像メモリーが必要に
なる。
【0009】本発明は以上の点に着目してなされたもの
で、フィルム画像と通常のテレビ画像で、画像の時間
(タイミング)が一致する間隔の画像を独立または片側
方向予測符号化し、復号化装置でその画像のみを繰り返
し表示して画像レートの変換を行うことで、デコーダで
画像レートの変換のための追加メモリーが必要ないフィ
ルム画像用符号化装置及び復号化装置を提供することを
目的とするものである。
【0010】
【課題を解決するための手段】以上の目的を達成するた
めに、第1に、符号化装置側の信号源画像と復号化装置
側の表示画像との画像レートが異なる画像装置間で、双
方向の画像間予測を用いた画像符号化装置であって、前
記信号源画像と前記表示画像との画像タイミングが一致
する間隔で、画像を独立符号化または片側方向の画像間
予測符号化するようにしたことを特徴とする画像符号化
装置を提供するものである。
【0011】第2に、符号化装置側の信号源画像と復号
化装置側の表示画像との画像レートが異なる画像装置間
で、双方向の画像間予測を用いた画像復号化装置であっ
て、前記信号源画像と前記表示画像との画像タイミング
が一致する間隔で、画像を独立復号化または片側方向の
画像間予測復号化するようにしたことを特徴とする画像
復号化装置を提供するものである。
【0012】第3に、同じ内容の画像が複数存在する画
像の符号化に際しては、同じ内容の画像で最初の画像の
符号化データのみを出力し、同じ内容の他の画像の符号
化データは出力しないように制御するようにしたことを
特徴とする前記に記載の画像符号化装置を提供するもの
である。
【0013】第4に、独立復号化または片側方向の画像
間予測復号化された画像のみを複数回出力して、画像レ
ートの変換を行うようにしたことを特徴とする前記に記
載の画像復号化装置を提供するものである。
【0014】
【作用】ふたつの画像の時間(タイミング)が一致する
間隔で画像を独立または片側方向予測符号化し、同じ内
容の画像では最初の画像の符号化データのみを出力し、
他の画像の符号化データは出力しないので無駄な情報が
発生しない。復号化装置で独立または片側方向予測復号
化された画像のみを複数回出力して画像レートの変換を
行うことで、独立または片側方向予測の画像は、画像間
予測に使われるために画像メモリーに蓄積されているの
で、それを出力するだけで画像レートの変換ができる。
したがって、画像レートの変換のための画像メモリーは
必要無くなる。また、変換を行わない場合は信号源と同
じ画像レートとなり、両方の画像レートの出力が得られ
る。
【0015】
【実施例】<実施例符号化装置1>図1は本発明の符号
化装置の第1の実施例を示すブロック図である。図4の
従来例と同一部分には同一符号を付して示す。図4の符
号化装置とは、画像レート変換器の代わりにインターレ
ース変換器2がある点と、フィールド予測タイプ(P
B)の設定やそれに基ずく制御が異なる。
【0016】図1において、画像信号入力端子1より入
力された画像信号は、インターレース変換器2で、ノン
インターレース信号がインターレース信号に変換され
る。すなわち、ひとつのフレームがふたつのフィールド
に変換され、24フレーム(駒)が48フィールドに変
換される。フィールドメモリ3以降の構成は従来例と同
じで、処理内容のみが異なる。Pフィールドは、復号側
で60フィールドに変換するとき、2度出力されるフィ
ールドに設定される。これにより、Bフィールドを2度
出力せずに済み、復号装置で画像レート変換のためのメ
モリーが必要なくなる。
【0017】このようなフィールド構成は図8の様に、
画像タイミングが一致する間隔で、Pフィールドとして
いる。図8は同じ画像が異なった画像レートで示され、
実線で囲まれているのがフィルムの1駒で、その中に複
数存在する方形がフィールドになる。フィールドは上
(o)が奇数フィールド、下(o)が偶数フィールドで
あり、数字は画像の番号、P及びBはフィールド予測タ
イプで、Pフィールドには網をつけた。−で示されるの
は符号化データが伝送されないフィールドである。
【0018】毎秒48フィールドの状態(a)では、P
フィールドは2フレーム毎で、一回ごとに偶奇が入れ代
わる形で存在しているのが解る。図1の符号化装置での
画像順は(a)のものであり、フィールドメモリや予測
器の動作はそれに従ったものになる。ここで、偶奇の順
番が2フレームごとに入れ代わるが、これは画像レート
を毎秒60フィールドに変換した場合(b)の順番を基
準にしているためである。Pの間隔は毎秒60フィール
ド(b)では常に5フィールドとなる。
【0019】<第2の実施例>図2は本発明の符号化装
置の第2の実施例を示すブロック図である。図1と同一
部分には同一符号を付して示す。第2の実施例は、フィ
ルム画像がテレビ信号に変換されるときに2−3プルダ
ウンが行われ、被符号化信号がすでに毎秒60フィール
ドになっている場合に対応したものである。
【0020】この場合、60フィールドの信号を48フ
ィールドに戻してから第1の実施例と符号化処理を行っ
てもよいが、第2の実施例は60フィールドの内で重複
して存在するフィールドを省いて、有効な48フィール
ドのみを符号化するものである。装置構成は図1の符号
化装置に対して、インターレース変換器2が画像レート
変換器に代わり、デ−タ制御器21が追加されている。
処理されるフィールドタイプは図8で毎秒60フィール
ドのもの(b)となる。これは従来例でPフィールドの
間隔を5フィールドにしたものに類似する。
【0021】処理動作は、−で示された重複フィールド
(Pフィールドの次の次のフィールド)のみが特殊であ
り、それ以外はデータ制御器21は接続されて、従来例
と同様である。重複フィールドのタイミングでは、デー
タ制御器21が切り離され、データバッファにデータは
供給されず、伝送されない。このとき予測減算器4やフ
ィールド内符号化器5は、動作していなくても良い。こ
の様にして出力されるデータは図1の実施例1の場合と
同じになる。
【0022】この符号化装置では、重複して存在するフ
ィールドがどれであるかが分かる必要があり、その情報
が必要である。この情報は画像レート変換器の動作が出
力画像のフレーム番号で規定されていれば、フレーム番
号により得られることになる。したがって、画像信号が
VTRなどに一度記録される場合は、フレーム番号が管
理できるVTRを用いる必要がある。この情報が解らな
い場合は、2フィールド間のマッチングなどによって判
定する。この情報で画像カウンタをリセットすれば、符
号化器の動作は適切に行える。また、Pフィールドは定
期的に予測をリセットし、そのフィールドが独立フィー
ルドとなる。
【0023】<実施例復号化装置>図3は本発明の復号
化装置の第1の実施例を示すブロック図である。図5の
従来例と同一部分には同一符号を付して示す。図5の従
来例の復号化装置とはデータ制御器32がある他、処理
動作が異なる。なお、この復号装置は第1の実施例と第
2の実施例の両方の符号化装置に対応する。
【0024】毎秒60フィールドに変換して画像を出力
する場合、復号化装置は基本的に60フィールドで動作
させられ、画像順は図8(b)の様になるので、フィー
ルドメモリ10や予測器9の動作はそれに従ったものに
なる。ここで動作は、−で示された重複フィールド(P
フィールドの次の次のフィールド)のみが特殊であり、
それ以外はデータ制御器32は接続されて、従来例と同
様に復号される。重複フィールドのタイミングでは、デ
ータ制御器32が切り離され、フィールド内復号器にデ
ータは供給されず、復号は行われない。その代わりに、
フィールドメモリ10に蓄えられているPフィールドの
画像を繰り返し出力する。
【0025】一方、毎秒50フィールドのテレビ受像機
に対しては、画像の速度が4%早くなることを許容し、
毎秒48フィールドの画像を変換せずにそのまま出力す
る。この場合、復号化装置は基本的に毎秒50フィール
ドで動作させられる。画像順は図8(c)の様になり、
Pの間隔は一回毎に5フィールドと3フィールドで変わ
る。画像順がaやbと変わるので、画像データの順番が
データバッファ31で入れ替えられる。フィールドメモ
リ12や予測器9の動作は(c)の画像順に従ったもの
になる。また、データ制御器32は常に接続される。こ
のように、同一データ、同一復号装置で、復号装置の処
理内容を変えるのみで、毎秒60フィールドと毎秒50
(48)フィールドの両方で画像を出力することが可能
となる。
【0026】
【発明の効果】本発明のフィルム画像符号化装置及び復
号化装置は、毎秒当たりの画像数が異なった画像信号
で、ふたつの画像の時間(タイミング)が一致する間隔
で画像を独立または片側方向の画像間予測復号化し、同
じ内容の画像では最初の画像の符号化データのみを出力
し、符号化装置で独立または片側方向の画像間予測復号
化された画像のみを複数回出力して画像レートの変換を
行うことで、重複する画像は符号化しないので、無駄な
情報が発生せず、符号化効率が改善される。
【0027】つぎに、符号化装置で画像レートの変換を
するためには、画像メモリーに蓄積されている独立また
は片側方向予測の画像を繰り返しを出力するだけでよ
く、したがって、画像レートの変換のための画像メモリ
ーは必要無い。これにより復号装置の規模は増加しな
い。
【0028】また、符号化装置で変換された画像は、独
立または片側方向予測の画像が繰り返されることによ
り、全体に占める割合が増える。独立または片側方向予
測の画像は双方向予測の画像より画質が良いので、平均
画質が良くなる。
【0029】さらに、同じ符号化データで毎秒60フィ
ールドと毎秒50フィールドの再生が行えるので、異な
ったテレビシステムのエリアで同じメディアが再生で
き、メディアの共通化が可能である。以上説明の如く、
本発明のフィルム画像符号化装置及び復号化装置は、実
用上極めて優れた効果を有するものである。
【図面の簡単な説明】
【図1】本発明になる(フィルム)画像符号化装置の第
1の実施例を示すブロック図である。
【図2】本発明になる(フィルム)画像符号化装置の第
2の実施例を示すブロック図である。
【図3】本発明になる(フィルム)画像復号化装置の実
施例を示すブロック図である。
【図4】フィルム画像符号化装置の従来例を示すブロッ
ク図である。
【図5】フィルム画像復号化装置の従来例を示すブロッ
ク図である。
【図6】フィルム画像のテレビ画像への変換の様子を示
す図である。
【図7】双方向予測を持つ予測符号化の予測関係を示す
図である。
【図8】各画像レートでの画像の構成を示す図である。
【符号の説明】
1…画像入力、2…インターレース変換器、3…フィー
ルドメモリ、4…予測減算器、5…フィールド内符号化
器、6,31…データバッファ、7…データ出力、8…
画像カウンタ、9…予測器、10…フィールドメモリ、
11…加算器、12…フィールド内復号化器、13…画
像順出力、20…画像レート変換器、21,32…デー
タ制御器、33…切り換えスイッチ、30…データ入力
端子、34…画像出力、35…画像順入力。
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 1/41 - 1/419 H04N 5/253 H04N 7/01

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】符号化装置側の信号源画像と復号化装置側
    の表示画像との画像レートが異なる画像装置間で、双方
    向の画像間予測を用いた画像符号化装置であって、 前記信号源画像と前記表示画像との画像タイミングが一
    致する間隔で、画像を独立符号化または片側方向の画像
    間予測符号化するようにしたことを特徴とする画像符号
    化装置。
  2. 【請求項2】符号化装置側の信号源画像と復号化装置側
    の表示画像との画像レートが異なる画像装置間で、双方
    向の画像間予測を用いた画像復号化装置であって、 前記信号源画像と前記表示画像との画像タイミングが一
    致する間隔で、画像を独立復号化または片側方向の画像
    間予測復号化するようにしたことを特徴とする画像復号
    化装置。
  3. 【請求項3】同じ内容の画像が複数存在する画像の符号
    化に際しては、同じ内容の画像で最初の画像の符号化デ
    ータのみを出力し、同じ内容の他の画像の符号化データ
    は出力しないように制御するようにしたことを特徴とす
    る請求項1に記載の画像符号化装置。
  4. 【請求項4】独立復号化または片側方向の画像間予測復
    号化された画像のみを複数回出力して、画像レートの変
    換を行うようにしたことを特徴とする請求項2に記載の
    画像復号化装置。
JP19596592A 1992-06-30 1992-06-30 画像符号化装置及び復号化装置 Expired - Lifetime JP3067404B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19596592A JP3067404B2 (ja) 1992-06-30 1992-06-30 画像符号化装置及び復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19596592A JP3067404B2 (ja) 1992-06-30 1992-06-30 画像符号化装置及び復号化装置

Publications (2)

Publication Number Publication Date
JPH0622299A JPH0622299A (ja) 1994-01-28
JP3067404B2 true JP3067404B2 (ja) 2000-07-17

Family

ID=16349937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19596592A Expired - Lifetime JP3067404B2 (ja) 1992-06-30 1992-06-30 画像符号化装置及び復号化装置

Country Status (1)

Country Link
JP (1) JP3067404B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3348612B2 (ja) * 1996-10-31 2002-11-20 日本ビクター株式会社 ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置
JP4208098B2 (ja) * 1997-07-15 2009-01-14 パナソニック株式会社 プログレッシブ画像信号送出装置、及びプログレッシブ画像信号受信装置

Also Published As

Publication number Publication date
JPH0622299A (ja) 1994-01-28

Similar Documents

Publication Publication Date Title
JP3164031B2 (ja) 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
JP3692642B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法
EP0812511B1 (en) Method and device for performing source transitions in a video system which performs entropy encoding
JP3360586B2 (ja) スキャン変換装置及び方法
EP0933942B1 (en) Progressive image signal transmitter, progressive image signal receiver and, medium
US7573529B1 (en) System and method for performing interlaced-to-progressive conversion using interframe motion data
JP2885322B2 (ja) フィールド間予測符号化装置及び復号化装置
JP3044749B2 (ja) 映像信号符号化装置
JP3114228B2 (ja) 画像処理装置
JPH0937243A (ja) 動画像符号化装置及び復号装置
JP3067404B2 (ja) 画像符号化装置及び復号化装置
JPH08237666A (ja) フレーム間帯域圧縮信号処理装置
JP2002218472A (ja) 可変画像レート復号化装置及び可変画像レート復号化方法
JP2808860B2 (ja) 予測符号化装置及び復号化装置
EP0541313A2 (en) Video signal encoding apparatus
US6904093B1 (en) Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block
JP3017646B2 (ja) フレームレート変換機能付き画像復号装置
JP3708745B2 (ja) 動画像復号装置および動画像復号方法
JPH10126749A (ja) 順次走査変換装置
JPH0630332A (ja) 動画像の符号化及び復号化装置
JP3037569B2 (ja) 画像復号装置
JPH05328317A (ja) 映像信号送受信装置
JP2002077910A (ja) 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法
JP3906862B2 (ja) 画像符号化装置,画像符号化方法,画像復号化装置及び画像復号化方法
JPH08223582A (ja) 圧縮画像データ選択システムおよび画像処理システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 13

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 13