JPH11187276A - 符号化及び復号装置とそれを適用した画像処理装置 - Google Patents

符号化及び復号装置とそれを適用した画像処理装置

Info

Publication number
JPH11187276A
JPH11187276A JP9355656A JP35565697A JPH11187276A JP H11187276 A JPH11187276 A JP H11187276A JP 9355656 A JP9355656 A JP 9355656A JP 35565697 A JP35565697 A JP 35565697A JP H11187276 A JPH11187276 A JP H11187276A
Authority
JP
Japan
Prior art keywords
encoding
learning
band
decoding
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9355656A
Other languages
English (en)
Other versions
JP3679586B2 (ja
Inventor
Tadayoshi Nakayama
忠義 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP35565697A priority Critical patent/JP3679586B2/ja
Priority to US09/218,631 priority patent/US6473530B2/en
Publication of JPH11187276A publication Critical patent/JPH11187276A/ja
Application granted granted Critical
Publication of JP3679586B2 publication Critical patent/JP3679586B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 バンド単位で符号化や復号を行うように学習
RAMの頻繁なクリアが必要な場合も、処理の高速化が
可能な符号化及び復号装置とそれを適用した画像処理装
置を提供する。 【解決手段】 学習内容を記憶する複数の学習RAM5
02,602と、前記複数の学習RAMの一方を学習状
態、他方を初期化状態とし、該状態をバンド処理毎に切
り換えるスイッチ521,523,525,621,6
23,625,630とを備える。叉、学習内容を記憶
する学習RAM502と、符号化をバンド単位で複数の
シーケンスに分割して、現在のシーケンスに対応するデ
ータを記憶するバンドシーケンス格納メモリ702と、
前記バンドシーケンス格納メモリに記憶されたシーケン
スと処理中の符号化のシーケンスとが異なる場合に、前
記学習RAMから読み出された学習内容の符号化への使
用を禁止する一致検出回路704及びANDゲート70
6とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、符号化及び復号装
置とそれを適用した画像処理装置に関するものである。
【0002】
【従来の技術】従来、コンピュータからプリンタ等の画
像出力装置に転送された画像データやページ記述言語
(以下、PDLと略す)データは該出力装置において描
画展開され、描画展開される毎にビットマップデータを
プリンタのエンジン部に送っていた。しかし、描画展開
する内容が複雑な場合には、該描画展開スピードがエン
ジン部の描画スピードに追い付かないことがある。この
場合には、描画展開後のビットマップデータを一旦メモ
リ(該メモリをページメモリという)に格納し、ページ
単位のすペての描画展開が終了して該ビットマップデー
タがメモリに格納された後に、該ビットマップデータを
先頭から順にプリンタのエンジン部へ送る。
【0003】ところが、プリント出力する用紙がA3で
解像度が600dpiの場合、1画素あたりのビット数
が1ビットの2値であっても、全ビットマップのデータ
量は8MBにもなり、大容量のメモリはプリンタのコス
トが高くなる大きな要因であった。そこで、図1に示す
ような構成が考えられている。コンピュータから受け取
ったデータは、コンピュータからデータを受け取るイン
ターフェース部101、コンピュータから受け取ったデ
ータを一時的に記憶するテンポラリバッファ102、コ
ンピュータから受け取ったデータ描画展開する描画部1
03、該描画部が描画展開したビットマップデータを書
き込むバンドバッファ104、該バンドバッファのビッ
トマップデータを圧縮符号化する符号化部105、該符
号化部で圧縮符号化した符号化データを格納するページ
バッファ106、該ページバッファ中の符号化データを
復号する復号部107を番号順に経由して、最後に、復
号して得られたビットマップデータをプリント出力する
プリンタエンジン部108へ出力される。尚、バンドバ
ッファ104は複数設けて、描画部103の展開処理と
符号化部105の符号化処理とを並列に処理すること
で、処理の高速化を図る。
【0004】この構成により、圧縮前には8MB必要で
あったページメモリの容量が1/2〜1/4程度に減少
する。そのかわり新たに、バンドバッファ104が必要
になり、その分のメモリが増えるが、展開描画する単位
(これをバンドという)を1ページの1/16〜1/2
0にすれば、トータルではメモリの削減効果がでてく
る。
【0005】上記符号化部105の符号化方式として
は、コスト削減の要求が強く、ページメモリの容量をな
るべく減らすために、任意のビットマップデータ(テキ
スト、グラフィック、画像等)に対して、圧縮率の最悪
値がある一定の値を保証する圧縮方式が望まれる。その
ような圧縮方式としては、圧縮対象となるビットマップ
データの2次元的な特徴を学習する機能を有するJBI
G符号化方式が候補となる。
【0006】JBIG符号化方式では、予測状態を保持
するRAMの内容を更新することで学習を行なう。この
学習(RAMの内容の更新)は不定期に発生し、その際
メモリへの書き込み動作のために、符号化復号処理の時
間が長くなる。逆に、該学習(RAMの内容の更新)を
しなくてもよい場合には、符号化復号処理の時間が短く
なる。従って、該JBIG方式で符号化データを復号し
た場合には、該復号部107からのデータ出力レートが
一定でなく、該出力をプリンタエンジン部108に直接
出力することは出来ない。そこで、図2に示すごとく、
復号部107とエンジン部108との間に、FIFO
(First In First Out)Memory109を設け、該復号部
107から出力するビットマップデータを時間的に平滑
化してから、エンジン部108に出力するようにしてい
る。
【0007】さらに、本発明者は先に同一出願人が出願
した特許において、以下の処理方式を提案した。この新
たな提案の構成を図3に示す。該提案内容と図2との違
いは、以下の2点である。 (1)復号部107で復号したビットマップデータをバ
ンドバッファ104に書き込む。 (2)該バンドバッファ104に書き込まれたビットマ
ップデータを所定のタイミングで、プリンタエンジン1
08に出力する。
【0008】上記(1)が処理できるようにデータパス
301を設け、上記(2)が処理できるようにデータパ
ス302を設けたのが、構成上の違いである。機能的に
は、図2におけるFIFO109で行なっていたビット
マップデータを時間的に平滑化する処理を、バンドバッ
ファ104で行なおうとしたところが、図2と異なる。
該バンドバッファ104は、図2では描画展開時と符号
化時のみ動作していたが、本例では復号時にも動作す
る。
【0009】その動作タイミングを図4に示す。説明を
簡略化するため、1ページのビットマップデータは6つ
のバンドに分割されるものとし、上から順にA1,B
2,A3,B4,A5,B6と名前を付ける。処理のス
ループットを上げるため、バンドバッファ104はダブ
ルバッファ構成とし、該2つのバッファをそれぞれバッ
ファA,バッファBとする。
【0010】バンドバッファに対する描画展開処理はA
1,B2,A3,B4,A5,B6の順に行なわれる
(図4−a)が、A1,A3,A5はバッファAに、B
2,B4,B6はバッファBに、それぞれ展開される。
B2の展開が始まる時にはA1の展開が終了しているの
で、B2の展開と平行してA1の圧縮符号化を行なう
(図4−b)。以下、A3の展開と平行してB2の圧縮
符号化を行ない、最後にB6の圧縮符号化を行なう。こ
うして1ページ分のビットマップデータをすペて圧縮符
号化し終ると、次は該圧縮データの復号を行なう。
【0011】復号する順序も、符号化時と同じでA1,
B2,A3,B4,A5,B6の順に行なう(図4−
c)。復号部107で、復号した1バンド分のビットマ
ップデータA1はまずバッファAに書き込まれる。次に
復号した1バンド分のビットマップデータB2はバッフ
ァBに書き込まれる。その際、バッファBの書き込みに
平行してバッファAからビットマップデータを読み出
し、該ビットマップデータをプリンタエンジン部108
に送り(図4−d)、1ページのプリントを開始する
(図4−e)。
【0012】以下、復号したビットマップデータA3の
書き込みと平行して、B2の読み出しとプリンタエンジ
ン108への転送を行ない、最後にB6の読み出しとプ
リンタエンジン108への転送を行なう。これにより、
1ページ分の全ビットマップデータがプリンタエンジン
108に送られ、プリント出力が終了する(図4−
e)。
【0013】上記図1−図3の符号化部105や復号部
107で使用される、従来のJBIGの符号化及び復号
装置のブロック図を図5に示し、その動作について簡単
に説明する。同図において、501は、JBIGにおけ
る算術演算を行う算術演算部、502は、予測状態を保
持する学習RAM、503は、該学習RAM502に格
納する予測データを生成するST&MPS生成部、50
4は、コンテキスト(CX)を入力する端子、505
は、メモリクリア時にメモリクリアモード信号を入力す
る端子、511は、メモリクリア時に学習RAM502
のアドレス信号を生成するカウンタ、513は、メモリ
クリア時に学習RAM502に書き込むゼロデータを生
成するデータ生成部、515は、メモリクリア時に学習
RAM502に与えるライトパルスを生成するパルス生
成部、521,523,525は、それぞれセレクタで
ある。
【0014】まず、符号化または復号に先立ち、端子5
05にメモリクリアモード信号(High)を入力して
学習RAM502のクリアをおこなう。該信号がHig
hになると、セレクタ521はカウンタ511を選択
し、セレクタ523はデータ生成部513を選択し、セ
レクタ525はパルス生成部515を選択する。カウン
タ511は前記モード信号がLowの間は、ゼロにリセ
ットされており、該モード信号がHighになるとカウ
ントアップ動作を行う。該カウンタの値はセレクタ52
1を通して、学習RAM502のアドレス端子に与えら
れ、該学習RAM502のすべてのアドレスをアクセス
する。それと同時に、ゼロデータがデータ生成部513
からセレクタ523を通して該学習RAM502のデー
タ入力端子に与えられ、メモリライトパルス信号がパル
ス生成部515で生成され、セレクタ525を通して該
学習RAM502のライトパルス入力端子に与えられ
る。以上の動作により、該学習RAM502がすペてク
リアされると、端子505から入力されるメモリクリア
モード信号はLowになる。
【0015】そして、該学習RAM502のアドレス端
子には端子504から入力されるコンテキスト(CX)
が、データ入力端子にはST&MPS生成部503で生
成されるデータNST(NEXT STATE;次の予測状態)及
びNMPS(NEXT MPS;次の優勢シンボル)が、ライト
パルス入力端子には算術演算部501内の制御回路で生
成されるパルスが、それぞれ入力される。それから符号
化または復号動作が開始される。
【0016】復数の参照画素データがコンテキストとし
て学習RAM502のアドレス端子に与えられ、該コン
テキストに対応する予測状態STや優勢シンボルMPS
が読み出される。該情報は算術演算部501に送られ、
該情報に基づいて算術演算が行われる。そして、その演
算結果に基づいて、学習RAM502の内容を更新する
かどうかが判定され、更新する場合にはメモリライトパ
ルス信号がセレクタ525を通して学習RAM502に
与えられる。それと同時にST&MPS生成部503に
て該学習RAM502に新たに格納するデータNST&
NMPSが前記ST&MPSに基づいて生成される。
【0017】学習RAM502から出力されたST&M
PSの内、算術演算部501ではSTがLSZ(劣勢シ
ンボルのサイズ;確率推定値)に変換されて、算術演算
に使用される。尚、本例では予測状態STを使って制御
を行っているが、学習RAM502にLSZそのものを
記憶するようにしても構わない。図13に従来知られて
いる符号化の処理フローの概略を、図15にJBIGの
符号化アルゴリズムの処理”ENCODE”の一般的な
フローチャートを示す。以下、図13と図15とを用い
て従来の符号化動作を説明する。ここで、Aはインタバ
ルサイズのレジスタ、Cはコードレジスタである。
【0018】ステップ1900は読み出し処理であり、
学習RAM502から符号化画素に対応する予測状態S
Tと予測シンボルMPSの読み出しを行う。読み出し処
理の際、入力されるアドレスは、符号化対象画素PIX
の周囲の参照画素群から生成した値であり、参照する範
囲の形状をテンプレートという。JBIG符号化に用い
られるテンプレートの一例を、図14に示す。この例で
は、2010が符号化対象画素であり、2000から2
009までの10個の画素が参照画素群にあたる。これ
ら10個の画素の色を10ビットの2進数に対応させた
ものを、コンテキストCXという。従って、10ビット
のテンプレートの場合、コンテキストの値は0から10
23までの1024通りの値を取りうることになる。
【0019】ステップ1901の確率推定値デコード処
理は、ステップ1900において読み出されたSTを、
劣勢シンボルの出現確率に比例する確率推定値LSZに
変換する。次に、PIX,MPS,LSZを用いて算術
演算が行われる。JBIG符号化では、各々のコンテキ
ストごとに決定しているLSZ,MPSを、符号化を行
っていく過程で適応的に更新していかなければならな
い。ステップ1902においては、演算αの結果から、
この更新処理を行う必要があるかどうかを判定する。こ
の処理は、図15のステップ2100,2102及び2
101a,bの処理の(A−LSZ)の計算部分に対応
する。すなわち、更新処理は、PIX=MPXでない場
合、あるいは(A−LSZ)の結果が0x8000未満
となった場合に、実行される。更新処理が選択される
と、ステップ1903で演算β及び書き込み処理を行
う。
【0020】ステップ1903は、更新処理が必要な場
合に行う処理であり、学習RAM502への書き込み処
理では、当該コンテキストにおける次なる予測状態NS
T及び、次なるMPSであるNMPSを、学習RAM5
02に書き込む。書き込むアドレスは、読み出し処理に
使用した現処理対象画素のコンテキストである。演算β
は、図15のステップ2103a,b、2104a,
b、2109の処理に対応し、書き込み処理は、図15
のステップ2105〜2108の処理に対応する。更新
処理が必要ない場合は、演算βと書き込み処理を行わ
ず、ステップ1904の演算γを行って次の画素の処理
に移る。演算γは更新処理が必要ない場合に行う演算で
あり、図15のステップ2101a,bの処理の(A−
LSZ)の結果をAレジスタへ代入する部分に対応す
る。
【0021】
【発明が解決しようとする課題】しかしながら、上記従
来例の符号化及び復号装置では、符号化及び復号処理に
先立って行う学習メモリのクリア処理にある所定の時間
が必要なので、図1−図3のようにバンド単位で符号化
や復号を行う場合には、各バンド毎に学習RAMのクリ
アを行うための処理時間が必要となり、バンドデータを
連続して符号化処理したり復号処理することが困難とな
り、処理の高速化の制限となっていた。
【0022】本発明は、上記従来の欠点を除去し、バン
ド単位で符号化や復号を行うように学習RAMの頻繁な
クリアが必要な場合も、処理の高速化が可能な符号化及
び復号装置とそれを適用した画像処理装置を提供する。
【0023】
【課題を解決するための手段】この課題を解決するため
に、本発明の符号化及び復号装置は、学習機能を有する
符号化及び復号装置において、学習内容を記憶する複数
の記憶手段と、前記複数の記憶手段の一方を学習状態、
他方を初期化状態とし、該状態を所定の処理毎に切り換
える制御手段とを備えることを特徴とする。ここで、前
記符号化はJBIG準拠の予測符号化であって、前記複
数の記憶手段として学習メモリを2組有する。また、前
記所定の処理は、当該予測符号化装置を使用する装置の
処理単位に対応する。
【0024】叉、本発明の符号化及び復号装置は、学習
機能を有する符号化及び復号装置において、学習内容を
記憶する第1の記憶手段と、符号化を複数のシーケンス
に分割して、現在のシーケンス番号に対応するデータを
記憶する第2の記憶手段と、前記第2の記憶手段に記憶
されたシーケンス番号と処理中の符号化のシーケンス番
号とが異なる場合に、前記第1の記憶手段から読み出さ
れた学習内容の符号化への使用を禁止する制御手段とを
備え、前記第1の記憶手段を初期化することなく、シー
ケンスの進行毎に前記第1の記憶手段の学習内容の初期
化機能を実現することを特徴とする。ここで、前記第2
の記憶手段に記憶されるデータは、シーケンスの進行毎
に反転するデータである。また、前記第2の記憶手段
を、複数番地単位で読み書きする記憶部と読み出したデ
ータを番地毎に分離する手段とから構成する。
【0025】前記符号化及び復号装置は画像処理装置に
適用され、1ページの画像を複数のバンドに分割して処
理する場合に、前記状態の切り換え又はシーケンスの進
行は、バンドからバンドヘの処理の移行に対応する。
叉、本発明の画像処理装置は、1ページの画像を複数の
バンドに分割し、各バンドを符号化装置により符号化し
て記憶した後に、復号装置により復号して出力する画像
処理装置において、前記符号化及び復号装置が、学習内
容を記憶する複数の記憶手段と、前記複数の記憶手段の
一方を学習状態、他方を初期化状態とし、該状態を所定
の処理毎に切り換える制御手段とを備えることを特徴と
する。
【0026】叉、本発明の画像処理装置は、1ページの
画像を複数のバンドに分割し、各バンドを符号化装置に
より符号化して記憶した後に、復号装置により復号して
出力する画像処理装置において、前記符号化及び復号装
置が、学習内容を記憶する第1の記憶手段と、符号化を
複数のシーケンスに分割して、現在のシーケンス番号に
対応するデータを記憶する第2の記憶手段と、前記第2
の記憶手段に記憶されたシーケンス番号と処理中の符号
化のシーケンス番号とが異なる場合に、前記第1の記憶
手段から読み出された学習内容の符号化への使用を禁止
する制御手段とを備えることを特徴とする。
【0027】
【発明の実施の形態】<第1の実施の形態>本発明の第
1の実施の形態の符号化及び復号装置を図6に示す。本
実施の形態においては、同一容量の2つの学習RAMを
用いる。同図において、501〜525までは、前記図
5に示した従来例における同一番号と同じ機能を果たす
ものであるため、説明を省略する。
【0028】602,621,623,625はそれぞ
れ502,521,523,525と同じ機能を有する
ものであり、605はバンドが切り替わるごとにHig
hとLowとに交互に切り替わるバンド切り替え信号を
入力する端子、630は2つの学習RAM502,60
2の出力を選択するセレクタである。一番最初の符号化
または復号に先立ちバンド切り替え信号をHighに
し、不図示のリセット信号により、カウンタ511をゼ
ロにリセットする。そして、従来例のところで述ペたよ
うに、学習RAM502をクリアする。このクリア処理
には当然、所定の時間がかかる。該クリア処理終了後、
前記バンド切り替え信号をLowにして、最初のバンド
の符号化または復号処理を行う。該符号化または復号処
理をしている間に、別の学習RAM602のクリア処理
を前記学習RAM502のクリア処理と同じように行
う。
【0029】1つバンドのデータ量(画素数)は数万〜
数十万画素であるのに対して、学習RAMの容量は10
24番地しかないため、該クリア処理はすぐ終了してし
まう。1つバンドデータをすべて符号化または復号処理
したら、バンド切り替え信号をLowからHighに替
え、クリア処理済みの学習RAM602を用いて、次の
バンドの符号化または復号処理を行う。この時、学習R
AM502のクリア処理を行うのは、当然である。
【0030】以下同様にして、残りのバンドの符号化ま
たは復号処理を行う。 <第2の実施の形態>次に、本発明の第2の実施の形態
の符号化及び復号装置を図7に示す。本実施の形態にお
いても、第1の実施の形態と同様、同一容量の2つのメ
モリを用いる。但し、1つは従来の学習RAMであり、
もう1つはバンドシーケンスの番号を記憶するために用
いる。
【0031】同図において、501〜525までは、前
記図5に示した従来例における同一番号と同じ機能を果
たすものであるため、説明を省略する。701は、これ
までにいくつのバンドを処理したかを示すバンドシーケ
ンス番号を生成するための8ビットのカウンタ、702
は、該シーケンス番号を格納するためのバンドシーケン
ス格納メモリで、容量的には上記のごとく、学習RAM
502と同じである。704は、該バンドシーケンス格
納メモリ702から読み出した値と前記カウンタ701
の出力値とが等しいかどうかを検出する一致検出回路、
706は、該一致検出回路704の検出結果に基づい
て、学習RAM502の出力をマスクするマスク回路で
ある。
【0032】最初のメモリクリアの方法は、従来例に近
く、まず、符号化または復号に先立ち端子505にメモ
リクリアモード信号(High)を入力して、学習RA
M502のクリアをおこなう。該信号がHighになる
と、セレクタ521はカウンタ511を選択し、セレク
タ523はデータ生成部513を選択し、セレクタ52
5はパルス生成部515を選択する。カウンタ511は
前記モード信号がLowの間は、ゼロにリセットされて
おり、該モード信号がHighになるとカウントアップ
動作を行う。該カウンタの値はセレクタ521を通し
て、学習RAM502とバンドシーケンス格納メモリ7
02とのアドレス端子に与えられ、該2つメモリのすべ
てのアドレスをアクセスする。
【0033】それと同時に、ゼロデータがデータ生成部
513からセレクタ523を通して該学習RAM502
のデータ入力端子に与えられ、一方、不図示のリセット
信号によってゼロにクリアされたカウンタ701の出力
値がバンドシーケンス格納メモリ702のデータ入力端
子に与えられる。そして、メモリライトパルス信号がパ
ルス生成部515で生成され、セレクタ525を適して
該学習RAM502とバンドシーケンス格納メモリ70
2のライトパルス入力端子に与えられる。
【0034】以上の動作により、該学習RAM502と
バンドシーケンス格納メモリ702とがすべてクリアさ
れると、一番最初のメモリクリア処理は終了し、端子5
05から入力されるメモリクリアモード信号はLowに
なる。本実施の形態の特徴は、これ以降のメモリクリア
の方法にある。簡潔にその内容を表現すると、 (1)実際のメモリクリア処理は最初の1回行うだけ
で、その後はクリア処理をしない。 (2)見かけ上のクリア処理は、マスク回路706で学
習RAM502からの出力をゼロにマスクすることで行
う。 (3)処理するバンドが変わってから初めてアクセスさ
れるアドレスでは、該アドレスで読み出されるシーケン
ス番号(メモリ702の出力)と、カウンタ701の出
力値(これはバンドが変わった時にカウントアップして
いる)とが一致しないので、一致検出回路704の出力
はゼロとなり、上記(2)のように処理される。 (4)n番目のバンドのあるアドレスで1度学習RAM
502の更新が行なわれると、該アドレスにおけるバン
ドシーケンス格納メモリ702の内容がカウンタ701
の値に書き換えられるので、それ以降における該アドレ
スの学習RAM502の出力はマスクされずに有効とな
る。
【0035】JBIGにおける学習RAM502の容量
は1024番地×8ビットであり、メモリ702も該容
量と同じであるため、バンドシーケンス番号が255以
内に収まっていれば、本実施の形態はまったく問題な
く、上述のごとく実際のメモリクリア処理は最初の1回
行うだけで、その後はクリア処理をしなくても見かけ上
クリアがなされているように見える。
【0036】本実施の形態は以下に述べる応用が可能で
ある。バンドシーケンス番号が必ず(2^n−1)以下に
なる場合には、カウンタ701はnビット、バンドシー
ケンス格納メモリ702のビット幅もnビットで済む。
ここで、バンドシーケンス番号について少し述べる。1
ページのデータを例えば16個のバンドに分割し、各バ
ンドを順番に処理し、1バンドにつき1回しか処理しな
ければ、バンドシーケンス番号は0から始まって15で
終る。しかし、同じ16個のバンドへの分割でも、一度
符号化したビットマップデータを上書きのために一旦復
号して、上書き後に再度符号化するような処理をおこな
うと、バンドシーケンス番号は15以内に収まらない。
この場合は、例えば該番号の上限を63に制限して前記
カウンタ及びメモリのビット幅を6ビットにするという
ことも1つの方法である。
【0037】<第3の実施の形態>本発明の第3の実施
の形態の符号化及び復号装置について述べる。前記第2
の実施の形態の最後で述べたように、1ページのバンド
の個数よりもバンドシーケンス番号が大きくなる場合が
ある。しかし、符号化時と復号時で事情は大きく異な
る。符号化時は前述のように上書き処理を行うとバンド
シーケンス番号はいくらでも大きくなりうる。しかし、
バンドの替わり目で該符号化処理を少しの間停止し、学
習メモリ等のクリア処理を行うことが可能である(尚、
上書きの前に行う復号処理は、上記符号化処理に含まれ
る)。
【0038】それに対して、復号処理(LBP等の画像
出力エンジンに復号データを出力する場合)では、1ペ
ージの一番最初のバンドから順番に復号処理するため、
各バンドは1度しか処理しない。よって、バンドの個数
に対応して、シーケンス番号の最大値が確定する。とこ
ろが、復号処理は、復号データの出力先が画像出力エン
ジンであるため、該復号処理をメモリクリアの都合で停
止することは出来ない。
【0039】従って、復号処理がとどこおることのない
よう、1ページのバンドの個数に合わせて、前記カウン
タ701及びバンドシーケンス格納メモリ702のビッ
ト幅を設定する。これにより、該格納メモリの容量を必
要最小限にすることができる。符号化時には、バンドシ
ーケンス番号が前記カウンタ701を容易に超すことが
想像される。この場合、カウンタ701のビット数をn
ビットとすれば、2n個のバンドを処理するごとに該符
号化処理を少しの間停止して学習メモリ等のクリア処理
を行うことで、符号化処理にも対応する。
【0040】本実施の形態の符号化及び復号装置を表す
ブロック図は、前記第2の実施の形態を表す図7とほと
んど同じであり、カウンタ701とバンドシーケンス格
納メモリ702の入出力データのバス幅が、変わるだけ
である。処理タイミング上は少し違いがあり、符号化時
の学習RAM等のメモリをクリアする回数が複数回にな
る。それを図8に示す。
【0041】<第4の実施の形態>本発明の第4の実施
の形態の符号化及び復号装置のブロック図を図9に示
す。該ブロック図は、前記第3の実施の形態とほとんど
同じである。しかし、本実施の形態では学習メモリ等の
クリア処理を行う時に、上記符号化処理を少しの間停止
するといったことはせずに、連続して符号化処理ができ
るようにした。
【0042】そのために、前記学習メモリ等のクリア処
理を上記符号化処理とほぼ平行して行うことができるよ
う、学習RAM502から読み出してマスク回路706
を通したデータを直接該学習RAM502に書き込める
よう、該データを保持することができるレジスタ801
と該データを直接学習RAM502に入力できるようセ
レクタ803、並びに該セレクタ制御信号の入力端子8
05を設けた。
【0043】一般的に、LBP等の画像出力エンジン
は、主走査1ラインのデータを連続して転送しなければ
ならないが、該ラインとラインとの間には若干の休止期
間がある。その休止期間内に、前記学習RAM502の
読み出しと書き込みを少しずつ行ない、2^nバンド期間
内にすペてのアドレスを一通りアクセスし、前記バンド
シーケンス格納メモリ702を書き換えることにより、
学習RAM502を見かけ上クリアする。
【0044】図10に本実施の形態の処理のタイミング
チャートの例を示す。例えば、n=6,2^n=64とす
ると、学習RAM502の16m番地〜16m+15番
地は、バンドシーケンス番号mで読み出しと書き込みを
行う。ここで、学習RAM502の6番地と87番地が
バンドシーケンス番号3でアクセス(メモリ更新)され
たとする。この時、バンドシーケンス格納メモリ702
の6番地と87番地には、該バンドシーケンス番号3が
格納される。この学習RAM502の内容は、該バンド
シーケンス番号が3の間はずっと有効である。ところ
が、処理するバンドが替わって、バンドシーケンス番号
及びカウンタ701の出力が4になると、6番地と87
番地の学習RAM502の内容は、マスク回路706で
ゼロにマスクされ、見かけ上クリアされたようになる。
【0045】やがて、バンドシーケンス番号が5になる
と、該87番地の値が読み出され、マスク回路706で
ゼロにマスクされて書き込まれるので、本当に該番地の
データはゼロクリアされる。一方、6番地の学習RAM
502の内容はまだクリアされないが、マスク回路70
6でゼロにマスクされるので、見かけ上はクリアされて
いるような状態が続く。さらに処理が進んでゆき、バン
ドシーケンス番号が64(これはバンドシーケンス番号
0と等価)になると、該学習RAM502の6番地の内
容も本当にゼロクリアされる。
【0046】上記のように、エンジンへの主走査単位の
データ転送の間に生じるわずかなデータ停止期間を利用
して、学習RAMの内容をクリアする本実施の形態の方
法は、復号時において特に有効なクリア方法であり、該
方法を復号時に用い、符号化時には、前記第3の実施の
形態の方法を用いるのも一つの方法である。 <第5の実施の形態>本発明の第5の実施の形態の符号
化及び復号装置のブロック図を図11に示す。
【0047】本実施の形態ではバンドシーケンス格納メ
モリ702のビット幅を1ビットとし、実施の形態2〜
4で使用していたカウンタ701の替わりに、バンドご
とに出力値が反転するフラグ1001を用い、一致検出
回路としてEXNOR(exclusive-NOR)1003を用
いる。本実施の形態は、前記第4の実施の形態において
n=1とした場合であり、そういう意味では、前記第4
の実施の形態とはとんど同じであるが、n=1の場合に
は付加すべきハードウェアの規模が最小になるため、こ
れについて詳しく述ベるのは重要なことである。
【0048】まず、符号化時について述ペる。上述の実
施の形態で述べたように、n=1の場合には、2バンド
おきに符号化処理を停止し、学習RAM等のメモリのク
リアを行うことができる。しかし、2バンドおきに符号
化処理を停止するのは中途半端だと思えば、1バンドお
きに符号化処理を停止し、毎バンドごとに学習RAM等
のメモリのクリアを行なってもよい。
【0049】次に、復号時について述べる。復号処理に
先立ち、まず、学習RAM等のメモリをすべてクリアす
る。そして、最初のバンドの復号処理を行う。この時、
フラグ1001の値は“0”である。最初のバンドの処
理は、前記メモリのクリアが行われているおかげで、他
には何もすることはない。次のバンドになると、フラグ
1001の出力は“1”になる。これによりEXNOR
1003の出力は“0”となり、学習RAMは見かけ上
クリアされたことになる。しかし、次のバンドに替わっ
て、該フラグの出力が“0”に戻るとクリアされたはず
の学習RAMの内容が復活してしまうので、該フラグの
出力が“1”の間に、本当に該学習RAM502をクリ
アする必要がある。
【0050】ここで、1バンドの主走査のライン数が2
56だとすると、前述のエンジンへのデータ転送休止期
間に4つのアドレスからデータを読み出し書き込む動作
を行なうことができれば、1バンドの間に1024番地
すべての学習RAM502の内容を、該バンドで有効な
データを保存しながら無効なデータをクリアすることが
できる。該クリア処理は、上記バンド以降、バンドが替
わるたびに行う。
【0051】また、該クリア処理のため学習RAM50
2からデータを読み出した時に、既に該バンドで学習R
AMの更新がなされたアドレスでは、EXNOR100
3の出力が“1”になるため、該出力に基づいて書き込
み動作を省略してもよい。 <第6の実施の形態>本発明の第6の実施の形態の符号
化及び復号装置のブロック図を図12に示す。本実施の
形態は、前記第5の実施の形態を応用したものである。
【0052】これまで述べた実施の形態におけるバンド
シーケンス格納メモリには、1つの番地には1つのデー
タしか格納していなかったが、本実施の形態では、1つ
の番地に複数のデータを格納し、その分、該メモリのア
ドレス空間を小さくして、該メモリの全アドレス空間の
アクセスを高速化したものである。図12に示した例
は、該バンドシーケンス格納メモリ1101を128番
地×8ビットで構成した場合である(前記第5の実施の
形態では、1024番地×1ビットというメモリ構成で
あった)。よって、該バンドシーケンス格納メモリ11
01に入力するアドレス信号はこれまでの10ビットか
ら7ビットになり、残りの3ビットは該バンドシーケン
ス格納メモリ1101から読み出した8ビットのデータ
から1ビットを選択するセレクタ1103及びデコーダ
1104に入力される。該デコーダ1104は、該バン
ドシーケンス格納メモリ1101に入力する8ビットデ
ータの各々に設けられているセレクタ1111〜111
8の内、対応するセレクタのみをフラグ1001の出力
端子に切り替え、その他のセレクタは該バンドシーケン
ス格納メモリ1101の出力を選択するような信号を生
成する。バンドシーケンス格納メモリ1101の出力を
選択するということは、前のデータを保持するというこ
とである。
【0053】アドレスが7ビットになったのに対応し
て、該7ビットのアドレス信号のみを切り替えるセレク
タ1105や、該7ビットのアドレス信号を(メモリク
リア時に)発生するカウンタ1107が付加され、余分
なものが除去されている。本実施の形態の特徴は、上記
バンドシーケンス格納メモリ1101の構成以外に、学
習RAM502の扱い方にある。すなわち、本実施の形
態では、メモリクリア動作において、該学習RAM50
2へのデータの書き込みを一切行わない。もちろん、一
番最初の初期化時にゼロクリアするのはかまわないが、
それすら不要である。
【0054】以下に、その動作原理について説明する。
本実施の形態のクリア動作の基本は、フラグ1001の
値がバンドの替わり目で反転する直前に、該フラグ10
01の値をバンドシーケンス格納メモリ1101のすべ
てのアドレスに格納することである。そうすることで、
該フラグ1001の値が変わった場合は、バンドシーケ
ンス格納メモリ1101の全アドレスにおける内容はフ
ラグ1101の値と異なることになるため、見かけ上学
習RAM502はすペてクリアされていることになる。
【0055】該処理はフラグ1001が反転するたび、
すなわち、バンドが切り替わるたびに必要であるが、こ
れまでに比べ該処理は8分の1の処理時間で済み、バン
ドシーケンス格納メモリ1101のビット数を増やして
アドレスを減らせば、さらに短くすることが可能であ
る。本実施の形態がすべての場合に適用できるわけでは
ないが、上記格納処理をバンド毎に行うことが出来るよ
うな場合には、大変有効であるといえる。
【0056】なお、本発明は、JBIG符号化復号処理
に限定されるものではなく、一般的に学習機能を有し、
かつ該学習内容を定期的にリフレッシュあるいは、クリ
アする手段として有効な方法である。なお、本発明は、
複数の機器(例えばホストコンピュータ,インタフェイ
ス機器,リーダ,プリンタなど)から構成されるシステ
ムに適用しても、一つの機器からなる装置(例えば、複
写機,ファクシミリ装置など)に適用してもよい。
【0057】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0058】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。プログラムコードを供給
するための記憶媒体としては、例えば、フロッピディス
ク,ハードディスク,光ディスク,光磁気ディスク,C
D−ROM,CD−R,磁気テープ,不揮発性のメモリ
カード,ROMなどを用いることができる。
【0059】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0060】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0061】
【発明の効果】本発明により、バンド単位で符号化や復
号を行うように学習RAMの頻繁なクリアが必要な場合
も、処理の高速化が可能な符号化及び復号装置とそれを
適用した画像処理装置を提供できる。すなわち、JBI
G符号化復号処理に先立って行う学習メモリのクリア処
理に、ある所定の時間が必要であり、バンド単位で符号
化復号を行う場合には、各バンド毎に該学習RAMのク
リアを行うための処理時間が必要であり、バンドデータ
を連続して符号化復号処理することが従来は困難であっ
た。そこで、本発明では、まず第1に、学習RAMを2
組持ち、一方を使用中にもう一方をクリアすることで、
上記問題を解決した。第2に、学習RAMの各アドレス
毎にバンドシーケンス番号を格納するバンドシーケンス
格納メモリとバンドが変わるごとにカウントアップ動作
するカウンタと上記シーケンスとカウンタ値が一致して
いるかどうかを検出する一致検出手段と、該一致検出回
路の出力に基づき、読み出した学習RAMの内容をマス
クする手段とを設けることにより、前述の学習RAMの
クリア動作を見かけ上、一瞬で行えるようにすること
で、上記問題を解決した。
【0062】以上により、従来、バンド毎に学習RAM
のクリアを行うための処理時間がない場合にも、きちん
と該学習RAMのクリアを行うことができるようになっ
た。
【図面の簡単な説明】
【図1】符号化及び復号処理を導入してページメモリの
削減を図った画像処理装置の構成例を示す図である。
【図2】図1の復号部とエンジン部の間に復号部から出
力するビットマップデータを時間的に平滑化するための
FIFOを設けた場合の構成例を示す図である。
【図3】図1で復号部からバンドバッファ部ヘビットマ
ップデータを出力するパスを設けた画像処理装置の構成
例を示す図である。
【図4】図3の画像処理装置における描画展開と圧縮伸
張処理のタイミングを示す図である。
【図5】従来のJBIG符号化及び復号装置の構成例を
示すブロック図である。
【図6】本発明の第1の実施の形態の符号化及び復号装
置の構成例を示すブロック図である。
【図7】本発明の第2の実施の形態の符号化及び復号装
置の構成例を示すブロック図である。
【図8】本発明の第3の実施の形態の動作を示すタイミ
ングチャート図である。
【図9】本発明の第4の実施の形態の符号化及び復号装
置の構成例を示すブロック図である。
【図10】本発明の第4の実施の形態の動作を示すタイ
ミングチャート図である。
【図11】本発明の第5の実施の形態の符号化及び復号
装置の構成例を示すブロック図である。
【図12】本発明の第6の実施の形態の符号化及び復号
装置の構成例を示すブロック図である。
【図13】従来例の動作手順の概略を示すフローチャー
トである。
【図14】テンプレートの構成例を示す図である。
【図15】JBIGの符号化アルゴリズムの処理”EN
CODE”の一般的なフローチャートである。

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 学習機能を有する符号化及び復号装置に
    おいて、 学習内容を記憶する複数の記憶手段と、 前記複数の記憶手段の一方を学習状態、他方を初期化状
    態とし、該状態を所定の処理毎に切り換える制御手段と
    を備えることを特徴とする符号化及び復号装置。
  2. 【請求項2】 前記符号化はJBIG準拠の予測符号化
    であって、前記複数の記憶手段として学習メモリを2組
    有することを特徴とする請求項1記載の符号化及び復号
    装置。
  3. 【請求項3】 前記所定の処理は、当該予測符号化装置
    を使用する装置の処理単位に対応することを特徴とする
    請求項1記載の符号化及び復号装置。
  4. 【請求項4】 学習機能を有する符号化及び復号装置に
    おいて、 学習内容を記憶する第1の記憶手段と、 符号化を複数のシーケンスに分割して、現在のシーケン
    ス番号に対応するデータを記憶する第2の記憶手段と、 前記第2の記憶手段に記憶されたシーケンス番号と処理
    中の符号化のシーケンス番号とが異なる場合に、前記第
    1の記憶手段から読み出された学習内容の符号化への使
    用を禁止する制御手段とを備え、 前記第1の記憶手段を初期化することなく、シーケンス
    の進行毎に前記第1の記憶手段の学習内容の初期化機能
    を実現することを特徴とする符号化及び復号装置。
  5. 【請求項5】 前記第2の記憶手段に記憶されるデータ
    は、シーケンスの進行毎に反転するデータであることを
    特徴とする請求項4記載の符号化及び復号装置。
  6. 【請求項6】 前記第2の記憶手段を、複数番地単位で
    読み書きする記憶部と読み出したデータを番地毎に分離
    する手段とから構成することを特徴とする請求項4記載
    の符号化及び復号装置。
  7. 【請求項7】 前記符号化及び復号装置は画像処理装置
    に適用され、1ページの画像を複数のバンドに分割して
    処理する場合に、前記状態の切り換え又はシーケンスの
    進行は、バンドからバンドへの処理の移行に対応するこ
    とを特徴とする請求項1乃至6のいずれか1つに記載の
    符号化及び復号装置。
  8. 【請求項8】 1ページの画像を複数のバンドに分割
    し、各バンドを符号化装置により符号化して記憶した後
    に、復号装置により復号して出力する画像処理装置にお
    いて、 前記符号化及び復号装置が、 学習内容を記憶する複数の記憶手段と、 前記複数の記憶手段の一方を学習状態、他方を初期化状
    態とし、該状態を所定の処理毎に切り換える制御手段と
    を備えることを特徴とする画像処理装置。
  9. 【請求項9】 1ページの画像を複数のバンドに分割
    し、各バンドを符号化装置により符号化して記憶した後
    に、復号装置により復号して出力する画像処理装置にお
    いて、 前記符号化及び復号装置が、 学習内容を記憶する第1の記憶手段と、 符号化を複数のシーケンスに分割して、現在のシーケン
    ス番号に対応するデータを記憶する第2の記憶手段と、 前記第2の記憶手段に記憶されたシーケンス番号と処理
    中の符号化のシーケンス番号とが異なる場合に、前記第
    1の記憶手段から読み出された学習内容の符号化への使
    用を禁止する制御手段とを備えることを特徴とする画像
    処理装置。
JP35565697A 1997-12-24 1997-12-24 符号化及び復号装置とその符号化及び復号方法 Expired - Fee Related JP3679586B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP35565697A JP3679586B2 (ja) 1997-12-24 1997-12-24 符号化及び復号装置とその符号化及び復号方法
US09/218,631 US6473530B2 (en) 1997-12-24 1998-12-22 Encoding and decoding apparatuses and image processing apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35565697A JP3679586B2 (ja) 1997-12-24 1997-12-24 符号化及び復号装置とその符号化及び復号方法

Publications (2)

Publication Number Publication Date
JPH11187276A true JPH11187276A (ja) 1999-07-09
JP3679586B2 JP3679586B2 (ja) 2005-08-03

Family

ID=18445099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35565697A Expired - Fee Related JP3679586B2 (ja) 1997-12-24 1997-12-24 符号化及び復号装置とその符号化及び復号方法

Country Status (2)

Country Link
US (1) US6473530B2 (ja)
JP (1) JP3679586B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204356A (ja) * 2000-10-27 2002-07-19 Canon Inc データ処理装置、プロセッサ、及びその制御方法
US6987587B2 (en) * 2001-09-19 2006-01-17 Kabushiki Kaisha Toshiba Multiple recognition image processing apparatus
JP4227441B2 (ja) * 2003-03-10 2009-02-18 キヤノン株式会社 データ圧縮方法およびプロセッサ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748786A (en) * 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
US6195465B1 (en) * 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
US6044172A (en) * 1997-12-22 2000-03-28 Ricoh Company Ltd. Method and apparatus for reversible color conversion

Also Published As

Publication number Publication date
US20020090137A1 (en) 2002-07-11
US6473530B2 (en) 2002-10-29
JP3679586B2 (ja) 2005-08-03

Similar Documents

Publication Publication Date Title
US5848194A (en) Coding/decoding apparatus and coding/decoding method
US5245441A (en) Document imaging processing method and apparatus
JPH1093827A (ja) 画像処理方法とその装置
JPH0969951A (ja) 符号化方法及び復号化方法
US20060233444A1 (en) JBIG coding apparatus and method with low cost, high-performance ping-pong buffer arrangement
US6205255B1 (en) Method and apparatus for run-length encoding of multi-colored images
JP4009808B2 (ja) 画像処理装置
JP3679586B2 (ja) 符号化及び復号装置とその符号化及び復号方法
US6763150B1 (en) Image processing system with multiple processing units
US5586229A (en) Band printing method for preventing band overrun error in page printer
CN101729714B (zh) 编码装置、解码装置、图像形成装置和方法
JP2002077637A (ja) 画像符号化装置及び画像符号化方法
JP3382492B2 (ja) 画像処理装置及び方法
JP3251447B2 (ja) 符号化装置及び方法、並びに復号化装置及び方法
JP3270665B2 (ja) 符号化/復号化装置及び方法
JPH11187275A (ja) 符号化及び復号装置とそれを適用した画像処理装置
JPH08317228A (ja) 符号復号化装置
JPH1188702A (ja) 符号化及び復号装置とそれを適用した画像処理装置
JPH06303439A (ja) イメージデータ処理装置
JP2020048041A (ja) 画像伸長装置及びその制御方法及びプログラム
JPH09163154A (ja) 画像処理装置
JPH0774957A (ja) 画像処理方法及び装置
JP2000165633A (ja) プリンタコントローラ
JPH0537792A (ja) データ処理装置及びデータ処理方法
JPH09205553A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050513

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees