JP4553297B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4553297B2
JP4553297B2 JP2004225653A JP2004225653A JP4553297B2 JP 4553297 B2 JP4553297 B2 JP 4553297B2 JP 2004225653 A JP2004225653 A JP 2004225653A JP 2004225653 A JP2004225653 A JP 2004225653A JP 4553297 B2 JP4553297 B2 JP 4553297B2
Authority
JP
Japan
Prior art keywords
background density
background
image
density
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004225653A
Other languages
English (en)
Other versions
JP2006048225A (ja
Inventor
真一 若原
秀人 宮崎
進哉 増田
正幸 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004225653A priority Critical patent/JP4553297B2/ja
Publication of JP2006048225A publication Critical patent/JP2006048225A/ja
Application granted granted Critical
Publication of JP4553297B2 publication Critical patent/JP4553297B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置に関し、特に、背景濃度が異なる原稿に対して、それぞれの背景にあわせて背景濃度を下げる画像処理装置に関する。
一般に、原稿画像のコピーをとる際、その背景の濃度が高い原稿の場合、これを読み取ってそのまま出力させると、全体的に暗めの出力画像となるので、操作部において、コピー濃度を下げる等の操作が必要となる。しかし、新聞、雑誌等の切り貼り原稿のように、画像位置によって背景濃度の異なるような原稿の場合、原稿全体に一様な処理を行う方式では、背景を完全に除去することはできない。これを改善するために、以下のような方法が提案されている。
特許文献1に開示された画像データ処理装置は、1ライン上でも地肌レベル変動があるような、高レベル広範囲の地肌レベルを自動除去するものである。白地用紙に切貼りした青焼き部の文字、線画を、鮮明にコピーできるようにするものである。原稿画像の地肌バラエティに対応した最適地肌除去処理を選択可能とする。注目画像データと先行画像データに適用した地肌レベルの重み付け加算により、注目画像データ宛ての地肌レベルを算出し、地肌除去データを算出する。データが取りうる最大値を分子とし、地肌レベルを分母に含む分数で表しうる第1の比又は第2の比を地肌除去データに乗じて、コントラスト補正する。
すなわち、この画像データ処理装置では、注目画像データとその先行画像データで決定される背景濃度レベルを、重み付け加算することにより、注目画像データに対応する背景濃度レベルを算出している。このようにすることにより、1ライン上でも背景濃度レベル変動があるような、背景濃度レベル変動が比較的広範囲に及ぶ画像の背景を、有効に除去することができる。
特開2002-84423号公報
しかし、従来の方法では、以下のような問題がある。第1に、再現文字の濃度が薄くなるという問題がある。注目画像データとその先行画像データから背景濃度を求める際に、文字情報等を含んだまま平均化処理を行っている。そのため、文字情報が密集した画像領域においては、文字部分と背景部分が平均化される。その結果、文字部分の濃度に背景濃度が引きずられて背景濃度が高くなる。したがって、背景濃度を一定にすると、再現文字の濃度が薄くなってしまう。太文字や黒ベタなどのような、本来再現させるべき画像まで白飛びしてしまう。
第2に、大容量のメモリを必要とし、全体のハードウェア量が増大するという問題がある。注目画像データとその先行画像データから背景濃度を求めるためには、注目画像データに先行する画像データを蓄積する必要がある。この際に、1ライン分の画像データを記憶する必要がある。このため、大容量のメモリを必要とする。
本発明の目的は、上記従来の問題を解決して、画像処理装置において、背景の濃度を下げて目的の画像を再現する際に、少ないハードウェア量で適切に目的画像を再現することである。白紙上にジアゾ原稿や新聞原稿を切り貼りしたような背景濃度が異なる原稿でも、背景濃度にあわせて背景濃度を下げて、ジアゾ原稿や新聞原稿上の画像を適切に再現できるようにする。
上記の課題を解決するために、本発明では、画像処理装置を、画像から背景以外の文字データ等の目的情報画像を検出する手段と、画像から前記目的情報画像を除外して画像の任意の画素ブロック毎に背景濃度レベルを算出する手段と、任意の画素ブロックで処理された背景濃度を隣接画素ブロック間で補正して背景濃度補正値を算出する背景濃度補正手段と、算出された背景濃度補正値を任意に設定可能な閾値と比較し、前記背景濃度補正値を前記閾値で飽和させる背景濃度飽和手段と、前記背景濃度レベルに基づいて画像から背景を除去して目的情報画像を再現する手段とを具備する構成とした。
このように構成したことにより、背景濃度が異なる原稿に対して、背景以外の文字データ等の情報を除外することにより、適切な背景濃度を算出でき、それぞれの背景にあわせて背景を除去した画像を再現することができる。
また、前記背景濃度補正手段で、画素ブロック毎の背景濃度レベルを、隣接画素ブロック間の背景濃度レベルの段差が小さくなるように背景濃度レベルを調整するようにした。このように構成したことにより、メモリなどのハードウェア量を少なくできる。
背景の濃度レベルを算出する際に、背景以外の文字データ等の情報を除外することにより、適切な背景濃度が算出でき、文字の再現性が向上する。また、任意の画素ブロック毎に背景濃度レベルを算出することにより、メモリ使用量を低減できる。また、画素ブロック間で背景濃度レベルを調整して補正することにより、画素ブロック単位での濃度段差を減らして、滑らかな画像を再現できる。また、背景濃度レベルを一定の閾値濃度で飽和させることにより、黒ベタなどの画像の再現性が向上する。
以下、本発明を実施するための最良の形態について、図1〜図5を参照しながら詳細に説明する。
本発明の実施例は、画像の任意の画素ブロック毎に、背景以外の文字データ等の目的画像を除外して、背景濃度レベルを算出し、隣接画素ブロック間で背景濃度レベルの段差が小さくなるように補正して、1画素単位の背景濃度を算出し、背景濃度を、任意に設定可能な閾値と比較し、閾値以上の背景濃度を閾値に置き換え、背景濃度が異なる原稿のそれぞれの背景にあわせて背景を除去して、一定濃度以上の文字データ等の目的画像を再現する画像処理装置である。
図1は、本発明の実施例における画像処理装置の概要を示す概念図である。図1において、文字情報検出部1は、入力画像から文字情報などの目的情報画像を検出する手段である。平均化処理部2は、任意の画素ブロック毎に背景濃度の平均値を算出する手段である。背景濃度算出部3は、入力画像の背景濃度を算出する手段である。ライン遅延部4は、背景濃度データを1ライン分蓄積する装置である。背景濃度補正部5は、隣接ブロック間で背景濃度レベルの段差が小さくなるように補正する手段である。背景濃度飽和部6は、背景濃度が一定以上にならないようにする手段である。背景濃度除去部7は、背景を除去した画像を算出する手段である。コントラスト補正部8は、最終的な濃度補正の処理を行う手段である。
図2は、本発明の実施例における画像処理装置のうちの、文字情報の検出処理装置の概念図である。図2において、平均値算出処理部9は、任意の画素ブロック単位の平均値を算出する手段である。エッジ強調処理部10は、入力画像データのエッジを強調する手段である。2値化処理部11は、エッジ強調結果を2値化処理する手段である。文字領域検出手段12は、画像変化が密集している領域を文字情報領域と判定する手段である。文字情報検出手段13は、文字部分を検出する手段である。図3は、背景以外の文字データ等の目的情報画像を除外する方法を示す説明図である。図4は、背景濃度補正処理の方法を説明する図である。図5は、本発明の実施例に適用できる画像処理装置の構成を示すブロック図である。
上記のように構成された本発明の実施例における画像処理装置の動作を説明する。最初に、図1を参照しながら、動作の概要を説明する。文字情報検出部1では、入力画像(IDn)から文字情報(CHODn)の検出を行う。この文字情報(CHODn)は、平均化処理部2において、文字部を平均化処理の対象から除外するために用いられる。平均化処理部2では、文字情報(CHODn)及び入力画像(IDn)の任意の画素ブロック毎に、背景濃度の平均値(AVG)の算出を行う。背景濃度算出部3では、平均値(AVG)及び先行する背景濃度(JODn-1)を用いて、入力画像(IDn)の背景濃度(JODn)の算出を行う。ここで算出された背景濃度(JODn)は、次ラインの背景濃度算出時に、先行データ(JODn-1)として使用するため、ライン遅延部4で、ライン遅延処理を行う。
背景濃度補正部5では、任意の画素ブロックで処理された背景濃度(JODn)を、隣接ブロック間で補正し、1画素毎の背景濃度補正値(JHODn)を算出する。背景濃度飽和部6では、背景濃度補正値(JHODn)を任意に設定可能な閾値(JTH)で飽和させ、背景濃度が一定濃度以上にならないように制限する。背景濃度除去部7では、ここまでに算出した背景濃度補正値(JHODn)を、入力画像(IDn)から減算し、背景を除去した画像(RODn)を算出する。コントラスト補正部8では、背景を除去した画像(RODn)に対して、濃度補正の処理を行い、背景の除去を行った目的画像(CODn)を得る。
次に、図2と図3を参照しながら、背景濃度の平均化方法について説明する。図2に、文字情報の検出処理装置の構成を示す。図3に、背景以外の文字データ等の目的情報画像を除外する方法を示す。背景濃度の平均化処理は、図1の文字情報検出部1と平均化処理部2により実行される。文字情報検出部1は、入力画像データ(IDn)について、注目画像データと、注目画像データ周辺の画像データより、文字情報を検出する処理装置である。平均化処理部2は、注目画像データを含む任意の画素単位の画像ブロックにおける平均化を行う処理装置である。
まず、平均値算出処理部9により、入力画像データ(IDn)について、図3(a)に示すように、注目画素を含めた任意の画素ブロック単位の平均値(PAVG)を算出する。この例では、白地に黒字などのように、濃度の低い背景に、濃度の高い文字がある画像とする。この平均値算出処理部9は、図1の平均化処理部2とは異なる処理装置である。
次いで、エッジ強調処理部10により、入力画像データ(IDn)に対して、以下の式により、エッジ強調処理を施す。
A=(a,b,c,d,e)=(-1,-1,0, 1, 1) (フィルタ係数)
B=(IDn(x-2), IDn(x-1), IDn(x), IDn(x+1), IDn(x+2))
S=0.5 (フィルタ強度)
FODn(x)=(A・B)×S (内積)
={a・IDn(x-2)+b・IDn(x-1)+c・IDn(x)+d・IDn(x+1)+e・IDn(x+2)}×S
次いで、2値化処理部11により、エッジ強調結果(FODn)を、図3(b)に示すように、任意に設定可能な閾値(ETH)と比較し、画像を2値化処理する。文字領域検出手段12により、この2値画像において画像変化が密集している領域を、文字情報領域と判定する。
次いで、文字情報検出手段13により、図3(c)に示すように、文字情報領域と判定した入力画像IDn内において、IDn>PAVGとなった箇所を1、それ以外の箇所を0とし、この値を文字情報(CHODn)とする。この文字情報(CHODn)を用いて、図1の平均化処理部2において、平均値を算出する際に、文字情報画素を平均化処理から除外することにより、文字情報を含まない、適切な背景濃度を算出することが可能となる。
次に、図1と図3と図4を参照しながら、背景濃度の補正方法を説明する。背景の除去処理は、図1の平均化処理部2と、背景濃度算出部3と、ライン遅延部4と、背景濃度補正部5により実行される。平均化処理部2は、入力画像(IDn)の任意の画素単位の画像ブロックにおける平均化により、平均値(AVG)を算出する処理装置である。背景濃度算出部3は、ブロック毎の平均値(AVG)および注目画像位置に先行する画素ブロック毎の背景濃度(JODn-1)より、背景濃度(JODn)の算出を行う処理装置である。ライン遅延部4は、注目画像データ位置の背景濃度(JODn)を1ライン分蓄積する装置である。背景濃度補正部5は、隣接する背景濃度(JODn)により背景濃度補正値(JHODn)を算出する装置である。
まず、平均化処理部2により、入力画像データ(IDn)を用い、図3(d)に示すように、任意の画素ブロックの単位で平均値(AVGn)を算出する。この際に、文字情報CHODn=1となる箇所は、平均化処理の対象から除外する。次いで、背景濃度算出部3により、注目画素を含めた位置のブロックの平均値(AVGn)と、注目画素の位置に先行するブロックの画像データJODn-1を用い、次の式により背景濃度(JODn)を算出する。
JODn=K・AVGn+(1−K)・JODn-1
この式において、Kは注目画素を含む平均値(AVGn)に与える重み値であり、この値を調整することにより、画像対応の各画素あるいは数画素群単位のレベル変動以外の、変動周期が長い背景濃度変化のみに追従した背景濃度(JODn)が得られる。次いで、ライン遅延部4により、背景濃度(JODn)を1ライン遅延処理することで、次ラインの背景濃度算出処理に用いる。これらの処理においては、任意の画素ブロック単位で平均値(AVG)と背景濃度(JODn)を算出しているため、ライン遅延に用いるメモリなどのハードウェアが少なくてすむ。
しかし、この段階では、背景濃度(JODn)は、図4(a)に示すように、ブロック単位で矩形的な変化をしている。この状態のまま、次の背景除去処理を行うと、画像にブロック単位で段差が発生してしまう。そこで、図4(b)に示すような補正係数を用いて、背景濃度補正部5により、隣接する背景濃度との補正処理を行い、図4(c)に示すような滑らかな背景濃度(JHODn)を算出する。これにより、背景除去処理後の画像において、ブロック間の段差を低減することができる。
次に、背景濃度を飽和させる方法について説明する。図1の背景濃度飽和部6により、背景濃度補正値(JHODn)に基づいて、背景濃度を任意の閾値(JTH)で飽和させる。背景濃度補正値(JHODn)を、任意に設定可能な背景濃度閾値(JTH)と比較する。JODn>JTHとなる場合、JODn=JTHと置き換える処理を行う。この処理を行うことで、背景濃度を一定の濃度に飽和させることになり、黒ベタ部の画像が白飛びすることを抑えることが可能である。背景濃度閾値(JTH)を調整することにより、背景除去処理後の画像において再現させたい背景濃度を調整することができる。
図1に示した文字情報検出部1〜コントラスト補正部8における処理と、図2に示した平均値算出処理部9〜文字情報検出手段13における処理は、図5に示す汎用の画像処理装置により実行することができる。また、汎用のコンピュータとソフトウェアにより実行することも可能である。具体的な基本ハードウェアと基本ソフトウェアについては、周知の汎用のものを利用できるので、詳しい説明は省略する。
上記のように、本発明の実施例では、画像処理装置を、画像の任意の画素ブロック毎に、背景以外の文字データ等の目的画像を除外して、背景濃度レベルを算出し、隣接画素ブロック間で背景濃度レベルの段差が小さくなるように補正して、1画素単位の背景濃度を算出し、背景濃度を、任意に設定可能な閾値と比較し、閾値以上の背景濃度を閾値に置き換え、背景濃度が異なる原稿のそれぞれの背景にあわせて背景を除去して、一定濃度以上の文字データ等の目的画像を再現する構成としたので、少ないメモリ量で目的画像を適切に再現することができる。
本発明の画像処理装置は、デジタル複写機、FAX、スキャナなどにおいて背景を除去するための手段として最適である。また、一般的な画像処理装置の一部の背景除去手段としても利用できる。
本発明の実施例における画像処理装置の概念図である。 本発明の実施例における画像処理装置のうちの、文字情報の検出処理装置の概念図である。 背景以外の文字データ等の情報を除外する方法を示す説明図である。 背景濃度補正処理の方法を説明する図である。 本発明の実施例に用いることができる汎用の画像処理装置の構成を示すブロック図である。
符号の説明
1・・・文字情報検出部、2・・・平均化処理部、3・・・背景濃度算出部、4・・・ライン遅延部、5・・・背景濃度補正部、6・・・背景濃度飽和部、7・・・背景濃度除去部、8・・・コントラスト補正部、9・・・平均値算出処理部、10・・・エッジ強調処理部、11・・・2値化処理部、12・・・文字領域検出手段、13・・・文字情報検出手段。

Claims (4)

  1. 画像から背景以外の文字データ等の目的情報画像を検出する手段と、
    画像から前記目的情報画像を除外して画像の任意の画素ブロック毎に背景濃度レベルを算出する手段と、任意の画素ブロックで処理された背景濃度を隣接画素ブロック間で補正して背景濃度補正値を算出する背景濃度補正手段と、算出された背景濃度補正値を任意に設定可能な閾値と比較し、前記背景濃度補正値を前記閾値で飽和させる背景濃度飽和手段と、前記背景濃度レベルに基づいて画像から背景を除去して目的情報画像を再現する手段とを具備することを特徴とする画像処理装置。
  2. 前記背景濃度補正手段は、前記画素ブロック毎の背景濃度レベルを、隣接画素ブロック間の背景濃度レベルの段差が小さくなるように前記背景濃度レベルを調整することを特徴とする請求項1記載の画像処理装置。
  3. 画像から背景以外の文字データ等の目的情報画像を検出する工程と、
    画像から前記目的情報画像を除外して画像の任意の画素ブロック毎に背景濃度レベルを算出する工程と、
    任意の画素ブロックで処理された背景濃度を隣接画素ブロック間で補正して背景濃度補正値を算出する背景濃度補正工程と、
    算出された背景濃度補正値を任意に設定可能な閾値と比較し、前記背景濃度補正値を前記閾値で飽和させる背景濃度飽和工程と、
    前記背景濃度レベルに基づいて画像から背景を除去して目的情報画像を再現する工程とを有することを特徴とする画像処理方法。
  4. 前記背景濃度補正工程は、前記画素ブロック毎の背景濃度レベルを、隣接画素ブロック間の背景濃度レベルの段差が小さくなるように前記背景濃度レベルを調整する補正処理を行うことを特徴とする請求項3記載の画像処理方法。
JP2004225653A 2004-08-02 2004-08-02 画像処理装置 Expired - Fee Related JP4553297B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004225653A JP4553297B2 (ja) 2004-08-02 2004-08-02 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004225653A JP4553297B2 (ja) 2004-08-02 2004-08-02 画像処理装置

Publications (2)

Publication Number Publication Date
JP2006048225A JP2006048225A (ja) 2006-02-16
JP4553297B2 true JP4553297B2 (ja) 2010-09-29

Family

ID=36026722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004225653A Expired - Fee Related JP4553297B2 (ja) 2004-08-02 2004-08-02 画像処理装置

Country Status (1)

Country Link
JP (1) JP4553297B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4632992B2 (ja) * 2006-03-30 2011-02-16 株式会社デンソーアイティーラボラトリ 画像補正方法
JP4767306B2 (ja) 2008-11-07 2011-09-07 株式会社エヌ・ティ・ティ・ドコモ 携帯無線通信端末および無線通信方法
US8280111B2 (en) * 2010-02-17 2012-10-02 The Boeing Company Advanced background estimation technique and circuit for a hyper-spectral target detection method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187266A (ja) * 1997-12-19 1999-07-09 Toshiba Corp 画像処理装置および画像形成装置
JPH11306324A (ja) * 1998-04-24 1999-11-05 Minolta Co Ltd 画像処理装置
JP2000125134A (ja) * 1998-10-14 2000-04-28 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2002084423A (ja) * 2000-09-06 2002-03-22 Ricoh Co Ltd 画像データ処理装置,画像読取り装置および画像形成装置
JP2002247363A (ja) * 2001-02-20 2002-08-30 Fuji Xerox Co Ltd 画像処理装置
JP2003018409A (ja) * 2001-07-05 2003-01-17 Minolta Co Ltd 画像処理装置および画像処理プログラム
JP2003219419A (ja) * 2002-01-18 2003-07-31 Fujitsu Ltd 画像処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187266A (ja) * 1997-12-19 1999-07-09 Toshiba Corp 画像処理装置および画像形成装置
JPH11306324A (ja) * 1998-04-24 1999-11-05 Minolta Co Ltd 画像処理装置
JP2000125134A (ja) * 1998-10-14 2000-04-28 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2002084423A (ja) * 2000-09-06 2002-03-22 Ricoh Co Ltd 画像データ処理装置,画像読取り装置および画像形成装置
JP2002247363A (ja) * 2001-02-20 2002-08-30 Fuji Xerox Co Ltd 画像処理装置
JP2003018409A (ja) * 2001-07-05 2003-01-17 Minolta Co Ltd 画像処理装置および画像処理プログラム
JP2003219419A (ja) * 2002-01-18 2003-07-31 Fujitsu Ltd 画像処理装置

Also Published As

Publication number Publication date
JP2006048225A (ja) 2006-02-16

Similar Documents

Publication Publication Date Title
JP5436624B2 (ja) 画像処理装置およびその制御方法
JP4553297B2 (ja) 画像処理装置
JP3271354B2 (ja) 画像処理装置
JPH10283470A (ja) 画像処理装置、画像処理方法および記録媒体
JP2004104635A (ja) 画像処理装置
JPH08272952A (ja) 画像処理装置
US6842267B1 (en) Image processing method
JP2006229728A (ja) 画像読取装置
JP2006094008A (ja) 画像処理装置
JPH11346311A (ja) 階調再現方法
JP2637414B2 (ja) 画像処理方法
JP3948599B2 (ja) 画像処理装置
JP2002171410A (ja) 画像処理装置
JPH11150659A (ja) 画像処理方法
JPH04281671A (ja) 画像処理装置
JPH05143728A (ja) 画像処理装置
JP3974236B2 (ja) 画像処理装置および方法
JP2006270656A (ja) 画像処理装置および画像処理方法
JP2000331174A (ja) エッジ処理方法
JP3705414B2 (ja) 2値化閾値決定方法
JP2002290727A (ja) 画像処理方法、その装置、その記憶媒体及びそのプログラム
JP3549475B2 (ja) 画像処理方式
JP2006245938A (ja) 画像処理装置
JP2006203815A (ja) 画像読取装置
JPH11275358A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100709

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4553297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees