JP3730073B2 - テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体 - Google Patents

テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3730073B2
JP3730073B2 JP2000042877A JP2000042877A JP3730073B2 JP 3730073 B2 JP3730073 B2 JP 3730073B2 JP 2000042877 A JP2000042877 A JP 2000042877A JP 2000042877 A JP2000042877 A JP 2000042877A JP 3730073 B2 JP3730073 B2 JP 3730073B2
Authority
JP
Japan
Prior art keywords
template
pattern
learning
training
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000042877A
Other languages
English (en)
Other versions
JP2001236467A (ja
Inventor
美奈子 澤木
洋 村瀬
紀博 萩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000042877A priority Critical patent/JP3730073B2/ja
Publication of JP2001236467A publication Critical patent/JP2001236467A/ja
Application granted granted Critical
Publication of JP3730073B2 publication Critical patent/JP3730073B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力パターンと、学習用パターン中の訓練パターンを用いて予め作成されたテンプレートとの間の類似度あるいは距離値を計算し、前記入力パターンのカテゴリを認識するパターン認識方法に関する。
【0002】
【従来の技術】
以下では、パターン認識の一例として、文字認識を対象として説明する。
【0003】
従来、漢字OCR(Optical Character Reader)などの文字認識装置では、入力された文書、画像のパターンに対して、入力パターンとテンプレートとのパターン照合により認識を行う方法が知られている。このような手法は、一般的に、広告や新聞の見出しなどにみられる特異なテクスチャで構成されているデザイン処理された文字や、かすれ、つぶれ、文字背景雑音などが激しい画像に対して、比較的ロバストであることが報告されている。
【0004】
しかし、照明条件などの画像の観測条件などにより字形が変動した場合や、印刷条件や経年変化などにより字形が変動した場合には、入力パターンとテンプレートの類似度が下がり、認識率が低下する問題点があった。
【0005】
このような問題を解決するために、従来は主に、(1)入力パターン内の他の情報を雑音とみなして取り除いたり、字形の変動を補正してから、テンプレートを用いて認識を行う方法、(2)文字列をそのままテンプレートのパターンとする単語テンプレートを用いることにより個別文字の変形の影響を吸収する方法、の2つのアプローチがとられてきた。
【0006】
しかし、入力パターン内の他の情報のみを除去することは困難である。これは、文字のストロークと他の情報が非常に類似していることが頻繁に起こるためである。そのため、しばしば他の情報が残ったり、着目している情報が損失したりする。その結果、テンプレートとの照合の際の類似度が下がり、認識率が低下する。特に、‘l’や‘r’のような小さいパターンでは、周囲の他の情報の影響を受けやすく認識が困難となる場合が多い。
【0007】
一方、単語テンプレートを用いる方法では、複数文字同士の照合を行うため、小さい文字など字形が変動し誤認識しやすい文字が部分的に含まれている場合でも、単語全体としては認識可能となることが期待できる。しかし、単語数に応じたテンプレートを作成することが必要となり、単語数が増えるほどその組み合わせが膨大になる。また、それに伴い、照合時間も増加する。さらに、入力パターンに未知語が含まれている場合、対応するテンプレートがないため、認識できない。
【0008】
また、従来の方法の別の問題点として、使用をすすめるにつれて文字の変動や字形の変動が発生する場合に追随できないという点があった。従来提案されている上記のいずれの方法でも、入力パターンごとの変動の違いに追随できず、特定の変動以外のパターンは認識できない。
【0009】
【発明が解決しようとする課題】
上記のように、従来のOCRをはじめとするパターン認識技術は、劣化や変形が大きく、また状況によって変化するパターンを正しく認識できる手段が十分に確立していなかった。
【0010】
本発明の目的は、人手による作業なしに、高い認識率が得られるテンプレートを作成するテンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体を提供することにある。
【0011】
【課題を解決するための手段】
本発明のテンプレート作成方法は、入力パターンと照合されるテンプレートを、学習用パターン中の訓練パターンを用いて作成する、テンプレート作成装置で行われるテンプレート作成方法であって、
訓練パターン抽出手段が、学習用パターンを記憶している学習用パターン記憶手段から学習用パターンを読出し、各カテゴリ毎の予め作成されているテンプレートを記憶しているテンプレート記憶手段からテンプレートを読出し、前記読出した学習用パターンに対し所定の前処理を行い、前処理済パターンに対し前記テンプレートとの照合を行って、前記テンプレートに対し高い類似度を示した部分の画像位置およびそのテンプレートのカテゴリを得、これらから前記学習用パターン中の訓練パターンを抽出する訓練パターン抽出段階と、
テンプレート選別手段が、前記学習用パターン記憶手段から前記抽出された訓練パターンと類似した1つまたは複数の訓練パターンを求め、該類似訓練パターンのカテゴリのうち過半数を占めるカテゴリが存在する場合、前記抽出された訓練パターンをテンプレートとして選別し、該テンプレートを前記テンプレート記憶手段に新規に登録するテンプレート選別段階と、
を有する。
【0012】
入力パターンの状況に応じたテンプレートが自動的に、かつ簡易に作成されるため、従来、認識が困難であった状況の変化にも自動的に追随できる。
【0014】
本発明の他の実施態様によれば、抽出された訓練パターンのセットから1つまたは複数の類似パターンを求め、該類似パターンのカテゴリ分布から訓練パターンのテンプレートとしての登録の可否を決定する。たとえば、ある訓練パターン(カテゴリ‘e’)に対し、類似した訓練パターンを3つ求めたとした場合、カテゴリ‘e’,‘o’,‘c’となったとすると、この訓練パターンはカテゴリ‘e’である信頼性が低いとして選択しない。一方、類似した訓練パターンがすべてカテゴリ‘e’であった場合、この訓練パターンの信頼性が高いと判断し、テンプレートとして選択する。
【0015】
本発明の他の実施態様によれば、ある訓練パターンを、付与されているカテゴリのテンプレートとして適切かどうかの選択を行う際に、その訓練パターンに類似した訓練パターンを求め、それらのカテゴリ分布によって、カテゴリ名を決定する。たとえば、ある訓練パターン(カテゴリ‘e’)に対し、類似した訓練パターンを3つ求めたとした場合、カテゴリ‘o’,‘o’,‘o’となったとすると、この訓練パターンはカテゴリ‘e’である信頼性が低く、カテゴリ‘o’である可能性が高いと判断し、カテゴリ‘o’のテンプレートとして選択する。
【0016】
本発明のテンプレート作成装置は、入力パターンと照合されるテンプレートを、学習用パターン中の訓練パターンを用いて作成するテンプレート作成装置であって、
学習用パターンを記憶している学習用パターン記憶手段と、
各カテゴリ毎の予め作成されているテンプレートを記憶しているテンプレート記憶手段と、
学習用パターン記憶手段から学習用パターンを読出し、テンプレート記憶手段からテンプレートを読出し、読出した学習用パターンに対し所定の前処理を行い、前処理済パターンに対し前記テンプレートとの照合を行って、前記テンプレートに対し高い類似度を示した部分の画像位置およびそのテンプレートのカテゴリを得、これらから前記学習用パターン中の訓練パターンを抽出する訓練パターン抽出手段と、
学習用パターン記憶手段から、抽出された訓練パターンと類似した1つまたは複数の訓練パターンを求め、該類似訓練パターンのカテゴリのうち過半数を占めるカテゴリが存在する場合、前記抽出された訓練パターンテンプレートとして選別し、該テンプレートをテンプレート記憶手段に新規に登録するテンプレート選別手段と、
有する。
【0017】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0018】
図1を参照すると、本発明の一実施形態のパターン認識装置は学習用パターン記憶回路11と訓練パターン抽出回路12とテンプレート選別回路13とテンプレート記憶回路14と入力パターン記憶回路15と認識回路16で構成されている。
【0019】
学習用パターン記憶回路11はテンプレートを作成するために用いられる学習用パターンである学習用画像を記憶している。学習用画像はn(n≧2)画素からなり、画素の値は、例えば白画素を「0」、黒画素を「1」で表す。
【0020】
訓練パターン抽出回路12は、学習用パターン記憶回路11から学習用パターンを読出し、その中から訓練パターンを抽出する。訓練パターンにはカテゴリ名が付与されている。
【0021】
テンプレート選別回路13は、訓練パターン抽出回路12から訓練パターンを入力し、適切なテンプレートを選別し、テンプレート記憶回路14に新規に登録する。
【0022】
テンプレート記憶回路14は、入力画像パターンの認識判定に用いる各カテゴリのテンプレートを、各カテゴリ毎に1つあるいは複数(一般には複数)記憶している。
【0023】
入力パターン記憶回路15は、認識される1つもしくは2以上の画像パターンを入力パターンとして記憶している。これらの画像パターンはM(M≧2)画素からなり、例えば、2値画像パターンの場合には各画素は「0」または「1」で示されている。
【0024】
認識回路16は、テンプレート記憶回路14からテンプレートを読出し、またパターン記憶回路15から入力パターンを読出し、入力パターンをテンプレートと照合することによりパターン認識を行い、その認識結果を出力する。
【0025】
本実施形態の特徴は、学習用パターンと初期のテンプレートを用いて、認識用のテンプレートを自動的に作成(追加)するところにある。以下に、学習用パターンから自動的にテンプレートを作成する処理について、図2のフローチャートを用いて詳細に説明する。
【0026】
ステップ21に、学習用パターン記憶回路11から学習用パターンが読み出され、訓練パターン抽出回路12に入力される。学習用パターンは、1つもしくは複数の訓練パターンを含んでいるとする。学習用パターンの例を図3(1)に示す。
【0027】
次に、ステップ22に訓練パターン抽出回路12は、テンプレート記憶回路14から、予め作成されているテンプレートを読みこむ。「予め作成されているテンプレート」は、例えば、各カテゴリごとに1つのテンプレートを学習用画像から手動で切り出して作成してあるとする。
【0028】
ステップ23に、訓練パターン抽出回路12は、読み出されたテンプレートを用いて、学習用パターンを認識する。認識手法としては、例えば、学習用パターンに対し傾き補正などの前処理を行うことにより前処理済パターンを作成し、その前処理済パターンに対し補完類似度を用いたずらし照合による方法(例:特願平9−343292)を用いることができる。認識した結果、高い類似度を示した部分の画像位置およびそのテンプレートのカテゴリが得られる。図3(2)に、学習用パターン(図3(1))に傾き補正を行って得られた前処理済パターンを示す。また、図3(3)に、図3(2)の上の行を予め作成されているテンプレートによるずらし照合を行った際に、高い類似度を示したカテゴリを、高い類似度を示した位置に示す。
【0029】
次に、ステップ24に高い類似度を示した位置およびカテゴリを用いて、訓練パターンを抽出する。訓練パターンの抽出方法の例としては、認識された位置を中心として、予め定められた大きさの矩形領域を抽出する。抽出された訓練パターンは、テンプレート選別回路13に入力される。
【0030】
ステップ25に、テンプレート選別回路13では、入力された訓練パターンを用いて、テンプレートを選別する。テンプレートの選別方法としては、例えば、複数の訓練パターン中から類似パターンを求め、該類似パターンのカテゴリ分布の過半数が同じものであった場合に該訓練パターンを信頼できるテンプレートとして選択し、過半数が同じでなかった場合には棄却するという方法がある。図4に、棄却されたテンプレートの例を示す。図4(a)は誤って削除されたパターン、図4(b)は正しく削除されたパターンを示す。また、該類似パターンを用いて、該訓練パターンのカテゴリ名を決定する。例えば、該類似パターンのカテゴリ分布の過半数をしめたカテゴリ名を、該訓練パターンのカテゴリ名とする。
【0031】
ステップ26に、選別されたテンプレートはテンプレート記憶回路14に記憶される。
【0032】
また、新規保存されたテンプレートを用いて、ステップ22からステップ26までを繰り返し行い、テンプレートを更新することにより、より正確なテンプレートを得たり、状況の変化にさらに追随することができる。
【0033】
このようにして得られたテンプレートを用いて、文字を認識した時の結果を図5に示す。(a)は初期のテンプレート、(b)は全ての訓練パターン(t=1)、(c)は選択されたテンプレート(t=1)、(d)は全ての訓練パターン(t=2)、(e)は選択された辞書(t=2)の場合を示している。tは図2のステップ22〜26の繰り返し回数である。学習用パターンをテンプレートで認識した場合(○印)と、他のパターンをテンプレートで認識した場合(□印)とで認識率に殆ど差がないことがわかる。
【0034】
以上の説明では文字を中心に示したが、文字以外のパターンについても同様の処理が可能である。
【0035】
図6を参照すると、本発明の他の実施形態のパターン認識装置は入力装置31と記憶装置32〜35と出力装置36と記録媒体37とデータ処理装置38で構成されている。
【0036】
入力装置は入力パターンを入力するためのものである。記憶装置32,33,34はそれぞれ図1中の学習パターン記憶回路11、テンプレート記憶回路14、入力パターン記憶回路15に相当する。記憶装置35はハードディスクである。出力装置36は認識結果を出力するためのものである。記録媒体37は、図1中の訓練パターン抽出回路12、テンプレート選別回路13、認識回路16の各処理からなるパターン認識プログラムが記録されている、フロッピィ・ディスク、CD−ROM、光磁気ディスク等の記録媒体である。データ処理装置38はCPU、インタフェース等を含み、記録媒体37からパターン認識プログラムを記憶装置35に読み込んで後、これを実行する。
【0037】
【発明の効果】
以上説明したように、本発明によれば、下記のような効果がある。
【0038】
請求項1,2,3の発明は、学習用パターンを予め作成されているテンプレートによって認識し、その結果から訓練パターンを抽出し、類似パターンのカテゴリ分布から訓練パターンをテンプレートとして登録するかどうか決定することにより、人手による作業なしに、高い認識率が得られるテンプレートが自動的に作成できる。
【0040】
請求項2,4,6の発明は、訓練パターン抽出時に誤ったカテゴリ名が付与された場合であっても、正しいカテゴリ名に変更することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態のパターン認識装置の構成例を示すブロック図である。
【図2】図1のパターン認識装置におけるテンプレート作成を示すフローチャートである。
【図3】学習用パターンおよび前処理済パターンおよび認識結果の例を示す図である。
【図4】棄却された訓練パターンの例を示す図である。
【図5】作成されたテンプレートを用いた場合の認識率を示す図である。
【図6】本発明の他の実施形態のパターン認識装置の構成図である。
【符号の説明】
11 学習用パターン記憶回路
12 訓練パターン抽出回路
13 テンプレート選別回路
14 テンプレート記憶回路
15 パターン記憶回路
16 認識回路
21〜26 ステップ
31 入力装置
32〜35 記憶装置
36 出力装置
37 記録媒体
38 データ処理装置

Claims (6)

  1. 入力パターンと照合されるテンプレートを、学習用パターン中の訓練パターンを用いて作成する、テンプレート作成装置で行われるテンプレート作成方法であって
    訓練パターン抽出手段が、学習用パターンを記憶している学習用パターン記憶手段から学習用パターンを読出し、各カテゴリ毎の予め作成されているテンプレートを記憶しているテンプレート記憶手段からテンプレートを読出し前記読出した学習用パターンに対し所定の前処理を行い、前処理済パターンに対し前記テンプレートとの照合を行って、前記テンプレートに対し高い類似度を示した部分の画像位置およびそのテンプレートのカテゴリを得、これらから前記学習用パターン中の訓練パターンを抽出する訓練パターン抽出段階と
    テンプレート選別手段が、前記学習用パターン記憶手段から、前記抽出された訓練パターンと類似した1つまたは複数の訓練パターンを求め、該類似訓練パターンのカテゴリのうち過半数を占めるカテゴリが存在する場合、前記抽出された訓練パターンをテンプレートとして選別し、テンプレートを前記テンプレート記憶手段に新規に登録するテンプレート選別段階と
    するテンプレート作成方法。
  2. 前記テンプレート選別手段は、前記テンプレート選別段階において、過半数を占めた類似パターンのカテゴリ名を、前記訓練パターンをテンプレートとして登録する際のカテゴリ名決定する、請求項記載のテンプレート作成方法。
  3. 入力パターンと照合されるテンプレートを、学習用パターン中の訓練パターンを用いて作成するテンプレート作成装置であって
    学習用パターンを記憶している学習用パターン記憶手段と、
    各カテゴリ毎の予め作成されているテンプレートを記憶しているテンプレート記憶手段と、
    前記学習用パターン記憶手段から学習用パターンを読出し、前記テンプレート記憶手段からテンプレートを読出し前記読出した学習用パターンに対し所定の前処理を行い、前処理済パターンに対し前記テンプレートとの照合を行って、前記テンプレートに対し高い類似度を示した部分の画像位置およびそのテンプレートのカテゴリを得、これらから前記学習用パターン中の訓練パターンを抽出する訓練パターン抽出手段と
    前記学習用パターン記憶手段から前記抽出された訓練パターンと類似した1つまたは複数の訓練パターンを求め、該類似訓練パターンのカテゴリのうち過半数を占めるカテゴリが存在する場合、前記抽出された訓練パターンをテンプレートとして選別し、テンプレートを前記テンプレート記憶手段に新規に登録するテンプレート選別手段と
    するテンプレート作成装置
  4. 前記テンプレート選別手段は、過半数を占めた類似パターンのカテゴリ名を、前記訓練パターンをテンプレートとして登録する際のカテゴリ名決定する、請求項記載のテンプレート作成装置。
  5. 入力パターンと照合されるテンプレートを、学習用パターン中の、訓練パターンを用いて作成する処理を、コンピュータに実行させるためのテンプレート作成プログラムを記録した記録媒体であって
    学習用パターンを記憶している学習用パターン記憶手段から学習用パターンを読出し、各カテゴリ毎の予め作成されているテンプレートを記憶しているテンプレート記憶手段からテンプレートを読出し前記読出した学習用パターンに対し所定の前処理を行い、前処理済パターンに対し前記テンプレートとの照合を行って、前記テンプレートに対し高い類似度を示した部分の画像位置およびそのテンプレートのカテゴリを得、これらから前記学習用パターン中の訓練パターンを抽出する訓練パターン抽出手順と
    前記学習用パターン記憶手段から前記抽出された訓練パターンと類似した1つまたは複数の訓練パターンを求め、該類似訓練パターンのカテゴリのうち過半数を占めるカテゴリが存在する場合、前記抽出された訓練パターンをテンプレートとして選別し、テンプレートを前記テンプレート記憶手段に新規に登録するテンプレート選別手順と
    をコンピュータに実行させるためのテンプレート作成プログラムを記録した記録媒体
  6. 前記テンプレート選別手順は、前記テンプレート選別段階において、過半数を占めた類似パターンのカテゴリ名を、前記訓練パターンをテンプレートとして登録する際のカテゴリ名決定する、請求項記載の記録媒体。
JP2000042877A 2000-02-21 2000-02-21 テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体 Expired - Fee Related JP3730073B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000042877A JP3730073B2 (ja) 2000-02-21 2000-02-21 テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000042877A JP3730073B2 (ja) 2000-02-21 2000-02-21 テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001236467A JP2001236467A (ja) 2001-08-31
JP3730073B2 true JP3730073B2 (ja) 2005-12-21

Family

ID=18565889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000042877A Expired - Fee Related JP3730073B2 (ja) 2000-02-21 2000-02-21 テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3730073B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645058B2 (ja) * 2004-04-12 2011-03-09 富士ゼロックス株式会社 画像辞書作成装置、符号化装置、画像辞書作成方法及びそのプログラム
JP4788106B2 (ja) * 2004-04-12 2011-10-05 富士ゼロックス株式会社 画像辞書作成装置、符号化装置、画像辞書作成方法及びそのプログラム
JP5082512B2 (ja) * 2007-03-08 2012-11-28 富士ゼロックス株式会社 情報処理装置、画像処理装置、画像符号化装置、情報処理プログラム、画像処理プログラム及び画像符号化プログラム
JP5381166B2 (ja) 2009-03-04 2014-01-08 オムロン株式会社 モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
US8285057B2 (en) * 2010-05-14 2012-10-09 Palo Alto Research Center Incorporated Learning image anchor templates for document classification

Also Published As

Publication number Publication date
JP2001236467A (ja) 2001-08-31

Similar Documents

Publication Publication Date Title
US7031519B2 (en) Orthogonal technology for character recognition
US6778703B1 (en) Form recognition using reference areas
US7650035B2 (en) Optical character recognition based on shape clustering and multiple optical character recognition processes
US20080063278A1 (en) Shape clustering and cluster-level manual identification in post optical character recognition processing
US6834121B2 (en) Apparatus for rough classification of words, method for rough classification of words, and record medium recording a control program thereof
JPH0863546A (ja) 情報抽出方法および画像修復方法並びに画像修復システム
JP2000293626A (ja) 文字認識方法及び装置ならびに記憶媒体
JP4280355B2 (ja) 文字認識装置
JPWO2017141802A1 (ja) 画像処理装置、文字認識装置、画像処理方法及びプログラム記録媒体
CA2601144C (en) Method and system for adaptive recognition of distorted text in computer images
US6941030B2 (en) Character-recognition pre-processing apparatus and method, and program recording medium
JP2000285190A (ja) 帳票識別方法および帳票識別装置および記憶媒体
JP3730073B2 (ja) テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体
JP2008226030A (ja) 単語認識方法および単語認識プログラム
JP3090070B2 (ja) 帳票識別方法及び装置
JP4116688B2 (ja) 辞書学習方法および文字認識装置
JP3930466B2 (ja) 文字認識装置、文字認識プログラム
JPH08287188A (ja) 文字列認識装置
JP4633271B2 (ja) 辞書学習方法及び辞書学習プログラム
JP2002207960A (ja) 認識文字修正方法及び認識文字修正プログラム
JP2003115028A (ja) 帳票識別辞書自動生成方法及び帳票処理システム
JP2993533B2 (ja) 情報処理装置及び文字認識装置
CN116311264A (zh) 一种基于字符轮廓的字符识别方法
JP2002074262A (ja) 認識文字修正方法
JPH11184962A (ja) 光学的文字読取装置、照合修正方法、及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050322

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051005

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091014

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101014

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees