JP3375766B2 - 文字認識装置 - Google Patents

文字認識装置

Info

Publication number
JP3375766B2
JP3375766B2 JP32527194A JP32527194A JP3375766B2 JP 3375766 B2 JP3375766 B2 JP 3375766B2 JP 32527194 A JP32527194 A JP 32527194A JP 32527194 A JP32527194 A JP 32527194A JP 3375766 B2 JP3375766 B2 JP 3375766B2
Authority
JP
Japan
Prior art keywords
word
item
dictionary
character
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32527194A
Other languages
English (en)
Other versions
JPH08185485A (ja
Inventor
磨理子 竹之内
里志 江村
穂 高倉
一郎 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP32527194A priority Critical patent/JP3375766B2/ja
Priority to US08/579,550 priority patent/US5818952A/en
Publication of JPH08185485A publication Critical patent/JPH08185485A/ja
Application granted granted Critical
Publication of JP3375766B2 publication Critical patent/JP3375766B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、文書画像から切り出し
た文字の認識装置に関する。 【0002】 【従来の技術】近年、多量の名刺、手紙、葉書、文献リ
スト等を画像読み取り装置で読み取って資料化、いわゆ
るデータベース化することが行われている。以下、これ
らの用途のための従来の文字認識方法の一例について図
面を参照しながら説明する。図11は、その概略の内容
を示すものである。本図において、S101は文書画像
から認識対象文字の位置を検出し、文字画像を切り出す
文字切り出しステップである。その手法であるが、文書
画像をX軸2、Y軸3方向に正投象し、各文字を構成す
る黒画素の連続性を調べて行若しくは列を切り出す。な
お、この場合、複雑な書面によっては、その文書画像全
体をX軸方向2、Y軸方向3の少なくも一方向に幾つか
に分割した上で正投象し、行若しくは列を求めることも
なされている。この上で、更に各行若しくは列毎に更に
X方向2若しくは、Y方向3に正投象し、黒画素の連続
性を調べて文字を切り出すことが一般的である。 【0003】S102は、文字切り出しステップS10
1で切り出した文字画像を認識辞書と照合し、認識候補
文字を抽出する文字認識ステップである。その手法は、
文字を構成する線の方向、折れ具合等の特徴を辞書と比
較したりする。なお、以上の他、決定木法も採用された
りする。S103は、文字切り出しステップS101で
切り出した認識対象文字の相互の位置を用いて単語を検
出する単語検出ステップである。その手法であるが、日
本語、中国語等いわゆるべた書きの言語では、一応の文
字認識結果をもとになされる形態素解析、最長一致法等
と一体不可分のものとなっている。一方、欧米系の言語
では、単語間の余白の有無が第一の判断基準となってい
る。 【0004】S104は、単語検出ステップS103で
検出した単語をキーワード辞書106と照合し、各単語
を項目に分類する項目分類ステップである。S105
は、項目分類ステップS104で分類した各項目に属す
る単語を、項目に対応する項目別単語辞書107と照合
し、単語を修正する単語修正ステップである。 次に、
以上の主構成の文字認識方法について、以下その動作内
容についてもう少し詳しくかつ具体的に説明する。 【0005】文字切り出しステップS101では、図2
に示す文書画像1から認識対象文字の位置を検出し、文
字画像を切り出す。その結果は、図3に示す文字列L
1,L2…、文字CL1−1,CL1−2,…,CL2
−1,…となる。文字列L4を例にとると、その各文字
の切り出し結果は、図5に示す値となる。次に、文字認
識ステップS102であるが、切り出した文字画像を認
識辞書と照合し、認識候補文字を抽出する。その結果
は、図4に示すようになる。 【0006】単語検出ステップS103では、文字認識
ステップ102の結果をふまえて更に、文字切り出しス
テップS101で切り出した認識対象文字の位置を用い
て単語を検出する。この場合、欧米文の文書画像である
ため、既述のごとく、原則として単語間の余白を利用す
る。しかしながら、認識対象の文書は名刺であり、更に
欧米文では「1」、「I」等の文字は「W」等の文字に
比較して文字巾が狭くなり、この一方で相隣合う文字と
の間隔が広くなる。そのため、この原則をそのまま適用
するのは妥当でない。そこで、以下の規則をも採用す
る。 【0007】各文字列毎に、文字列に属する文字の最大
高さMAX(Hi)を求め、隣合う文字間隔長Diが
(2/3)・MAX(Hi)以上であれば単語の区切り
とする。これにより、図12に示す単語W101,W1
02,…となり、文字列L4は1単語となる。項目分類
ステップS104では、単語検出ステップS103で検
出した単語を図13に示すキーワード辞書106と照合
し、各単語に属する文字数の(2/3)文字以上がキー
ワードと一致すればキーワードの属する項目とする。こ
の結果、各単語は図14に示す項目となる。単語修正ス
テップS105で、項目分類ステップS104で分類し
た各項目に属する単語を、図15に示すような項目に対
応する項目別単語辞書107と照合し、単語を修正す
る。この結果、図16に示す認識結果となる。ただし、
「OTHERS」項目に分類された単語は対応する項目
別単語辞書が存在しないので、認識誤りが修正されな
い。 【0008】なお、漢字文書について、たとえ印刷され
た文字であっても文字認識精度の困難性もあり、経費を
無視しない限り実用化からほど遠いのが実情である。ま
た、ディジタイザーへの入力でなく、L/E変換による
読み取りでは、手書き文字については、たとえ数字やア
ルファベットのみであっても、郵便番号のごとく記載位
置や字体について厳格な制限を設けない限り完全な信頼
性は今一つであるのが実情である。 【0009】 【発明が解決しようとする課題】しかしながら上記のよ
うな文字認識方法では、以下のような問題がある。 (1)文字列内の文字高さを利用して単語の区切りを検
出しているので、文字間隔長及び単語間隔長の狭い文字
列の場合には単語検出ミスを起こし易い。しかも、えて
して名刺、葉書等にかかる文字、単語が多い。 【0010】(2)1単語がキーワード辞書に登録され
ているキーワードに一致するか否かを照合しているの
で、類似あるいは同一のキーワードを持つ項目に分類ミ
スを起こし易い。しかも、えてして名刺、葉書等では地
名や人名を流(使)用した会社名等類似するキーワード
が多い。 (3)キーワード辞書に登録されていないと項目分類で
きない。しかも、えてして名刺、葉書等の記載内容は多
様である。 【0011】(4)キーワード辞書と単語辞書に同様の
データが含まれているため、どうしても辞書サイズが大
きくなる。 本発明は上記問題点に鑑みなされたものであり、文字間
隔長及び単語間隔長が狭い文字列についても精度良く単
語が検出可能、項目分類の自動修正が可能、キーワード
辞書に登録されていない項目についても文字種判定可
能、キーワード辞書と単語辞書の容量削減が可能、文字
切り出しミスあるいは単語検出ミスを許容してキーワー
ド辞書あるいは単語辞書と照合可能な文字認識方法及び
装置を提供することを目的とする。 【0012】次に、手書き文字や漢字についても実用的
なL/E変換による文字認識方法や装置が望まれてい
る。このため本発明はマンマシーンシステムをも使用す
ることにより、手書き文字や漢字に対しても使用可能な
文字認識方法や装置を提供することをも目的とする。 【0013】 【0014】 【0015】 【0016】 【0017】 【0018】 【0019】 【0020】 【0021】 【0022】 【0023】 【0024】 【課題を解決するための手段】上記目的を解決するため
に、請求項の発明においては、文書画像から認識対象
文字の位置を検出して文字画像を切り出す文字切り出し
部と、前記文字切り出し部で切り出した文字画像を認識
辞書と照合し、認識候補文字を抽出する文字認識部と、
前記文字認識部の結果に併せて前記文字切り出し部で切
り出した認識対象文字の位置を用いて単語を検出する単
語検出部と、単語を意味内容の面から特定するのに役立
つ情報たる項目を登録してあるキーワード辞書と、前記
単語検出部で検出した単語をキーワード辞書と照合する
キーワード辞書照合部と、前記キーワード辞書照合部に
て照合できた各単語に一旦意味内容に関係ある情報たる
項目を仮付与する項目仮付与部と、周囲の単語の項目に
合わせて前記項目仮付与部にて仮付与された項目に必要
な修正を施し、前記キーワード照合部にて照合できなか
った各単語に新たに項目を分類する項目分類部と、前記
項目分類部で分類した各項目に属する単語を、項目に対
応する項目別単語辞書と照合して単語に必要な修正を施
す単語修正部とを有し、前記キーワード辞書は、住所と
氏名との単語を含む単語辞書と、住所と氏名との単語以
外の単語を含むキーワード辞書とから構成され、前記項
目別辞書は、前記単語辞書と、住所と氏名との単語以外
の単語を含む項目別単語辞書とから構成され、前記単語
辞書は、予め設定された出現頻度で区分された住所又は
氏名を示す単語が項目別に記載されており、前記キーワ
ード辞書として用いられるときには、出現頻度の大きな
単語とだけ照合され、前記項目別辞書として用いられる
ときには、項目別の単語全体と照合されることを特徴と
している。 【0025】 【0026】 【0027】 【0028】 【0029】 【0030】 【0031】 【0032】 【0033】 【0034】 【作用】請求項の発明においては、以下の作用がなさ
れる。文字切り出し部は、文書画像から認識対象文字の
位置を検出して文字画像を切り出す。文字認識部は、前
記文字切り出し部で切り出した文字画像を認識辞書と照
合し、認識候補文字を抽出する。単語検出部は、前記文
字認識部の結果に併せて前記文字切り出し部で切り出し
た認識対象文字の位置を用いて単語を検出する。キーワ
ード辞書は、単語を意味内容の面から特定するのに役立
つ情報たる項目を登録してある。キーワード辞書照合部
は、前記単語検出部で検出した単語をキーワード辞書と
照合する。項目仮付与部は、前記キーワード辞書照合部
にて照合できた各単語に一旦意味内容に関係ある情報た
る項目を仮付与する。項目分類部は、周囲の単語の項目
に合わせて前記項目仮付与部にて仮付与された項目に必
要な修正を施し、前記キーワード照合部にて照合できな
かった各単語に新たに項目を分類する。単語修正部は、
前記項目分類部で分類した各項目に属する単語を、項目
に対応する項目別単語辞書と照合して単語に必要な修正
を施す。前記キーワード辞書は、住所と氏名との単語を
含む単語辞書と、住所と氏名との単語以外の単語を含む
キーワード辞書とから構成され、前記項目別辞書は、前
記単語辞書と、住所と氏名との単語以外の単語を含む項
目別単語辞書とから構成され、前記単語辞書は、予め設
定された出現頻度で区分された住所又は氏名を示す単語
が項目別に記載されており、前記キーワード辞書として
用いられるときには、出現頻度の大きな単語とだけ照合
され、前記項目別辞書として用いられるときには、項目
別の単語全体と照合されるので、キーワード辞書と項目
別単語辞書とに単語辞書の内容を重複して登録する必要
がない。 【0035】 【実施例】以下、本発明の実施例を図面を参照しながら
説明する。 (第1実施例)図1は、本発明に係る文字認識方法の第
1実施例の概略処理を示すものである。本図において、
S1は、文書画像から認識対象文字の位置を検出し、文
字画像を切り出す文字切り出しステップである。 【0036】S2は、文字切り出しステップS1で切り
出した文字画像を認識辞書と照合し、認識候補文字を抽
出する文字認識ステップである。S3は、文字切り出し
ステップS1で切り出した認識対象文字の位置を用いて
単語を検出する単語検出ステップである。S4は、単語
検出ステップS3で検出した単語を住所・氏名以外キー
ワード辞書6と住所・氏名辞書8からなるキーワード辞
書と照合し、各単語を項目に分類する項目分類ステップ
である。 【0037】S5は、項目分類ステップS4で分類した
各項目に属する単語を、住所・氏名辞書8と住所・氏名
以外項目別単語辞書7からなる項目に対応する項目別単
語辞書と照合し、単語を修正する単語修正ステップであ
る。そして、上記各ステップの処理の原理は、従来技術
と基本的には同じである。このため、以下に本実施例
の、ひいては本発明の固有の構成、内容、手順を主に説
明する。 【0038】従来例と同じく、図2に示す文書画像を用
いてその動作を説明する。文字切り出しステップS1
で、図2に示す文書画像から認識対象文字の位置を検出
し、文字画像を切り出すと、図3に示す文字列L1,L
2…、文字CL1−1,CL1−2,…,CL2−1,
…となる。更に、例えば文字列L4の各文字の切り出し
結果は、図5に示す値となる。 【0039】文字認識ステップ2で文字切り出しステッ
プS1で切り出した文字画像を認識辞書と照合し、認識
候補文字を抽出する。その結果は、図4に示すようにな
る。単語検出ステップS3で、文字認識ステップの結果
に併せて文字切り出しステップ1で切り出した認識対象
文字の位置を用いて単語を検出する。同一文字列内の認
識対象文字のX軸方向の開始・終了位置Xsi・Xei
から隣合う認識対象文字の文字間隔長Di=Xs(i+
1)−Xeiのヒストグラム(histogram,柱状図表)を
求め、ヒストグラムにおける文字間隔長の小さい値から
の第1ピークが終了する文字間隔長を単語区切りと見な
す文字間隔長の閾値Tとし、Di>Tが成立する文字C
iを単語の区切り文字とする。ここに、Di は、図2に
示す文字列がアルファベットであるため、各列における
X軸方向の黒画素の連続性を調べることにより容易求め
られる。なお、ヨーロッパ語族で使用されるギリシャ文
字、アルファベット及びアラビア(正確には、インド)
数字には、漢字の「川」、平仮名の「い」のごとく水平
に分離した文字は存在しないため、このような単純な処
理で充分である。 【0040】次に、Di の規格化、あるいはヒストグラ
ムを作成する際の柱の太さの範囲分けであるが、印刷さ
れたアルファベット及びアラビア数字では、「I」や
「1」の存在のため、文字間隔に多少のバラツキが生じ
る。しかし、文字の種類が限定されるため、文字間隔の
バラツキは組合せが少なく、ひいては平均文字高さの
0.1倍まで、0.1倍以上0.15倍まで、0.15
倍以上0.2倍まで等容易に規格化することが可能とな
る。本実施例では名刺を対象としているため、文字間隔
が書籍に比較して大きく、このため規格化にあたっての
範囲は比較的大きくしている。従って、ヒストグラムの
作成はDi についての規格化を行った後、各規格化の範
囲毎に該当する文字数で定まる高さを求めて作成するこ
ととなる。この手順を図17に示す。 【0041】図5に、切り出し結果を示した文字列L4
について文字間隔長Di のヒストグラムを求める。その
結果は、図6に示すようになり、文字間隔長の小さい値
からの第1ピークの終了値「4」が単語区切りと見なす
文字間隔長の閾値Tの値となり、Di >Tが成立する認
識対象文字CL4−3とCL4−12が単語の区切り文
字となる。なお、この際の第1ピークの終了するiの値
を求める際の手順(アルゴリズム)を図18の(1)に
示す。本図において、NHi は文字間隔長がD i である
文字の個数を示す。そして、ステップa1〜a3は文字
間隔長の第1のピークの山を捜し出すためのものであ
り、同じくa4〜a6は第1のピークの終了値を捜し出
すためのものである。上記アルゴリズムにおいて、例え
ば図18の(2)、同(3)に示すようなヒストグラム
では、矢印部が第1のピークの山と判断される。同じ
く、図17の(4)、同(5)、同(6)に示すような
ヒストグラムでは、矢印部が単語仕切り位置と判断され
る。 【0042】更に、文字コード「,」、
「−」、「:」、「;」、「/」、「)」等を認識候補
文字に持つ認識対象文字を単語の区切り文字と見なし、
単語を検出する。文字列L4では、認識対象文字CL4
−8が単語の区切り文字となる。図2に示す文書画像か
ら全ての単語を検出すると、図7に示す単語W1,W
2,…となる。図8に、キーワード辞書及び項目別単語
辞書を構成する住所・氏名以外キーワード辞書6と、住
所・氏名辞書8と、住所・氏名辞書以外項目別単語辞書
7を示す。住所・氏名辞書8の氏名辞書は、予め設定さ
れた単語の出現頻度を示す識別子「頻度α」及び「頻度
β」で区切られている。また、住所・氏名辞書8の住所
辞書は、州名及び各州の市名を文字数毎に分けて作成し
ている。キーワード辞書のキーワード及び項目別単語辞
書の単語は全て小文字で構成され、認識候補文字の大文
字は小文字に置き換えられて照合される。なお、ここで
キーワード辞書、項目別単語辞書等は文字認識の対象と
なっている文書の種類、内容に応じて作成され、更に文
書の種類、内容に応じて換装可能となっている。ただ
し、換装のための構成等は、いわば周知の技術であるた
め、わざわざの説明は省略する。 【0043】項目分類ステップS4で、単語検出ステッ
プS3で検出した単語をキーワード辞書と照合し、照合
できた各単語に一旦項目を付与する。住所・氏名以外キ
ーワード辞書6のキーワードと、住所・氏名辞書8の氏
名辞書のうち識別子「頻度α」及び「頻度β」で区切ら
れた頻度の高い氏名からなるキーワードと、住所・氏名
辞書8の住所辞書のうち州名からなるキーワードと、検
出した各単語の認識候補文字を全て小文字に置き換えて
照合し、各単語に属する文字の第3位までの認識候補文
字がキーワードと一致すればキーワードの属する項目と
すると、図7に示す各単語は図9のキーワード辞書照合
欄に示す項目となる。 【0044】更に、項目分類ステップS4では、周囲の
単語の項目に合わせて、以下に示す一連のルールに照ら
し合わせて一旦付与された項目を修正する。 (1)同一文字列内の単語で「SECTION」項目と
「TITLE」項目が隣合えば両方の単語を「TITL
E」項目とする。 (2)「STREET」項目の単語の左隣りの単語に項
目が分類されていなければ「STREET」項目とす
る。 【0045】(3)「STATE」項目の単語の左隣り
の単語に項目が分類されていなければ「CITY」項目
とする。 (4)「STATE」項目の単語の右隣りの単語に項目
が分類されていなければ単語内の文字数を計数し、5文
字であれば更に各文字の第1位認識候補文字の数字文字
種を計数し、3文字以上数字であれば「ZIP」(郵便
番号)項目とする。 【0046】(5)同一文字列内で隣合う3単語に項目
が分類されていなければ単語内の文字数を計数し、左の
単語が3〜5文字かつ中の単語が3〜4文字かつ右の単
語が4文字で、各々の単語第1候補文字の文字種の5割
以上が数字であれば「TEL」(電話番号)項目とす
る。上記のルールに照らし合わせて図9のキーワード照
合欄に示す項目を修正すると、図9の項目修正欄に示す
項目となる。 【0047】単語修正ステップS5で、項目分類ステッ
プS4で分類した各項目に属する単語を、項目に対応す
る項目別単語辞書と照合し、単語を修正する。住所・氏
名以外項目別単語辞書7の単語と、住所・氏名辞書8の
全単語と、検出した各単語の認識候補文字を全て小文字
に置き換えて各項目別に照合し、各単語に属する文字の
第3位までの認識候補文字が単語と一致すれば認識結果
を修正する。図7に示す各単語を図9の項目修正欄に示
す項目の単語辞書と照合して認識候補文字を修正する
と、図10に示す認識結果となる。 【0048】 【0049】なお、本実施例では認識対象の言語、文字
が英文、アルファベットであったため、文字列は横一列
であったが、平仮名等和文であれば、文字列は縦に切り
出されたりするのは勿論である。また、本実施例では決
定木法を採用していないが、決定木による文字認識につ
いては、別途本願出願人が特願平5−68586号「決
定木型文字認識装置」李榮隆 発明等にて公開している
周知技術であるため、その説明は省略する。 (第2実施例)本発明の第2実施例は、日本語で記載さ
れた名刺の文字を読み取っていわゆるデータベース化す
るものである。既述のごとく、L/E変換での漢字の読
み取りは、文字数が多い上に図形として複雑であるた
め、経費を無視しない限り実用性、信頼性に今一つであ
るのが現状である。しかしながら、名刺であるならば、 (1)会社名、役職名、姓名等単語の記載される位置は
大体定まっている。更に、単語間には多少の隙間が設け
られており、図形の面から単語を切り出すのが容易なこ
とが多い。そして、漢字ではないが、郵便番号、電話番
号、ファクス番号も同様である。 【0050】(2)会社名、姓名等は大きな形状の文字
とされ、電話番号は小さい形状の数字とされる等、記載
項目によって記載される文字の形状等が大体定まってい
る。また、この面からも単語の切出しが容易である。 (3)横書きならば姓名の前に、縦書きならば姓名の上
に役職名が記載される、郵便番号は住所の左(上)方
等、記載される項目相互の位置関係も大体定まってい
る。 【0051】(4)太字体等特殊な字体かつ形状が大き
く、しかも色彩が付されておれば、会社名か製品名等、
その他にも記載項目を分類等するのに役立つ一般的な規
則が幾つか存在する。 (5)項目が定まれば、認識対象の文字、単語が大きく
限定される。例えば、役職名であるならば、「部長」、
「課長」、「主任」等であり、資格であるならば、「弁
護士」、「弁理士」、「工学博士」等であり、住所であ
るならば「市」、「町」等がつく、企業名であるならば
「株式会社」、「会社」等がつく。しかもこの際、
「長」、「主」、「市」、「士」等比較的認識が容易と
なる文字が含まれていることが多い上に、記載位置もほ
ぼ定まっている。例えば「主」なら最上(左)位、
「長」なら最下(右)位である。更に、この場合、役職
名ならばせいぜい3字まで等単語の内容と文字数にも関
係がある。 【0052】(6)電話番号、郵便番号等が記載されて
いるのが普通であるが、今日印刷された数字の読み取り
は特に困難はない。また、数字の前の郵便記号、数字列
中の「(」、「)」、「−」及び数字の桁数も項目の分
類、番地等の数字と区分けしての認識に役立つ。次に、
特に在日外国人の場合、仮名文字やアルファベットも使
用されることが多いが、これも同様である。更に、アル
ファベットが使用されるのは、会社名や姓名に多い。 【0053】(7)我国では、姓は多数存在するが、そ
れでも「上田「、「田中」、「佐藤」、「鈴木」、「吉
田」等100以下の姓がほとんどを占める。しかも、そ
の姓を構成する文字は、「田」、「中」、「木」等認識
が比較的簡単な漢字が多い上に、上記100姓名の多く
に重複して使用されている。韓国では、「金」等4つの
姓が90%を占める。名についても、「子」、「知」、
「智」、「郎」、「夫」等極く少数かつ簡単な漢字が多
く使用される。 【0054】(8)人の姓の文字数は通常2以内、多く
ても3であり、4以上はまれである。名についても、通
常3以内、多くても4以内である。このため、記載位置
や形状や字体等とあいまって、字数をも考慮すれば名刺
等の姓名を見出すのはより容易となる。そして、「姓」
と「名」におけるこれらの傾向は企業名等にも存在す
る。 【0055】(9)住所は、名刺の場合にはほとんどが
「東京」、「大阪」等極く少数の大都市、しかも所在す
る「区」も「中央区」等限定されるだけでなく、極く近
くに記載されている、そして認識精度の高い郵便番号、
電話番号の記載から確認することが可能である。しか
も、地名の記載順序も上位概念(広範囲)順となってい
る。 【0056】(10)認識対象の漢字は、都市名、役職
名、人名等で共通するものが多数存在する。以上を総合
すると、 (1)図形としての単語の配置や配列あるいは色彩や形
状上の特徴、単語を構成する文字数、他の単語との図形
的な関係等に一定の規則があり、これから単語の意味内
容を分類することが可能である。 【0057】(2)意味内容が分類されれば、第1に認
識すべき文字や単語も大きく絞られてくる。第2に、他
の単語等から認識すべき文字の確認や絞り込みや必要な
修正を行なうことが可能である。 (3)照合用の文字辞書、単語辞書も意味内容に応じて
区分けして作成したり、更には照合に使用される頻度を
考慮してデータを配列したり、共有したりし得、これに
より検索、照合の高速化と辞書に要する記憶資源の節約
が図れる。 【0058】なお、以上のことは、定期券、運転免許証
等の身分証明証や会員証、特許証を含む表彰状、定価
表、卒業名簿、各種の業務用の郵便葉書や医療検査報告
書や発注伝票や納品書等にも見受けられる。更には、月
日は最上位等新聞にも見受けられる。また、外国人の名
刺等でも見出される規則(法則)である。ただし、外国
人の名刺等では、名が姓より先に記載されている、縦書
きはまず存在しない、会社名も人名と同じ大きさの文字
であることが多い、等多少の規則の相違があるのは勿論
である。 【0059】ところで、これらの書類を機械のみで完全
にデータベース化するのは現状では困難であるが、上記
特徴をふまえた上で文字認識等行うようにすれば、認識
対象の文字や単語が大幅に限定されるだけでなく、記載
位置や他の文字からの情報も得られるため、認識率が向
上し、大幅に人の作業を減少させることが可能となる。 【0060】すなわち、例えば多数の人の名刺をデータ
ベース化する場合、読み込んだ名刺に相当する画像をC
RTに表示させる。ここに、「相当する画像」とは、名
刺中の文字の配列、位置関係はそのままであるが、文字
認識に成功した文字はあらかじめ用意してある文字フォ
ントを使用した活字体として表示し、文字形状が複雑あ
るいは項目分類に応じての登録等なされていないこと等
のため、認識率の低いと予想される漢字、認識不能の漢
字等はその部分を白い四角線の枠で囲んで表示する、あ
るいは反転表示させる。その表示を見て、人が肉眼で本
物の名刺と照合しつつ確認を行い、反転表示等された部
分の誤りはキーボード入力等により訂正する。 【0061】これにより、全てを人手で入力するのに比
較して大幅に作業が簡易化される。この際、名刺なら
ば、住所等小さい文字はCRT上では比較的大きく表示
するようにすると、人による確認の効率化が図られる。
また、「人名」等の分類項目も併せて表示するようにす
れば、データベース化の一層の効率も図られる。図19
に、本実施例における漢字認識の際の処理の流れを示
す。本図において、一番最後の「漢字認識終了」のステ
ップは、読み取りの対処とする文書、書類の内容如何に
よっては、アルファベット等読み取り精度の高い文字の
認識結果を反映しての必要な修正をも含むのは勿論であ
る。 【0062】図20に、名刺を対象とした姓名、役職
(ケースにより資格も含む)の読み取り及び認識の際の
処理の流れを示す。図21に、同じく、名刺を対象とし
た住所の認識の際の処理の流れを示す。なお、本図にお
いて、「郵便番号、電話番号等認識」のステップは、逆
に郵便番号、電話番号等の認識の際には、「念のため読
み取った上認識した漢字の都市名等の記載との照合」と
いう内容のステップとなる。 【0063】図22に、読み取り、一応認識した名刺の
人による確認の上でのデータベース化の際の処理の流れ
を示す。なお、本図において、「多数の名刺を一枚毎に
読み込む」というステップは、名刺一枚、一枚を認識し
て読み込むという意味であり、これがなされるならば、
数枚をA4の紙に並べてコピーしてL/E変換では一度
に読み込むことを排除するものではない。 【0064】また「認識結果をCRTに表示、この際、
認識率の低い漢字、登録されていない漢字は白枠で囲
む」ステップは、他の態様でもよいのは勿論である。た
とえば、人による参照、確認に使用するため、CRTの
右半分にかかる表示をし、左半分には読み取ったままの
図形としての名刺を表示するようにしてもよい。 【0065】なお、本実施例が前提としている漢字文書
の認識については、例えば、別途本願出願人が特願平6
−57364号「文字認識装置」 高倉 穂 他3名発
明、特願平6−57362号「文字認識装置および文字
認識方法」 江村 里志 他3名発明、特願昭63−3
12288号「文字認識方法」 竹之内 磨理子 他1
名発明 等にて開示されているいわば周知の技術である
ため、その説明については省略する。また、認識した文
字を基になされる単語の切出しについては、形態素解
析、最長一致法等も採用されるが、これも周知の技術で
あるため、その説明は省略する。 【0066】なお、文字列ルール及び項目毎の単語辞書
は、認識対象の書類の種類に応じて作成されているが、
これは別途ディスク等に記憶されているものを処理対象
の書類に応じて、必要なものに取り換えるようにしても
よいし、使用者が一々作成してもよい。例えば、納品票
や発注伝票にあっては、キーワード、単語辞書の内容
は、使用者が自己の業務に係る商品名、役務名を入力す
ることとなろう。また、文字列ルールとしては、商品等
の記載位置は掛線等により認識される。更に、商品の個
数を示す数字等と郵便番号等の数字区別は、郵便記号、
記載位置や桁数でなされよう。 【0067】次に、本実施例では漢字認識を例にとった
が、この思想そのものは手書きのアルファベット文書の
認識にも利用しえるのは勿論である。なお、この際、単
語の切り出しは第1実施例と同じくヒストグラムのピー
ク等が利用されるのも勿論である。以上、本発明を実施
例にもとづいて説明してきたが、本発明は何も上記実施
例に限定されないのは勿論である。すなわち、以上のよ
うなものも本発明に包含される。 【0068】(1)製造等の都合で、本発明の必要不可
欠の構成要素(要件、事項、ステップ)を2つに分けて
いる、複数の事項を1のものとしている、あるいは適宜
これらを組み合わせている。あるいは、文書画像から認
識対象文字の位置を検出して文字画像を切り出す文字切
り出しステップと該ステップで切り出した文字画像を認
識辞書と照合して候補文字を抽出する文字認識ステップ
と間に、前者のステップでL/E変換機で切り出した文
字を一旦フロッピーディスク等に記憶させた上L/E変
換機と別体の文字認識装置に読み出させる等他のステッ
プが介在している。 【0069】(2)文字認識の対象は、氏名、役職、生
年月日、住所、勤務先等の記載された企業の従業員名簿
や大学の卒業者名簿等名刺以外のものとしている。ま
た、これにあわせて、単語等の記載位置、項目分類、認
識対象漢字の追加や変更を可能としている。更に、「平
成」、「昭和」、「大正」、「明治」が各々「平」、
「昭」、「大」、「明」や「H」、「S」、「T」、
「M」とされる等これらにあわせての参照文字数も変更
可能としている。更に、「大正」に「16」年以降はな
い等所定の数字情報を漢字認識の確認や修正に使用する
ようにしている。 【0070】なお、「文字列」とは1字のみをも含み、
単語とは郵便記号や姓の「金」のごとく一字のみのもの
をも含む。 (3)認識対象の文字は、日本語、英語に限定されず、
ドイツ文字、ハングル文字等としている。更に、これに
併せて項目分類やキーワードの内容が例えばドイツの都
市名等としている。更にまた、記載順序もこれに併せて
必要な変更がなされている。 【0071】(4)近年、名刺には企業の商品名、登録
された図形、商標、本人の写真等をも記載することが多
い。このため、これらについては、記載位置やビットマ
ップデータとしての大きさからこれと認識して、文字認
識の対象外とするプログラムが組み込まれている。 (5)名刺における企業名等重要な項目については、
赤、青等の色彩が付されていることも多い。このため、
項目分類に色彩をも参照するようにしている。字体につ
いても同様である。更に、名刺であるが、米国において
は、企業名も大きな文字で目立つ位置に記載されている
等国情をも考慮している。 【0072】(6)既述のごとく、L/E変換で読み取
った場合には、現状では、たとえアルファベット等であ
っても手書き文字に対しては文字認識率は完全とはいい
難い。特に漢字がそうである。しかしながら、将来手書
き文字に対する文字認識率が向上したときに、手書き文
字に対して本発明を採用する。あるいは、また、本発明
の趣旨をその向上の一環として使用する。これにより、
発注伝票、注文書の処理も可能となる。また、このた
め、切り出した文字からの候補文字の抽出は、認識辞書
との照合、決定木法等以外のもの、将来開発されえる手
法としている。 【0073】(7)形状が簡単である等のため文字認識
の精度が高い文字は、たとえ漢字であってもこれを単語
認識に重み付けをして使用する。具体的には、「二」、
「三」等である。 (8)現存の文字認識装置に、本発明に係るプログラム
を記憶させたり、必要な改造を行ったりして、本発明に
係る作用、効果を備えさせる。 【0074】 【0075】 【0076】 【0077】また、項目分類ステップで単語をキーワー
ド辞書と照合する際又は単語修正ステップで単語を単語
辞書と照合する際に、隣合う複数個の単語を結合した場
合についてもキーワード辞書又は単語辞書と照合するこ
とにより、たとえ文字切り出しミスあるいは単語検出ミ
スがあってもキーワード辞書あるいは単語辞書と照合可
能となる。 【0078】また、項目分類ステップで単語をキーワー
ド辞書と照合する際又は単語修正ステップで単語を単語
辞書と照合する際に、特定の単語については、その単語
の文字数とキーワード辞書又は単語辞書のデータの文字
数とを比較し、文字数の多い方の単語又はキーワード辞
書及び単語辞書のデータの構成文字を削除して照合する
ことにより、たとえ文字切り出しミスあるいは単語検出
ミスがあってもキーワード辞書あるいは単語辞書と照合
可能となる。 【0079】 【発明の効果】以上説明してきたように、本発明は、
所と氏名との単語を項目別に登録した単語辞書内のデー
タを出現頻度で区分し、単語辞書の一部をキーワード辞
書と共用することにより、キーワード辞書と単語辞書の
容量を削減することが可能となる。また照合速度も向上
する。
【図面の簡単な説明】 【図1】本発明に係る文字認識方法の第1実施例の概略
処理図である。 【図2】上記実施例における認識対象として入力された
画像の説明図である。 【図3】上記実施例における、そして図2に示す入力画
像の文字切り出し結果の様子を示す図である。 【図4】同じく、認識候補文字の抽出結果の様子を示す
図である。 【図5】同じく、入力画像の第4文字列の文字切り出し
結果の様子を示す図である。 【図6】同じく、単語検出方法に使用するヒストグラム
の様子を示す図である。 【図7】同じく、単語検出結果の様子を示す図である。 【図8】上記実施例におけるキーワード辞書と項目別単
語辞書の内容の一部を示した図である。 【図9】上記実施例における入力された画像中の文字、
単語の項目分類方法の図である。 【図10】上記実施例における入力された画像を中の文
字、単語に対する最終認識結果を示す図である。 【図11】従来の文字認識方法の処理の概略を示す図で
ある。 【図12】従来の文字認識方法による単語検出結果の一
例を示す図である。 【図13】従来の文字認識方法に使用するキーワード辞
書の内容の一部を示した図である。 【図14】従来の文字認識方法における項目分類結果の
様子を示す図である。 【図15】従来の文字認識方法に使用する項目別単語辞
書の内容を示す図である。 【図16】従来の文字認識方法における最終認識結果の
様子を示す図である。 【図17】第1実施例におけるDi の規格化を行う際の
流れ図である。 【図18】第1実施例において、文字間隔のヒストグラ
ムを作成する際の流れ図である。 【図19】本発明の第2実施例の漢字認識の際の流れ図
である。 【図20】上記実施例において、姓名、役職の認識の際
の流れ図である。 【図21】上記実施例において、住所の認識の際の流れ
図である。 【図22】上記実施例におけるマン・マシーンシステム
の流れ図である。 【符号の説明】 S1 文字切り出しステップ S2 文字認識ステップ S3 単語検出ステップ S4 項目分類ステップ S5 単語修正ステップ 6 住所・氏名以外キーワード辞書 7 住所・氏名以外項目別単語辞書 8 住所・氏名辞書
フロントページの続き (72)発明者 中尾 一郎 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平5−20505(JP,A) 特開 平2−56086(JP,A) 特開 平3−142694(JP,A) 特開 平2−148474(JP,A) 特開 平3−42790(JP,A) 特開 平2−240788(JP,A) 特開 平7−28929(JP,A) 特開 昭63−153689(JP,A) 特開 昭59−47641(JP,A) 特開 昭57−137976(JP,A) 特開 昭60−233782(JP,A) 特開 昭63−282586(JP,A) 特開 平2−240787(JP,A) 特開 昭59−103177(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06K 9/00 - 9/82

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 文書画像から認識対象文字の位置を検出
    して文字画像を切り出す文字切り出し部と、 前記文字切り出し部で切り出した文字画像を認識辞書と
    照合し、認識候補文字を抽出する文字認識部と、 前記文字認識部の結果に併せて前記文字切り出し部で切
    り出した認識対象文字の位置を用いて単語を検出する単
    語検出部と、 単語を意味内容の面から特定するのに役立つ情報たる項
    目を登録してあるキーワード辞書と、 前記単語検出部で検出した単語をキーワード辞書と照合
    するキーワード辞書照合部と、 前記キーワード辞書照合部にて照合できた各単語に一旦
    意味内容に関係ある情報たる項目を仮付与する項目仮付
    与部と、 周囲の単語の項目に合わせて前記項目仮付与部にて仮付
    与された項目に必要な修正を施し、前記キーワード照合
    部にて照合できなかった各単語に新たに項目を分類する
    項目分類部と、 前記項目分類部で分類した各項目に属する単語を、項目
    に対応する項目別単語辞書と照合して単語に必要な修正
    を施す単語修正部とを有し、 前記キーワード辞書は、住所と氏名との単語を含む単語
    辞書と、住所と氏名との単語以外の単語を含むキーワー
    ド辞書とから構成され、 前記項目別辞書は、前記単語辞書と、住所と氏名との単
    語以外の単語を含む項目別単語辞書とから構成され、 前記単語辞書は、予め設定された出現頻度で区分された
    住所又は氏名を示す単語が項目別に記載されており、 前記キーワード辞書として用いられるときには、出現頻
    度の大きな単語とだけ照合され、 前記項目別辞書として用いられるときには、項目別の単
    語全体と照合される ことを特徴とする文字認識装置。
JP32527194A 1994-12-27 1994-12-27 文字認識装置 Expired - Lifetime JP3375766B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP32527194A JP3375766B2 (ja) 1994-12-27 1994-12-27 文字認識装置
US08/579,550 US5818952A (en) 1994-12-27 1995-12-27 Apparatus for assigning categories to words in a documents for databases

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32527194A JP3375766B2 (ja) 1994-12-27 1994-12-27 文字認識装置

Publications (2)

Publication Number Publication Date
JPH08185485A JPH08185485A (ja) 1996-07-16
JP3375766B2 true JP3375766B2 (ja) 2003-02-10

Family

ID=18174953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32527194A Expired - Lifetime JP3375766B2 (ja) 1994-12-27 1994-12-27 文字認識装置

Country Status (2)

Country Link
US (1) US5818952A (ja)
JP (1) JP3375766B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973944B2 (ja) * 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
US6137863A (en) * 1996-12-13 2000-10-24 At&T Corp. Statistical database correction of alphanumeric account numbers for speech recognition and touch-tone recognition
US6137911A (en) * 1997-06-16 2000-10-24 The Dialog Corporation Plc Test classification system and method
US6154579A (en) * 1997-08-11 2000-11-28 At&T Corp. Confusion matrix based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
US5930393A (en) * 1997-08-11 1999-07-27 Lucent Technologies Inc. Method and apparatus for enhancing degraded document images
US6219453B1 (en) 1997-08-11 2001-04-17 At&T Corp. Method and apparatus for performing an automatic correction of misrecognized words produced by an optical character recognition technique by using a Hidden Markov Model based algorithm
US6205428B1 (en) 1997-11-20 2001-03-20 At&T Corp. Confusion set-base method and apparatus for pruning a predetermined arrangement of indexed identifiers
US6208965B1 (en) 1997-11-20 2001-03-27 At&T Corp. Method and apparatus for performing a name acquisition based on speech recognition
US6223158B1 (en) 1998-02-04 2001-04-24 At&T Corporation Statistical option generator for alpha-numeric pre-database speech recognition correction
US6205261B1 (en) * 1998-02-05 2001-03-20 At&T Corp. Confusion set based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
US6269188B1 (en) * 1998-03-12 2001-07-31 Canon Kabushiki Kaisha Word grouping accuracy value generation
US6266445B1 (en) * 1998-03-13 2001-07-24 Canon Kabushiki Kaisha Classification-driven thresholding of a normalized grayscale image
US6243501B1 (en) 1998-05-20 2001-06-05 Canon Kabushiki Kaisha Adaptive recognition of documents using layout attributes
US7031925B1 (en) 1998-06-15 2006-04-18 At&T Corp. Method and apparatus for creating customer specific dynamic grammars
US6400805B1 (en) 1998-06-15 2002-06-04 At&T Corp. Statistical database correction of alphanumeric identifiers for speech recognition and touch-tone recognition
US7937260B1 (en) * 1998-06-15 2011-05-03 At&T Intellectual Property Ii, L.P. Concise dynamic grammars using N-best selection
DE19933984C2 (de) * 1999-07-20 2001-05-31 Siemens Ag Verfahren zur Bildung und/oder Aktualisierung von Wörterbüchern zum automatischen Adreßlesen
US6738496B1 (en) 1999-11-01 2004-05-18 Lockheed Martin Corporation Real time binarization of gray images
GB0004578D0 (en) * 2000-02-25 2000-04-19 Xrefer Com Limited Automated data cross-referencing method
US7139755B2 (en) 2001-11-06 2006-11-21 Thomson Scientific Inc. Method and apparatus for providing comprehensive search results in response to user queries entered over a computer network
JP4597644B2 (ja) * 2003-11-28 2010-12-15 シャープ株式会社 文字認識装置、プログラムおよび記録媒体
JP2008503796A (ja) * 2003-12-31 2008-02-07 トムソン グローバル リソーシーズ 最初のクエリによって規定されたバウンダリーを越えて検索結果を拡張するためのシステム、方法、インターフェース、およびソフトウェア
US8805803B2 (en) * 2004-08-12 2014-08-12 Hewlett-Packard Development Company, L.P. Index extraction from documents
JP2006065477A (ja) * 2004-08-25 2006-03-09 Fuji Xerox Co Ltd 文字認識装置
EP1796008A1 (fr) * 2005-12-08 2007-06-13 Alcatel Lucent Procédé pour extraire automatiquement des données de carte de visite, parmi les données d'un fichier électronique
JP4800144B2 (ja) * 2006-08-08 2011-10-26 シャープ株式会社 文字列判定装置、文字列判定方法、文字列判定プログラムおよびコンピュータ読み取り可能な記録媒体
JP4672692B2 (ja) * 2007-03-14 2011-04-20 株式会社東芝 単語認識システムおよび単語認識プログラム
JP5075997B2 (ja) 2011-03-30 2012-11-21 株式会社東芝 電子機器、プログラムおよび文字列認識方法
US20130117012A1 (en) * 2011-11-03 2013-05-09 Microsoft Corporation Knowledge based parsing
US8831969B1 (en) * 2013-10-02 2014-09-09 Linkedin Corporation System and method for determining users working for the same employers in a social network
JP6773400B2 (ja) * 2014-09-30 2020-10-21 メディア株式会社 帳票認識装置、帳票認識システム、帳票認識システムのプログラム、帳票認識システムの制御方法、帳票認識システムプログラムを搭載した記録媒体
WO2016092677A1 (ja) * 2014-12-11 2016-06-16 株式会社日立製作所 モジュール分割支援装置、方法、及びプログラム
JP6582464B2 (ja) * 2015-03-17 2019-10-02 大日本印刷株式会社 情報入力装置、およびプログラム
JP6480985B2 (ja) * 2017-07-03 2019-03-13 ファナック株式会社 Ncプログラム変換装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57137976A (en) * 1981-02-18 1982-08-25 Nec Corp Zip code discriminating device
US5050218A (en) * 1986-08-26 1991-09-17 Nec Corporation Apparatus for recognizing address appearing on mail article
JPH069053B2 (ja) * 1986-08-26 1994-02-02 日本電気株式会社 住所辞書照合装置
JPS63158678A (ja) * 1986-12-23 1988-07-01 Sharp Corp 単語間スペ−ス検出方法
US5410611A (en) * 1993-12-17 1995-04-25 Xerox Corporation Method for identifying word bounding boxes in text

Also Published As

Publication number Publication date
JPH08185485A (ja) 1996-07-16
US5818952A (en) 1998-10-06

Similar Documents

Publication Publication Date Title
JP3375766B2 (ja) 文字認識装置
Al-Ohali et al. Databases for recognition of handwritten Arabic cheques
JP3452774B2 (ja) 文字認識方法
Alaei et al. Dataset and ground truth for handwritten text in four different scripts
US8340425B2 (en) Optical character recognition with two-pass zoning
JPH07185473A (ja) ビデオコーティング装置
Dongre et al. Development of comprehensive devnagari numeral and character database for offline handwritten character recognition
JPH03161891A (ja) 表形式文書読取装置
Lehal Choice of recognizable units for Urdu OCR
Nagy Disruptive developments in document recognition
Kaur et al. Benchmark dataset: offline handwritten gurmukhi city names for postal automation
Bataineh A Printed PAW Image Database of Arabic Language for Document Analysis and Recognition.
Belaid et al. Part-of-speech tagging for table of contents recognition
JPH08263587A (ja) 文書入力方法および文書入力装置
JP3142986B2 (ja) 文書情報検索装置
US11183191B2 (en) Information processing apparatus and non-transitory computer readable medium
Gutehrlé et al. Logical Layout Analysis Applied to Historical Newspapers
JPH1011443A (ja) 文書符号検査システム
JPH07114619A (ja) 文書認識装置
JP3162552B2 (ja) 郵便物あて名認識装置及びあて名認識方法
JP4101345B2 (ja) 文字認識装置
Algaradi et al. The trend of segmentation for Arabic handwritten touching characters
Puri et al. Sentence detection and extraction in machine printed imaged document using matching technique
JPH10134141A (ja) 文書照合装置および方法
Mahmood et al. A performance comparison of segmentation techniques for the Urdu text

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071129

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081129

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091129

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091129

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101129

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111129

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121129

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121129

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131129

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term