JPH10240865A - 手書き文字認識のための筆順処理方法及び手書き文字認識装置 - Google Patents
手書き文字認識のための筆順処理方法及び手書き文字認識装置Info
- Publication number
- JPH10240865A JPH10240865A JP9058608A JP5860897A JPH10240865A JP H10240865 A JPH10240865 A JP H10240865A JP 9058608 A JP9058608 A JP 9058608A JP 5860897 A JP5860897 A JP 5860897A JP H10240865 A JPH10240865 A JP H10240865A
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- character
- handwritten
- handwritten character
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Discrimination (AREA)
Abstract
ことができるようにする。 【解決手段】 第1の仮想スクリーン10に手書き文字
が、第2の仮想スクリーン11に標準文字が、それぞれ
表示されたとし、それぞれのストロークの中点同士を仮
想線イ,ロ,ハによって仮想的に結び、仮想線イ,ロ,
ハを2本づつ組み合わせ、その組み合わせにおける仮想
線と、その端部を仮想的に結んだ線とによって生ずる各
四辺形の内角の和を算出し、当該四辺形の和が360度
より充分小さいものについては、筆順の誤りがあるとし
て、当該仮想線の標準文字側の2つのストロークについ
て、その筆順のデータを入れ替えて、手書き文字の筆順
の誤りを標準文字に転嫁して、その後の、手書き文字認
識ができるようにしている。
Description
に係り、特に、誤った筆順で入力された文字の認識を可
能とするための、手書き文字認識における筆順処理方法
及びその装置に関する。
えば、手書き文字の各ストロークの形状が認識対象とな
る文字によって、それぞれ異なり、基本的なパターンに
分類することができる点に着目し、標準文字の各ストロ
ークの形状と、認識対象となる手書き文字の各ストロー
クの形状との比較判断により文字の判定を行うようにし
たいわゆるストロークマッチングと称されるものや、近
年においては、従来から提案されている種々の手法に、
いわゆるニューラル・ネットの概念を導入し、より認識
率の向上を試みようとしたもの等種々提案されており、
さらには、実用化されているものも種々ある。
の認識において、認識対象である手書き文字が常に、正
しい筆順のものとは限らず、文字認識方法が筆順も考慮
するようなものである場合には、誤った筆順で書かれた
手書き文字の筆順を如何に処理するかが高い認識率を得
る上で重要な観点となる。本願発明者は、従来の手書き
文字認識技術を比較検討するなかで、従来にはない新し
い観点に基づいた高い認識率を得ることのできる手書き
文字認識方法及びその装置を発明するに至り、既に出願
を行ったが、この手書き文字認識方法は、手書き文字の
筆順が正しいとの前提の下で当初の効果を発揮するもの
であった。しかしながら、先にも述べたように、現実に
は手書き文字の筆順が正しくないことも多く、実用性の
高い手書き文字認識方法とするためには、手書き文字の
筆順が正しくない場合にあっても認識可能とすることが
必要である。そこで、本願発明者は、鋭意研究の結果、
誤った筆順の手書き文字に対しても手書き文字の認識を
可能とする手書き文字認識のための筆順処理方法及び手
書き文字認識装置を発明するに至ったものである。
で、誤った筆順の手書き文字を認識可能とするための手
書き文字認識のための筆順処理方法及び手書き文字認識
装置を提供するものである。本発明の他の目的は、手書
き文字の筆順の誤りを、簡易に判断することのできる手
書き文字認識のための筆順処理方法及び手書き文字認識
装置を提供することにある。
る手書き文字認識のための筆順処理方法は、複数の標準
文字が記憶された辞書ファイルから順に標準文字を選択
し、当該標準文字と手書き入力された手書き文字とを、
手書き文字の筆順が正しいとの前提下、所定の条件に従
って比較して手書き文字を認識処理する手書き文字認識
方法による手書き文字の認識を、当該手書き文字の筆順
が誤ったものである場合にも可能とする手書き文字認識
のための筆順処理方法であって、入力された手書き文字
と、前記辞書ファイルから順に選択された標準文字と
を、仮想的に3次元空間において所定の間隔を隔てて対
向させ、手書き文字の各ストロークの所定の点と、当該
手書き文字の各ストロークに対応する標準文字の各スト
ロークの所定の点とを、仮想的に結ぶことによって生ず
る四辺形の内角の和の大きさによって、手書き文字の筆
順の誤りの有無を判定するように構成されてなるもので
ある。
との前提下で手書き文字の認識を行う手書き文字認識方
法によっても、誤った筆順の手書き文字の認識を可能と
するために、手書き文字の認識処理の前になされるいわ
ゆる前処理と言うべきものであり、本願発明者の独自の
視点からなされたものである。すなわち、この手書き文
字認識のための筆順処理方法は、手書き文字と標準文字
とを、仮想的に3次元空間で所定の距離を隔てて対向さ
せ、それぞれのストロークの所定の点同士を仮想的な線
で結び、この際に生ずる四辺形の内角の和の大きさに、
手書き文字の筆順が正しい場合と誤っている場合とで
は、一定の違いが生ずるという本願発明者が見出した独
自の規則性に基づくもので、手書き文字の筆順が誤って
いると判定できる場合には、標準文字側の筆順のデータ
を書き換えるようにすることで、その後における手書き
文字認識処理を可能としたものである。
のための筆順処理方法は、複数の標準文字が記憶された
辞書ファイルから順に標準文字を選択し、当該標準文字
と手書き入力された手書き文字とを、手書き文字の筆順
が正しいとの前提下、所定の条件に従って比較して手書
き文字を認識処理する手書き文字認識方法による手書き
文字の認識を、当該手書き文字の筆順が誤ったものであ
る場合にも可能とする手書き文字認識のための筆順処理
方法であって、入力された手書き文字と、前記辞書ファ
イルから順に選択された標準文字とを、仮想的に3次元
空間において所定の間隔を隔てて対向させ、前記手書き
文字の各ストロークの略中点と、この手書き文字の各ス
トロークに対応する前記標準文字の各ストロークの略中
点とを、仮想的に仮想線によって結び、組み合わせ可能
な2本の仮想線と、この2本の仮想線のそれぞれの端部
同士を仮想的に結ぶ仮想線によって形成される四辺形の
内角の和を、それぞれ算出し、内角の和が360度より
充分小さいものがあるか否かを判定し、内角の和が36
0度より充分小さくなるものが複数ある場合には、その
内、最小のものを抽出し、この場合の四辺形を構成する
2つの仮想線の標準文字側のストロークの筆順のデータ
を相互に入れ替え、再び前記手書き文字の各ストローク
の略中点と、この手書き文字の各ストロークに対応する
前記標準文字の各ストロークの略中点とを、仮想的に仮
想線によって結び、組み合わせ可能な2本の仮想線と、
この2本の仮想線のそれぞれの端部同士を仮想的に結ぶ
仮想線によって形成される四辺形の内角の和を、それぞ
れ算出し、内角の和が360度より小さくなるものがな
くなるまで、前記同様に内角の和の判定と、最小のもの
の抽出と、標準文字のストロークの筆順のデータの入れ
替えとを繰り返し、手書き文字の筆順の誤りを標準文字
の筆順のデータに転嫁するようにしてなるものである。
との前提下で手書き文字の認識を行う手書き文字認識方
法によっても、誤った筆順の手書き文字の認識を可能と
するために、手書き文字の認識処理の前になされるいわ
ゆる前処理と言うべきものであり、本願発明者の独自の
視点からなされたものである。すなわち、この手書き文
字認識のための筆順処理方法は、手書き文字と標準文字
とを、仮想的に3次元空間で所定の距離を隔てて対向さ
せ、それぞれのストロークの中点同士を仮想的な線で結
び、この際に生ずる四辺形の内角の和の大きさに、手書
き文字の筆順が正しい場合と誤っている場合とでは、一
定の違いが生ずるという本願発明者が見出した独自の規
則性に基づくもので、手書き文字の筆順が誤っていると
判定できる場合には、標準文字側の筆順のデータを書き
換えるようにすることで、その後における手書き文字認
識処理を可能としたものである。
項2記載の手書き文字認識のための筆順処理方法の実行
に続いて、入力された手書き文字と、辞書ファイルから
順に選択された標準文字とを、仮想的に3次元空間にお
いて所定の間隔を隔てて対向させ、前記手書き文字の各
々のストロークの始点及び終点と、前記手書き文字の各
々のストロークに対応する標準文字の各々のストローク
の始点及び終点とを、それぞれ仮想的に仮想線によって
結び、手書き文字と標準文字の対応するストロークの始
点及び終点とをそれぞれ結ぶ2本の仮想線と当該手書き
文字及び標準文字のストロークとで形成されるそれぞれ
の四辺形の内角の和を算出し、内角の和が略360度と
なるものについては、手書き文字のストロークの筆順と
標準文字のストロークの筆順とが一致しているとして処
理を終了し、内角の和が略180度となるものについて
は、当該標準文字のストロークと、このストロークと略
十字に交差するストロークの相互の筆順のデータを入れ
替え、内角の和が180度より充分小さいものについて
は、当該標準文字のストロークの始点と終点の相互のデ
ータを入れ替え、手書き文字の筆順の誤りを標準文字の
筆順のデータに転嫁するようにしても好適である。
発明に係る手書き文字認識のための筆順処理方法によっ
ては、手書き文字の筆順が正しいか否かの判断ができな
い文字について、そのような判断を可能とするもので、
先の筆順処理方法と同様に本願発明者の独自の視点から
なされたものである。すなわち、十字に交差するような
部分を有する手書き文字の場合に、先の請求項2記載の
発明に係る方法では、内角の和が判断するに充分な値と
ならないことがあることに鑑みて、この請求項4記載の
発明に係る方法は、特に、そのような文字の場合には、
仮想的に3次元空間において、手書き文字の各ストロー
クの始点と標準文字の対応する各ストロークの始点とを
仮想的に結ぶと共に、手書き文字の各ストロークの終点
と標準文字の対応する各ストロークの終点とを仮想的に
結んだ際に、手書き文字及び標準文字のストロークと仮
想的に結んだ線とによって形成される四辺形の内角の和
が、手書き文字の筆順が正しい場合と誤った場合とでは
異なり、しかも、ストローク自体の始点と終点とが逆の
場合の判断も、その内角の和の大きさを判断することに
よって可能となるという本願発明者が見出した独自の規
則性に基づくもので、手書き文字の筆順が誤っていると
判定できる場合には、標準文字側の筆順のデータを書き
換えるようにすることで、その後における手書き文字認
識処理を可能としたものである。
装置は、手書き文字について、その筆順が正しいとの前
提の下で、適宜に選択された各点における書き始めの点
からの距離と、その各点における接線と所定の基準線と
のなす接線角度とを求め、この手書き文字と比較の対象
となる複数の標準文字について、前記手書き文字と同様
にして予め取得された各標準文字の適宜な各点における
距離及び接線角度と前記手書き文字の距離及び接線角度
を比較することによって、手書き文字の各点の距離に対
する接線角度の変化と最も近似する距離及び接線角度の
データを有する標準文字を前記手書き文字の認識結果と
する文字認識処理部を有してなる手書き文字認識装置に
おいて、手書き文字が誤った筆順であっても当該手書き
文字の認識を可能とするため、前記文字認識処理部によ
る手書き文字の認識処理の前に所定の処理を施す筆順処
理部を設け、当該筆順処理部は、前記手書き文字と、前
記標準文字とを、仮想的に3次元空間において所定の間
隔を隔てて対向させた状態における前記手書き文字の各
ストロークの略中点と、この手書き文字の各ストローク
に対応する前記標準文字の各ストロークの略中点とを、
仮想的に結ぶ仮想線の中から組み合わせ可能な2本の仮
想線を選択し、当該2本の仮想線と、それぞれの端部同
士を仮想的に結ぶ仮想線によって形成される四辺形の内
角の和を、仮想線の組み合わせ毎にそれぞれ算出する内
角和算出手段と、前記内角和算出手段により算出された
複数の内角の和に360度より充分小さくなるものがあ
るか否かを判定する角度判定手段と、前記角度判定手段
により360度より充分小さいさくなるものがあると判
定された場合に、360度より充分小さくなるものもの
のなかから最小のものを抽出する最小角抽出手段と、前
記最小角抽出手段により抽出された内角の和を生ずる四
辺形を構成する手書き文字及び標準文字の対応するスト
ローク間を結ぶ仮想線の前記標準文字側の2つのストロ
ークの筆順のデータを相互に入れ替える筆順データ入替
手段と、前記角度判定手段により360度より充分小さ
くなるものがないと判定されるまで、前記内角和算出手
段による各四辺形の内角の和の算出、前記角度判定手段
による角度の判定及び前記筆順データ入替手段による筆
順データの入れ替えを繰り返し行わしめる動作制御手段
と、を具備してなるものである。
先の請求項2記載の発明に係る方法を実行するに適した
ものであり、筆順処理部の各手段は、例えば、いわゆる
CPUとソフトウェアとの組み合わせにより実現され得
るものである。
発明に係る手書き文字認識装置のように、筆順処理部
は、手書き文字と、標準文字とを、仮想的に3次元空間
において所定の間隔を隔てて対向させた状態における前
記手書き文字の各々のストロークの始点及び終点と、前
記手書き文字の各々のストロークに対応する標準文字の
各々のストロークの始点及び終点とを、仮想的に結ぶ仮
想線と、前記手書き文字及び標準文字のストロークとで
形成される各四辺形の内角の和をそれぞれ算出する交差
文字内角和算出手段と、前記交差文字内角和算出手段に
より算出された各四辺形の内角の和の内、その値が略1
80度となるものについては、当該四辺形を構成する標
準文字のストロークと、このストロークと略十字に交差
するストロークの相互の筆順のデータを入れ替える交差
筆順データ入替手段と、前記交差文字内角和算出手段に
より算出された各四辺形の内角の和の内、その値が18
0度より充分小さいものについては、当該四辺形を構成
する標準文字のストロークの始点と終点の相互のデータ
を入れ替える逆ストロークデータ入替手段と、を具備し
てなるように構成しても好適である。
方法を実行するに適したものであり、請求項8記載の発
明に係る手書き文字認識装置では判別できないような、
特別の文字について、手書き文字の筆順の誤りを判断す
ることが可能となるものである。この構成にあっても、
筆順処理部の各手段は、例えば、いわゆるCPUとソフ
トウェアとの組み合わせにより実現され得るものであ
る。
めの筆順処理方法は、コンピュータにより実行され得る
ように記録媒体にプログラムとして記録させた形態で用
いるようにすると好適である。すなわち、複数の標準文
字が記憶された辞書ファイルから順に標準文字を選択
し、当該標準文字と手書き入力された手書き文字とを、
手書き文字の筆順が正しいとの前提下、所定の条件に従
って比較して手書き文字を認識処理するプログラムを、
当該手書き文字の筆順が誤ったものである場合にも実行
可能とする手書き文字認識のための筆順処理プログラム
を記録した記録媒体であって、入力された手書き文字
と、前記辞書ファイルから順に選択された標準文字と
を、仮想的に3次元空間において所定の間隔を隔てて対
向させ、前記手書き文字の各ストロークの略中点と、こ
の手書き文字の各ストロークに対応する前記標準文字の
各ストロークの略中点とを、仮想的に仮想線によって結
び、組み合わせ可能な2本の仮想線と、この2本の仮想
線のそれぞれの端部同士を仮想的に結ぶ仮想線によって
形成される四辺形の内角の和を、それぞれ算出し、内角
の和が360度より充分小さいものがあるか否かを判定
し、内角の和が360度より充分小さくなるものが複数
ある場合には、その内、最小のものを抽出し、この場合
の四辺形を構成する2つの仮想線の標準文字側のストロ
ークの筆順のデータを相互に入れ替え、再び前記手書き
文字の各ストロークの略中点と、この手書き文字の各ス
トロークに対応する前記標準文字の各ストロークの略中
点とを、仮想的に仮想線によって結び、組み合わせ可能
な2本の仮想線と、この2本の仮想線のそれぞれの端部
同士を仮想的に結ぶ仮想線によって形成される四辺形の
内角の和を、それぞれ算出し、内角の和が360度より
充分小さくなるものがなくなるまで、前記同様に内角の
和の判定と、最小のものの抽出と、標準文字のストロー
クの筆順のデータの入れ替えとを繰り返し、手書き文字
の筆順の誤りを標準文字の筆順のデータに転嫁すること
を特徴とする手書き文字認識のための筆順処理プログラ
ムを記録した記録媒体が好適である。
めの筆順処理方法も、コンピュータにより実行され得る
ように記録媒体にプログラムとして記録させた形態で用
いるようにすると好適である。すなわち、複数の標準文
字が記憶された辞書ファイルから順に標準文字を選択
し、当該標準文字と手書き入力された手書き文字とを、
手書き文字の筆順が正しいとの前提下、所定の条件に従
って比較して手書き文字を認識処理するプログラムを、
当該手書き文字の筆順が誤ったものである場合にも実行
可能とする手書き文字認識のための筆順処理プログラム
を記録した記録媒体であって、入力された手書き文字
と、辞書ファイルから順に選択された標準文字とを、仮
想的に3次元空間において所定の間隔を隔てて対向さ
せ、前記手書き文字の各々のストロークの始点及び終点
と、前記手書き文字の各々のストロークに対応する標準
文字の各々のストロークの始点及び終点とを、それぞれ
仮想的に仮想線によって結び、手書き文字と標準文字の
対応するストロークの始点及び終点とをそれぞれ結ぶ2
本の仮想線と当該手書き文字及び標準文字のストローク
とで形成されるそれぞれの四辺形の内角の和を算出し、
内角の和が略360度となるものについては、手書き文
字のストロークの筆順と標準文字のストロークの筆順と
が一致しているとして処理を終了し、内角の和が略18
0度となるものについては、当該標準文字のストローク
と、このストロークと略十字に交差するストロークの相
互の筆順のデータを入れ替え、内角の和が180度より
充分小さいものについては、当該標準文字のストローク
の始点と終点の相互のデータを入れ替え、手書き文字の
筆順の誤りを標準文字の筆順のデータに転嫁することを
特徴とする手書き文字認識のための筆順処理プログラム
を記録した記録媒体が好適である。
て、図1乃至図14を参照しつつ説明する。なお、以下
に説明する部材、配置等は本発明を限定するものではな
く、本発明の趣旨の範囲内で種々改変することができる
ものである。最初に、本発明の実施の形態における手書
き文字認識装置(以下「本装置」と言う)の構成につい
て、図1を参照しつつ説明する。本装置は、入力部とし
ての入力タブレット1と、ディジタイザ(図1において
は「DIG」と表記)2と、データ処理装置(図1にお
いては「DPU」と表記)3と、表示駆動回路(図1に
おいては「DIR」と表記)4と、表示装置(図1にお
いては「DISP」と表記)5とを主たる構成要素とし
てなるものである。入力タブレット1は、入力用ペン1
aにより手書き文字を入力するためのもので、入力用ペ
ン1aにより、入力用窓1bの表面を所望の文字の形状
になぞることにより、その入力用ペン1aの移動位置情
報が、X,Y座標データとして出力されるようになって
いる公知・周知の構成を有するものである。このような
手書き文字認識に用いられる入力タブレットとしては、
例えば、電磁誘導型、静電誘導型等種々の方式のものが
あるが、これら何れの方式のものでもよく、特定の方式
に限定される必要はない。
出力されたアナログ信号形式のX,Y座標データを所定
の形式のディジタル信号に変換するもので、変換された
信号は、データ処理装置3へ入力され、後述するような
手書き文字認識のためのデータ処理に供されるようにな
っている。データ処理装置3は、ディジタイザ2を介し
て入力された手書き文字に関するデータを後述するよう
にして処理して手書き文字の認識を行い、その結果を表
示装置5や図示されない外部の装置へ出力するもので、
例えば、いわゆるCPUを主たる構成要素として構成さ
れるものである。
認識された手書き文字を表示するためのもので、例え
ば、CRTや液晶表示素子等を用いてなる公知・周知の
ものである。データ処理装置3における認識結果に対応
する信号は、表示駆動回路4に入力され、ここで表示装
置5による表示に必要な処理がなされることで、認識さ
れた文字が表示装置5にリアルタイムで表示されるよう
になっている。
文字の認識動作について図2乃至図14を参照しつつ説
明する。最初に、図2を参照しつつ本装置による手書き
文字の認識動作について概括的に説明することとする。
本装置による手書き文字認識は、手書き文字の筆順が正
しいものであれば、図2に示されたステップ150乃至
ステップ450の各処理は不要となるものであり、本来
は、同図のステップ500の認識処理によって手書き文
字の認識が可能となるものである。図2のステップ15
0乃至ステップ450の各処理は、手書き文字が正しい
筆順でない場合であっても、ステップ500における認
識処理を可能とするためのいわば前処理であって、特
に、筆順に関する処理が行われるようになっている。
ば、本装置が動作状態となり、入力用ペン1aを用いて
入力タブレット1上で文字が手書きされると、その入力
用ペン1aのペン先の位置情報がディジタイザ2を介し
てデータ処理装置3へデータ入力されることとなる(図
2のステップ100参照)。ディジタイザ2からデータ
処理装置3へ入力されるデータは、入力タブレット1上
での入力用ペン1aのペン先の時々刻々と変化するスト
ロークに対応する位置情報がX・Y座標で表されたもの
で、ディジタイザ2によるいわゆるサンプリング動作に
より、所定のサンプリング間隔で取得されたデータであ
る。
1へ対する上げ下ろしの情報から、取り込まれたx,y
座標データが、手書き文字の何画目に対応するものであ
るかの情報が付加されるようになっている。したがっ
て、例えば、あるサンプリング点におけるデータとして
は、(x1,y1,n)と3つのデータが1組として表さ
れたものとなる。ここで、x1は、当該サンプリング点
におけるX座標値を、y1は、当該サンプリング点にお
けるY座標値を、それぞれ表すものであり、nは、当該
サンプリング点が、その手書き文字の何画目の部分のも
のであるか、すなわち何ストローク目のものかを表す数
値である。
ストロークの切れ目の間についても、データが補間され
るようになっている。すなわち、例えば、図9に示され
たような平仮名の「あ」を例にとれば、第1画目の部位
と第2画目の部位の間、すなわち、第1ストロークと第
2ストロークの間は、手書き入力された文字が続け字で
ないとすれば、第1ストロークの終点と、第2ストロー
クの始点との間では、入力用ペン1aは、入力タブレッ
ト1から離されるために、この間のいわゆる実データの
入力は無い。本装置では、この第1ストロークの終点
と、第2ストロークの始点とが直線で結ばれていると仮
定して、その間でのサンプリング点となる所定の点(例
えば、図9においては、正方形と共に「5」が記された
点)のx,y座標データがいわゆる補間により生成され
る。なお、この補間データについては、先に説明した通
常のデータにおける画数に対応するデータはなく、補間
データであることを識別できるようにしてあるだけであ
る。このようにして、データ処理装置3へ入力されたデ
ータは、一旦所定の記憶領域(図示せず)に記憶され、
後に所定のデータ変換が施される(詳細は後述)ように
なっている。
は、辞書画数合わせが行われる(図2のステップ150
参照)。本装置による手書き文字認識においては、デー
タ処理装置3に比較の対象となる標準的な文字例が所定
のデータ形式で辞書として予め記憶されており、後述す
るようにして手書き文字に関する所定のデータとの比較
を行うことにより、文字認識が行われるようになってい
る。手書き文字との比較の対象となるのは、原則として
辞書にある全ての標準文字であるが、手書き文字が誤っ
た筆順である可能性もあることを考慮して、入力された
手書き文字の画数と異なる画数の標準文字については、
この後の筆順処理が行われる前に、手書き文字の画数と
同一となるように、標準文字の画数の変更を行うことと
しており、その処理がステップ150の辞書画数合わせ
と称している処理である。例えば、手書き文字の画数が
3画であったとすると、辞書にある3画以外の標準文
字、例えば、4画の標準文字については、続け書きが可
能な各ストロークの間について続け書きがなされたとし
て、それぞれの場合についてその標準文字のデータの書
き換えを行い、擬似的に3画の標準文字とする。この処
理は、4画以外の標準文字についても同様に行われる。
1の筆順処理の対象となる標準文字の候補が選択され
(図2のステップ200参照)、後述するように第1の
筆順処理が行われることとなる(図2のステップ250
参照)。第1の筆順処理が行われた後は、辞書の全ての
標準文字が第1の筆順処理の候補として選択されたか否
かが判定され(図2のステップ300参照)、未だ全候
補が選択されていないと判定された場合(NOの場合)
には、先のステップ200へ戻り、上述した一連の処理
が繰り返されることとなる。一方、全候補が選択され、
それぞれについて第1の筆順処理がなされたと判定され
た場合(YESの場合)には、第2の筆順処理の対象と
なる標準文字の候補が、辞書の中から所定の順に従って
選択され(図2のステップ350参照)、後述するよう
に第2の筆順処理が行われることとなる(図2のステッ
プ400参照)。
ての標準文字が第2の筆順処理の候補として選択された
か否かが判定され(図2のステップ450参照)、未だ
全候補が選択されていないと判定された場合(NOの場
合)には、先のステップ350へ戻り、上述した一連の
処理が繰り返されることとなる。一方、全候補が選択さ
れ、それぞれについて第2の筆順処理がなされたと判定
された場合(YESの場合)には、後述するような認識
処理がなされ(図2のステップ500参照)、それによ
って手書き文字が特定されることとなり、一連の処理が
終了することとなる。
50参照)について図3乃び図4を参照しつつ具体的に
説明する。まず、この第1の筆順処理内容を概括的に言
えば、入力タブレット1において入力された手書き文字
と、予めデータ処理装置3に辞書として記憶されている
標準文字とを図3に示されたように3次元空間で仮想的
に対比させることで、手書き文字の筆順が正しいか否か
を判定し、誤った筆順で入力されたと判定された場合に
は、比較の対象となった標準文字の筆順のデータを手書
き文字の筆順に合わせて書き換える処理であると言うこ
とができるものである。
ば、まず、入力された手書き文字は、漢字の「三」であ
るとし、その筆順は、図3において各ストロークの左端
近傍にいわゆる丸数字で表された順であると仮定する。
すなわち、この場合、手書き文字は、その第1ストロー
クが、本来は第3ストロークとなるべきものであり、第
3ストロークが、本来は第1ストロークとなるべき筆順
となっているものである。一方、先の図2のステップ2
00により選択された標準文字が、同じく「三」である
とする。そして、図3に示されたように互いに直交する
X,Y,Zの3軸で表される3次元空間において、手書
き文字は、原点0からZ軸に沿って所定距離dだけ離れ
たXY平面上の第1の仮想スクリーン10に、また、標
準文字は、原点におけるXY平面上の第2の仮想スクリ
ーン11に、それぞれ書かれたものと仮定する。
と、手書き文字のストロークに対して標準文字の対応す
る各ストロークの中点とを仮想線(図3において二点鎖
線により表記)によって仮想的に結び、これら仮想線の
可能な2本づつの組み合わせによって生ずる四辺形の内
角の和を求める(図4のステップ260参照)。すなわ
ち、手書き文字の第1ストロークの略中心と、標準文字
の第1ストロークの略中心とが、手書き文字の第2スト
ロークの略中心と、標準文字の第2ストロークの略中心
とが、手書き文字の第3ストロークの略中心と、標準文
字の第3ストロークの略中心とが、それぞれ仮想的に結
ばれる。ここで、説明の都合上、各仮想線に順に符号
イ,ロ,ハを付するものとする(図3参照)。
1ストロークの略中心と第2ストロークの略中心とを結
ぶ仮想的な線(図3においては図示を省略)と、標準文
字の第1ストロークの略中心と第2ストロークの略中心
とを結ぶ仮想的な線(図3においては図示を省略)とに
より形成される四辺形の内角の和を求める。また、仮想
線ロ,ハと、手書き文字の第2ストロークの略中心と第
3ストロークの略中心とを結ぶ仮想的な線(図3におい
ては図示を省略)と、標準文字の第2ストロークの略中
心と第3ストロークの略中心とを結ぶ仮想的な線(図3
においては図示を省略)とによって形成される四辺形に
ついても同様にして内角の和を求める。さらに、仮想線
ハ,イと、手書き文字の第3ストロークの略中心と第1
ストロークの略中心とを結ぶ仮想的な線(図3において
は図示を省略)と、標準文字の第3ストロークの略中心
と第1ストロークの略中心とを結ぶ仮想的な線(図3に
おいては図示を省略)とによって形成される四辺形につ
いても同様に内角の和を求める。
上述のような四辺形の内角の和について考察すると、例
えば、図3において、手書き文字及び標準文字の第1及
び第2ストロークを例に採れば、相互の文字の第1及び
第2のストロークの略中点を結ぶ仮想線(図示せず)
は、略平行となる。したがって、その仮想線と、それぞ
れの文字の第1ストロークの略中点と第2ストロークの
略中点とを結ぶ仮想的な線とによって形成される四辺形
の内角の和は、略360度となる。ところが、手書き文
字に筆順の誤りがある場合には、図3に示されたように
仮想線は平行とはならず、例えば、YX平面側で見れ
ば、交差状態となり(換言すればねじれのある四辺形が
形成されることとなる)、各内角の大きさは鋭角となる
ことから、かかる場合の四辺形の内角の和は、360度
より充分小さなものとなる。そこで、この発明の実施の
形態においては、手書き文字に筆順の誤りがあるか否か
の判断を、上述のようにして求められた四辺形の内角の
和の大きさによることとしている。
た各四辺形の内角の和に、360度より充分小さなもの
があるか否かを判定し(図4のステップ262参照)、
360度より充分小さなものがない場合には、手書き文
字の筆順に誤り無しとして、この第1の筆順処理を終え
ることとなる。一方、360度より充分小さいものがあ
る場合には、その内、最小のものを選択する(図4のス
テップ264参照)。すなわち、図3に示された例で
は、仮想線ハ,イの組み合わせにおける内角の和が最小
となるため、この組が抽出されることとなる。そして、
この仮想線ハ,イが結ばれる標準文字の第1ストローク
と第3ストロークの筆順のデータが相互に振り替えられ
ることとなる(図4のステップ266参照)。すなわ
ち、標準文字の第1ストロークは、第3ストロークと、
第3ストロークは、第1ストロークと、それぞれ辞書に
記憶されているデータが書き換えられることとなる。
び先のステップ260へ戻り、再度、2本の仮想線の可
能な組み合わせについて、その2本の仮想線と第1及び
第2の仮想スクリーン10,11とよって形成される全
ての四辺形について、それぞれの内角の和が先に説明し
たと同様にして算出される。そして、それら内角の和に
ついて、先に説明したと同様にして角度判定が行われる
(図4のステップ262参照)。図3の例では、手書き
文字の筆順の間違いは、1箇所だけであるため、1回の
標準文字の筆順振替によって、手書き文字の各ストロー
クの略中点と、筆順振替がなされた標準文字の各ストロ
ークの略中点とを結ぶ仮想線イ,ロ,ハは、略平行状態
となるため、この再度の角度判定においては、360度
より充分小さくなる場合はないと判定され、一連の処理
が終了することとなる。
る場合には、これまで説明した処理を同様に繰り返して
ゆき、他の筆順の誤りのあるストロークに対応する標準
文字のストロークのデータの書き換えを上述したと同様
に行い、最終的には、標準文字の筆順を手書き文字の筆
順に合わせることによって一連の処理を終えることとな
る。なお、上述の説明は、基本的概念を説明したもので
あるが、データ処理装置3における実際の処理は、各仮
想線イ,ロ,ハ及び各ストロークの中点同士を結ぶ仮想
線をベクトルとして扱い、いわゆるベクトル演算を行う
ことによって各内角を求めるようにしてある。
y1,d)で表され、図3における手書き文字の第1ス
トロークの中点と第2ストロークの中点とを結ぶ仮想線
がベクトルU2(x2,y2,d)で表され、これら2つ
の仮想線で作られる角Θは、ベクトルの内積を定義する
式、すなわち、ベクトルU1・ベクトルU2=|U1|
・|U2|cosΘの関係から求められることとなる。
なお、dは、第1及び第2の仮想スクリーン10,11
のZ軸方向の距離であって、筆順が正しい場合と誤って
いる場合の四辺形の内角の和の違いを明確に判定できる
ようにする観点からは、このdの値は比較的小さい方が
望ましい。
文字によっては、仮想線と第1及び第2の仮想スクリー
ン10,11との間に形成される四辺形の内角の和によ
って手書き文字の筆順の誤りの有無を判定できない場合
があるが、それについては、辞書側に何等処理を施すこ
となくこの第1の筆順処理を終了することになる。
00参照)について図5乃び図6を参照しつつ具体的に
説明する。まず、この第2の筆順処理は、概括的に言え
ば、上述した第1の筆順処理によっては、手書き文字の
筆順が正しいか否か判定できない文字があるため、その
ような手書き文字の筆順の判定を可能とするための処理
である。すなわち、第1の筆順処理と同様に3次元空間
を想定し、手書き文字と標準文字とをストローク毎に所
定の条件で比較する点は、第1の筆順処理と軌を一にす
るものであるが、第1の筆順処理においては、双方の文
字の各ストロークの中点同士を仮想線で結ぶようにした
のに対し、この第2の筆順処理においては、各ストロー
クの始点と終点とを仮想線で結び、それによって形成さ
れる四辺形の内角の和を判定基準としたものである。
文字が漢数字の「十」であるとし、その筆順は、図5に
おいて各ストロークの近傍にいわゆる丸数字で表された
順であると仮定する。また、先の図2のステップ350
により選択された標準文字が、同じく「十」であるとす
る。さらに、図5において、手書き文字の各ストローク
に併記されている矢印は、各ストロークの始点から終点
の方向を示すものであるとする。したがって、例えば、
手書き文字の第1ストロークについては、図5におい
て、その上端が始点であり、下端が終点となる。なお、
図5における座標、第1及び第2の仮想スクリーン1
0,11については、図3で説明したものと同一である
のでここでの詳細な説明は省略することとする。
文字の各ストロークの始点及び終点同士を仮想線により
仮想的に結び、それぞれのストロークと仮想線によって
形成される四辺形の内角の和が算出されることとなる
(図6のステップ410参照)。すなわち、手書き文字
と標準文字の第1ストロークの始点及び終点同士がそれ
ぞれ仮想線ニ,ホにより仮想的に結ばれ、また、第2の
ストロークの始点及び終点同士がそれぞれ仮想線ヘ,ト
により仮想的に結ばれ、手書き文字及び標準文字の各第
1ストロークと仮想線ニ,ホとにより形成される四辺形
の内角の和、手書き文字及び標準文字の各第2ストロー
クと仮想線ヘ,トとにより形成される四辺形の内角の和
が、それぞれ算出されることとなる。このように、手書
き文字と標準文字の対応するストロークの始点同士及び
終点同士を仮想線で結ぶようにしたのは、例えば、図5
に示された漢数字「十」の場合、先の第1の筆順処理で
は、最悪の場合、手書き文字の各ストロークの中心と標
準文字の中心とが略一致し、四辺形が形成されないこと
があり、また、仮に四辺形が形成されたとしても、手書
き文字の筆順が誤ったものであるにも関わらず、四辺形
の内角の和が360度より小さくならないことがあり、
筆順の誤りを判定することができないことがあるため
で、その点、上述のようにストロークの始点同士及び終
点同士を仮想的に結ぶ場合には、そのような不都合を生
じないからである。
形の内角の和の大きさが判定され、その大きさに応じて
所定の処理が施されることとなる(図6のステップ41
2参照)。まず、四辺形の和が略180度となるものに
ついては、筆順振替が行われることとなる(図6のステ
ップ416参照)。すなわち、図5に示された例の場
合、手書き文字の第1ストロークがY軸に平行であるの
に対して、標準文字の第1ストロークがX軸に平行であ
ることから、手書き文字及び標準文字の各第1ストロー
クと仮想線ニ,ホにより形成される四辺形の内角の和並
びに手書き文字及び標準文字の各第2ストロークと仮想
線ヘ,トにより形成される四辺形の内角の和は、共に略
180度となる。そこで、手書き文字の第1ストローク
の筆順と、この第1のストロークと略直交する第2スト
ロークの筆順とが逆であると判断して、標準文字の第1
ストロークを第2ストロークと、第2ストロークを第1
ストロークと辞書データの書き換えを行う。
に、この第2の筆順処理の対象となる文字として「十」
を用いたが、文字によっては、四辺形の内角の和が略1
80度となる組が、上述の例のように2組だけではな
く、それ以上となることもあるが、その場合には次のよ
うに処理する。まず、略180度となる組が偶数組であ
る場合には、各ストロークの中点が略近いストローク同
士を選択し、その2つづつのストロークについて、上述
したと同様にして標準文字の該当するストロークの筆順
についての辞書データの書き換えを行う。また、四辺形
の内角の和が略180度となるものが奇数組である場合
には、標準文字として適切でないものが選択されたとし
て何等処理を行わずに、この第2の筆順処理を終了す
る。
照)において、四辺形の内角の和が180度より充分小
さいと判定されたものについては、逆ストローク処理が
施されることとなる(図6のステップ414参照)。す
なわち、この逆ストローク処理は、手書き文字のストロ
ークの始点と終点とが、本来とは逆である場合に対処す
るための処理である。例えば、図7において、手書き文
字の各ストロークの順番は正しいが、第1ストロークが
紙面下側から上側へ向かって書かれた(図7において第
1ストロークの矢印参照)ものであると仮定すると、手
書き文字と標準文字の第1ストロークの始点同士及び終
点同士をそれぞれ仮想線チ,リで結ぶと、同図に示され
たように、この仮想線チ,リと手書き文字及び標準文字
の第1ストロークとで形成される四辺形はねじれたもの
となり、その内角の和は、180度より充分小さなもの
となる。
定においては、180度より充分小さいと判定され、逆
ストローク処理が施されることとなる(図6のステップ
414参照)。すなわち、標準文字の第1ストロークの
それまでの始点が終点であるとして、また、それまでの
終点が始点であるとして、辞書データの書き換えが行わ
れることとなる。上述のようにして角度判定の結果に応
じて所定の処理が施された後は、この第2の筆順処理が
一旦終了され、先のメインルーチン(図2参照)へ戻る
こととなる。
認識処理について、図8乃至図14を参照しつつ具体的
に説明することとする。データ処理装置3においては、
先に図2において説明したようにデータ入力により記憶
された手書き文字の個々のサンプリング点のx,y座標
データ及び画数のデータを基に、次述するようなデータ
変換が行われることとなる(図8のステップ510参
照)。すなわち、x,y座標データを基に、各サンプリ
ング点における当該手書き文字の書き始めの点からの距
離sが求められると共に、各サンプリング点における接
線角度θが求められる。距離sは、認識対象となる手書
き文字の最初の書き始めの点、例えば、図9の例で言え
ば、丸印と共に「1」が記された第1画の左端の点から
筆の運びに沿って計測された距離であり、上述したよう
に入力用ペン1aが入力タブレット1から離れたことに
より補間された部分も含む距離である。すなわち、例え
ば、図9において、サンプリング点として丸印と共に
「7」が記された点における距離sは、第1画の書き終
わりの点と第2画の書き始めの点とが直線で結ばれてい
るとして、この「あ」の書き始めの点からの距離が算出
されたものとなる。なお、図9におけるサンプリング間
隔は、理解を容易にするため実際と比較して大となって
いる。
は、その点におけるx,y座標から接線方程式を算出
し、この方程式で表される接線のX軸からの角度として
算出されるものである。このデータ変換において、画数
に関する情報は、そのまま保存されるため、あるサンプ
リング点における入力データを(x1,y1,n)とすれ
ば、このデータは上述したようなデータ変換により(s
1,θ1,n)となる。
が全て上述のように変換された後は、距離sに関して正
規化が行われることとなる(図8のステップ515参
照)。すなわち、データ変換により得られた各サンプリ
ング点のsの値を、当該手書き文字の書き終わりの点に
おけるsの値で除することにより正規化が行われること
となる。その結果、この正規化後のある手書き文字に関
する距離sに対する接線角度θの変化特性をグラフ化す
れば、例えば、図10(b)に示されたようなものとな
る。なお、この正規化処理において、個々のサンプル点
の距離sは、正規化された値となるが、接線角度及び画
数に関するデータはそのまま保持されることとなる。
対象となる標準文字のデータを選択する辞書選択が行わ
れる(図8のステップ520参照)。すなわち、平仮
名、カタカナ、漢字の標準的な文字について、予め調べ
られた適宜な複数のサンプル点における距離s、接線角
度θ及び画数のデータがデータ処理装置3の図示されな
いメモリ(または、外部の例えば、いわゆるハードディ
スクのような記憶装置)にいわば辞書として記憶されて
おり、基本的にはこの辞書の中の全ての標準文字のデー
タと先の正規化された手書き文字のデータとの照合が行
われるようになっているが、一つづつ照合を行うため、
この辞書選択処理においては、適宜な順序で照合を行う
対象となる上述したような標準文字が一つ選択されるこ
ととなるものである。
と、次に、画数データが同一であるか否か、すなわち、
手書き文字の画数と、辞書から適宜選択された標準文字
の画数とが同一であるか否かが判定され(図8のステッ
プ525参照)、同一であると判定された場合(YES
の場合)には、後述する画数合わせ処理(図8のステッ
プ530参照)が行われることなく位置合わせ処理が行
われることとなる(図8のステップ535参照)一方、
同一画数ではないと判定された場合(NOの場合)に
は、次述する画数合わせ処理が行われることとなる(図
8のステップ530参照)。
ータと、辞書選択により選択された標準文字のデータと
の照合を行うに当たり、距離sについて、標準文字と手
書き文字の各々の画数毎の位置を合わせる処理である。
例えば、選択された標準文字の距離sに対する接線角度
θの変化特性をグラフ化したものが図10(a)に示さ
れたようなものであると仮定する。そして、同図におい
て、距離s1の位置は、この標準文字の第1画目の終点
位置であり、距離s2の位置は、第2画目の始点位置で
あり、距離s3の位置は、第2画目の終点位置であり、
距離s4の位置は、第3画目の始点位置であり、距離1
の位置は、第3画目の終点位置であると、それぞれ仮定
する。なお、距離s1,s2の間は、第1画目の終点と第
2画目の始点とが仮想的な直線で結ばれたと仮定した場
合の距離sに対する接線角度θの変化が表された区間で
あり(二点鎖線で表示)、距離s3,s4の間は、第2画
目の終点と第3画目の始点とが仮想的な直線で結ばれた
と仮定した場合の距離sに対する接線角度θの変化が表
された区間である(二点鎖線で表示)。
sと接線角度θとの変化特性を示すグラフは、図10
(b)に示されたようなものであると仮定する。ここ
で、距離saの位置は、手書き文字の第1画目の終点位
置であり、距離sbの位置は、第2画目の始点位置であ
り、距離scの位置は、第2画目の終点位置であり、距
離sdの位置は、第3画目の始点位置であり、距離1の
位置は、第3画目の終点位置である。なお、距離sa,s
bの間は、第1画目の終点と第2画目の始点とを仮想的
な直線でつないだと仮定した場合の距離sに対する接線
角度θの変化が表された区間であり(二点鎖線で表
示)、距離sc,sdの間は、第2画目の終点と第3画目
の始点とを仮想的な直線でつないだと仮定した場合の距
離sに対する接線角度θの変化が表された区間である
(二点鎖線で表示)。
データと、標準文字の距離sに対する接線角度θのデー
タとの照合を行うためには、手書き文字の各画数の位置
と、標準文字の各画数の位置とが同一である必要があ
り、このため、手書き文字のデータについて、図10
(b)に示された例で言えば、まず、文字の書き始めの
点(距離零の点)と距離sa(sa>s1)までのデータ
については、文字の書き始めの点と距離s1までの間の
データになるように距離座標Sの変換を行い、座標を圧
縮する。次に、距離sa乃至sbの間のデータについて
は、距離sa乃至sbが距離s1乃至s2より大であるた
め、距離s1乃至s2の間のデータになるように上述した
と同様に座標圧縮を行う。次いで、距離sb乃至scの間
のデータについては、距離sb乃至scが距離s2乃至s3
より小であるため、距離s2乃至s3の間のデータになる
ように座標伸張を行う。また、距離sc乃至sdの間のデ
ータについては、距離sc乃至sdが距離s3乃至s4より
大であるため、距離s3乃至s4の間のデータになるよう
に座標圧縮を行う。そして、距離sd乃至1までのデー
タについては、距離sd乃至1が距離s4乃至1より小で
あるため、距離s4乃至1の間のデータになるように座
標伸張を行うこととなる。なお、座標圧縮や座標伸張自
体は、特に、本発明独自のものではなく、一般的な数学
の一つであるので、その詳細についてのここでの説明は
省略することとする。このようにして位置合わせがなさ
れた後の手書き文字の距離sに対する接線角度θの変化
特性を表すグラフは、図10(c)に示されたように、
手書き文字の第1乃至第3画までの各始点及び終点の位
置が、標準文字のそれと一致したものとなる。
された標準文字の画数を手書き文字の画数に変更する処
理であるということができるものである。すなわち、こ
の処理は、手書き文字がその一部にいわゆる続け書きの
部分があるため、本来の正しい画数ではないと仮定し、
その前提の下で、照合の対象となる標準文字の画数を手
書き文字の画数に合わせ込み、その上で、2つのデータ
の照合を行うようにするためのものである。以下、具体
的に説明すれば、まず、前提として、手書き文字が3画
の文字として入力されたものであって、距離sに対する
接線角度θの変化特性を表すグラフが仮に、先に図10
(b)に示されたようなものであり、また、辞書選択に
より選択された標準文字が仮に4画のもので、その距離
sに対する接線角度θの変化特性を表すグラフが仮に図
11に示されたようなものであるとする。
続け書きが可能な箇所について、それぞれ続け書きが行
われたとして、その部分についての画数のデータの書き
換えが行われる。例えば、図11において、距離s1の
位置は、第1画目の終点であり、距離s2の位置は、第
2画目の始点であり、距離s3の位置は、第2画目の終
点であるが、まず、第1画目と第2画目が続け書きされ
たとして、図11で第2画目とされていた距離s2乃至
s3の間のデータが、第1画目であるとされる。すなわ
ち、この処理前の距離s2乃至s3の間のデータが、例え
ば、(sn,θn,2)と表される(括弧内の「2」は第
2画目であることを表す画数値である)とすると、処理
後は、(sn,θn,1)と書き換えられることとなる。
その結果、距離sに対する接線角度θの変化特性を表す
グラフは、先の図11において、第1画目の終点と第2
画目の始点の間であるとして二点鎖線で表された距離s
1乃至s2の部分も文字の一部であるとされ、図12に示
されたように、実線で表されたものとなる。
れる標準文字については、第2画目の終点と、第3画目
の始点とが続け書きされる場合が考えられる。この場合
も、上述と同様にして画数に関するデータの書き換えが
行われ、距離sに対する接線角度θの変化特性を表すグ
ラフは、図13に示されたようなものとなる。すなわ
ち、この場合、先の図11において、二点鎖線で表され
た距離s3乃至s4部分が文字の一部であるとして、この
部分が実線で表された特性曲線となる。またさらに、図
11に示された特性曲線で表される標準文字について
は、第3画目の終点と第4画目の始点とが続け書きとさ
れる場合が考えられ、先に説明したと同様にして該当す
る部分のデータの書き換えが行われ、その結果、図14
に示されたような距離sに対する接線角度θの変化特性
が得られることとなる。すなわち、この場合、先の図1
1において、二点鎖線で表された距離s4乃至s6の部分
が文字の一部であるとして、この部分が実線で表された
特性曲線が得られることとなる。
のある箇所について、それぞれ続け書きが行われたと仮
定して必要なデータの書き換えによる画数合わせが行わ
れ、その各々の場合についてデータがデータ処理装置3
の図示されないメモリに一時記憶されることとなる。な
お、上述の説明においては、標準文字の画数が手書き文
字の画数よりも一つ多い場合を例に採り説明したが、標
準文字の画数がそれ以上多い場合にあっても基本的には
上述したと同様に、手書き文字の画数と同一となるよう
に、2つ以上の箇所について続け書きされたとして先に
述べたようなデータ処理を施せばよい。次に、上述のよ
うにして画数合わせが行われたデータと、入力された手
書き文字のデータとの比較を行うために、先に説明した
ようにして画数合わせがなされたそれぞれの標準文字の
データを基準として、先に説明したようにして手書き文
字データの位置合わせが行われることとなる(図8のス
テップ535参照)。そして、位置合わせが行われた手
書き文字のデータと標準文字のデータとのデータ距離演
算が行われることとなる(図8のステップ540参
照)。すなわち、このデータ距離演算は、標準文字の接
線角度と手書き文字の接線角度との差を求めることであ
り、具体的には下記する演算式により算出されるように
なっている。
る。また、式中、A(s)は、重みづけ係数であり、例え
ば、実ストロークのデータに対しては「1」、補間スト
ロークのデータに対しては「0.8」と、それぞれ設定
されるものである。さらに、θ1(s)は、手書き文字にお
ける距離sに対する接線角度であり、θ2(s)は、標準文
字における距離sに対する接線角度である。このように
して求められたデータ距離ΔΘは、データ処理装置3の
図示されないメモリに一時記憶されることとなる。な
お、このデータ距離演算は、先のように、画数合わせに
おいて、いわゆる複数のパターンが生じたものについて
は、勿論それぞれについて演算が行われ、それぞれ記憶
されることとなる。
複数の標準文字についてのデータが記憶された辞書の全
てについて、上述のような処理により、データ距離ΔΘ
が求められたか否かが判定され(図8のステップ545
参照)、未だ終了していなと判定された場合(NOの場
合)には、先の辞書選択処理(図8のステップ520参
照)へ戻り、上述した一連の処理が繰り返されることと
なる。一方、辞書の全てについての処理が終了したと判
定された場合(YESの場合)には、上述したように一
時的に記憶された複数のデータ距離ΔΘの中から、その
数値が最も小さい場合の標準文字が入力された手書き文
字に対応する候補であるとして、データ処理装置3から
所定のデータ形式で外部へ出力されると同時に、表示駆
動回路4へデータが出力され、その結果、表示装置5に
当該標準文字が表示されることとなる(図8のステップ
550参照)。
ータ距離ΔΘの内、最小のものを認識文字としての候補
としたが、例えば、このデータ距離ΔΘの内、最小のも
のであって、所定値以下のものを認識文字の候補とし
て、データ距離ΔΘが所定値以上である場合には、例え
それが算出された複数のデータ距離ΔΘの内、最小のも
のであっても、誤認識の可能性の高い場合には、認識文
字無しとするようにしてもよい。
を行うためのプログラムが、データ処理装置3の図示さ
れないメモリに記憶されていることを前提として説明し
たが、必ずしもこのような構成である必要はなく、次の
ような構成であってもよいものである。例えば、データ
処理装置3とは別体に設けられたいわゆるハードディス
ク(図示せず)に必要なプログラムを記憶させておき、
このハードディスクからプログラムを読み出して実行す
るようにしてもよい。また、いわゆるフロピィーディス
ク(図示せず)に必要なプログラムを記憶させる一方、
データ処理装置3にいわゆるフロピィードライブ(図示
せず)を接続し、このフロピィードライブを介してフロ
ピィーディスクのプログラムを読み出して実行するよう
にしてもよい。さらには、この種のプログラムの記憶技
術として公知・周知の他の技術、例えば、磁気テープを
用いる方法、磁気ディスクを用いる方法、CD−ROM
を用いる方法等によってプログラムの実行が行われるよ
うにしてもよく、このようなことは、当該技術分野の技
術者にとってすれば、通常の技術活動の範疇であること
は言うに及ばないことである。
て、内角和算出手段は、データ処理装置3による図4に
示されたステップ260の実行により、角度判定手段
は、データ処理装置3による図4に示されたステップ2
62の実行により、最小角度抽出手段は、データ処理装
置3による図4に示されたステップ264の実行によ
り、筆順データ入れ替え手段は、データ処理装置3によ
る図4に示されたステップ266の実行により、動作制
御手段は、データ処理装置3により図4に示されたステ
ップ266の実行の後にステップ260へ戻り一連の処
理が繰り返されるように実行されることで、それぞれ実
現されるようになっている。また、交差文字内角和算出
手段は、データ処理装置3による図6に示されたステッ
プ410の実行により、交差筆順データ入替手段は、デ
ータ処理装置3による図6に示されたステップ412,
416の実行により、逆ストロークデータ入替手段は、
データ処理装置3による図6に示されたステップ41
2,414の実行により、それぞれ実現されるようにな
っている。
レット1及びディジタイザ2により実現されている。ま
た、データ変換手段は、データ処理装置3による図8に
示されたステップ510の実行により、記憶手段は、デ
ータ処理装置3により、画数判定手段は、データ処理装
置3による図8に示されたステップ525の実行によ
り、画数整合手段は、データ処理装置3による図8に示
されたステップ530の実行により、位置合わせ手段
は、データ処理装置3による図8に示されたステップ5
35の実行により、積算演算手段は、データ処理装置3
による図8に示されたステップ540の実行により、判
定抽出手段は、データ処理装置3による図8に示された
ステップ545,550の実行により、それぞれ実現さ
れるようになっている。
手書き文字の筆順の誤りを独自の方法に基づいて判断
し、その筆順の誤りを手書き文字と比較される標準文字
側へフィードバックするような構成とすることにより、
手書き文字の筆順の誤りを簡易に判断することができ、
その後、手書き文字の筆順が正しいとの前提の下で、手
書き文字の認識が可能な文字認識処理を行うことがで
き、そのような文字認識処理をより実用性の高いものと
することができる。
置の構成例を示す構成図である。
行される手書き文字認識の処理手順を示すメインフロー
チャートである。
の対比を概念的に示す概念図である。
ーチャートである。
の対比を概念的に示す概念図であって、特に、手書き文
字のストロークの順序が正しくない場合の概念図であ
る。
ーチャートである。
の対比を概念的に示す概念図であって、特に、手書き文
字のストロークの始点と終点とが本来とは逆の場合の概
念図である。
ートである。
念的に説明するための模式図である。
sに対する接線角度θの変化特性と、手書き文字につい
ての距離sに対する接線角度θの変化特性とを対比的に
表す特性線図であって、図10(a)は、ある標準文字
についての距離sに対する接線角度θの変化特性を示す
正規化された特性線図であり、図10(b)はある手書
き文字についての距離sに対する接線角度θの変化特性
を示す位置合わせを行う前の特性線図であり、図10
(c)は、ある手書き文字についての距離sに対する接
線角度θの変化特性を示す位置合わせを行った後の特性
線図である。
対する接線角度θの変化特性を表す特性線図である。
について、第1画目の終点と第2画目の始点とが続け書
きされたと仮定した場合の距離sに対する接線角度θの
変化特性を表す特性線図である。
について、第2画目の終点と第3画目の始点とが続け書
きされたと仮定した場合の距離sに対する接線角度θの
変化特性を表す特性線図である。
について、第3画目の終点と第4画目の始点とが続け書
きされたと仮定した場合の距離sに対する接線角度θの
変化特性を表す特性線図である。
Claims (16)
- 【請求項1】 複数の標準文字が記憶された辞書ファイ
ルから順に標準文字を選択し、当該標準文字と手書き入
力された手書き文字とを、手書き文字の筆順が正しいと
の前提下、所定の条件に従って比較して手書き文字を認
識処理する手書き文字認識方法による手書き文字の認識
を、当該手書き文字の筆順が誤ったものである場合にも
可能とする手書き文字認識のための筆順処理方法であっ
て、 入力された手書き文字と、前記辞書ファイルから順に選
択された標準文字とを、仮想的に3次元空間において所
定の間隔を隔てて対向させ、 手書き文字の各ストロークの所定の点と、当該手書き文
字の各ストロークに対応する標準文字の各ストロークの
所定の点とを、仮想的に結ぶことによって生ずる四辺形
の内角の和の大きさによって、手書き文字の筆順の誤り
の有無を判定することを特徴とする手書き文字認識のた
めの筆順処理方法。 - 【請求項2】 複数の標準文字が記憶された辞書ファイ
ルから順に標準文字を選択し、当該標準文字と手書き入
力された手書き文字とを、手書き文字の筆順が正しいと
の前提下、所定の条件に従って比較して手書き文字を認
識処理する手書き文字認識方法による手書き文字の認識
を、当該手書き文字の筆順が誤ったものである場合にも
可能とする手書き文字認識のための筆順処理方法であっ
て、 入力された手書き文字と、前記辞書ファイルから順に選
択された標準文字とを、仮想的に3次元空間において所
定の間隔を隔てて対向させ、 前記手書き文字の各ストロークの略中点と、この手書き
文字の各ストロークに対応する前記標準文字の各ストロ
ークの略中点とを、仮想的に仮想線によって結び、組み
合わせ可能な2本の仮想線と、この2本の仮想線のそれ
ぞれの端部同士を仮想的に結ぶ仮想線によって形成され
る四辺形の内角の和を、それぞれ算出し、 内角の和が360度より充分小さいものがあるか否かを
判定し、 内角の和が360度より充分小さくなるものが複数ある
場合には、その内、最小のものを抽出し、この場合の四
辺形を構成する2つの仮想線の標準文字側のストローク
の筆順のデータを相互に入れ替え、 再び前記手書き文字の各ストロークの略中点と、この手
書き文字の各ストロークに対応する前記標準文字の各ス
トロークの略中点とを、仮想的に仮想線によって結び、
組み合わせ可能な2本の仮想線と、この2本の仮想線の
それぞれの端部同士を仮想的に結ぶ仮想線によって形成
される四辺形の内角の和を、それぞれ算出し、内角の和
が360度より充分小さくなるものがなくなるまで、前
記同様に内角の和の判定と、最小のものの抽出と、標準
文字のストロークの筆順のデータの入れ替えとを繰り返
し、 手書き文字の筆順の誤りを標準文字の筆順のデータに転
嫁することを特徴とする手書き文字認識のための筆順処
理方法。 - 【請求項3】 四辺形の各々の内角は、各々の仮想線を
ベクトルとして定義し、隣接するベクトルの内積の演算
からその夾角の大きさとして算出されるものであること
を特徴とする請求項1記載の手書き文字認識のための筆
順処理方法。 - 【請求項4】 請求項2記載の手書き文字認識のための
筆順処理方法の実行に続いて、 入力された手書き文字と、辞書ファイルから順に選択さ
れた標準文字とを、仮想的に3次元空間において所定の
間隔を隔てて対向させ、 前記手書き文字の各々のストロークの始点及び終点と、
前記手書き文字の各々のストロークに対応する標準文字
の各々のストロークの始点及び終点とを、それぞれ仮想
的に仮想線によって結び、 手書き文字と標準文字の対応するストロークの始点及び
終点とをそれぞれ結ぶ2本の仮想線と当該手書き文字及
び標準文字のストロークとで形成されるそれぞれの四辺
形の内角の和を算出し、 内角の和が略360度となるものについては、手書き文
字のストロークの筆順と標準文字のストロークの筆順と
が一致しているとして処理を終了し、 内角の和が略180度となるものについては、当該標準
文字のストロークと、このストロークと略十字に交差す
るストロークの相互の筆順のデータを入れ替え、 内角の和が180度より充分小さいものについては、当
該標準文字のストロークの始点と終点の相互のデータを
入れ替え、 手書き文字の筆順の誤りを標準文字の筆順のデータに転
嫁することを特徴とする手書き文字認識のための筆順処
理方法。 - 【請求項5】 四辺形の各々の内角は、四辺形を形成す
る仮想線及びストロークをベクトルとして定義し、隣接
するベクトルの内積の演算からその夾角の大きさとして
算出されるものであることを特徴とする請求項4記載の
手書き文字認識のための筆順処理方法。 - 【請求項6】 手書き文字認識方法は、手書き文字につ
いて、適宜に選択された各点における書き始めの点から
の距離と、その各点における接線と所定の基準線とのな
す接線角度とを求め、 この手書き文字と比較の対象となる複数の標準文字につ
いて、前記手書き文字と同様にして予め取得された各標
準文字の適宜な各点における距離及び接線角度と前記手
書き文字の距離及び接線角度を比較することによって、
手書き文字の各点の距離に対する接線角度の変化と最も
近似する距離及び接線角度のデータを有する標準文字を
前記手書き文字の認識結果とするものであることを特徴
とする請求項2、3、4又は5記載の手書き文字認識の
ための筆順処理方法。 - 【請求項7】 手書き文字認識方法は、手書き文字につ
いて、ストロークの間については、略直線で結ばれたと
仮定して、複数のサンプリング点における前記手書き文
字の書き始めの点からの距離と、各サンプリング点にお
ける接線と所定の基準軸とのなす接線角度をそれぞれ求
め、距離について正規化を行う一方、 前記手書き文字と比較の対象となる複数の標準文字につ
いて、前記手書き文字と同様にして複数のサンプリング
点における距離及び接線角度を予め取得し、かつ、距離
について正規化を行っておき、 前記手書き文字との比較に際して、前記複数の標準文字
を順次選択し、その選択された標準文字の画数と前記手
書き文字の画数とが同一である場合には、当該標準文字
のサンプリング点に対応する前記手書き文字のサンプリ
ング点における接線角度と標準文字のサンプリング点に
おける接線角度との差の積算値を求めてこれを記憶する
一方、 前記手書き文字との比較に際して選択された標準文字の
画数が前記手書き文字の画数と異なる場合には、当該選
択された標準文字について、ストロークの間が続き書き
されたと仮定できる箇所を、前記手書き文字の画数と同
一となるように設定し、当該設定された箇所の距離及び
接線角度のデータについては、画数のデータの変更を行
った上で、当該標準文字のサンプリング点に対応する前
記手書き文字のサンプリング点における接線角度と標準
文字のサンプリング点における接線角度との差の積算値
を求めてこれを記憶し、 全ての標準文字について前記積算値が求められた時点に
おいて、最小の積算値を有する標準文字を前記手書き文
字に対する認識結果とするものであることを特徴とする
請求項2、3、4又は5記載の手書き文字認識のための
筆順処理方法。 - 【請求項8】 手書き文字について、その筆順が正しい
との前提の下で、適宜に選択された各点における書き始
めの点からの距離と、その各点における接線と所定の基
準線とのなす接線角度とを求め、 この手書き文字と比較の対象となる複数の標準文字につ
いて、前記手書き文字と同様にして予め取得された各標
準文字の適宜な各点における距離及び接線角度と前記手
書き文字の距離及び接線角度を比較することによって、
手書き文字の各点の距離に対する接線角度の変化と最も
近似する距離及び接線角度のデータを有する標準文字を
前記手書き文字の認識結果とする文字認識処理部を有し
てなる手書き文字認識装置において、 手書き文字が誤った筆順であっても当該手書き文字の認
識を可能とするため、前記文字認識処理部による手書き
文字の認識処理の前に所定の処理を施す筆順処理部を設
け、 当該筆順処理部は、 前記手書き文字と、前記標準文字とを、仮想的に3次元
空間において所定の間隔を隔てて対向させた状態におけ
る前記手書き文字の各ストロークの略中点と、この手書
き文字の各ストロークに対応する前記標準文字の各スト
ロークの略中点とを、仮想的に結ぶ仮想線の中から組み
合わせ可能な2本の仮想線を選択し、当該2本の仮想線
と、それぞれの端部同士を仮想的に結ぶ仮想線によって
形成される四辺形の内角の和を、仮想線の組み合わせ毎
にそれぞれ算出する内角和算出手段と、 前記内角和算出手段により算出された複数の内角の和に
360度より充分小さくなるものがあるか否かを判定す
る角度判定手段と、 前記角度判定手段により360度より充分小さいさくな
るものがあると判定された場合に、360度より充分小
さくなるものもののなかから最小のものを抽出する最小
角抽出手段と、 前記最小角抽出手段により抽出された内角の和を生ずる
四辺形を構成する手書き文字及び標準文字の対応するス
トローク間を結ぶ仮想線の前記標準文字側の2つのスト
ロークの筆順のデータを相互に入れ替える筆順データ入
替手段と、 前記角度判定手段により360度より充分小さくなるも
のがないと判定されるまで、前記内角和算出手段による
各四辺形の内角の和の算出、前記角度判定手段による角
度の判定及び前記筆順データ入替手段による筆順データ
の入れ替えを繰り返し行わしめる動作制御手段と、 を具備してなることを特徴とする手書き文字認識装置。 - 【請求項9】 内角和算出手段における各四辺形の内角
の算出は、四辺形を形成する各々の仮想線をベクトルと
して定義し、隣接するベクトルの内積の演算からその夾
角の大きさとして算出されるものであることを特徴とす
る請求項8記載の手書き文字認識装置。 - 【請求項10】 筆順処理部は、 手書き文字と、標準文字とを、仮想的に3次元空間にお
いて所定の間隔を隔てて対向させた状態における前記手
書き文字の各々のストロークの始点及び終点と、前記手
書き文字の各々のストロークに対応する標準文字の各々
のストロークの始点及び終点とを、仮想的に結ぶ仮想線
と、前記手書き文字及び標準文字のストロークとで形成
される各四辺形の内角の和をそれぞれ算出する交差文字
内角和算出手段と、 前記交差文字内角和算出手段により算出された各四辺形
の内角の和の内、その値が略180度となるものについ
ては、当該四辺形を構成する標準文字のストロークと、
このストロークと略十字に交差するストロークの相互の
筆順のデータを入れ替える交差筆順データ入替手段と、 前記交差文字内角和算出手段により算出された各四辺形
の内角の和の内、その値が180度より充分小さいもの
については、当該四辺形を構成する標準文字のストロー
クの始点と終点の相互のデータを入れ替える逆ストロー
クデータ入替手段と、 を具備してなることを特徴とする請求項8又は9記載の
手書き文字認識装置。 - 【請求項11】 交差内角和算出手段における各四辺形
の内角の算出は、四辺形を形成する仮想線及びストロー
クをベクトルとして定義し、隣接するベクトルの内積の
演算からその夾角の大きさとして算出されるものである
ことを特徴とする請求項10記載の手書き文字認識装
置。 - 【請求項12】 文字認識処理部は、 手書き文字を入力用ペンにより入力する手書き文字入力
手段と、 前記手書き文字入力手段により入力された手書き文字に
関する前記入力用ペンの位置情報を基に、当該手書き文
字の複数のサンプリング点における当該手書き文字の書
き始めの点からの距離と、各サンプリング点における接
線と所定の基準線とのなす接線角度を生成するデータ変
換手段と、 予め選択された複数の標準文字について適宜な数のサン
プリング点における書き始めの点からの距離と、当該各
サンプリング点における接線と所定の基準線とのなす接
線角度のそれぞれのデータを読み出し可能に記憶する記
憶手段と、 前記記憶手段から前記標準文字のデータを順次読み出
し、当該標準文字の画数が前記手書き文字の画数と同一
か否かを判定する画数判定手段と、 前記画数判定手段において同一の画数ではないと判定さ
れた標準文字について、前記手書き文字の画数と同一と
なるように、ストロークの間が続け書きされたと仮定で
きる箇所の可能な組み合わせを設定し、その各々につい
て、該当するストローク部分の画数のデータをその一つ
前のストロークの画数へ変更することで、手書き文字と
の画数合わせを行う画数整合手段と、 前記画数判定手段により同一画数であると判定された標
準文字及び前記画数整合手段により画数合わせが行われ
た標準文字を順に入力し、標準文字の複数の所定の点に
おける当該標準文字の書き始めからの距離と、手書き文
字の前記標準文字の複数の所定の点に対応する点におけ
る当該手書き文字の書き始めの点からの距離とが一致す
るように手書き文字の距離座標を変換して標準文字との
位置合わせを行う位置合わせ手段と、 前記位置合わせ手段により位置合わせされた手書き文字
と前記位置合わせの対象となった標準文字との各サンプ
リング点における接線角度の差の積算値を算出し、標準
文字毎に記憶する積算演算手段と、 前記積算演算手段により算出された各標準文字について
の前記積算値の中から最小値を有する標準文字を前記手
書き文字に対する認識結果として抽出する判定抽出手段
と、 を具備してなることを特徴とする請求項8、9、10又
は11記載の手書き文字認識装置。 - 【請求項13】 手書き文字入力手段は、手書き入力が
なされた際の入力用ペンのペン先の位置情報としてX・
Y座標による座標データを出力することを特徴とする請
求項12記載の手書き文字認識装置。 - 【請求項14】 接線角度の算出基準となる所定の基準
線は、手書き文字入力手段におけるX軸であることを特
徴とする請求項13記載の手書き文字認識装置。 - 【請求項15】 位置合わせ手段における位置合わせの
基準となる所定の点は、各ストロークの始点又は終点で
あることを特徴とする請求項12又は14記載の手書き
文字認識装置。 - 【請求項16】 データ変換手段は、手書き文字入力手
段からの手書き文字入力中における入力用ペンの上げ下
げの情報に基づいて、各サンプリング点が当該手書き文
字の何画目に属するかの画数データを生成することを特
徴とする請求項12、14又は15記載の手書き文字認
識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05860897A JP3977477B2 (ja) | 1997-02-27 | 1997-02-27 | 手書き文字認識のための筆順処理方法及び手書き文字認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05860897A JP3977477B2 (ja) | 1997-02-27 | 1997-02-27 | 手書き文字認識のための筆順処理方法及び手書き文字認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10240865A true JPH10240865A (ja) | 1998-09-11 |
JP3977477B2 JP3977477B2 (ja) | 2007-09-19 |
Family
ID=13089253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05860897A Expired - Lifetime JP3977477B2 (ja) | 1997-02-27 | 1997-02-27 | 手書き文字認識のための筆順処理方法及び手書き文字認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3977477B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646582A (zh) * | 2013-12-04 | 2014-03-19 | 广东小天才科技有限公司 | 一种提示书写错误的方法及装置 |
CN111027647A (zh) * | 2019-02-20 | 2020-04-17 | 广东小天才科技有限公司 | 一种基于电子设备的文字听写方法及电子设备 |
-
1997
- 1997-02-27 JP JP05860897A patent/JP3977477B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646582A (zh) * | 2013-12-04 | 2014-03-19 | 广东小天才科技有限公司 | 一种提示书写错误的方法及装置 |
CN103646582B (zh) * | 2013-12-04 | 2016-08-17 | 广东小天才科技有限公司 | 一种提示书写错误的方法及装置 |
CN111027647A (zh) * | 2019-02-20 | 2020-04-17 | 广东小天才科技有限公司 | 一种基于电子设备的文字听写方法及电子设备 |
CN111027647B (zh) * | 2019-02-20 | 2024-04-19 | 广东小天才科技有限公司 | 一种基于电子设备的文字听写方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP3977477B2 (ja) | 2007-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5687254A (en) | Searching and Matching unrecognized handwriting | |
US5389745A (en) | Handwriting input apparatus for inputting handwritten data from unspecified direction | |
US5583946A (en) | Method and apparatus for recognizing gestures on a computer system | |
US7292726B2 (en) | Recognition of electronic ink with late strokes | |
CN105210027B (zh) | 使用可旋转支撑线识别手写输入 | |
US6721452B2 (en) | System and method of handwritten character recognition | |
US7369702B2 (en) | Template-based cursive handwriting recognition | |
CN111931710B (zh) | 一种联机手写文字识别方法、装置、电子设备及存储介质 | |
JP2749020B2 (ja) | ダイアグラム認識システム | |
JP2002523844A (ja) | 文字認識 | |
US5001765A (en) | Fast spatial segmenter for handwritten characters | |
JP2003051014A (ja) | 情報処理装置及び方法 | |
JPH10240865A (ja) | 手書き文字認識のための筆順処理方法及び手書き文字認識装置 | |
JP3977473B2 (ja) | 手書き文字認識方法及び手書き文字認識装置 | |
Kara et al. | A sketch-based interface for the design and analysis of simple vibratory mechanical systems | |
JP2002175498A (ja) | 文字認識方法、文字認識プログラム、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体及び文字認識装置 | |
JP4148867B2 (ja) | 筆跡処理装置 | |
JP3470541B2 (ja) | オンライン手書き文字認識装置 | |
Kara | Automatic parsing and recognition of hand-drawn sketches for pen-based computer interfaces | |
Abuzaraida et al. | Online recognition of Arabic handwritten words system based on Alignments matching Algorithm | |
JPH1097591A (ja) | 枠なしオンライン文字認識装置 | |
JP2000163514A (ja) | 文字認識方法、文字認識装置および記憶媒体 | |
JP2633523B2 (ja) | 手書き画入力装置 | |
JPH02226387A (ja) | 手書き文字用セグメント化装置及び方法 | |
JP2519782B2 (ja) | 文字分離方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |